Changeset 5537 for TI01-discovery


Ignore:
Timestamp:
29/07/09 15:49:51 (10 years ago)
Author:
sdonegan
Message:

Updated to allow inclusion of end date ordering

Location:
TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/PostgresDAO.py

    r5524 r5537  
    295295            self._record.dataset_name + "', '" + self._record.datacentre_name + "', '" + self._record.dataset_lastEdit + "', '" + self._record.datasetStartNom + "', '" + self._record.datasetEndNom + "');" 
    296296             
     297         
    297298        sqlCmd = sqlCmd.replace("'NULL'","NULL") 
    298299 
     
    327328            self._record.getParametersInfo() + "', '" + self._record.getScopeInfo() + "', '" + str(self._record.scn) + "', '" + self._record.dataset_name + "', '" + self._record.datacentre_name + "', '" + self._record.dataset_lastEdit + "', '" + self._record.datasetStartNom + "', '" + self._record.datasetEndNom + "');"  
    328329             
     330             
     331        logging.info("ffgfgfgfgfgf:   " + sqlCmd) 
     332             
    329333        #sort out any NULL values" 
    330334        sqlCmd = sqlCmd.replace("'NULL'","NULL") 
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/Utilities.py

    r5524 r5537  
    269269            self.datasetEndDateNom = helper.getText(et,'Temporal_Coverage/Stop_Date') 
    270270             
     271            #TODO amend this - just a fudge to ingest records from crappy badc/neodc whilst pipeline down;.. 
     272            if self.datasetEndDateNom == '': 
     273             self.datasetEndDateNom = helper.getText(et,'Temporal_Coverage/End_Date')                        
     274             
    271275        elif self._datacentre_format == 'MDIP': 
    272276            #return helper.getText(self.tree,'DatasetIdentifier') 
     
    279283        else: 
    280284            raise TypeError,'idget does not support datatype [%s]'%dataType 
     285            
     286        #if no values for start or end dates need to set these to NULL! 
     287        if self.datasetStartDateNom == "": 
     288            self.datasetStartDateNom = 'NULL' 
     289                 
     290        if self.datasetEndDateNom == "": 
     291            self.datasetEndDateNom = 'NULL' 
    281292 
    282293import unittest 
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r5524 r5537  
    417417                        for fileArr in filePresentListArr: 
    418418                                filesPresentList.append(fileArr[0]) 
     419                                 
     420                                #TODO - is above relevant - duplicating functionlaity? 
    419421         
    420422                #create list to to hold files ingest failed on. 
     
    422424                self.deletedFailList = [] 
    423425                 
     426                 
    424427                for filename in filenames: 
    425428                        fullPath = self.discovery_dir + filename 
     
    430433                                #remove this filename from the list of files for this DC already in list (whats left over is to be deleted)  
    431434                                if (thisIngestedID != "") and (len(filesPresentList) != 0): 
    432                                         if thisIngestedID in filesPresentList:                                           
    433                                                 filesPresentList.remove(thisIngestedID)                                  
     435                                        if thisIngestedID in filesPresentList:   
     436                                                filesPresentList.remove(thisIngestedID)                  
    434437                                                 
    435438                #test loop through remaining items in filePresentList - in order to synchronise with ingest directory - these 
    436439                #will need to be removed. 
    437                 for item in filesPresentList: 
    438                         logging.info("NEED to DELETE : " + item + " IN ORDER TO SYNCHRONISE INGEST DIRECTORY WITH DATABASE CONTENTS") 
    439                         DeleteRecord(item) 
    440                         self.deletedFailList.append(item) 
    441                         self._no_files_deleted += 1 
     440                 
     441                #only do this if not in single file mode (or else wverything else gets deleted!) 
     442                if self.indFileToIngest == "": 
     443                        for item in filesPresentList: 
     444                                logging.info("NEED to DELETE : " + item + " IN ORDER TO SYNCHRONISE INGEST DIRECTORY WITH DATABASE CONTENTS")                    
     445                                DeleteRecord(item) 
     446                                self.deletedFailList.append(item) 
     447                                self._no_files_deleted += 1 
    442448                         
    443449                         
Note: See TracChangeset for help on using the changeset viewer.