Changeset 7456


Ignore:
Timestamp:
07/09/10 16:56:01 (9 years ago)
Author:
sdonegan
Message:

various updates and tweaks so can support other DC difs

Location:
TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch
Files:
4 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/DeleteRecord.py

    r7286 r7456  
    126126            #delete original record 
    127127            try: 
    128                 import pdb 
    129                 pdb.set_trace()          
     128                          
    130129                dao.deleteOriginalRecord() 
    131130                #dao._deleteSpatioTemporalData() 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r7286 r7456  
    144144                 
    145145                self.datasetAbstract = self.getElementVal(self.isoModel.dataSetAbstract()) 
    146                                  
     146                 
    147147                self.revisionDate = self.getElementVal(self.isoModel.metadataRevisionDate()) 
    148148                 
    149149                self.createDate = self.getElementVal(self.isoModel.metadataCreationDate()) 
    150150                                 
    151                 self.datasetName = self.getElementVal(self.isoModel.dataSetName())               
    152                  
     151                self.datasetName = self.getElementVal(self.isoModel.dataSetName()) 
     152                                 
    153153                self.boundingDates = self.getElementVal(self.isoModel.boundingDates()) 
    154154                 
     
    192192                                 
    193193                self.datacentreName = self.getElementVal(self.isoModel.dataCentreName()) 
    194                                  
     194                 
    195195                if self.datacentreName == 'None': 
    196196                        self.processingMsg = 'No entry for Data Centre name so record not valid and cannot/will not Ingest!' 
     
    241241                 
    242242                try: 
     243                        import pdb 
     244                        pdb.set_trace() 
    243245                        self.topicCategory = self.getElementVal(self.isoModel.topicCategory()) 
    244246                        self.topicCategoryList = self.listify(self.topicCategory) 
     
    362364                        self.processingMsg = 'No entry for Data Originator so record not valid and cannot/will not Ingest!' 
    363365                        logging.error(self.processingMsg) 
    364                         self.validDoc = False 
     366                        #self.validDoc = False 
    365367                 
    366368                else:                    
     
    505507                returnDates = {} 
    506508                 
     509                #check that there's something in it... 
     510                if boundingDatesList == 'None': 
     511                        return 'None' 
     512                 
     513                         
    507514                         
    508515                #remember, need to sort out whether there was a start and end date in the first place, or just one so can copy values over 
     
    922929                                 
    923930                                if thisDepEl != 'None': 
     931                                         
    924932                                                                                 
    925933                                        depVal = thisDepEl[0].text 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/PostgresDAO.py

    r7286 r7456  
    509509        sqlCmd = sqlCmd.replace("'None'","NULL") 
    510510         
     511         
    511512        id = self.pgc.runSQLCommand(sqlCmd) 
    512513        if len(id) == 0: 
     
    584585                "transformed_document, create_date, scn) VALUES (" \ 
    585586                "DEFAULT, '" + str(self._record.db_id) + "', '" + \ 
    586                 docType + "', '" + metadataDocs[docType] + "', current_timestamp, 1);" 
    587              
     587                docType + "', '" + self._record.escapeSpecialCharacters(metadataDocs[docType]) + "', current_timestamp, 1);" 
     588                 
     589             
     590            print "\n\n\n%s\n\n\n" %sqlCmd 
     591         
    588592             
    589593            self.pgc.runSQLCommand(sqlCmd) 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/difConvertedto_ISO19139.py

    r7286 r7456  
    181181                 
    182182                return urls 
    183                  
    184          
    185          
     183         
     184         
     185        def topicCategory(self): 
     186                ''' 
     187                Method to extract and return topicCategory 
     188                 
     189                MEDIN element 9 p16, 
     190                 
     191                NB - equivalent to standard NDG ingest field  
     192                ''' 
     193                 
     194                topicCategory = (self.topicCategory.__name__,{1:{'xpath':'gmd:identificationInfo/gmd:MD_DataIdentification/gmd:topicCategory/gmd:MD_TopicCategoryCode'}}) 
     195         
     196                return topicCategory 
     197                 
     198                 
    186199         
    187200        def metadataCreationDate(self): 
Note: See TracChangeset for help on using the changeset viewer.