Changeset 5687


Ignore:
Timestamp:
04/09/09 21:49:23 (10 years ago)
Author:
sdonegan
Message:

Updated to handle lower case dif format spec from info editor..

Location:
TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/DeleteRecord.py

    r5418 r5687  
    5454         
    5555        print self.lineSeparator 
    56         print "RUNNING: testDeletions.py" 
     56        print "RUNNING: DeleteRecord.py" 
    5757         
    5858        # check for verbose option 
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/Utilities.py

    r5542 r5687  
    7575                         
    7676                        self.paths = self.appendNameSpace(self.URLpaths()) 
    77  
     77                         
    7878                        for path in self.paths: 
    79                          
     79                                 
    8080                                nodes = self.root.findall(path) 
    81  
     81                                 
    8282                                for node in nodes: 
     83                                         
    8384                                        currentURL = urllib.quote(node.text) 
     85                                         
    8486                                        redirectURL = self.redirectBaseURL + currentURL + '&docID=' + urllib.quote(docID) + '&docTitle=' + urllib.quote(docTitle)                
     87                                         
    8588                                        node.text = redirectURL 
    86                  
     89                                         
    8790                except: 
    88                         print "Cannot perform identityTransform to rewrite ndg redirect urls!" 
     91                         
    8992                        logging.warn("Cannot perform identityTransform to rewrite ndg redirect urls!") 
    9093 
     
    120123        '''method to handle xpath to title for acceptable formats''' 
    121124        def datasetTitle(self): 
    122                 if self.format == 'DIF': 
     125                if (self.format == 'DIF') | (self.format == 'dif'): 
    123126                        return ['Entry_Title'] 
    124127                elif self.format == 'MDIP': 
     
    127130        '''method to handle xpath for id if for reqd format ''' 
    128131        def getIdPath(self): 
    129                 if self.format == 'DIF': 
     132                if (self.format == 'DIF') | (self.format == 'dif'): 
    130133                        return ['Entry_ID'] 
    131134                elif self.format == 'MDIP': 
     
    134137        '''method to handle xpath for expected URLS if for reqd format ''' 
    135138        def URLpaths(self): 
    136                 if self.format == 'DIF': 
    137                         return ['Related_URL/URL','Data_Center/Data_Center_URL'] 
     139                if (self.format == 'DIF') | (self.format == 'dif'): 
     140                        return ['Related_URL/URL','Data_Center/Data_Center_URL', 'Data_Set_Citation/Online_Resource'] 
    138141                elif self.format == 'MDIP': 
    139142                        return ['OnlineResource','Distributor/Web'] 
     
    141144        '''method to handle default namespaces for reqd format ''' 
    142145        def returnNS(self): 
    143                 if self.format == 'DIF': 
     146                if (self.format == 'DIF') | (self.format == 'dif'): 
    144147                        return '{http://gcmd.gsfc.nasa.gov/Aboutus/xml/dif/}' #Note that ns has to be encapsulated in {}'s! 
    145148                elif self.format == 'MDIP': 
     
    270273             
    271274            #Fudge to get around some DC's using "entry_title" and others "dataset_title".  grrr. 
    272             if self.datasetName == '': 
    273              self.datasetName == helper.getText(et,'Entry_Title') 
    274                  
     275            if self.datasetName == '':              
     276             self.datasetName = helper.getText(et,'Entry_Title') 
     277                 
    275278            #TODO amend this - just a fudge to ingest records from crappy badc/neodc whilst pipeline down;.. 
    276279            if self.datasetEndDateNom == '': 
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r5686 r5687  
    302302                        #call new class in Utilities.py --will replace original file... 
    303303                        redirectUrlChanger(original_filename,original_filename,self._datacentre_format, self.NDG_redirect_URL) 
    304                          
    305                  
    306                                                  
     304                                         
    307305                        #Use new class to get basic parameters from input xml doc to pass around (supplants getID method) 
    308306                        basicParameters=DatasetBasicParameters(original_filename,self._datacentre_format) 
     
    319317                                continue 
    320318                         
     319                        #put in catch to change lower case dif to DIF - problems created by oai_info_editor!! 
     320                        if self._datacentre_format == 'dif': 
     321                                self._datacentre_format = 'DIF' 
     322                         
     323                         
    321324                        if self._NDG_dataProvider: 
    322325                                new_filename = discovery_dir + ident.replace(":", "__")+".xml" 
     
    329332                                new_filename_short = self._datacentre_namespace+ "__"+self._datacentre_format+ "__"+ ident +".xml" 
    330333                                 
     334                         
    331335                                 
    332336                        logging.info("original file = " + original_filename) 
Note: See TracChangeset for help on using the changeset viewer.