Changeset 7892


Ignore:
Timestamp:
02/03/11 17:07:13 (8 years ago)
Author:
sdonegan
Message:

Update to fix various bugs and better handling of dodgy characters etc etc in move to production ingest

Location:
TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch
Files:
5 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r7890 r7892  
    233233                        self.parameters_text = self.parametersOb.getDelimitedStringFromList(self.parametersOb.listVals) 
    234234                        self.parameters_tsvector = self.parameters_text 
    235                  
    236                  
     235                                 
    237236                coords = self.getElementVal(self.isoModel.coordinates()) 
    238237                if coords == 'None':                     
     
    294293                        self.resourceLocator_text = None 
    295294                        self.resourceLocator_tsvector = None 
     295                 
    296296                         
    297297                #resourceLocator in the db is a boolean field - it either has a data resource or it doesnt               
    298                 if self.resourceLocator is None or self.resourceLocator =='': 
     298                if self.resourceLocator == 'None' or self.resourceLocator =='': 
    299299                        self.resourceLocatorBool = False 
    300300                else: 
     
    12401240                #parse the xml with elementtree 
    12411241                try: 
     1242                         
    12421243                        self.etree=ET.parse(file) 
    12431244                        root=self.etree.getroot() # should be the "gmd:MD_Metadata" element 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/Metadata_document_ingester.py

    r7876 r7892  
    1111logging.basicConfig(level=logging.INFO, 
    1212                    format='%(asctime)s %(filename)s:%(lineno)d %(levelname)s %(message)s') 
     13 
    1314from time import strftime 
    1415import ndg.common.src.lib.fileutilities as FileUtilities 
     
    292293                Method to set individual file to ingest if "individualFile" is invoked 
    293294                ''' 
    294                 self.ingestProcessID = processID 
     295                self.ingestProcessID = processID.replace(',','') 
    295296                 
    296297                 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/NERC_DMS_0_7.py

    r7889 r7892  
    291291                ''' 
    292292                Updated for NERC API v4.3.0 - returns url of actual data location if available - is dependant val - code must be 'download' 
    293                 ''' 
     293                 
     294                Update 02/03/11: CI_onlineFunctionCode=download structure is not available for all records: Kay wants us to just go on the presence 
     295                                                 of the gmd:transferOptions//gmd:URL as indicator of a resource locator.. 
     296                 
     297                 
    294298                 
    295299                resource = (self.resourceLocator.__name__,{1:{ 
     
    297301                                                                                                        'elValXpath':'gmd:linkage/gmd:URL', 
    298302                                                                                                        'depValXpath':'gmd:function/gmd:CI_onLineFunctionCode', 
    299                                                                                                         'depVal':'download'}}) 
     303                                                                                                        'depVal':'download'}}) ''' 
     304                 
     305                resource = (self.resourceLocator.__name__,{1:{'xpath':'gmd:distributionInfo/gmd:MD_Distribution/gmd:transferOptions/gmd:MD_DigitalTransferOptions/gmd:onLine/gmd:CI_OnlineResource/gmd:linkage/gmd:URL'}}) 
    300306                                                                                         
    301307                                         
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/PostgresRecord.py

    r7889 r7892  
    371371                                keyword = 'MEDIN' 
    372372                                 
    373                         if keyword == 'NDG00003': 
     373                        if keyword == 'NDGO0003':                                
    374374                                keyword = 'NERC_DDC' 
    375375                         
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r7889 r7892  
    221221                                                                self._xqueryConversions,self._saxonJarFile, self._xqueryDocTypes, self.originalXMLdoc, self._currentMedinStandard, stubIso = self.isoXML, difXML = self.difXML, isoXML = self.isoXML)                    
    222222                                 
    223                                 #check whether NERC keyword is in the scope - if not- REJECT! 
     223                                #check whether NERC keyword is in the scope - if not- REJECT!                            
    224224                                if 'NERCUNDERSCOREDDC' not in record.getScopeInfo(): 
    225225                                        logging.error("No NERC keyword present") 
Note: See TracChangeset for help on using the changeset viewer.