Changeset 7869 for TI01-discovery-Ingest


Ignore:
Timestamp:
03/02/11 14:47:50 (8 years ago)
Author:
sdonegan
Message:

Updates rolled over from MEDIN bugfix

Location:
TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r7725 r7869  
    55import ndg.common.src.lib.utilities as ndgUtilities 
    66import random 
     7import ndg.common.src.lib.fileutilities as FileUtilities 
    78 
    89 
     
    629630                                        self.changeSimpleURLElementVal(thisData['xpath'])        
    630631                                         
     632                        try: 
     633                                #rewrite this back into the xml doc                              
     634                                self.etree.write(outputFile) 
     635                                logging.info("Have successfully generated new ISO file with rewritten urls to NDG redirect format!") 
     636                         
     637                                return True 
     638                 
     639                        except: 
     640                                logging.error("Could not rewrite NDG url ISO xml to; " + outputFile)                     
     641                                return False 
     642                                         
    631643                else: 
    632                         logging.info("URL's not set to change!") 
    633                                                                                  
    634                 #having returned the completed xml tree... write it to the OP file dictated.. 
    635                 try: 
    636                         #rewrite this back into the xml doc                              
    637                         self.etree.write(outputFile) 
    638                         logging.info("Have successfully generated new ISO file with rewritten urls to NDG redirect format!") 
    639                          
    640                         return True 
    641                  
    642                 except: 
    643                         logging.error("Could not rewrite NDG url ISO xml to; " + outputFile) 
    644                          
    645                         return False 
     644                        logging.info("URL's not set to change- therefore copy original file to discovery dir") 
     645 
     646                        try: 
     647                                FileUtilities.copyFileToDir(self.originalXMLfileName,outputFile) 
     648                                return True 
     649                        except: 
     650                                logging.error("Couldnt create a direct copy of original file in discovery dir!") 
     651                                return False 
    646652                 
    647653                 
     
    10611067                logging.info("Getting xml root element") 
    10621068                 
     1069                self.originalXMLfileName = file          
     1070                 
    10631071                #parse the xml with elementtree 
    10641072                try: 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/Metadata_document_ingester.py

    r7857 r7869  
    8686                self.processThread = 'OAI' 
    8787                 
     88                dpwsProvID = None 
    8889                 
    8990                #check if this is a dpws ingest 
     
    335336                        dataCentre = 'dpws' 
    336337         
    337         if dataCentre is not None:                       
     338        if dataCentre is not None:                                       
    338339                ingester.processDataCentre(dataCentre='dpws') 
    339340        else: 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r7857 r7869  
    185185                try: 
    186186                        logging.info("Extracting converted ISO file into variable for input into original format in transformed docs table")                     
    187                         self.isoXML = file(filename).read() 
    188                         self.originalXMLdoc = self.isoXML 
     187                        #self.isoXML = file(filename).read() 
     188                        #self.originalXMLdoc = self.isoXML 
     189                         
     190                        if not self.changeUrls: 
     191                                logging.info("No NDG redirection required so using original XML as is..") 
     192                                self.isoXML = file(filename).read() 
     193                                self.originalXMLdoc = self.isoXML 
     194                        else: 
     195                                #original method...                                                      
     196                                self.isoXML = file(self.genIsoFile).read() 
     197                                self.originalXMLdoc = self.isoXML 
    189198                                         
    190199                except: 
     
    730739                                                #now create this stub ISO file on system so can access it 
    731740                                                self.genIsoFile = discovery_dir + new_filename_short     
    732                                  
    733                                                 #generate the redirect urls (if set to!) - now we have worked out the full discovery ndg name..  
    734                                                 isoDataModel.generateNDGredirectURL(self._ndgRedirectURL,self.genIsoFile,self.changeUrls) 
    735                                  
     741                                                                                 
     742                                                 
    736743                                                #get the converted ISO into a local var 
    737744                                                try: 
    738745                                                        logging.info("Extracting converted ISO file into variable for input into original format in transformed docs table") 
    739                                                         self.isoXML = file(self.genIsoFile).read() 
    740                                                         self.originalXMLdoc = self.isoXML 
    741                                          
     746                                                         
     747                                                        #01/02/11: Put in a workaround for MEDIN - need original XML with ALL attributes.  Not doing a NDG redirect, so take original file if this is the case 
     748                                                        if not self.changeUrls: 
     749                                                                logging.info("No NDG redirection required so using original XML as is..") 
     750                                                                self.isoXML = file(original_filename).read() 
     751                                                                self.originalXMLdoc = self.isoXML 
     752                                                        else: 
     753                                                                #original method...      
     754                                                                #generate the redirect urls (if set to!) - now we have worked out the full discovery ndg name..  
     755                                                                                 
     756                                                                self.isoXML = file(self.genIsoFile).read() 
     757                                                                self.originalXMLdoc = self.isoXML 
     758                                                         
     759                                                        isoDataModel.generateNDGredirectURL(self._ndgRedirectURL,self.genIsoFile,self.changeUrls) 
     760                                                         
     761                                                         
    742762                                                except: 
    743763                                                        logging.warn("Could not extract converted ISO xml to local variable!") 
Note: See TracChangeset for help on using the changeset viewer.