Changeset 7867 for TI01-discovery-Ingest


Ignore:
Timestamp:
02/02/11 14:49:16 (8 years ago)
Author:
sdonegan
Message:

Sorted bug with original file handling and generation of original XML in transformed table

Location:
TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r7692 r7867  
    33import logging,urllib,os,sys,inspect 
    44from Utilities import IsoIngestListUtilities # so can use those useful getSingleVal and getMultipleVal methods for discerning lists etc (esp useful when using the isoVal to dbColumn methods..) 
    5  
     5import ndg.common.src.lib.fileutilities as FileUtilities 
    66 
    77class ExtractISO: 
     
    2626                 
    2727                logging.info("Generating XML copy with URLS converted to NDG redirect URL's") 
    28                  
     28                                 
    2929                self.redirectBaseURL = ndgRedirectURL 
    30                  
     30                                 
    3131                rewriteIsoXml = self.changeElementUrlVal(self.isoModel.urlsToChange(), xmlOutputFile, changeUrl) 
    3232                                 
     
    555555                                        self.changeSimpleURLElementVal(thisData['xpath'])        
    556556                                         
     557                        try: 
     558                                #rewrite this back into the xml doc                              
     559                                self.etree.write(outputFile) 
     560                                logging.info("Have successfully generated new ISO file with rewritten urls to NDG redirect format!") 
     561                         
     562                                return True 
     563                 
     564                        except: 
     565                                logging.error("Could not rewrite NDG url ISO xml to; " + outputFile)                     
     566                                return False 
     567                                         
    557568                else: 
    558                         logging.info("URL's not set to change!") 
    559                                                                                  
    560                 #having returned the completed xml tree... write it to the OP file dictated.. 
    561                 try: 
    562                         #rewrite this back into the xml doc                              
    563                         self.etree.write(outputFile) 
    564                         logging.info("Have successfully generated new ISO file with rewritten urls to NDG redirect format!") 
    565                          
    566                         return True 
    567                  
    568                 except: 
    569                         logging.error("Could not rewrite NDG url ISO xml to; " + outputFile) 
    570                          
    571                         return False 
     569                        logging.info("URL's not set to change- therefore copy original file to discovery dir") 
     570 
     571                        try: 
     572                                FileUtilities.copyFileToDir(self.originalXMLfileName,outputFile) 
     573                                return True 
     574                        except: 
     575                                logging.error("Couldnt create a direct copy of original file in discovery dir!") 
     576                                return False 
     577                 
    572578                 
    573579                 
     
    986992                logging.info("Getting xml root element") 
    987993                 
     994                self.originalXMLfileName = file 
     995                 
    988996                #parse the xml with elementtree 
    989997                try: 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r7864 r7867  
    178178                        if not self.changeUrls: 
    179179                                logging.info("No NDG redirection required so using original XML as is..") 
    180                                 self.isoXML = file(original_filename).read() 
     180                                self.isoXML = file(filename).read() 
    181181                                self.originalXMLdoc = self.isoXML 
    182182                        else: 
     
    200200                        #record whats bout to be ingested - if a problem this, error should already have been kicked out                                         
    201201                        self.recordAttemptToIngestDiscoveryID = self.isoDataModel.datasetID[0][0] 
    202                          
     202                                                 
    203203                        if self.isoDataModel.validDoc is True:                   
     204                                 
    204205                                 
    205206                                #record whats attempting to be ingested  
     
    637638                                                self.genIsoFile = discovery_dir + new_filename_short     
    638639                                 
    639                                                 #generate the redirect urls (if set to!) - now we have worked out the full discovery ndg name..  
    640                                                 isoDataModel.generateNDGredirectURL(self._ndgRedirectURL,self.genIsoFile,self.changeUrls) 
    641                                  
     640                                                 
    642641                                                 
    643642                                                #get the converted ISO into a local var 
     
    651650                                                                self.originalXMLdoc = self.isoXML 
    652651                                                        else: 
    653                                                                 #original method...                                                      
     652                                                                #original method...      
     653                                                                #generate the redirect urls (if set to!) - now we have worked out the full discovery ndg name..  
     654                                                                                 
    654655                                                                self.isoXML = file(self.genIsoFile).read() 
    655656                                                                self.originalXMLdoc = self.isoXML 
    656                                          
     657                                                         
     658                                                        isoDataModel.generateNDGredirectURL(self._ndgRedirectURL,self.genIsoFile,self.changeUrls) 
     659                                                         
     660                                                         
    657661                                                except: 
    658662                                                        logging.warn("Could not extract converted ISO xml to local variable!") 
     
    680684                logging.info("File renaming and converting completed") 
    681685                logging.info(self.lineSeparator) 
     686                 
    682687                 
    683688                         
Note: See TracChangeset for help on using the changeset viewer.