Changeset 5737


Ignore:
Timestamp:
18/09/09 13:57:25 (10 years ago)
Author:
sdonegan
Message:

Adjusted filename handling and id's to fix problem with presenting Discovery view in service

File:
1 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery/branches/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r5687 r5737  
    2727        data in the correct form in the DB 
    2828        ''' 
    29         lineSeparator = "-----------------------------" 
     29        lineSeparator = "------------------------------" 
    3030                         
    3131        # The directory to put things for a tape backup (should already exist) 
     
    149149                                                            discoveryID,datasetName,datacentreName,datasetLastEditUpdateDate,datasetStartDateNom,datasetEndDateNom, \ 
    150150                                                            self._xq, self._datacentre_format) 
    151                          
     151                        #import pdb 
     152                        #pdb.set_trace() 
    152153                         
    153154                        # Now create the data access object to interface to the DB 
     
    274275                 
    275276                for filename in os.listdir(originals_dir): 
     277                         
    276278                        if not filename.endswith('.xml'): 
    277279                                logging.warning('File %s is not xml format. Not processed'  %(filename)) 
     
    279281                         
    280282                        original_filename = originals_dir + filename 
     283                         
    281284                         
    282285                         
     
    302305                        #call new class in Utilities.py --will replace original file... 
    303306                        redirectUrlChanger(original_filename,original_filename,self._datacentre_format, self.NDG_redirect_URL) 
    304                                          
     307                         
     308                 
     309                                                 
    305310                        #Use new class to get basic parameters from input xml doc to pass around (supplants getID method) 
    306311                        basicParameters=DatasetBasicParameters(original_filename,self._datacentre_format) 
     
    317322                                continue 
    318323                         
    319                         #put in catch to change lower case dif to DIF - problems created by oai_info_editor!! 
    320                         if self._datacentre_format == 'dif': 
    321                                 self._datacentre_format = 'DIF' 
    322                          
    323                          
    324324                        if self._NDG_dataProvider: 
    325                                 new_filename = discovery_dir + ident.replace(":", "__")+".xml" 
    326                                 new_filename_short = ident.replace(":", "__")+".xml" 
     325                                 
     326                                #new_filename = discovery_dir + ident.replace(":", "__")+".xml" 
     327                                #new_filename_short = ident.replace(":", "__")+".xml" 
     328                                 
     329                                #changed so new new NDG3 discovery can pick up Discoveru View URL's correctly?  (why should it be different to previous?) 
     330                                new_filename = discovery_dir + self._datacentre_namespace + "__" +self._datacentre_format + "__"+ ident.replace(":", "-")+".xml" 
     331                                new_filename_short = self._datacentre_namespace + "__" +self._datacentre_format + "__" + ident.replace(":", "-")+".xml" 
    327332                                 
    328333                        else: 
     334                                 
    329335                                ident = ident.replace(":", "-") 
    330336                                ident = ident.replace("/", "-") 
     337                                 
    331338                                new_filename = discovery_dir + "/" +self._datacentre_namespace+ "__"+self._datacentre_format+ "__"+ ident +".xml" 
    332339                                new_filename_short = self._datacentre_namespace+ "__"+self._datacentre_format+ "__"+ ident +".xml" 
    333340                                 
    334                          
    335341                                 
    336342                        logging.info("original file = " + original_filename) 
     
    354360                logging.info("File renaming and converting completed") 
    355361                logging.info(self.lineSeparator) 
     362                 
     363                #sys.exit() 
     364                 
    356365                return numfilesproc 
    357366 
     
    451460                        for item in filesPresentList: 
    452461                                logging.info("NEED to DELETE : " + item + " IN ORDER TO SYNCHRONISE INGEST DIRECTORY WITH DATABASE CONTENTS")                    
    453                                 #DeleteRecord(item) 
     462                                DeleteRecord(item) 
    454463                                self.deletedFailList.append(item) 
    455464                                self._no_files_deleted += 1 
Note: See TracChangeset for help on using the changeset viewer.