Changeset 7052


Ignore:
Timestamp:
22/06/10 12:26:37 (9 years ago)
Author:
sdonegan
Message:

Added code to support requirement to extract DataFormats? from ISO

Location:
TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch
Files:
4 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r6956 r7052  
    5959        'createDate':'dataset_metadata_creation_date', 
    6060        'publicationDate':'dataset_metadata_publication_date', 
    61         'authors_text':'authors','parameters_text':'parameters'} 
     61        'authors_text':'authors','parameters_text':'parameters', 
     62        'dataFormats_text':'data_formats','dataFormats_ts_vector':'data_formats_tsvector'} 
    6263                 
    6364                 
     
    8485        'dataset_metadata_creation_date':'timestamp', 
    8586        'dataset_metadata_publication_date':'timestamp', 
    86         'authors':'text','parameters':'text'} 
     87        'authors':'text','parameters':'text', 
     88        'data_formats':'text','data_formats_tsvector':'tsvector'} 
    8789         
    8890                 
     
    149151                self.originalFormat = self.getElementVal(self.isoModel.originalFormat()) 
    150152                 
     153                self.dataFormats = self.getElementVal(self.isoModel.dataFormats()) 
     154                                 
     155                if self.dataFormats != 'None': 
     156                         
     157                        self.dataFormatsOb = IsoIngestListUtilities(self.dataFormats,True) 
     158                        self.dataFormats_text = self.dataFormatsOb.getDelimitedStringFromList(self.dataFormatsOb.listVals) 
     159                         
     160                        #will be nothing in there due to way we've caught NoneTypes in Utilities.py - so set to 'None' here so can be nulled in sql 
     161                        if len(self.dataFormats_text) == 0: 
     162                                self.dataFormats_text = 'None' 
     163                         
     164                        self.dataFormats_ts_vector = self.dataFormats_text 
     165                                                 
     166                else: 
     167                        self.dataFormats_text = 'None' 
     168                        self.dataFormats_ts_vector = 'None' 
     169                         
    151170                self.authors = self.getElementVal(self.isoModel.authors()) 
    152171                 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/PostgresDAO.py

    r6946 r7052  
    160160        dbColumns = self.isoDataModel.mapIsoFieldsToDBcolumns() 
    161161         
    162          
    163162        for isoData in dbColumns.keys(): 
    164163                 
    165164                logging.info("Attempting to update: " + isoData) 
    166                                  
     165                                         
    167166                columnValue = getattr(self.isoDataModel,isoData) 
    168167                columnName = dbColumns[isoData] 
     
    198197                 
    199198                logging.info("Data type is text or tsvector!") 
     199                 
    200200                 
    201201                #need to work out whether value passed here to be updated is a string or list 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/Utilities.py

    r6875 r7052  
    614614                logging.info("Concatenating list using this character: %s" %concatStr) 
    615615                 
    616                 for str in inputList:                    
     616                for str in inputList: 
     617                         
     618                        #catch any None types in there.. 
     619                        if str is None: 
     620                                str="" 
     621                                                 
    617622                        listStr = listStr + " " + concatStr + " " + str 
    618623                         
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/medin_2_3_ISO19139.py

    r6956 r7052  
    112112                 
    113113                return originalFormatVersion 
     114         
     115         
     116         
     117        def dataFormats(self): 
     118                ''' 
     119                See notes in metadataDates for tuple format 
     120                ''' 
     121                 
     122                originalFormat = (self.originalFormat.__name__,{1:{'xpath':'gmd:identificationInfo/gmd:MD_DataIdentification/gmd:resourceFormat/gmd:MD_Format/gmd:name/gco:CharacterString'}}) 
     123                 
     124                return originalFormat 
    114125         
    115126         
Note: See TracChangeset for help on using the changeset viewer.