Ignore:
Timestamp:
05/08/10 17:08:03 (9 years ago)
Author:
sdonegan
Message:

Updates for NERC v4.3.0 MEDIN style ingest with new arg for process id for use with dpws with logging to database

File:
1 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r7186 r7286  
    6060        'publicationDate':'dataset_metadata_publication_date', 
    6161        'authors_text':'authors','parameters_text':'parameters', 
    62         'dataFormats_text':'data_formats','dataFormats_ts_vector':'data_formats_tsvector'} 
     62        'dataFormats_text':'data_formats','dataFormats_ts_vector':'data_formats_tsvector', \ 
     63        'resourceLocatorBool':'resource_locator','inspireThemes_text':'inspire_themes','inspireThemes_tsvector':'inspire_themes_ts_vector', \ 
     64        'verticalExtent_text':'vertical_extent','verticalExtent_tsvector':'vertical_extent_ts_vector' 
     65        } 
    6366                 
    6467                 
     
    8689        'dataset_metadata_publication_date':'timestamp', 
    8790        'authors':'text','parameters':'text', 
    88         'data_formats':'text','data_formats_tsvector':'tsvector'} 
     91        'data_formats':'text','data_formats_tsvector':'tsvector', \ 
     92        'resource_locator':'boolean','inspire_themes':'text','inspire_themes_ts_vector':'tsvector', \ 
     93        'vertical_extent':'text','vertical_extent_ts_vector':'tsvector' 
     94        } 
    8995         
    9096                 
     
    151157                self.originalFormat = self.getElementVal(self.isoModel.originalFormat()) 
    152158                 
    153                 self.dataFormats = self.getElementVal(self.isoModel.dataFormats()) 
     159                 
     160                try: 
     161                        self.dataFormats = self.getElementVal(self.isoModel.dataFormats()) 
     162                except: 
     163                        self.dataFormats = 'None' 
    154164                                 
    155165                if self.dataFormats != 'None': 
     
    250260                        self.topicCategory_text = None 
    251261                        self.topicCategory_tsvector = None 
     262                         
     263                #updated for NERC API v4.3.0 
     264                 
     265                #resource locator 
     266                try: 
     267                        self.resourceLocator = self.getElementVal(self.isoModel.resourceLocator()) 
     268                        self.resourceLocator_text = self.lineage 
     269                        self.resourceLocator_tsvector = self.lineage 
     270                except: 
     271                        self.resourceLocator = None 
     272                        self.resourceLocator_text = None 
     273                        self.resourceLocator_tsvector = None 
     274                         
     275                #resourceLocator in the db is a boolean field - it either has a data resource or it doesnt 
     276                 
     277                if self.resourceLocator is None or self.resourceLocator =='': 
     278                        self.resourceLocatorBool = False 
     279                else: 
     280                        self.resourceLocatorBool = True 
     281                 
     282                #INSPIRE themes (sub class of keywords)  
     283                 
     284                try:     
     285                        self.inspireThemes = self.getElementVal(self.isoModel.INSPIREthemes())   
     286                        self.inspireThemesList = self.listify(self.inspireThemes) 
     287                except: 
     288                        self.inspireThemes = None 
     289                 
     290                if self.inspireThemes == 'None' or self.inspireThemes is None: 
     291                        logging.warn("No INSPIRE themes info for record!") 
     292                        self.inspireThemes_text = ''  
     293                        self.inspireThemes_tsvector = '' 
     294                else:            
     295                        self.inspireThemesOb = IsoIngestListUtilities(self.inspireThemes,True)                    
     296                        self.inspireThemes_text = self.inspireThemesOb.getDelimitedStringFromList(self.inspireThemesOb.listVals) 
     297                        self.inspireThemes_tsvector = self.inspireThemes_text 
     298                 
     299                #vertical extent (sub class of keywords)                 
     300                 
     301                try: 
     302                        self.verticalExtent = self.getElementVal(self.isoModel.verticalExtentKeyword())  
     303                        self.verticalExtentList = self.listify(self.verticalExtent) 
     304                except: 
     305                        self.verticalExtent = None 
     306                 
     307                if self.verticalExtent == 'None' or self.verticalExtent is None: 
     308                        logging.warn("No Vertical Extent keywords info for record!") 
     309                        self.verticalExtent_text = '' 
     310                        self.verticalExtent_tsvector = '' 
     311                else:            
     312                        self.verticalExtentOb = IsoIngestListUtilities(self.verticalExtent,True)                          
     313                        self.verticalExtent_text = self.verticalExtentOb.getDelimitedStringFromList(self.verticalExtentOb.listVals) 
     314                        self.verticalExtent_tsvector = self.verticalExtent_text 
     315                                                 
    252316                         
    253317                ''' 
Note: See TracChangeset for help on using the changeset viewer.