Changeset 8038 for TI01-discovery-Ingest


Ignore:
Timestamp:
22/12/11 15:07:31 (7 years ago)
Author:
sdonegan
Message:

VArious updates to debug utf8 handling and refactored logging and NERC scope detection

Location:
TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch
Files:
7 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r8026 r8038  
    2323                 
    2424                #show actual values extracted from the XML in logging.info 
    25                 self.showXMLvalues = True 
     25                self.showXMLvalues = False 
    2626                 
    2727                logging.info("Have initialised ISO XML Extractor") 
     
    110110        def createISOdataStructure(self): 
    111111                 
    112                 logging.info("") 
    113                 logging.info("********************************************************************************************************************************************") 
    114                 logging.info("****************** Creating ISO data structure from " + self.inputXMLfile + "****************** ") 
    115                 logging.info("********************************************************************************************************************************************") 
    116                 logging.info("") 
     112                logging.debug("") 
     113                logging.debug("********************************************************************************************************************************************") 
     114                logging.debug("****************** Creating ISO data structure from " + self.inputXMLfile + "****************** ") 
     115                logging.debug("********************************************************************************************************************************************") 
     116                logging.debug("") 
    117117                 
    118118                #set processing message and processing docs 
     
    154154                        self.datasetID = self.getElementVal(self.isoModel.datasetID())   
    155155                elif self.resourceType == 'service': 
    156                         logging.info("Ingesting a service metadata record!") 
     156                        logging.warning("Ingesting a service metadata record!") 
    157157                        #self.datasetID = self.getElementVal(self.isoModel.fileIdentifier()) 
    158158                         
     
    168168                        #to aid proper filename reporting must give it a quasi id as will give "None" filename! 
    169169                        id = [str(random.randrange(1000,20000,3)) + '_ingestIempID'] # remember must be in that double list format! 
    170                         logging.info("Using random integer: %s for ID to complete reporting process..." %id) 
     170                        logging.debug("Using random integer: %s for ID to complete reporting process..." %id) 
    171171                        self.datasetID = [id] 
    172172                        self.validDoc = False 
     
    194194                                 
    195195                self.datasetName = self.getElementVal(self.isoModel.dataSetName()) 
    196                                                  
     196                                 
    197197                self.boundingDates = self.getElementVal(self.isoModel.boundingDates()) 
    198198                 
     
    249249                 
    250250                #NOTE: this value not currently used in all NERC DC records in this method.. 
    251                  
    252                 scopeValsPresent = self.listify(self.getElementVal(self.isoModel.scopeCode(self.isoModel.ingestKeywordIdentifier()))) 
    253                  
    254                 if len(scopeValsPresent) == 0: 
     251                #possible different definition of acceptable vocab list vals to id the scopeCode in acnchor strructure i.e. version numbers  
     252                scopeValsPresent = []                            
     253                self.docInScope = False 
     254                for keywdId in self.isoModel.ingestKeywordIdentifier(): 
     255                         val = self.getElementVal(self.isoModel.scopeCode(keywdId)) 
     256                         if val != 'None': 
     257                                self.docInScope = True 
     258                                logging.debug("Scope value detected (%s)" %keywdId) 
     259                                 
     260                                #as a fudge until all providers agree on how they are putting in their scope vals... 
     261                                #pull the actual list ID and stick it in the keyword list so current method of adding scope works.. 
     262                                self.keywordsList.append(keywdId.split('/')[-1]) 
     263                                scopeValsPresent.append(val) 
     264                 
     265         
     266                if not self.docInScope: 
    255267                        logging.error("No Scope value present!") 
    256                         self.docInScope = False 
    257                  
    258                 else: 
    259                         self.docInScope = True 
    260                          
    261                         logging.info("Scope value detected (%s)" %self.isoModel.ingestKeywordIdentifier() ) 
    262                          
    263                         #as a fudge until all providers agree on how they are putting in their scope vals... 
    264                         #pull the actual list ID and stick it in the keyword list so current method of adding scope works.. 
    265                         self.keywordsList.append(self.isoModel.ingestKeywordIdentifier().split('/')[-1]) 
    266268                         
    267269                if self.keywords == 'None': 
     
    273275                        self.parameters_text = self.parametersOb.getDelimitedStringFromList(self.parametersOb.listVals) 
    274276                        self.parameters_tsvector = self.parameters_text 
    275                                                  
     277                 
    276278                coords = self.getElementVal(self.isoModel.coordinates()) 
    277279                if coords == 'None':                     
     
    463465                         
    464466                 
    465                 logging.info("") 
    466                 logging.info(" ****************** Completed rendering ISO xml into data structure! ****************** ") 
    467                 logging.info("") 
     467                logging.debug("") 
     468                logging.debug(" ****************** Completed rendering ISO xml into data structure! ****************** ") 
     469                logging.debug("") 
    468470                 
    469471                return True 
     
    779781                 
    780782                #Dynamically import module of correct profile... 
     783                 
    781784                import_string = "from " + format + " import " + format + " as iso" 
    782785                 
     
    784787                        exec import_string 
    785788                except: 
     789                         
    786790                        logging.error("Could not import xpath class for: " + format) 
    787791                        sys.exit() 
     
    10121016                        #is dicionary a dependant value or straight xpath? 
    10131017                        if 'baseXpath' in thisData.keys(): 
    1014                                 logging.info("Extracting xml using COMPLEX dependant method for xpath def: " + str(cnt))                         
     1018                                logging.debug("Extracting xml using COMPLEX dependant method for xpath def: " + str(cnt))                        
    10151019                                returnVal = self.returnDependantElementVal(thisData['baseXpath'],thisData['elValXpath'],thisData['depValXpath'],thisData['depVal'],showValue)                            
    10161020                                valueList.append(returnVal) 
    10171021                                                                 
    10181022                        if 'xpath' in thisData.keys():           
    1019                                 logging.info("Extracting xml using SIMPLE method for xpath def: " + str(cnt))                                            
     1023                                logging.debug("Extracting xml using SIMPLE method for xpath def: " + str(cnt))                                           
    10201024                                returnVal =  self.returnSimpleElementVal(thisData['xpath'],showValue)                                                            
    10211025                                valueList.append(returnVal) 
     
    10231027                        #is there any ordering info required - if so, order the return list according to the ordering tuple 
    10241028                        if 'order' in keyMethod[i].keys(): 
    1025                                 logging.info("Returning a dictionary of paired values as ordering requested for xpath (number of xpath defs MUST match ordering vals available")                         
     1029                                logging.debug("Returning a dictionary of paired values as ordering requested for xpath (number of xpath defs MUST match ordering vals available")                        
    10261030                                ordering = True                          
    10271031                                orderingList = thisData 
    10281032                                 
    10291033                        else: 
    1030                                 logging.info("Returning a simple list of values for xpath def: " + str (cnt)) 
     1034                                logging.debug("Returning a simple list of values for xpath def: " + str (cnt)) 
    10311035                                 
    10321036                        cnt = cnt + 1 
     
    10491053                         
    10501054                        #logging.INFO("Ordering data by specified order information!") 
    1051                         logging.info("ordering information now!") 
     1055                        logging.debug("ordering information now!") 
    10521056                         
    10531057                        '''FIRST need to group information together in correct order (i.e. elementtree groups all starts in one list, then all ends etc 
     
    11381142                                        #elVal = elValIt.text 
    11391143                                        #ensure correct encoding... 
    1140                                         elVal = elValIt.text.encode('utf-8') 
     1144                                        if elValIt.text is not None: 
     1145                                                elVal = elValIt.text.encode('utf-8') 
     1146                                        else: 
     1147                                                elVal = None 
     1148                                         
     1149                                        #elVal = elValIt.text.encode('utf-8') 
    11411150                                                                                 
    11421151                                        if '@' in depXpathOrig: 
     
    11751184                                                                 
    11761185                                                        if depVal == depValReqd: 
    1177                                                  
     1186                                                                 
     1187                                                                resDependantVal.append(elVal) 
     1188                                                                 
    11781189                                                                if showValue is True: 
    11791190                                                                        logging.info("") 
     
    11811192                                                                        logging.info("") 
    11821193                                                                                                                 
    1183                                                                 resDependantVal.append(elVal) 
     1194                                                                 
    11841195                 
    11851196                if self.stopHere: 
     
    11971208                #are there any attributes required i.e. xpath uses "@" to get attribute name, elementtree uses the "attrib" method 
    11981209                if '@' in xpath: 
    1199                         logging.info("Requires an attribute value...") 
     1210                        logging.debug("Requires an attribute value...") 
    12001211                         
    12011212                        attrib = True 
     
    12211232                                                 
    12221233                #use a text 'None' rather than a None type 
    1223                  
     1234                if self.stopHere: 
     1235                        import pdb; pdb.set_trace() 
     1236                         
    12241237                for elVal in rootEl: 
    12251238                        if elVal is None: 
     
    12301243                                else: 
    12311244                                        #ensure correct encoding... 
    1232                                         value = elVal.text.encode('utf-8') 
    1233                                          
     1245                                        if elVal.text is not None: 
     1246                                                value = elVal.text.encode('utf-8') 
     1247                                        else: 
     1248                                                value = None 
     1249                                 
     1250                                resElementVal.append(value) 
     1251                                 
    12341252                                if (showValue is True) and (value is not None): 
    12351253                                        logging.info("") 
     
    12371255                                        logging.info("") 
    12381256                                         
    1239                                         resElementVal.append(value) 
    1240                                          
    1241                 if self.stopHere: 
    1242                         import pdb; pdb.set_trace() 
     1257                                         
     1258                                         
     1259                 
    12431260                '''      
    12441261                if rootEl[0].text is None:                                       
     
    13221339        def getIsoXML(self,file): 
    13231340                 
    1324                 logging.info("Getting xml root element") 
     1341                logging.debug("Getting xml root element") 
    13251342                 
    13261343                self.originalXMLfileName = file          
     
    13371354                 
    13381355                #avoid ns0 and ns1 etc etc namespaces when rewriting this ET 
    1339                 logging.info("Sorting out namespaces so can properly rewrite ISO xml..") 
     1356                logging.debug("Sorting out namespaces so can properly rewrite ISO xml..") 
    13401357                for ns in self.isoNameSpaces().keys():           
    13411358                        if ns != 'None':                                                 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/Metadata_document_ingester.py

    r8026 r8038  
    9090                #set boolean depending on whether we want to change urls for ndg redirection service 
    9191                if redirectUrls == 'False': 
    92                         logging.info("This ingest will NOT change url's to use the NDG redirection service!") 
     92                        logging.debug("This ingest will NOT change url's to use the NDG redirection service!") 
    9393                        self.changeUrls = False 
    9494                else: 
    95                         logging.info("This ingest WILL change url's to use the NDG redirection service!") 
     95                        logging.debug("This ingest WILL change url's to use the NDG redirection service!") 
    9696                        self.changeUrls = True 
    9797                         
     
    207207                         
    208208                        commandline = "find " + self._harvest_home + " -type f -print | xargs -i cp \{\} " + self.originals_dir 
    209                         logging.info("Executing : " + commandline) 
     209                        logging.debug("Executing : " + commandline) 
    210210                        status = os.system(commandline) 
    211211                 
     
    220220                        #fileUtils.setUpDir(originals_dir) 
    221221                        commandline = "cp " + self.indFileToIngest + " " +  self.originals_dir 
    222                         logging.info("Executing : " + commandline) 
     222                        logging.debug("Executing : " + commandline) 
    223223                        status = os.system(commandline) 
    224224 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/NERC_DMS_0_7.py

    r7953 r8038  
    2323        ''' 
    2424        def ingestKeywordIdentifier(self): 
    25                 return "http://vocab.ndg.nerc.ac.uk/term/N010/1/NDGO0003" 
     25                 
     26                acceptableIDs = ["http://vocab.ndg.nerc.ac.uk/term/N010/1/NDGO0003","http://vocab.ndg.nerc.ac.uk/term/N010/current/NDGO0003"] 
     27                 
     28                return acceptableIDs 
    2629         
    2730         
     
    304307                                                                                                                        'depValXpath':'gmx:Anchor/@xlink:href', 
    305308                                                                                                                        'depVal':'http://vocab.ndg.nerc.ac.uk/term/N010/1/NDGO0003'}}, 
    306                                                                                         {4:{'xpath':'gmd:identificationInfo/srv:SV_ServiceIdentification/gmd:descriptiveKeywords/gmd:MD_Keywords/gmd:keyword/gco:CharacterString'}} 
     309                                                                                        {4:{'baseXpath':'gmd:identificationInfo/gmd:MD_DataIdentification/gmd:descriptiveKeywords/gmd:MD_Keywords/gmd:keyword', 
     310                                                                                                                        'elValXpath':'gmx:Anchor', 
     311                                                                                                                        'depValXpath':'gmx:Anchor/@xlink:href', 
     312                                                                                                                        'depVal':'http://vocab.ndg.nerc.ac.uk/term/N010/current/NDGO0003'}}, 
     313                                                                                        {5:{'xpath':'gmd:identificationInfo/srv:SV_ServiceIdentification/gmd:descriptiveKeywords/gmd:MD_Keywords/gmd:keyword/gco:CharacterString'}} 
    307314                                                                                 
    308315                                ) 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/PostgresDAO.py

    r8026 r8038  
    4848        @return: id of record, if it exists, '-1' if it doesn't 
    4949        ''' 
    50         logging.info("Looking up record, " + self._record.discovery_id + " in DB") 
     50        logging.debug("Looking up record, " + self._record.discovery_id + " in DB") 
    5151        if self._record.db_id is not None and self._record.db_id > 0: 
    5252            logging.info("Already looked up record - ID is " + str(self._record.db_id)) 
     
    5656            self._record.discovery_id + "';" 
    5757             
    58         logging.info("sql lookup cmd = " + sql) 
     58        logging.debug("sql lookup cmd = " + sql) 
    5959        dbId = self.pgc.runSQLCommand(sql) 
    6060        if dbId: 
     
    6868        @return: id of record, if it exists, '-1' if it doesn't 
    6969        ''' 
    70         logging.info("Looking up original_document_id for filename: " + self._record.filename + " in DB") 
     70        logging.debug("Looking up original_document_id for filename: " + self._record.filename + " in DB") 
    7171         
    7272        '''if self._record.db_id is not None and self._record.db_id > 0: 
     
    108108        ''' 
    109109         
    110         logging.info("Looking up temporal_data_id for filename: " + self._record.filename + " in DB") 
     110        logging.debug("Looking up temporal_data_id for filename: " + self._record.filename + " in DB") 
    111111         
    112112        sql = "SELECT discovery_id FROM ORIGINAL_DOCUMENT where original_document_filename = '" + self._record.filename + "';" 
     
    221221        reportMsg = '' 
    222222         
    223         logging.info("Updating " + columnName + " for record: " + original_document_filename) 
     223        logging.debug("Updating " + columnName + " for record: " + original_document_filename) 
    224224                                 
    225225        #get the matching dictionary of postgres datatypes defined in the iso model 
     
    230230        if (postgresDataType == 'tsvector') or (postgresDataType == 'text'): 
    231231                 
    232                 logging.info("Data type is text or tsvector!") 
     232                logging.debug("Data type is text or tsvector!") 
    233233                                 
    234234                #need to work out whether value passed here to be updated is a string or list 
     
    236236                         
    237237                        if len(columnValue[0]) == 0: 
    238                                 logging.info("No data to extract - no point continuing!") 
     238                                logging.debug("No data to extract - no point continuing!") 
    239239                                return False,reportMsg 
    240240                          
     
    260260                                 
    261261                else: 
    262                         logging.info("Value type for %s has already been converted to a simple string" %columnName ) 
     262                        logging.debug("Value type for %s has already been converted to a simple string" %columnName ) 
    263263           
    264264                        #remaining type to deal with is the value has already been converted to a simple string (i.e. authors, data centre name) 
     
    270270                 
    271271        elif postgresDataType == 'boolean': 
    272                 logging.info("Data type is Boolean!") 
     272                logging.debug("Data type is Boolean!") 
    273273                newColVal = columnValue 
    274274                         
    275275        else: 
    276                 logging.info("Data type not text or vector!") 
     276                logging.debug("Data type not text or vector!") 
    277277                 
    278278                if len(columnValue[0]) == 0: 
     
    327327        @return result: True if record updated, false if otherwise 
    328328        ''' 
    329         logging.info("Record already existing in DB - performing updates") 
     329        logging.debug("Record already existing in DB - performing updates") 
    330330        result = False 
    331331         
     
    419419        delete entries from there 
    420420        ''' 
    421         logging.info("Deleting existing spatial data for record") 
     421        logging.debug("Deleting existing spatial data for record") 
    422422         
    423423        try: 
     
    432432         
    433433         
    434         logging.info("Deleting existing temporal data for record") 
     434        logging.debug("Deleting existing temporal data for record") 
    435435         
    436436        try: 
     
    439439                self.pgc.runSQLCommand(sqlCmd) 
    440440                 
    441                 logging.info("temporal data for %s deleted ok" %self._record.db_id) 
     441                logging.debug("temporal data for %s deleted ok" %self._record.db_id) 
    442442             
    443443        except: 
    444444                logging.error("Could not delete temporal record %s" %self._record.db_id) 
    445445         
    446         logging.info("Spatio - temporal data deleted successfully") 
     446        logging.debug("Spatio - temporal data deleted successfully") 
    447447         
    448448 
     
    455455        @param timeRange: a TimeRange object representing a start/end date  
    456456        ''' 
    457         logging.info("Adding spatiotemporal row to DB") 
     457        logging.debug("Adding spatiotemporal row to DB") 
    458458         
    459459         
     
    466466                 
    467467        self.pgc.runSQLCommand(sqlCmd) 
    468         logging.info("Spatiotemporal row added successfully") 
     468        logging.debug("Spatiotemporal row added successfully") 
    469469         
    470470         
     
    478478         
    479479        ''' 
    480         logging.info("Adding spatiotemporal data to DB record") 
     480        logging.debug("Adding spatiotemporal data to DB record") 
    481481         
    482482        # Work out the relationship between the spatial and temporal data and handle appropriately 
     
    488488         
    489489        if (len(TimeRange) == 0) and (len(SpatialCoords) == 0): 
    490                 logging.info("No spatiotemporal data found for record - skipping") 
     490                logging.debug("No spatiotemporal data found for record - skipping") 
    491491                return 
    492492         
     
    495495        i = 0 
    496496        if len(TimeRange) == len(SpatialCoords): 
    497             logging.info("Spatial data is the same size as temporal data; assuming these map together one to one") 
     497            logging.debug("Spatial data is the same size as temporal data; assuming these map together one to one") 
    498498            for times in TimeRange: 
    499499                self._insertSpatioTemporalRow(SpatialCoords[i], times) 
     
    502502        # otherwise, map everything to everything 
    503503        else: 
    504             logging.info("Spatial and temporal data are of different sizes; map everything to everything") 
     504            logging.debug("Spatial and temporal data are of different sizes; map everything to everything") 
    505505            for times in TimeRange: 
    506506                for coords in SpatialCoords: 
     
    508508                    self._insertSpatioTemporalRow(coords, times) 
    509509                     
    510         logging.info("Spatiotemporal data added to DB record") 
     510        logging.debug("Spatiotemporal data added to DB record") 
    511511         
    512512         
     
    701701        ''' 
    702702         
    703         logging.info("Updating transformed documents for original document, %s, in Postgres DB", self._record.shortFilename) 
     703        logging.debug("Updating transformed documents for original document, %s, in Postgres DB", self._record.shortFilename) 
    704704        if self._record.db_id is None: 
    705             logging.info("No DB ID for the original record exists; cannot update associated transformed docs") 
     705            logging.warning("No DB ID for the original record exists; cannot update associated transformed docs") 
    706706            return 
    707707         
     
    711711        for docType in metadataDocs.keys(): 
    712712                 
    713                 logging.info("Updating metadata of type %s" %docType) 
     713                logging.debug("Updating metadata of type %s" %docType) 
    714714                 
    715715                sqlCmd = "UPDATE TRANSFORMED_DOCUMENT SET transformed_document = '" +  self._record.escapeSpecialCharacters(metadataDocs[docType]) + "', update_date = current_timestamp WHERE original_document_id = " + str(self._record.db_id) + " AND transformed_format = '" + docType + "';" 
     
    717717                self.pgc.runSQLCommand(sqlCmd) 
    718718     
    719         logging.info("Transformed records updated in DB") 
     719        logging.debug("Transformed records updated in DB") 
    720720 
    721721 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/PostgresRecord.py

    r8026 r8038  
    208208        the other types of doc used elsewhere 
    209209        ''' 
    210         logging.info("Running transforms for all document types") 
     210        logging.debug("Running transforms for all document types") 
    211211        for docType in self.documentTypes: 
    212212            self.getDocumentFormat(docType) 
    213213             
    214         logging.info("Transforms complete") 
     214        logging.debug("Transforms complete") 
    215215 
    216216 
     
    316316        ''' 
    317317         
    318         logging.info("Extracting author info") 
     318        logging.debug("Extracting author info") 
    319319         
    320320        #simple method to generate a space delimited list of authors from isoObject         
     
    336336        Extract parameters info from the ISO file (note here we mean ISO keywords, but conversion done in extractISo.py...) 
    337337        ''' 
    338         logging.info('Retrieving parameters info...') 
     338        logging.debug('Retrieving parameters info...') 
    339339         
    340340        self.params = self.isoDataModel.parameters_text 
     
    355355        Extract scope info from keywords in the input file 
    356356        ''' 
    357         logging.info('Retrieving scope info from moles file') 
     357        logging.debug('Retrieving scope info from moles file') 
    358358         
    359359        #TODO - put this in configuration file! 
     
    388388    def parseTemporalInfo(self,timeData): 
    389389         
    390         logging.info("Parsing Temporal information from original ISO object") 
     390        logging.debug("Parsing Temporal information from original ISO object") 
    391391         
    392392                 
     
    394394                                         
    395395        if len(timeData) == 0 or timeData == 'null': 
    396                         logging.info("No temporal coverage elements found - assuming no temporal data available") 
     396                        logging.warning("No temporal coverage elements found - assuming no temporal data available") 
    397397                        TimeRange.append({'start':'null','end':'null'}) 
    398398                        return TimeRange 
     
    413413                         
    414414                if (end is None or end == 'None') and (start is None or start == 'None'): 
    415                         logging.info("No temporal coverage elements found - assuming no temporal data available") 
     415                        logging.warning("No temporal coverage elements found - assuming no temporal data available") 
    416416                else: 
    417417                        TimeRange.append({'start':startDate,'end':endDate}) 
    418418                                                         
    419419                         
    420                 logging.info("Time range data found; start: " + startDate + " end: " + endDate) 
     420                logging.debug("Time range data found; start: " + startDate + " end: " + endDate) 
    421421                                 
    422422                return TimeRange 
     
    428428    def parseSpatialInfo(self,spatialData): 
    429429         
    430         logging.info("Parsing Spatial information from original ISO object") 
     430        logging.debug("Parsing Spatial information from original ISO object") 
    431431         
    432432        SpatialCoords = [] 
    433433        #if len(spatialData) == 0: 
    434434        if spatialData is None: 
    435                         logging.info("No spatial coverage elements found - assuming no spatial data available") 
     435                        logging.warning("No spatial coverage elements found - assuming no spatial data available") 
    436436                        SpatialCoords.append({'west':'null','east':'null','north':'null','south':'null'}) 
    437437                        return SpatialCoords 
     
    477477                                SpatialCoords.append({'west':west,'east':east,'north':north,'south':south}) 
    478478                                 
    479                                 logging.info("( " + str(cntr) + ") Spatial Coords found....") 
    480                                 logging.info("................ east: " + east) 
    481                                 logging.info("................ west: " + west) 
    482                                 logging.info("................ north: " + north) 
    483                                 logging.info("................ south: " + south) 
     479                                logging.debug("( " + str(cntr) + ") Spatial Coords found....") 
     480                                logging.debug("................ east: " + east) 
     481                                logging.debug("................ west: " + west) 
     482                                logging.debug("................ north: " + north) 
     483                                logging.debug("................ south: " + south) 
    484484                                cntr += 1 
    485485                                 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/Utilities.py

    r7725 r8038  
    536536        def __init__(self,inputList, unique): 
    537537                 
    538                 logging.info("ISO ingest utilities activated!") 
     538                logging.debug("ISO ingest utilities activated!") 
    539539                 
    540540                self.singleVal = self.getSingleVal(inputList) 
    541541                self.listVals = self.getMultipleVal(inputList, unique) 
    542542                 
    543                 logging.info("ISO list utilities object set up") 
     543                logging.debug("ISO list utilities object set up") 
    544544                 
    545545        def getSingleVal(self, inputList): 
     
    612612                        concatStr = ';' 
    613613                         
    614                 logging.info("Concatenating list using this character: %s" %concatStr) 
     614                logging.debug("Concatenating list using this character: %s" %concatStr) 
    615615                 
    616616                for str in inputList: 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r8001 r8038  
    171171                                                         
    172172                        if self.isoDataModel.createISOdataStructure() is True: 
    173                                 logging.info("ISO extractor worked fine!") 
     173                                logging.debug("ISO extractor worked fine!") 
    174174                         
    175175                         
     
    188188                #get the converted ISO into a local var 
    189189                try: 
    190                         logging.info("Extracting converted ISO file into variable for input into original format in transformed docs table")                     
     190                        logging.debug("Extracting converted ISO file into variable for input into original format in transformed docs table")                    
    191191                        #self.isoXML = file(filename).read() 
    192192                        #self.originalXMLdoc = self.isoXML 
    193193                         
    194194                        if not self.changeUrls: 
    195                                 logging.info("No NDG redirection required so using original XML as is..") 
     195                                logging.debug("No NDG redirection required so using original XML as is..") 
    196196                                self.isoXML = file(filename).read() 
    197197                                self.originalXMLdoc = self.isoXML 
     
    226226                                                                self._xqueryConversions,self._saxonJarFile, self._xqueryDocTypes, self.originalXMLdoc, self._currentMedinStandard, stubIso = self.isoXML, difXML = self.difXML, isoXML = self.isoXML)                    
    227227                                 
    228                                 #check whether NERC keyword is in the scope - if not- REJECT!                            
     228                                #check whether NERC keyword is in the scope - if not- REJECT! 
     229                                         
    229230                                if 'NERCUNDERSCOREDDC' not in record.getScopeInfo(): 
    230231                                        logging.error("No NERC keyword present") 
     
    280281                         
    281282                        if dao: 
    282                                 logging.info("Removing record and its associated info from DB") 
    283                                 logging.info("- to allow clean ingestion on rerun") 
     283                                logging.debug("Removing record and its associated info from DB") 
     284                                logging.debug("- to allow clean ingestion on rerun") 
    284285                                try: 
    285286                                        dao.deleteOriginalRecord() 
     
    476477                         
    477478                        self._datacentre_namespace = configDetails[0][3] 
    478                         logging.info("datacentre namespace: " + self._datacentre_namespace)              
     479                        logging.debug("datacentre namespace: " + self._datacentre_namespace)             
    479480                         
    480481                        if configDetails[0][1] == 'True': 
    481482                                self._NDG_dataProvider = True 
    482                                 logging.info("Datacentre classified as an NDG data provider") 
     483                                logging.debug("Datacentre classified as an NDG data provider") 
    483484                        else: 
    484                                 logging.info("Datacentre is not classified as an NDG data provider")             
     485                                logging.debug("Datacentre is not classified as an NDG data provider")            
    485486                                 
    486487                        if configDetails[0][4] == 'True': 
     
    523524                 
    524525                self._datacentre_config_filename = self._code_dir + 'datacentre_config/' + datacentre + "_config.properties" 
    525                 logging.info("Retrieving data from datacentre config file, " + self._datacentre_config_filename) 
     526                logging.debug("Retrieving data from datacentre config file, " + self._datacentre_config_filename) 
    526527                 
    527528                # Check this file exists; if not, assume an invalid datacentre has been specified 
     
    612613                self.originalsDiscoveryFilesMap = {} 
    613614                 
    614                 logging.info(self.lineSeparator) 
    615                 logging.info("Renaming files plop:") 
     615                logging.debug(self.lineSeparator) 
     616                logging.debug("Renaming files:") 
    616617                 
    617618                 
     
    690691                                                        #01/02/11: Put in a workaround for MEDIN - need original XML with ALL attributes.  Not doing a NDG redirect, so take original file if this is the case 
    691692                                                        if not self.changeUrls: 
    692                                                                 logging.info("No NDG redirection required so using original XML as is..") 
     693                                                                logging.debug("No NDG redirection required so using original XML as is..") 
    693694                                                                self.isoXML = file(original_filename).read() 
    694695                                                                self.originalXMLdoc = self.isoXML 
     
    746747                 
    747748                self.pgc = pgc(configFile = self._databaseConfigurationFile) 
    748                 logging.info("Postgres DB connection now set up") 
     749                logging.debug("Postgres DB connection now set up") 
    749750                 
    750751                 
     
    759760                 
    760761                self.pgc_IngestLog = pgc(configFile = self.ingestLoggingDatabaseConfigurationFile) 
    761                 logging.info("Postgres DB connection now set up") 
     762                logging.debug("Postgres DB connection now set up") 
    762763 
    763764 
     
    768769                the ingest dirs 
    769770                ''' 
    770                 logging.info("Backing up ingested data") 
     771                logging.debug("Backing up ingested data") 
    771772                this_backupdir = self.BACKUP_DIR + self.dataCentre + "_" + \ 
    772773                  strftime("%y%m%d_%H%M") + "_originals/" 
    773774                 
    774775                #FileUtilities.makeBackUp(self.originals_dir, this_backupdir) 
    775                 logging.info("Data backed up - now clearing ingest directories") 
     776                logging.debug("Data backed up - now clearing ingest directories") 
    776777                #Clear out the original harvest records area and discovery dir 
    777778                #FileUtilities.cleanDir(self.originals_dir) 
    778779                #FileUtilities.cleanDir(self.discovery_dir) 
    779                 logging.info("Ingest directories cleared") 
     780                logging.debug("Ingest directories cleared") 
    780781 
    781782 
     
    784785                Set up directories appropriate for the current data centre 
    785786                ''' 
    786                 logging.info("Setting up ingest directories for data centre, '%s'" %self.dataCentre) 
     787                logging.debug("Setting up ingest directories for data centre, '%s'" %self.dataCentre) 
    787788                 
    788789                 
     
    799800                FileUtilities.setUpDir(self.ingestReport_dir) 
    800801                 
    801                 logging.info("Ingest directories for data centre set up") 
     802                logging.debug("Ingest directories for data centre set up") 
    802803 
    803804 
Note: See TracChangeset for help on using the changeset viewer.