Changeset 7362 for TI01-discovery-Ingest


Ignore:
Timestamp:
25/08/10 15:10:26 (9 years ago)
Author:
sdonegan
Message:

debug problem file reporting and adjusted data types in reporting

Location:
TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/Metadata_document_ingester.py

    r7300 r7362  
    9696                                         
    9797                        #get actual datacentre name for processID from dpws db 
    98                         sqlCmdProvID = 'select get_provider_id(%s);' %self.ingestProcessID                       
    99                         dpwsProvID = self.pgc_IngestLog.runSQLCommand(sqlCmdProvID)[0][0] 
    100                          
     98                         
     99                        sqlCmdProvID = 'select get_provider_id(%s);' %self.ingestProcessID               
     100                        try:     
     101                                dpwsProvID = self.pgc_IngestLog.runSQLCommand(sqlCmdProvID)[0][0] 
     102                        except: 
     103                                logging.error("Could not extract provider ID from DPWS db!!") 
     104                                sys.exit(2) 
     105                                                         
    101106                        #get provider id 
    102107                        sqlCmdProvName = 'select get_provider_name(%s);' %dpwsProvID 
  • TI01-discovery-Ingest/trunk/v4.3.0/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r7300 r7362  
    789789                self.updateFailList = [] 
    790790                self.deletedFailList = [] 
    791                 self.problemMessageList = {}                     
    792                  
     791                self.problemMessageList = {}     
     792                 
     793                counter = 1 
     794                                 
    793795                for filename in filenames: 
    794796                         
    795797                        fullPath = self.discovery_dir + filename 
     798                         
     799                        #if process id has been supplied, then update the logging db with a "start_ingest" 
     800                        #sqlStatusCmd = "select update_ingest_status (%s, 'run_ingest %s/%s');" %(self.ingestProcessID,counter,numfilesproc) 
     801                        #sqlStatusCmd = "select update_ingest_status (%s, 'run_ingest');" %self.ingestProcessID 
     802                        #self.pgc_IngestLog.runSQLCommand(sqlStatusCmd) 
    796803                         
    797804                        if os.path.isfile(fullPath): 
     
    810817                                if (thisIngestedID != "") and (len(filesPresentList) != 0): 
    811818                                        if thisIngestedID in filesPresentList:   
    812                                                 filesPresentList.remove(thisIngestedID)                  
     819                                                filesPresentList.remove(thisIngestedID) 
     820                         
     821                        counter += 1     
    813822                                 
    814823                #test loop through remaining items in filePresentList - in order to synchronise with ingest directory - these 
     
    866875                        logging.info("Updating ingest logging database") 
    867876                                                 
    868                         sqlLoggingCmd = "select add_ingest_stats('%s','%s','%s','%s','%s','%s','%s','%s','%s');"%(self.ingestProcessID,self.thisIngestDate,numfilesproc+badXmlFiles,numfilesproc,badXmlFiles,self._no_files_ingested,self._no_files_changed,self._no_files_deleted,self._no_problem_files) 
     877                        sqlLoggingCmd = "select add_ingest_stats(%s,'%s','%s','%s','%s','%s','%s','%s','%s');"%(self.ingestProcessID,self.thisIngestDate,numfilesproc+badXmlFiles,numfilesproc,badXmlFiles,self._no_files_ingested,self._no_files_changed,self._no_files_deleted,self._no_problem_files) 
    869878                                         
    870879                        #update ingestLogging                    
     
    879888                                         
    880889                                        for badFile in self.updateFailList: 
    881                                                 sqlProbFileCmd = "select add_problem_file('%s','%s','%s');"%(self.ingestProcessID,badFile,'Could not catch precise error for this file!!') 
     890                                                sqlProbFileCmd = "select add_problem_file(%s,'%s','%s');"%(self.ingestProcessID,badFile,'Could not catch precise error for this file!!') 
     891                                 
     892                                                #update ingestLogging                    
     893                                                self.pgc_IngestLog.runSQLCommand(sqlProbFileCmd) 
    882894                                 
    883895                                else: 
    884896                                        for badFile in self.problemMessageList.keys():                                   
    885                                                 sqlProbFileCmd = "select add_problem_file('%s','%s','%s');"%(self.ingestProcessID,badFile,self.problemMessageList[badFile]) 
    886                                                                          
    887                                 #update ingestLogging                    
    888                                 self.pgc_IngestLog.runSQLCommand(sqlProbFileCmd) 
     897                                                sqlProbFileCmd = "select add_problem_file(%s,'%s','%s');"%(self.ingestProcessID,badFile,self.problemMessageList[badFile]) 
     898                                                         
     899                                                #update ingestLogging                    
     900                                                self.pgc_IngestLog.runSQLCommand(sqlProbFileCmd)                 
     901                                 
    889902                                         
    890903                        #if process id has been supplied, then update the logging db with a "start_ingest" (only for DPWS ops) 
Note: See TracChangeset for help on using the changeset viewer.