Changeset 134


Ignore:
Timestamp:
13/03/14 17:15:09 (5 years ago)
Author:
astephen
Message:

modified summary.py and c4.py for better treatment of exceptions ns CMDSErrors

Location:
CCCC/trunk
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • CCCC/trunk/README.txt

    r93 r134  
    1212  --ld <log file directory>  ## directory to take log files; 
    1313  -R <record file name> ## file name for file to take one record per file checked; 
     14  --cae                 ## "catch all errors": will trap exceptions and record 
     15                             in  log files, and then continue. Default is to 
     16                            stop after unrecognised exceptions. 
    1417 
    1518OUTPUT 
  • CCCC/trunk/c4.py

    r118 r134  
    265265 
    266266    if not ncRed: 
     267      print fpath 
    267268      self.ncReader.loadNc( fpath ) 
    268269    self.ga = self.ncReader.ga 
     
    317318    # Set default project to "CORDEX" 
    318319    self.project = "CORDEX" 
     320    self.holdExceptions = False 
    319321 
    320322    while len(args) > 0: 
     
    338340      elif next == '--ld': 
    339341        self.logDir = args.pop(0) 
     342      elif next in ['--catchAllExceptions','--cae']: 
     343        self.holdExceptions = True 
    340344      elif next == '--aMap': 
    341345        self.attributeMappingFile = args.pop(0) 
     
    423427class main: 
    424428 
    425   def __init__(self,args=None,holdExceptions=False,abortMessageCount=-1,printInfo=False,monitorFileHandles = False): 
     429  def __init__(self,args=None,abortMessageCount=-1,printInfo=False,monitorFileHandles = False): 
    426430    logDict = {} 
    427431    ecount = 0 
     
    449453      print cbv.info 
    450454 
     455    fileLogOpen = False 
    451456    for f in c4i.flist: 
    452457      if monitorFileHandles: 
     
    460465          logDict[fn] = c4i.fileLogFile 
    461466          c4i.logger.info( 'Log file: %s' % c4i.fileLogFile ) 
     467          fileLogOpen = True 
    462468        else: 
    463469          fLogger = c4i.logger 
     
    483489            fLogger.info( 'Done -- checks not completed' ) 
    484490          c4i.closeFileLog( ) 
     491          fileLogOpen = False 
    485492 
    486493        if cc.completed: 
     
    497504      except: 
    498505        c4i.logger.error("Exception has occured" ,exc_info=1) 
     506        if fileLogOpen: 
     507          fLogger.error("Exception has occured" ,exc_info=1) 
     508          c4i.closeFileLog( ) 
     509          fileLogOpen = False 
    499510        rec.addErr( f, 'ERROR: Exception' ) 
    500         if not holdExceptions: 
     511        if not c4i.holdExceptions: 
    501512          raise 
    502513      if monitorFileHandles: 
  • CCCC/trunk/summary.py

    r130 r134  
    44idir = sys.argv[1] 
    55 
    6 fl = glob.glob( '%s/*.txt' % idir ) 
     6fl = glob.glob( '%s/*__qclog_*.txt' % idir ) 
    77 
    88ee = {} 
     
    1010  for l in open(f).readlines(): 
    1111    fn = string.split(f,'/')[-1] 
    12     if string.find(l, 'FAILED') != -1: 
     12    if string.find(l, 'FAILED') != -1 or string.find(l,'CDMSError:') != -1: 
     13      if string.find(l, 'FAILED') != -1: 
     14         kb1 = 3 
     15      else: 
     16         kb1 = 1 
    1317      bits = string.split(l, ':' ) 
    14       if len(bits) > 3: 
     18      if len(bits) > kb1: 
    1519        code = bits[0] 
    16         msg = string.strip( string.join(bits[3:], ':' ) ) 
     20        msg = string.strip( string.join(bits[kb1:], ':' ) ) 
    1721        if code not in ee.keys(): 
    1822          ee[code] = [0,{msg:[0,[]]}] 
Note: See TracChangeset for help on using the changeset viewer.