Changeset 779 for CMIP6dreqbuild


Ignore:
Timestamp:
14/10/16 16:42:24 (3 years ago)
Author:
mjuckes
Message:

save

Location:
CMIP6dreqbuild/trunk
Files:
2 added
6 edited

Legend:

Unmodified
Added
Removed
  • CMIP6dreqbuild/trunk/src/framework/Makefile

    r770 r779  
    6565        cp htmlTemplates.py dreqPy/scope.py dreqPy/scope_utils.py dreqPy/utilities.py dreqPy/utilP3.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy      
    6666        cp dreqPy/utilP2/*.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/utilP2/ 
    67         cp dreqPy/dreqCmdl.py dreqPy/makeTables.py dreqPy/vrev.py dreqPy/__init__.py dreqPy/simpleCheck.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy 
     67        cp dreqPy/dreqCmdl.py dreqPy/makeTables.py dreqPy/vrev.py dreqPy/fgrid.py dreqPy/overviewTabs.py dreqPy/volsum.py dreqPy/__init__.py dreqPy/simpleCheck.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy 
    6868        cp dreqPy/misc_utils.py dreqPy/rvgExtraTable.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy 
    6969        cp vocabDemo.py /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy     
     
    7676        cp out/supplement_20150731.xml /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/docs/dreqSupp.xml 
    7777        cp out/dreqManifest_dist.txt /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/docs/dreqManifest.txt 
    78         cp out/md5Manifest.txt /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/docs/ 
     78        cp out/md5Manifest.txt out/sfheadings.csv /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/docs/ 
    7979        cp -r dreqPy/examples /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/ 
    8080        cp out/BlockSchema.csv /data/tmp/svn3/exarch/CMIP6dreq/trunk/dreqPy/docs/ 
  • CMIP6dreqbuild/trunk/src/framework/dreqPy/fgrid.py

    r773 r779  
    4848 
    4949  if len(i4) > 0: 
    50     print 'SEVERE.cmvgrid.00001: unidentified grids for %s variables' % len(i4) 
     50    print ( 'SEVERE.cmvgrid.00001: unidentified grids for %s variables' % len(i4) ) 
    5151    for i in i4: 
    52       print i.label, i.title, i.prov 
     52      print ( '%s: %s   %s' % (i.label, i.title, i.prov)) 
    5353 
    5454  return ee,i4 
  • CMIP6dreqbuild/trunk/src/framework/dreqPy/makeTables.py

    r770 r779  
    11 
    2 import collections, string, os, sys 
     2import collections, os, sys 
    33import volsum 
    44 
     
    5151          mlab = list(m)[0] 
    5252        else: 
    53           mlab=string.join( [ x[:2].lower() for x in m ], '.' ) 
     53          mlab='.'.join( [ x[:2].lower() for x in m ] ) 
    5454      return mlab 
    5555 
     
    102102 
    103103    if self.txt: 
    104       self.oo.write( string.join( ['Notes','','Notes on tables'], '\t') + '\n' ) 
     104      self.oo.write( '\t'.join( ['Notes','','Notes on tables']) + '\n' ) 
    105105      for t in tableNotes: 
    106         self.oo.write( string.join( ['Notes',] + list(t), '\t') + '\n' ) 
     106        self.oo.write( '\t'.join( ['Notes',] + list(t)) + '\n' ) 
    107107 
    108108      if collected != None: 
    109         self.oo.write( string.join( ['Notes','Table','Reference Volume (1 deg. atmosphere, 0.5 deg. ocean)'], '\t') + '\n') 
     109        self.oo.write( '\t'.join( ['Notes','Table','Reference Volume (1 deg. atmosphere, 0.5 deg. ocean)']) + '\n') 
    110110        for k in sorted( collected.keys() ): 
    111           self.oo.write( string.join( ['Notes',k,vfmt( collected[k]*2. )], '\t') + '\n' ) 
     111          self.oo.write( '\t'.join( ['Notes',k,vfmt( collected[k]*2. )]) + '\n' ) 
    112112 
    113113  def cmvtabrec(self,j,t,orec): 
     
    117117 
    118118     if self.txt: 
    119         self.oo.write( string.join( [t,] + orec, '\t') + '\n' ) 
     119        self.oo.write( '\t'.join( [t,] + orec) + '\n' ) 
    120120 
    121121  def varrec(self,j,orec): 
     
    125125 
    126126     if self.txt: 
    127         self.oo.write( string.join( orec, '\t') + '\n' ) 
     127        self.oo.write( '\t'.join( orec, '\t') + '\n' ) 
    128128 
    129129  def var(self): 
     
    355355                 if ii._h.label == 'remarks': 
    356356                   ml.append( ['var','struct','time','spatial'][i] ) 
    357               print ( 'makeTables: skipping %s %s: %s' % (t,v.label,string.join( ml, ',')) ) 
     357              print ( 'makeTables: skipping %s %s: %s' % (t,v.label,','.join( ml)) ) 
    358358              skipped.add( (t,v.label) ) 
    359359          else: 
    360360            dims = [] 
    361             dims += string.split( sshp.dimensions, '|' ) 
    362             dims += string.split( tshp.dimensions, '|' ) 
    363             dims += string.split( strc.odims, '|' ) 
    364             dims += string.split( strc.coords, '|' ) 
    365             dims = string.join( dims ) 
     361            dims +=  sshp.dimensions.split( '|' ) 
     362            dims +=  tshp.dimensions.split( '|' ) 
     363            dims +=  strc.odims.split( '|' ) 
     364            dims +=  strc.coords.split( '|' ) 
     365            dims = ' '.join( dims ) 
    366366            if mode == 'c': 
    367367              orec = [str(v.defaultPriority),cv.title, cv.units, cv.description, v.description, cv.label, cv.sn, strc.cell_methods, v.positive, v.type, dims, v.label, v.modeling_realm, v.frequency, strc.cell_measures, v.prov,v.provNote,str(v.rowIndex),v.uid,v.vid,v.stid,strc.title] 
     
    371371              thismips = c.chkCmv( v.uid ) 
    372372              thismips2 = c.chkCmv( v.uid, byExpt=True ) 
    373               orec.append( string.join( sorted( list( thismips) ),',') ) 
    374               orec.append( string.join( sorted( list( thismips2) ),',') ) 
     373              orec.append( ','.join( sorted( list( thismips) ) ) ) 
     374              orec.append( ','.join( sorted( list( thismips2) ) ) ) 
    375375 
    376376            if withoo: 
    377               oo.write( string.join(orec, '\t' ) + '\n' ) 
     377              oo.write( '\t'.join(orec ) + '\n' ) 
    378378            j+=1 
    379379            wb.cmvtabrec( j,t,orec ) 
     
    445445      bdy.append( '</ul></body></html>\n' ) 
    446446      oo = open( '%s/%s.html' % (self.odir,v.label), 'w' ) 
    447       oo.write( dq.pageTmpl % ( title, '', '../', '../index.html', string.join( bdy, '\n' ) ) ) 
     447      oo.write( dq.pageTmpl % ( title, '', '../', '../index.html', '\n'.join( bdy ) ) ) 
    448448      oo.close() 
    449449      self.anno[v.label] = '<a href="../t/%s.html">Usage</a>' % v.label 
     
    467467        for k in ['sn','ln','u','var','d']: 
    468468     
    469           if string.find( d[k], '"' ) != -1: 
     469          if  d[k].fin( '"' ) != -1: 
    470470            print ( "WARNING ... quote in %s .. %s [%s]" % (k,var,d[k]) ) 
    471             d[k] = string.replace( d[k], '"', "'" ) 
     471            d[k] =  d[k].replace( '"', "'" ) 
    472472            print ( d[k] ) 
    473473         
     
    631631      ks = sorted( list( cc0.keys() ) ) 
    632632      if self.verbose: 
    633         print ('Experiment summary: %s %s' % (mlab,string.join( ['%s: %s' % (k,len(cc0[k])) for k in ks], ', ' ) ) ) 
     633        print ('Experiment summary: %s %s' % (mlab,', '.join( ['%s: %s' % (k,len(cc0[k])) for k in ks] ) ) ) 
    634634 
    635635      if m2 in [None, 'TOTAL']: 
  • CMIP6dreqbuild/trunk/src/framework/dreqPy/overviewTabs.py

    r770 r779  
    238238            if m2 == 'TOTAL': 
    239239              sm = string.join( ['%s: %s' % (k,vfmt(cct[k]*2.)) for k in sorted( cct ) ], '; ' ) 
    240               print m,cct 
     240              print ( '%s, %s' % (m,cct) ) 
    241241              s1 = '<b><span title="%s">%s</span></b>' % (sm,s) 
    242242              s = '<b>%s</b>' % s 
  • CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py

    r774 r779  
    2323import sys, os 
    2424 
    25 odsz = {'tau':7, 'scatratio':15, 'effectRadLi|tau':(28,'query pending'), 'vegtype':(8,'free'), 'sza5':5, 'site':(119,'73 for aquaplanet .. '), 'iceband':(5,'free'), 'dbze':15, 'spectband':(10,'free'), 'misrBands':(7,'query pending'), 'effectRadIc|tau':(28,'query pending')} 
     25odsz = {'landUse':(5,'free'), 'tau':7, 'scatratio':15, 'effectRadLi|tau':(28,'query pending'), 'vegtype':(8,'free'), 'sza5':5, 'site':(119,'73 for aquaplanet .. '), 'iceband':(5,'free'), 'dbze':15, 'spectband':(10,'free'), 'misrBands':(7,'query pending'), 'effectRadIc|tau':(28,'query pending')} 
    2626 
    2727python2 = True 
     
    231231           sf = odsz[i.odims] 
    232232        else: 
    233            print 'SEVERE.odims.00001: no information on dimension size: %s' % i.odims 
     233           ## print 'SEVERE.odims.00001: no information on dimension size: %s' % i.odims 
    234234           sf = 5 
    235235        if type( sf ) == type( () ): 
     
    439439    for rl in rqll: 
    440440      if 'requestItem' not in self.dq.inx.iref_by_sect[rl.uid].a: 
    441         print 'WARN.001.00001: no request items for: ',rl.uid, rl.title 
     441        print ( 'WARN.001.00001: no request items for: %s, %s' % (rl.uid, rl.title) ) 
    442442      else: 
    443443 
     
    451451            grd = 'native' 
    452452          else: 
    453             print 'INFO.grd.00001: defaulting to grid ..',rl.label,rl.title, rl.uid 
     453            ## print ( 'INFO.grd.00001: defaulting to grid ..%s, %s, %s' % (rl.label,rl.title, rl.uid) ) 
    454454            grd = 'DEF' 
    455455 
     
    909909    ss = set() 
    910910    for pr in ee: 
    911       if pr != -1: 
    912         print 'INFO.preset.00101: ',pr,len(ee[pr]) 
    913911### loop over request  var groups. 
    914912      for i in ee[pr]: 
     
    946944                          cc[(i1.vid,e,grd)].add( expys[i.uid][gf][e,grd] ) 
    947945              else: 
    948                 print 'SKIPPING %s: %s' % (i1.label,i1.vid) 
     946                print ( 'SKIPPING %s: %s' % (i1.label,i1.vid) ) 
    949947                ss.add( i1.vid ) 
    950948    if includeYears: 
     
    959957        for v,e in l2x: 
    960958          if len( l2x[(v,e)].keys() ) == 1: 
    961              g,val = l2x[(v,e)].items()[0] 
     959             g,val = list( l2x[(v,e)].items() )[0] 
    962960          else: 
    963961            if 'native' in l2x[(v,e)].keys(): 
     
    11171115              net += ne 
    11181116              if len(eset) != ne: 
    1119                 print 'WARNING: inconsistency in volume estimate ... possible duplication for %s,%s' % (cmvi,f) 
     1117                print ( 'WARNING: inconsistency in volume estimate ... possible duplication for %s,%s' % (cmvi,f) ) 
    11201118              for e in eset: 
    11211119                elab = self.dq.inx.uid[e].label 
     
    11701168           sf = self.odsz[o] 
    11711169        else: 
    1172            print 'SEVERE.odims.00006: no information on dimension size: %s' % o 
     1170           # print ( 'SEVERE.odims.00006: no information on dimension size: %s' % o ) 
    11731171           sf = 5 
    11741172 
     
    11831181            szg = self.szss[s] 
    11841182        except: 
    1185           print 'Failed to get size for: ',g,g1,s 
     1183          print ( 'Failed to get size for: %s, %s, %s' % (g,g1,s ) ) 
    11861184          raise 
    11871185 
     
    15121510    if 'grdpol' in self.adict: 
    15131511      self.sc.gridPolicyDefaultNative = self.adict['grdpol'] == 'native' 
    1514       print 'SETTING grid policy: ', self.sc.gridPolicyDefaultNative 
     1512      print ( 'SETTING grid policy: %s' % self.sc.gridPolicyDefaultNative ) 
    15151513    if 'allgrd' in self.adict: 
    15161514      self.sc.gridPolicyTopOnly = False 
    1517       print 'SETTING grid policy for multiple preferred grids: ', self.sc.gridPolicyTopOnly 
     1515      print ( 'SETTING grid policy for multiple preferred grids: %s' % self.sc.gridPolicyTopOnly ) 
    15181516    if 'unique' in self.adict: 
    15191517      self.sc.uniqueRequest = True 
  • CMIP6dreqbuild/trunk/src/framework/dreqPy/volsum.py

    r774 r779  
    7676        self.run( m, '%s/requestVol_%s_%s_%s' % (self.odir,m,self.sc.tierMax,pmax), pmax=pmax ) 
    7777 
    78         self.anal(olab=m,doUnique=True) 
     78        self.anal(olab=m,doUnique=True, makeTabs=True) 
    7979        ttl = sum( [x for k,x in self.res['vu'].items()] )*2.*1.e-12 
    8080        print ( '%s volume: %8.2fTb' % (m,ttl) ) 
     
    121121    return lex, vet, vf, vu, mvol 
    122122 
    123   def anal(self,olab=None,doUnique=False): 
     123  def anal(self,olab=None,doUnique=False,makeTabs=False): 
    124124    vmt = collections.defaultdict( int ) 
    125125    vm = collections.defaultdict( int ) 
     
    143143      sp = self.sc.dq.inx.uid[k[0]] 
    144144      if k not in self.mvol: 
    145         print '%s missing from mvol: ' % str(k) 
     145        print ( '%s missing from mvol: ' % str(k) ) 
    146146      else: 
    147147        if checkMvol > 1: 
     
    149149            la = self.sc.dq.inx.uid[u].label 
    150150            if self.mvol[k][u] != mvol[k][u]: 
    151               print 'MISMATCH IN %s (%s): %s:: %s,%s' % (str(k),sp.label,la,mvol[k][u],self.mvol[k][u]) 
     151              print ( 'MISMATCH IN %s (%s): %s:: %s,%s' % (str(k),sp.label,la,mvol[k][u],self.mvol[k][u]) ) 
    152152           
    153153    for e in lex: 
     
    177177          cct[t] += cc[m][t] 
    178178        ss = ss.union( lm[m] ) 
    179         makeTables.makeTab(self.sc.dq, subset=lm[m], dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,m,self.sc.tierMax,self.pmax,self.efnsfx), collected=cc[m]) 
    180  
    181     if olab != None: 
    182       makeTables.makeTab(self.sc.dq, subset=ss, dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,'TOTAL',self.sc.tierMax,self.pmax,self.efnsfx), collected=cct) 
    183       if olab != 'TOTAL' and doUnique: 
    184         makeTables.makeTab(self.sc.dq, subset=s_lm, dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,'Unique',self.sc.tierMax,self.pmax,self.efnsfx), collected=s_cc) 
     179        if makeTabs: 
     180          makeTables.makeTab(self.sc.dq, subset=lm[m], dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,m,self.sc.tierMax,self.pmax,self.efnsfx), collected=cc[m]) 
     181 
     182    if olab != None and makeTabs: 
     183        makeTables.makeTab(self.sc.dq, subset=ss, dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,'TOTAL',self.sc.tierMax,self.pmax,self.efnsfx), collected=cct) 
     184        if olab != 'TOTAL' and doUnique: 
     185          makeTables.makeTab(self.sc.dq, subset=s_lm, dest='%s/cmvmm_%s_%s_%s_%s%s' % (self.odir,olab,'Unique',self.sc.tierMax,self.pmax,self.efnsfx), collected=s_cc) 
    185186 
    186187    cc = collections.defaultdict( dict ) 
     
    190191      cc[e][t] = vet[(e,t) ] 
    191192    for e in sorted( ve.keys() ): 
    192       if olab != None: 
     193      if olab != None and makeTabs: 
    193194        el = self.sc.dq.inx.uid[e].label 
    194195        makeTables.makeTab(self.sc.dq, subset=lex[e], dest='%s/cmvme_%s_%s_%s_%s%s' % (self.odir,olab,el,self.sc.tierMax,self.pmax,self.efnsfx), collected=cc[e]) 
     
    198199        ucc[e][t] = s_vet[(e,t) ] 
    199200      for e in sorted( uve.keys() ): 
    200         if olab != None: 
     201        if olab != None and makeTabs: 
    201202          el = self.sc.dq.inx.uid[e].label 
    202203          makeTables.makeTab(self.sc.dq, subset=s_lex[e], dest='%s/cmvume_%s_%s_%s_%s%s' % (self.odir,olab,el,self.sc.tierMax,self.pmax,self.efnsfx), collected=ucc[e]) 
     
    207208      cc8[t] += vet[(e,t)] 
    208209    for f in sorted( vf.keys() ): 
    209       print 'Frequency: %s: %s' % (f,vf[f]*2.*1.e-12 ) 
     210      print ( 'Frequency: %s: %s' % (f,vf[f]*2.*1.e-12 ) ) 
    210211         
    211212  def csvFreqStrSummary(self,mip,pmax=1): 
     
    279280    self.sht.set_column(2,2,4) 
    280281    self.sht.set_column(3,3,15) 
    281     for k in range( (len(oh)-3)/4 ): 
     282    for k in range( int( (len(oh)-3)/4 ) ): 
    282283      self.sht.set_column((k+1)*4,(k+1)*4,4) 
    283284      self.sht.set_column((k+1)*4+1,(k+1)*4+1,8) 
Note: See TracChangeset for help on using the changeset viewer.