Changeset 624 for CMIP6dreqbuild


Ignore:
Timestamp:
01/04/16 08:08:38 (4 years ago)
Author:
mjuckes
Message:

update inputs

Location:
CMIP6dreqbuild/trunk
Files:
16 added
21 edited

Legend:

Unmodified
Added
Removed
  • CMIP6dreqbuild/trunk/inputs/cfg2.txt

    r371 r624  
    22CMIP6-AerChemMIP_Experiments_20150407.xls 
    33CMIP6DataRequestCompilationTemplate_20141218-AerChemMIP20150408.xls 
    4 ++ CMIP6DataRequestCompilation_AerChemMIP20150428_mnj.xls 
     4CMIP6DataRequestCompilation_AerChemMIP20150428_mnj.xls 
     5++ CMIP6DataRequestCompilationTemplate_20141218-AerChemMIP20150610.xls 
    56xx AerChemMIP_CMIP6_tables.xls 
    67 
     
    910C4MIP_newVariables_checked.xls 
    1011## OK 
    11 -- C4MIP_standard_output_CMIP5spreadsheet.xls 
     12C4MIP_standard_output_CMIP5spreadsheet.xls 
     13-- C4MIP_standard_output_CMIP5spreadsheet_31March2015.xls 
    1214CMIP6DataRequestCompilationTemplate_C4MIP_06March2015_submitted.xls 
    1315++ CMIP6DataRequestCompilationTemplate_C4MIP_31March2015_mnj.xls 
     
    1820-- CFMIP_standard_output.xls 
    1921CMIP6DataRequestCompilationCFMIP_20150331_mnj.xls 
    20 ++ CMIP6DataRequestCompilationCFMIP_20150514_mnj.xls 
     22CMIP6DataRequestCompilationCFMIP_20150514_mnj.xls 
     23++ CMIP6DataRequestCompilationCFMIP_20151014.xls 
     24## CMIP6DataRequestCompilationCFMIP_20160226-sent-1.xls 
    2125 
    2226./CORDEX: 
    23 ++ CMIP6DataRequestComplilationTemplate_CORDEX.xls 
     27CMIP6DataRequestComplilationTemplate_CORDEX.xls 
     28++ CMIP6DataRequestComplilationTemplate_CORDEX_MNJ.xls 
    2429 
    2530./DAMIP: 
     
    2833DAMIP_CMIP6DataRequestCompilationTemplate_2April2015.xls 
    2934## DAMIP_CMIP6DataRequestCompilationTemplate_11June2015.xls 
    30 ++ DAMIP_CMIP6DataRequestCompilationTemplate_11June2015_mnj.xls 
     35## DAMIP_CMIP6DataRequestCompilationTemplate_11June2015_mnj.xls 
     36++ DAMIP_CMIP6DataRequestCompilationTemplate_3Feb2016-resubmitted.xls 
    3137 
    3238./DynVar: 
    3339# CMIP6DataRequestCompilationTemplate_20141218_DynVar_v07.xls 
    34 ++ 01_CMIP6DataRequestCompilationTemplate_DynVar_mnj.xls 
     40## 01_CMIP6DataRequestCompilationTemplate_DynVar_mnj.xls 
     41++ CMIP6DataRequestCompilationTemplate_20141218_DynVar_revised-150731_mnj.xls 
    3542 
    3643./FAFMIP: 
    3744em.txt 
    38 ++ FAFMIP_CMIP6dataRequest.xls 
     45FAFMIP_CMIP6dataRequest_mnj.xls 
     46FAFMIP_CMIP6dataRequest_mnj_nov.xls 
     47FAFMIP_CMIP6dataRequest_jan2016.xls 
     48++ FAFMIP_CMIP6dataRequest_mar.xls 
    3949FAFMIP_CMIP6dataRequest_mnj.xls 
    4050FAFMIP_CMIP6dataRequest.xls 
     
    5464./GeoMIP: 
    5565#CMIP6DataRequestCompilationTemplate_GeoMIP_v1.xls 
    56 ++ CMIP6DataRequestCompilationTemplate_GeoMIP_v3.xls 
     66## CMIP6DataRequestCompilationTemplate_GeoMIP_mnj.xls 
     67++ CMIP6DataRequestCompilationTemplate_GeoMIP_revised20160111_mnj.xls 
    5768#CMIP6DataRequestCompilationTemplate_GeoMIP.xls 
    5869 
    5970./GMMIP: 
    60 ++ CMIP6DataRequestCompilationTemplate_20141218-GMMIP-20150330.xls 
     71++ CMIP6DataRequestCompilationTemplate_20141218-GMMIP-20150330_mnj.xls 
    6172 
    6273./HighResMIP: 
     
    6475CMIP6DataRequestCompilation_HighResMIP.xls 
    6576CMIP6DataRequestCompilation_HighResMIP_final_mnj.xls 
    66 ++ CMIP6DataRequestCompilation_HighResMIP_v1.1_mnj.xls 
     77CMIP6DataRequestCompilation_HighResMIP_v1.1_mnj.xls 
     78++ CMIP6DataRequestCompilation_HighResMIP_v1.2_mjr.xls 
    6779## updated with editorial comments in Y,Z 
    6880-- standard_output-HighResMIP_list_June.xls 
     
    8092LS3MIP.CMIP6DataRequestCompilationTemplate_20141218.rev02@20150228.HJKIM.xls 
    8193LS3MIP.CMIP6DataRequestCompilationTemplate_20141218.rev06@20150331_MNJ.HJKIM.xls 
    82 ++ LS3MIP.CMIP6DataRequestCompilationTemplate_20141218.rev07@20150331.HJKIM.xls 
     94LS3MIP.CMIP6DataRequestCompilationTemplate_20141218.rev07@20150331.HJKIM.xls 
     95++ LS3MIP.CMIP6DataRequestCompilationTemplate_20141218.rev07@20150331.HJKIM_mnj.xls 
    8396## OK 
    8497-- LS3MIP_standard_output.xls 
    8598 
    8699./PMIP: 
    87 ++ CMIP6DataRequestCompilationTemplate_20141218_PMIP_v150228_final.xls 
    88 em.txt 
     100++ CMIP6DataRequestCompilationTemplate_20141218_PMIP_v151023.xls 
    89101#PMIP_standard_name_requirements.ods 
    90102## OK 
     
    109121CMIP6_SIMIP_Variables_Final_Feb1.xlsx 
    110122CMIP6DataRequestCompilationTemplate_SIMIP.xls 
    111 ++ CMIP6_SIMIP_Variables_Proposal2.xls 
     123## CMIP6_SIMIP_Variables_Proposal2.xls 
     124-- CMIP6DataRequestCompilationTemplate_SIMIP_mnj.xls 
     125## CMIP6DataRequestCompilationTemplate_SIMIP_mnj_DN_2Nov-1.xls 
     126CMIP6DataRequestCompilationTemplate_SIMIP_mnj_DN_12Feb.xls 
     127++ CMIP6DataRequestCompilationTemplate_SIMIP_mnj_DN_26Feb.xls 
    112128 
    113129./VolMIP: 
    114130CMIP6dataRequest_phase1_VolMIP_submitted.xls 
    115131VolMIP_CMIP6-EndorsedMIP_application_revised_submitted.doc 
    116 ++ CMIP6dataRequest_VolMIP_revised.xls 
    117  
     132## CMIP6dataRequest_VolMIP_revised.xls 
     133## CMIP6dataRequest_VolMIP_revised_mnj.xls 
     134++ CMIP6dataRequest_VolMIP_revised_mnj_dz.xls 
    118135 
    119136## SolarMIP withdrawn and merged with DAMIP -- June 23rd, 2015. 
     
    126143## DCPP_CMIP6DataRequestCompilationTemplate25June2015.xls 
    127144++ DCPP_CMIP6DataRequestCompilationTemplate25June2015_mnj.xls 
     145DCPP_CMIP6DataRequestCompilationTemplate__March2016_mnj.xls 
    128146DCPP_standard_output.xls 
    129147## priorities changed in col 0. 
    130 -- DCPP_standard_output_April10.xls 
     148-- DCPP_standard_output_April10_mnj.xls 
    131149 
    132150./LUMIP: 
    133151CMIP6DataRequestCompilation_LUMIPv2.xls 
    134 ++ CMIP6DataRequestCompilation_LUMIPv7.xls 
     152CMIP6DataRequestCompilation_LUMIPv8.xls 
     153++ CMIP6DataRequestCompilation_LUMIPv8_mnj.xls 
    135154 
    136155./OMIP: 
    137156++ CMIP6_OMIP_DataRequestCompilationTemplate_20141218_mnj.xls 
    138 -- CMIP6_OMIP_physics_standard_output.xls 
    139 -- CMIP6_OMIP_chemistry_standard_output.xls 
    140 -- CMIP6_OMIP_biogeochemistry_standard_output.xls 
     157## CMIP6_OMIP_physics_standard_output.xls 
     158-- CMIP6_OMIP_chemistry_standard_output.xls   chem 
     159## CMIP6_OMIP_biogeochemistry_standard_output.xls  bgc 
     160-- CMIP6_OMIP_biogeochemistry_standard_output_jpd.xls bgc 
    141161** CMIP6_OMIP_biogeochemistry_standard_output.xlsx 
    142 ** CMIP6_OMIP_physics_diagnostics.pdf 
     162## CMIP6_OMIP_physics_diagnostics.pdf 
     163## 150729a_durack1_CMIP6_OMIP_physics_standard_output.xls  phys 
     164-- 160216_durack1_CMIP6_OMIP_physics_standard_output.xls phys 
    143165** CMIP6_OMIP_proposal.pdf 
    144166 
    145167./ScenarioMIP: 
    146168++ CMIP6DataRequestCompilation_scenmip_4apr15.xls 
    147 ++ CMIP6DataRequestCompilation_scenmip_21july15.xls 
     169++ CMIP6DataRequestCompilation_scenmip_21july15_mnj.xls 
    148170 
    149171## withdrawn 
  • CMIP6dreqbuild/trunk/inputs/pcfg1.py

    r322 r624  
    22 
    33s = 'zip templates.zip ' 
    4 for i in open('cfg1.txt').readlines(): 
     4for i in open('cfg2.txt').readlines(): 
    55  if i[:2] == './': 
    66    mip = string.strip(i)[2:-1] 
    77  elif i[:2] in ['++','--','**']: 
    88    f = string.strip( i[3:] ) 
     9    if string.find( f, ' ') != -1: 
     10      f = string.split( f )[0] 
    911    print mip, f 
    1012    s += ' %s/%s' % (mip,f ) 
  • CMIP6dreqbuild/trunk/srcMisc/dreqSX.py

    r613 r624  
    77vdate = "20160309" 
    88 
     9## writen by dreq_consol_tables  
    910shvg = shelve.open( 'dreq_consol_tables_shelve_v%s' % vdate, 'r' ) 
    1011shnv = shelve.open( 'dreq_consol_tables_nv_shelve_v%s' % vdate, 'r' ) 
  • CMIP6dreqbuild/trunk/srcMisc/dreq_consol_tables.py

    r613 r624  
    375375 
    376376  def parse01(self): 
     377    """Parsing revised CMIP5 standard output""" 
    377378 
    378379    ee1 = collections.defaultdict( list ) 
     
    554555    self.glist = [] 
    555556    for k in keys: 
     557        gset = set() 
    556558        fn = self.cfg.ee[k] 
    557559        path = '%s%s/%s' % (self.dir0,k,fn) 
     
    661663                     p = self.rqs.t[t].vars[v][0][1] 
    662664                     pmsg = 'a: %s: %s' % (v,str( self.rqs.t[t].vars[v][0] ) ) 
     665                   elif v in self.nvd: 
     666                     p = self.nvd[v][0] 
     667                     print 'INFO.priority.00002: ',v,p 
    663668                   elif v2 != None and self.rqs.t[t].vars.has_key(v2): 
    664669                     p = self.rqs.t[t].vars[v2][0][1] 
     
    666671                     pmsg = 'b: %s: %s' % (v2,str( self.rqs.t[t].vars[v2][0] ) ) 
    667672                   else: 
     673                     if v in self.nvd: 
     674                       print 'ERROR.priority.0001: wrongly assigned table',v,lll,self.nvd[v] 
     675                     else: 
     676                       print 'ERROR.priority.0002: variable not found', v,lll 
    668677                     p0 = None 
    669678                  
     
    671680                 if string.lower(t)[:3] == 'new' or t == '': 
    672681                   p = self.nvd.get( v, [0,7] )[0] 
     682                   if v == 'sisnconc': 
     683                     print 'INFO.sisnconc.00002: ', p, v in self.nvd 
    673684                   pmsg = 'c: %s: %s' % (v,str(self.nvd.get( v, [0,7] )) ) 
    674685                   if p == 7: 
     
    699710               print 'INFO.045.0002: reading ta: thisl=%s, lll=%s' % (thisl,lll) 
    700711               print hr 
     712             if v == 'sisnconc': 
     713               print 'INFO.sisnconc.00001', lll, t, t in  self.cmip5sns, withPriority 
    701714             self.ntr = nt__grptbl._make( lll ) 
    702715             ku = str( uuid.uuid1() ) 
    703716             lll[11] = ku 
    704717             self.sh[ku] = tuple( lll  + [rowIndex,]) 
     718             gset.add( lll[0] ) 
    705719###   MIP, group, size, dictionary -- # items in each shape. 
    706720           self.glist.append( (k, s, ll, e1) ) 
     721           print 'INFO.gset.0001: ',k,gset 
    707722 
    708723  def run1(self,nmip=0,kmip=0,clear=False,tabmode='uid'): 
     
    798813  print '##############################################' 
    799814  print 'INFO.003.0001',k,m.sh[k] 
     815  sss = set() 
     816  for k in m.sh.keys(): 
     817    if k[0] != '_': 
     818      sss.add( m.sh[k][0] ) 
     819  print 'INFO.003.0002: test .... ','cfMon_3dstd_new' in sss 
     820 
    800821  m.sh.close() 
    801822  m.shnv.close() 
  • CMIP6dreqbuild/trunk/srcMisc/sx2.py

    r613 r624  
    11 
    22## 
    3 ## still missing map from new groups to old table variables. 
     3# still missing map from new groups to old table variables. 
    44## need a key lookup by variable in each table. 
    55## 
     
    563563       print r 
    564564 
    565  
    566565##assert 'CFMIP' in st1, 'FAILED sanity check 1 ... CFMIP not in st1 %s' % str(st1) 
    567566assert len( list(st1) ) < 40, 'FAILED sanity check 2 ... too many items in st1 [should be list of MIPs] %s' % len(list(st1)) 
     
    607606shbx = dreq_utils.parseShb(vdate,sx,cmip5gplk) 
    608607 
    609  
    610608gpids = gpids + shbx.revisedTabKeysff 
    611609ks = eervg.keys() 
     
    613611for k0 in ks: 
    614612  a,b = string.split(k0,'.') 
     613  print 'k0:: ',a,b 
    615614  if kmap000.has_key(b): 
    616615    k = '%s.%s' % (a,kmap000[b]) 
     
    646645        kmapk2[k0] = ('new',tk) 
    647646        ok = True 
     647    ##elif a in ['HighResMIP'] and b in subgroups: 
     648        ##kmapk2[k0] = ('CMIP5',tk) 
     649        ##ok = True 
    648650  if not ok: 
    649651## revTabIds has table names, revGpIds has group names 
     
    719721      print k1 
    720722    assert kmapk2.has_key(k1), 'Key missing  %s, %s' % (k,k1) 
    721     if not kmapk2.has_key(k1): 
    722       pass 
    723       #print '###########',shlnks[k] 
    724     else: 
    725       ttt,kkk = kmapk2[k1] 
    726       id = lookup1[ttt].d[kkk][0] 
    727       if thistr: 
    728          print ttt,kkk,id 
     723       
     724    ttt,kkk = kmapk2[k1] 
     725    id = lookup1[ttt].d[kkk][0] 
     726    if thistr: 
     727         print 'INFO.aaa.00002: ', ttt,kkk,id 
    729728    if id == k: 
    730729      print '***DUPLICATE:',k,k1, ttt, kkk, lookup1[ttt].d[kkk] 
     
    739738      print 'INFO.aaa.00200: preset refound,', k2 
    740739    for idi in lookup1a[k].d[k2]: 
     740      print 'INFO.bbb.0001: ',k,shrvg[idi] 
    741741      id = lookup1[k].d[k2][0] 
    742742    ####idi = lookup1a[k].d[k2][0] 
     
    783783        print 'WARN.051.00001: ',rec,sup, lab,k2, cls, kl 
    784784##['6a7ed72e-98d7-11e5-9c3a-ac72891c3257', 'LUMIP', u'C4MIP-Lmon', u'LUMIP: C4MIP-Lmon', 'rev', u'C4MIP.Lmon'] ['new', u'C4MIP.Lmon'] C4MIP-Lmon C4MIP.Lmon rev 1 
     785      print 'INFO.bbb.0002: ',id,rec,sup 
    785786      tmp[id].append(  (rec, sup) ) 
    786787 
     
    807808      for l in tmp[id]:  
    808809        print l 
     810 
    809811  if sup[0] not in ['new','CMIP5Rev']: 
    810812      ttt, kkk = sup 
     
    815817      tr += 0.5 
    816818      trc += 'mod:' 
     819 
    817820  kc = '%s.%s' % (rec[-2],rec[-1]) 
    818821  if rec[-2] == 'CCMI': 
     
    827830  uidgen[ kc ] = uid1(uid=rec[0]) 
    828831 
     832  print 'rvg:: ',rec 
    829833  if rec[3] in ['CMIP6 CMOR Table: Oyr',]: 
    830834     print 'INFO.ppp.00001: omitting ',rec 
     
    909913    t = ee0_xref[k][0] 
    910914    r += [t[0],t[1][0]] 
     915    if r[1] == 'sisnconc': 
     916      print 'INFO.sisnconc.0001:', r 
    911917    sh[k] = r[:] 
    912918sh.close() 
     
    10391045## collect variables in each group, along with key and priority, to create "revTabItems" 
    10401046## 
    1041         ##if v1 == 'rtmt': 
    1042             ##print 'zzzzzz',gp,v1,k,p,trc 
    10431047          cmip5GroupCol[ gp ].append( (v1,k,p) ) 
    10441048    else: 
Note: See TracChangeset for help on using the changeset viewer.