source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 861

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@861
Revision 861, 56.6 KB checked in by mjuckes, 4 years ago (diff)

candidate

Line 
1"""Date Request Scoping module
2------------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5
6try:
7  import dreq
8  imm=1
9except:
10  import dreqPy.dreq  as dreq
11  imm=2
12
13if imm == 1:
14  from utilities import cmvFilter
15  import makeTables
16  import fgrid
17  import volsum
18else:
19  import dreqPy.volsum as volsum
20  import dreqPy.fgrid as fgrid
21  from dreqPy.utilities import cmvFilter
22  import dreqPy.makeTables as makeTables
23
24import collections, string, operator
25import sys, os
26
27odsz = {'landUse':(5,'free'), 'tau':7, 'scatratio':15, 'effectRadLi|tau':(28,'query pending'), 'vegtype':(8,'free'), 'sza5':5, 'site':(119,'73 for aquaplanet .. '), 'iceband':(5,'free'), 'dbze':15, 'spectband':(10,'free'), 'misrBands':(7,'query pending'), 'effectRadIc|tau':(28,'query pending')}
28
29python2 = True
30if sys.version_info[0] == 3:
31  python2 = False
32  from functools import reduce
33  try: 
34    from utilP3 import mlog3
35  except:
36    from dreqPy.utilP3 import mlog3
37  mlg = mlog3()
38else:
39  from utilP2 import util
40  mlg = util.mlog()
41
42class c1(object):
43  def __init__(self):
44    self.a = collections.defaultdict( int )
45class c1s(object):
46  def __init__(self):
47    self.a = collections.defaultdict( set )
48
49NT_txtopts = collections.namedtuple( 'txtopts', ['mode'] )
50
51def vfmt(ss):
52  stb = ss*1.e-12
53  if stb < .099:
54    return '%7.2fGb' % (stb*100)
55  else:
56    return '%7.2fTb' % stb
57
58class baseException(Exception):
59  """Basic exception for general use in code."""
60
61  def __init__(self,msg):
62    self.msg = 'scope:: %s' % msg
63
64  def __str__(self):
65    return repr( self.msg )
66
67  def __repr__(self):
68    return self.msg
69
70nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
71class cmpd(object):
72  def __init__(self,dct):
73    self.d = dct
74  def cmp(self,x,y,):
75    return cmp( self.d[x], self.d[y] )
76
77
78def filter1( a, b ):
79  if b < 0:
80    return a
81  else:
82    return min( [a,b] )
83
84def filter2( a, b, tt, tm ):
85## largest tier less than or equal to tm
86  ll = [t for t in tt if t <= tm]
87  if len( ll ) > 0:
88    t1 = [t for t in tt if t <= tm][-1]
89    it1 = tt.index(t1)
90    aa = a[it1]
91    if b < 0:
92      return aa
93    else:
94      return min( [aa,b] )
95  else:
96    return 0
97
98npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
99       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
100       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
101        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
102
103## There are 4 cmor variables with blank frequency ....
104
105def vol01( sz, v, npy, freq, inx ):
106  n1 = npy[freq]
107  s = sz[inx.uid[v].stid]
108  assert type(s) == type(1), 'Non-integer size found for %s' % v
109  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
110  return s*n1
111
112class col_list(object):
113  def __init__(self):
114    self.a = collections.defaultdict(list)
115
116class col_count(object):
117  def __init__(self):
118    self.a = collections.defaultdict(int)
119
120class dreqQuery(object):
121  __doc__ = """Methods to analyse the data request, including data volume estimates"""
122  def __init__(self,dq=None,tierMax=1):
123    if dq == None:
124      self.dq = dreq.loadDreq()
125    else:
126      self.dq=dq
127    self.rlu = {}
128    for i in self.dq.coll['objective'].items:
129      k = '%s.%s' % (i.mip,i.label)
130      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
131      self.rlu[k] = i.uid
132
133    self.odsz = odsz
134    self.npy = npy
135    self.strSz = dict()
136    self.cmvFilter = cmvFilter( self )
137    self.tierMax = tierMax
138    self.gridPolicyDefaultNative = False
139    self.gridPolicyTopOnly = True
140    self.exptFilter = None
141    self.exptFilterBlack = None
142    self.uniqueRequest = False
143
144    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
145    self.mips = ['CMIP','AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
146    self.mipsp = self.mips[:-4]
147    self.cmvGridId, i4 = fgrid.fgrid( self.dq )
148    assert len(i4) == 0
149
150    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
151    self.exptByLabel = {}
152    for x in self.dq.coll['experiment'].items:
153      if x.label in self.exptByLabel:
154        print ( 'ERROR: experiment label duplicated: %s' % x.label )
155      self.exptByLabel[x.label] = x.uid
156    self.mipls = sorted( list( self.mips ) )
157
158    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
159    self.mcfg = self.default_mcfg._asdict()
160    self.mcfgNote = None
161    self.szcfg()
162    self.requestItemExpAll(  )
163
164  def setMcfg(self, ll, msg=None ):
165    assert len(ll) == 7, 'Model config must be of length 7: %s' % str(ll)
166    assert all( [type(x) == type(1) for x in ll] )
167    self.mcfg = nt_mcfg._make( ll )._asdict()
168    if msg == None:
169      self.mcfgNote = 'User supplied model configuration: %s' % str(ll)
170    else:
171      self.mcfgNote = msg
172    self.szcfg()
173
174  def szcfg(self):
175    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
176    self.szss = {}
177    self.sz = {}
178    self.szg = collections.defaultdict( dict )
179    self.szgss = collections.defaultdict( dict )
180    self.isLatLon = {}
181    self.szSrf = collections.defaultdict( dict )
182    self.szssSrf = collections.defaultdict( dict )
183    for i in self.dq.coll['spatialShape'].items:
184      gtype = 'a'
185      if i.levelFlag == False:
186        ds =  i.dimensions.split( '|' )
187        if ds[-1] in ['site', 'basin']:
188          vd = ds[-2]
189        else:
190          vd = ds[-1]
191 
192        if vd[:4] == 'olev' or vd == 'rho':
193          gtype = 'o'
194          nz = self.mcfg['nlo']
195        elif vd[:4] == 'alev':
196          nz = self.mcfg['nla']
197        elif vd in ['slevel','sdepth']:
198          nz = self.mcfg['nls']
199        elif vd == 'aslevel':
200          nz = self.mcfg['nlas']
201        else:
202          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
203          raise
204      else:
205        nz = i.levels
206
207      dims = set( i.dimensions.split( '|' ) )
208      if 'latitude' in dims and 'longitude' in dims:
209        if gtype == 'o':
210          nh = self.mcfg['nho']
211          self.isLatLon[i.uid] = 'o'
212        else:
213          nh = self.mcfg['nha']
214          self.isLatLon[i.uid] = 'a'
215      else:
216        nh = 10
217        self.isLatLon[i.uid] = False
218
219      self.szss[i.uid] = nh*nz
220      if self.isLatLon[i.uid] != False and len(dims) == 2:
221        self.szssSrf[i.uid] = { 'a':self.mcfg['nha']*nz, 'o':self.mcfg['nho']*nz }
222
223      for k in szr:
224        if self.isLatLon[i.uid] != False:
225          self.szgss[k][i.uid] = szr[k]*nz
226        else:
227          self.szgss[k][i.uid] = nh*nz
228
229    for i in self.dq.coll['structure'].items:
230      s = 1
231      knownAtmos = False
232      if i.odims != '':
233        if i.odims in odsz:
234           sf = odsz[i.odims]
235        else:
236           ## print 'SEVERE.odims.00001: no information on dimension size: %s' % i.odims
237           sf = 5
238        if type( sf ) == type( () ):
239          sf = sf[0]
240        s = s*sf
241        if i.odims not in ['iceband']:
242          knownAtmos = True
243      if i.spid in self.szss:
244        self.sz[i.uid] = self.szss[i.spid]*s
245
246        if i.uid in self.szssSrf:
247          if knownAtmos:
248            self.sz[i.uid] = self.szssSrf[i.spid]['a']*s
249          else:
250            for k in ['a','o']:
251               self.szSrf[i.uid][k] = self.szssSrf[i.spid][k]*s
252
253        for k in szr:
254          self.szg[k][i.uid] = self.szgss[k][i.spid]*s
255      else:
256        print ('WARNING: spid has no size info: %s [%s]' % (i.spid,i.uid) )
257        self.sz[i.uid] = 0.
258        for k in szr:
259          self.szg[k][i.uid] = 0.
260
261  def getRequestLinkByMip( self, mipSel ):
262    """Return the set of request links which are associated with specified MIP"""
263
264    if type(mipSel) == type( {} ):
265      return self.getRequestLinkByMipObjective(self,mipSel)
266
267    if type(mipSel) == type(''):
268      t1 = lambda x: x == mipSel
269    elif type(mipSel) == type(set()):
270      t1 = lambda x: x in mipSel
271
272    s = set()
273    for i in self.dq.coll['requestLink'].items:
274      if t1(i.mip):
275        if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
276          if any( [ self.rqiExp[x][-1] > 0 for  x in self.dq.inx.iref_by_sect[i.uid].a['requestItem'] if x in self.rqiExp ] ):
277            s.add( i )
278
279    self.rqs = list( s )
280    return self.rqs
281
282  def getRequestLinkByMipObjective( self, mipSel ):
283    """Return the set of request links which are associated with specified MIP and its objectives"""
284
285    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
286
287    s = set()
288    for i in self.dq.coll['requestLink'].items:
289      if i.mip in mipSel:
290        if len(mipSel[i.mip]) == 0:
291          s.add( i )
292        elif 'objectiveLink' in self.dq.inx.iref_by_sect[i.uid].a:
293          ss = set( [self.dq.inx.uid[k].label for k in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink'] ] )
294          if any( [x in mipSel[i.mip] for x in ss] ):
295            s.add( i )
296##
297## filter requestLinks by tierMax: check to see whether they link to experiments with tier below or equal to tiermax.
298##
299    s1 = set()
300    for i in s:
301      if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
302        if any( [ self.rqiExp[x][-1] > 0 for  x in self.dq.inx.iref_by_sect[i.uid].a['requestItem'] if x in self.rqiExp ] ):
303            s1.add( i )
304
305    self.rqs = list( s1 )
306    return self.rqs
307
308  def varGroupXexpt(self, rqList ):
309    """For a list of request links, return a list of variable group IDs for each experiment"""
310    self.cc = collections.defaultdict( list )
311    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
312    return self.cc
313
314  def yearsInRequest(self, rql ):
315    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
316    return self.ntot
317
318  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
319    """rqlByExpt: return a set of request links for an experiment"""
320##
321    inx = self.dq.inx
322
323    if ex != None:
324   
325      exi = self.dq.inx.uid[ex]
326      if exi._h.label == 'experiment':
327        exset = set( [ex,exi.egid,exi.mip] )
328      else:
329        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
330##
331## rql is the set of all request links which are associated with a request item for this experiment set
332##
333   
334      l1p = set()
335      for i in l1:
336        if i.preset < 0 or i.preset <= pmax:
337          if i.esid in exset:
338            l1p.add(i)
339    else:
340      exset = None
341      l1p = l1
342
343    rql0 = set()
344    for i in l1p:
345       rql0.add(i.rlid)
346
347    rqlInv = set()
348    for u in rql0:
349      if inx.uid[u]._h.label == 'remarks':
350        rqlInv.add( u )
351    if len(rqlInv) != 0:
352      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
353    rql = set()
354    for u in rql0:
355       if inx.uid[u]._h.label != 'remarks':
356         rql.add( u ) 
357
358    return rql, l1p, exset
359
360  def varsByRql( self, rql, pmax=2, intersection=False, asDict=False): 
361      """The complete set of variables associated with a set of request links."""
362      inx = self.dq.inx
363      cc1 = collections.defaultdict( set )
364      for i in rql:
365        o = inx.uid[i]
366        if o.opt == 'priority':
367          p = int( float( o.opar ) )
368          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
369          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
370        else:
371          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
372
373      if intersection:
374        ccv = {}
375#
376# set of request variables for each MIP
377#
378        for k in cc1:
379          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
380          rqvgs = collections.defaultdict( set )
381          for x in cc1[k]:
382            if type(x) == type( () ):
383              rqvgs[x[0]].add( x[1] )
384            else:
385              rqvgs[x].add( 3 )
386         
387          s = set()
388          for vg in rqvgs:
389            for l in inx.iref_by_sect[vg].a['requestVar']:
390              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
391                s.add( inx.uid[l].vid )
392          ccv[k] = s
393
394        if len( ccv.keys() ) < len( list(imips) ):
395          vars = set()
396        else:
397          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
398      else:
399        rqvgs = collections.defaultdict( set )
400        for k in cc1:
401          for x in cc1[k]:
402            if type(x) == type( () ):
403              rqvgs[x[0]].add( x[1] )
404            else:
405              rqvgs[x].add( 3 )
406         
407###To obtain a set of variables associated with this collection of variable groups:
408
409        if asDict:
410          vars = collections.defaultdict( list )
411        else:
412          vars = set()
413        for vg in rqvgs:
414          for l in inx.iref_by_sect[vg].a['requestVar']:
415            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
416               if asDict:
417                 vars[inx.uid[l].vid].append( vg )
418               else:
419                 vars.add(inx.uid[l].vid)
420
421        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
422### filter out cases where the request does not point to a CMOR variable.
423    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
424
425      if asDict:
426        thisvars = {}
427        for vid in vars:
428           if inx.uid[vid]._h.label == u'CMORvar':
429             thisvars[vid] = vars[vid]
430      else:
431        thisvars = set()
432        for vid in vars:
433           if inx.uid[vid]._h.label == u'CMORvar':
434             thisvars.add(vid)
435
436      return thisvars
437
438  def exptYears( self, rqll, ex=None, exBlack=None):
439    """Parse a set of request links, and get years requested for each (varGroup, expt, grid) tuple """
440     
441    cc = collections.defaultdict( set )
442    for rl in rqll:
443      if 'requestItem' not in self.dq.inx.iref_by_sect[rl.uid].a:
444        print ( 'WARN.001.00001: no request items for: %s, %s' % (rl.uid, rl.title) )
445      else:
446
447        if rl.grid == '100km':
448            grd = '1deg'
449        if rl.grid in ['1deg','2deg']:
450            grd = rl.grid
451        else:
452          ## note that naming of "gridreq" is unfortunate ... "No" means that native grid is required
453          if rl.gridreq in ['No', 'no'] or self.gridPolicyDefaultNative:
454            grd = 'native'
455          else:
456            ## print ( 'INFO.grd.00001: defaulting to grid ..%s, %s, %s' % (rl.label,rl.title, rl.uid) )
457            grd = 'DEF'
458
459        for iu in self.dq.inx.iref_by_sect[rl.uid].a['requestItem']:
460          i = self.dq.inx.uid[iu]
461          if iu in self.rqiExp:
462            for e in self.rqiExp[iu][1]:
463              if (ex == None or e in ex) and (exBlack == None or e not in exBlack):
464                this = self.rqiExp[iu][1][e]
465                if this != None:
466                  thisns = this[-3]
467                  thisny = this[-2]
468                  thisne = this[-1]
469                  ##cc[ (rl.refid,e,grd) ].add( filter1( thisns*thisny*thisne, i.nymax) )
470                  cc[ (rl.refid,e,grd) ].add( thisns*thisny*thisne )
471    ee = collections.defaultdict( dict )
472
473    revertToLast = True
474    if revertToLast:
475      for g,e,grd in cc:
476        ee[g][(e,grd)] = max( cc[( g,e,grd) ] )
477      return ee
478    ff = collections.defaultdict( dict )
479##
480## this needs to be done separately for ocean and atmosphere, because of the default logic workflow ...
481    for g,e,grd in cc:
482      ee[(g,e)][grd] = max( cc[( g,e,grd) ] )
483
484    xx = collections.defaultdict( dict )
485    for g,e in ee:
486      ddef = ee[(g,e)].get( 'DEF', 0 )
487      for grd in ee[(g,e)]:
488        if grd != 'DEF':
489          xx[(g,'a')][(e, grd)] = ee[(g,e)][grd]
490          xx[(g,'o')][(e, grd)] = ee[(g,e)][grd]
491          xx[(g,'')][(e, grd)] = ee[(g,e)][grd]
492        if grd == 'native' and ddef != 0:
493          xx[(g,'a')][(e, 'native')] = max( [xx[(g,'a')][(e, 'native')],ddef] )
494          xx[(g,'')][(e, 'native')] = max( [xx[(g,'')][(e, 'native')],ddef] )
495        if grd == '1deg' and ddef != 0:
496          xx[(g,'o')][(e, '1deg')] = max( [xx[(g,'o')][(e, '1deg')],ddef] )
497
498    for grp,flg in xx:
499      ff[grp][flg] = xx[(grp,flg)]
500         
501    ## return dict[<variable group>]{dict[<experiment><grid>]{<years>}}
502    ## return dict[<variable group>][grid flag]{dict[<experiment>,<grid>]{<years>}}
503    return ff
504
505  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
506    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
507          The calculation has some approximations concerning the number of years in each experiment group.
508          cc: an optional collector, to accumulate indexed volumes. """
509##
510    inx = self.dq.inx
511    imips = set()
512    for i in l1:
513      imips.add(i.mip)
514   
515    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
516    verbose = False
517    if verbose:
518      for i in rql:
519        r = inx.uid[i]
520        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
521
522    if ex != None:
523     
524      exi = self.dq.inx.uid[ex]
525      if exi._h.label == 'experiment':
526        exset = set( [ex,exi.egid,exi.mip] )
527#####
528    if len( rql ) == 0:
529      self.vars = set()
530      return (0,{},{} )
531
532## The complete set of variables associated with these requests:
533    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection, asDict=True) 
534##
535## filter by configuration option and rank
536##
537    if not retainRedundantRank:
538      len1 = len(vars.keys())
539      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars.keys())
540      vars = cmv
541   
542    self.vars = vars
543
544    e = {}
545    for u in rql:
546### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
547      i = inx.uid[u]
548      e[i.uid] = set()
549      si = collections.defaultdict( list )
550      for x in inx.iref_by_sect[i.refid].a['requestVar']:
551           if inx.uid[x].priority <= pmax:
552              e[i.uid].add( inx.uid[x].vid )
553
554              if verbose:
555                cmv = inx.uid[inx.uid[x].vid]
556                if cmv._h.label == 'CMORvar':
557                  si[ cmv.mipTable ].append( inx.uid[x].label )
558#
559# for each variable, calculate the maximum number of years across all the request links which reference that variable.
560##
561## for each request item we have nymax, nenmax, nexmax.
562##
563    nymg = collections.defaultdict( dict )
564##
565## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
566    if adsCount:
567      irqi = 3
568    else:
569      irqi = 2
570
571    sgg = set()
572    for v in vars:
573      s = set()
574      sg = collections.defaultdict( set )
575      cc2 = collections.defaultdict( set )
576      cc2s = collections.defaultdict( c1s )
577      for i in l1p:
578##################
579        if (exset == None or i.esid in exset) and v in e[i.rlid]:
580          ix = inx.uid[i.esid]
581          rl = inx.uid[i.rlid]
582          sgg.add( rl.grid )
583          if rl.grid in ['100km','1deg','2deg']:
584            grd = rl.grid
585          else:
586            grd = 'native'
587
588          this = None
589          if exset == None:
590            thisz = 100
591##
592## for a single experiment, look up n years, and n ensemble.
593## should have nstart????
594##
595          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
596            this = None
597            if ex in self.rqiExp[i.uid][1]:
598              this = self.rqiExp[i.uid][1][ex]
599            elif ix.uid in self.rqiExp[i.uid][1]:
600              this = self.rqiExp[i.uid][1][ix.uid]
601            if this != None:
602              thisns = this[-3]
603              thisny = this[-2]
604              thisne = this[-1]
605              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
606          else:
607            thisz = None
608            if 'experiment' in inx.iref_by_sect[i.esid].a:
609              for u in inx.iref_by_sect[i.esid].a['experiment']:
610                if u in self.rqiExp[i.uid][1]:
611                  this = self.rqiExp[i.uid][1][u]
612                  thisns = this[-3]
613                  thisny = this[-2]
614                  thisne = this[-1]
615##
616###   aggregate year count for each experiment and output grid
617## clarify definition and usage of nymax -- should be redundant ... could be replaced by inward references from "timeSlice"
618                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
619
620          if exset != None:
621            sg[grd].add( self.rqiExp[i.uid][irqi] )
622     
623###
624### sum over experiments of maximum within each experiment
625###
626      for g in sg:
627        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
628
629    szv = {}
630    ov = []
631    for v in vars:
632      if 'requestVar' not in inx.iref_by_sect[v].a:
633         print ( 'Variable with no request ....: %s, %s' % (inx.uid[v].label, inx.uid[v].mipTable) )
634      try:
635        szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
636      except:
637        if inx.uid[v].stid not in self.sz:
638          print ('ERROR: size not found for stid %s (v=%s, %s)' % (inx.uid[v].stid,v,inx.uid[v].label) )
639        if inx.uid[v].frequency not in npy:
640          print ('ERROR: npy not found for frequency %s (v=%s, %s)' % (inx.uid[v].frequency,v,inx.uid[v].label) )
641        szv[v] = 0
642      ov.append( self.dq.inx.uid[v] )
643
644    ff = {}
645    for v in vars:
646      if adsCount:
647        ff[v] = 1
648      else:
649        if 'native' in nymg[v]:
650          ff[v] = szv[v]
651          ny = nymg[v]['native']
652        else:
653          if len( nymg[v] ) > 1:
654            print ( '########### Selecting first in list .............' )
655          ks0 = nymg[v].keys()
656          if len(ks0) == 0:
657            ff[v] = 0.
658            ny = 0.
659          else:
660            ks = list( nymg[v].keys() )[0]
661            ny = nymg[v][ks]
662            if inx.uid[v].stid in self.szg[ks]:
663              ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
664            else:
665              ff[v] = 0.
666
667        if inx.uid[v].frequency != 'monClim':
668          ff[v] = ff[v]*ny
669
670    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=ff, cc=cc )
671    self.ngptot = sum( [  ff[v]  for v in vars] )
672    return (self.ngptot, ee, ff )
673
674  def esid_to_exptList(self,esid,deref=False,full=False):
675    if not esid in self.dq.inx.uid:
676      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
677      raise
678
679    if self.dq.inx.uid[esid]._h.label == 'experiment':
680      expts = [esid,]
681    elif self.dq.inx.uid[esid]._h.label != 'remarks':
682      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
683        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
684      else:
685        expts = []
686
687## add in groups and mips for completeness
688##
689      if full:
690        if self.dq.inx.uid[esid]._h.label == 'mip':
691          s = set()
692          for e in expts:
693            if self.dq.inx.uid[e]._h.label != 'experiment':
694              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
695            s.add( self.dq.inx.uid[e].egid )
696          for i in s:
697            expts.append( i )
698        expts.append( esid )
699    else:
700      ##print ( 'WARNING: request link not associated with valid experiment group' )
701      ##raise
702      return None
703
704    if self.tierMax > 0:
705      expts1 = []
706      for i in expts:
707        if self.dq.inx.uid[i]._h.label == 'experiment':
708          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
709            expts1.append( i )
710        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
711          if self.dq.inx.uid[i].tierMin <= self.tierMax:
712            expts1.append( i )
713        else:
714            expts1.append( i )
715    else:
716      expts1 = expts
717
718    if deref:
719      return [self.dq.inx.uid[e] for e in expts1]
720    else:
721      return expts1
722##
723## need to call this on load
724## then use instead of i.ny etc below
725##
726  def requestItemExpAll( self ):
727    self.rqiExp = {}
728    for rqi in self.dq.coll['requestItem'].items:
729      a,b,c,d = self.requestItemExp( rqi )
730      if a != None:
731        self.rqiExp[rqi.uid] = (a,b,c,d)
732
733  def requestItemExp( self, rqi ):
734    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
735    u = rqi.esid
736    if self.dq.inx.uid[u]._h.label == 'experiment':
737      expts = [u,]
738    elif self.dq.inx.uid[u]._h.label != 'remarks':
739      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
740        expts = self.dq.inx.iref_by_sect[u].a['experiment']
741      else:
742        expts = []
743    else:
744      return (None, None, None, None)
745
746    if self.tierMax > 0:
747      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
748
749    self.multiTierOnly = False
750    if self.multiTierOnly:
751      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
752      print ('Len expts: %s' % len(expts) )
753
754    if len(expts) > 0:
755      e = [self.dq.inx.uid[i] for i in expts]
756      for i in e:
757        if i._h.label != 'experiment':
758          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
759      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
760      dat2 = {}
761      for i in e:
762        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
763
764      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
765      netot = sum( [dat2[x][-1] for x in dat2 ] )
766    else:
767      dat2 = {}
768      nytot = 0
769      netot = 0
770   
771##
772## to get list of years per expt for each requestLink ... expts is union of all dat2 keys,
773## and want max of dat2[x][0] for each experiment x.
774##
775    return (expts, dat2, nytot, netot )
776
777  def setTierMax( self, tierMax ):
778    """Set the maxium tier and recompute request sizes"""
779    if tierMax != self.tierMax:
780      self.tierMax = tierMax
781      self.requestItemExpAll(  )
782
783  def summaryByMip( self, pmax=1 ):
784    bytesPerFloat = 2.
785    for m in self.mipls:
786      v = self.volByMip( m, pmax=pmax )
787      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
788
789  def rqlByMip( self, mip):
790    if mip == 'TOTAL':
791        mip = self.mips
792
793    if type(mip) in [type( '' ),type( u'') ]:
794      if mip not in self.mips:
795        mlg.prnt ( self.mips )
796        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
797      l1 = [i for i in  self.dq.coll['requestLink'].items if i.mip == mip]
798    elif type(mip) in [ type( set()), type( [] ) ]:
799      nf = [ m for m in mip if m not in self.mips]
800      if len(nf) > 0:
801          raise baseException( 'rqlByMip: Name of mip(s) not recognised: %s' % str(nf) )
802      l1 = [i for i in  self.dq.coll['requestLink'].items if i.mip in mip]
803    elif type(mip) == type( dict()):
804      nf = [ m for m in mip if m not in self.mips]
805      if len(nf) > 0:
806        raise baseException( 'rqlByMip: Name of mip(s) not recognised: %s' % str(nf) )
807      l1 = []
808      for i in  self.dq.coll['requestLink'].items:
809        if i.mip in mip:
810          ok = False
811          if len( mip[i.mip] ) == 0:
812            ok = True
813          else:
814            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
815              o = self.dq.inx.uid[ol]
816              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
817                ok = True
818          if ok:
819              l1.append( i )
820    else:
821      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
822
823    return l1
824
825  def rqiByMip( self, mip):
826    l1 = self.rqlByMip( mip )
827    if len(l1) == 0:
828       return []
829    l2 = [] 
830    for i in l1:
831       if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
832          for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
833               l2.append( self.dq.inx.uid[u] )
834
835    l20 = self.rqiByMip0( mip )
836    for i in l20:
837      assert i in l2
838    return l2
839   
840   
841  def rqiByMip0( self, mip):
842
843    if mip == 'TOTAL':
844        mip = self.mips
845    if type(mip) in [type( '' ),type( u'') ]:
846      if mip not in self.mips:
847        mlg.prnt ( self.mips )
848        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
849      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
850    elif type(mip) in [ type( set()), type( [] ) ]:
851      nf = [ m for m in mip if m not in self.mips]
852      if len(nf) > 0:
853          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
854      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
855    elif type(mip) == type( dict()):
856      nf = [ m for m in mip if m not in self.mips]
857      if len(nf) > 0:
858        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
859      l1 = []
860      for i in  self.dq.coll['requestLink'].items:
861        if i.mip in mip:
862          ok = False
863          if len( mip[i.mip] ) == 0:
864            ok = True
865          else:
866            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
867              o = self.dq.inx.uid[ol]
868              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
869                ok = True
870          if ok:
871              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
872                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
873                  l1.append( self.dq.inx.uid[u] )
874    else:
875      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
876
877    return l1
878
879  def checkDir(self,odir,msg):
880      if not os.path.isdir( odir ):
881         try:
882            os.mkdir( odir )
883         except:
884            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
885            print ( '\n\n' )
886            raise
887         print ('Created directory %s for: %s' % (odir,msg) )
888
889
890  def xlsByMipExpt(self,m,ex,pmax,odir='xls',xls=True,txt=False,txtOpts=None):
891    import scope_utils
892    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax,xls=xls, txt=txt, txtOpts=txtOpts,odir=odir)
893    mlab = makeTables.setMlab( m )
894    mxls.run( m, mlab=mlab )
895
896  def cmvByInvMip( self, mip,pmax=1,includeYears=False, exptFilter=None ):
897    mips = set( self.mips[:] )
898    if type(mip) == type( '' ):
899        mips.discard( mip )
900    else:
901      for m in mip:
902        mips.discard( m )
903
904    return self.cmvByMip( mips,pmax=pmax,includeYears=includeYears, exptFilter=exptFilter )
905
906  def cmvByMip( self, mip,pmax=1,includeYears=False, exptFilter=None, exptFilterBlack=None ):
907    if exptFilter != None:
908      assert type(exptFilter) == type( set() ), 'Argument exptFilter must be None or a set: %s' % str(exptFilter)
909    if exptFilterBlack != None:
910      assert type(exptFilterBlack) == type( set() ), 'Argument exptFilterBlack must be None or a set: %s' % str(exptFilterBlack)
911      if exptFilter != None:
912        assert len( exptFilter.difference( exptFilterBlack ) ) > 0, 'If exptFilter and exptFilterBlack are both set, exptFilter must have non-black listed elements' 
913
914    l1,ee = self.rvgByMip( mip, includePreset=True, returnLinks=True )
915    if includeYears:
916      expys = self.exptYears( l1, ex=exptFilter, exBlack=exptFilterBlack )
917      cc = collections.defaultdict( set )
918    ss = set()
919    for pr in ee:
920### loop over request  var groups.
921      for i in ee[pr]:
922        if 'requestVar' in self.dq.inx.iref_by_sect[i.uid].a:
923#
924# loop over request vars in group
925#
926          for x in self.dq.inx.iref_by_sect[i.uid].a['requestVar']:
927            i1 = self.dq.inx.uid[x]
928            if i1.vid == 'baa586e6-e5dd-11e5-8482-ac72891c3257':
929               print 'INFO.cmv.00055: ',i1.vid, i1.priority, i1.mip, i1.title
930            if (pr == -1 and i1.priority <= pmax) or (pr > 0 and pr <= pmax):
931              if includeYears and i1.vid in self.cmvGridId:
932                ##assert i.uid in expys, 'No experiment info found for requestVarGroup: %s' % i.uid
933                ## may have no entry as a consequence of tierMin being set in the requestLink(s).
934                assert i1.vid in self.cmvGridId, 'No grid identification lookup found for %s: %s' % (i1.label,i1.vid)
935                assert self.cmvGridId[i1.vid] in ['a','o','si','li'], 'Unexpected grid id: %s: %s:: %s' % (i1.label,i1.vid, self.cmvGridId[i1.vid])
936                gflg = {'si':'','li':''}.get( self.cmvGridId[i1.vid], self.cmvGridId[i1.vid] )
937                rtl = True
938                if i1.vid == 'baa586e6-e5dd-11e5-8482-ac72891c3257':
939                  print 'INFO.cmv.00056: ',i1.vid, gflg, expys[i.uid]
940                if i.uid in expys:
941                  if rtl:
942                    for e,grd in expys[i.uid]:
943                        if exptFilter == None or e in exptFilter:
944                          if grd == 'DEF':
945                            if gflg == 'o':
946                              grd1 = '1deg'
947                            else:
948                              grd1 = 'native'
949                          else:
950                            grd1 = grd
951                          if i1.vid == 'baa586e6-e5dd-11e5-8482-ac72891c3257':
952                             print 'INFO.cmv.0002: ',e,grd1,grd
953                          cc[(i1.vid,e,grd1)].add( expys[i.uid][e,grd] )
954                  else:
955                   for gf in expys[i.uid]:
956                    for e,grd in expys[i.uid][gf]:
957                      if grd in ["1deg",'2deg'] or gf == gflg:
958                        if exptFilter == None or e in exptFilter:
959                          cc[(i1.vid,e,grd)].add( expys[i.uid][gf][e,grd] )
960              else:
961                print ( 'SKIPPING %s: %s' % (i1.label,i1.vid) )
962                ss.add( i1.vid )
963    if includeYears:
964      l2 = collections.defaultdict( dict )
965      l2x = collections.defaultdict( dict )
966##
967## this removes lower ranked grids .... but for some groups want different grids for different variable categories
968##
969      if self.gridPolicyTopOnly:
970        for v,e,g in cc:
971          l2x[(v,e)][g] = max( list( cc[(v,e,g)] ) )
972        for v,e in l2x:
973          if len( l2x[(v,e)].keys() ) == 1:
974             g,val = list( l2x[(v,e)].items() )[0]
975          else:
976            if 'native' in l2x[(v,e)].keys():
977               g = 'native'
978               val = l2x[(v,e)][g]
979            else:
980               g = sorted( list( l2x[(v,e)].keys() ) )[0]
981               val = l2x[(v,e)][g]
982          l2[v][(e,g)] = val
983      else:
984        for v,e,g in cc:
985          l2[v][(e,g)] = max( list( cc[(v,e,g)] ) )
986    else:
987      l2 = sorted( [i for i in [self.dq.inx.uid[i] for i in ss] if i._h.label != 'remarks'], key=lambda x: x.label )
988    return l2
989
990  def exptFilterList(self,val,option,ret='uid'):
991    if type( val ) not in [[],()]:
992      val = [val,]
993
994    if option == 'lab':
995      v0 = val[:]
996      val = []
997      mm = []
998      for v in v0:
999        if v not in self.exptByLabel:
1000          mm.append( v )
1001        else:
1002          val.append( self.exptByLabel[v] )
1003
1004      assert len(mm) == 0, 'Experiment names not all recognised: %s' % str(mm)
1005
1006    oo = set()
1007    for v in val:
1008      i = self.dq.inx.uid[v]
1009      if i._h.label in ['exptgroup','mip']:
1010        if 'experiment' in self.dq.inx.iref_by_sect[i.uid].a:
1011          for u in self.dq.inx.iref_by_sect[i.uid].a['experiment']:
1012            oo.add( u )
1013      elif i._h.label == 'experiment':
1014            oo.add( i.uid )
1015      else:
1016        print ('WARNING .. skipping request for experiment which links to record of type %s' % i._h.label )
1017    return oo
1018   
1019  def getFreqStrSummary(self,mip,pmax=1):
1020##
1021## get a dictionary keyed on CMORvar uid, containing dictionary keyed on (experiment, grid) with value as number of years.
1022##
1023    if not self.uniqueRequest:
1024      cmv = self.cmvByMip(mip,pmax=pmax,includeYears=True,exptFilter=self.exptFilter,exptFilterBlack=self.exptFilterBlack)
1025    else:
1026      cmv1 = self.cmvByInvMip(mip,pmax=pmax,includeYears=True,exptFilter=self.exptFilter,exptFilterBlack=self.exptFilterBlack)
1027      cmv2 = self.cmvByMip('TOTAL',pmax=pmax,includeYears=True,exptFilter=self.exptFilter,exptFilterBlack=self.exptFilterBlack)
1028      cmv = self.differenceSelectedCmvDict(  cmv1, cmv2 )
1029 
1030    self.selectedCmv = cmv
1031    return self.cmvByFreqStr( cmv )
1032
1033  def differenceSelectedCmvDict( self, cmv1, cmv2 ):
1034      """Return the diffence between two dictionaries of cmor variables returned by self.cmvByMip.
1035         The dictionaries contain dictionaries of values. Differences may be subdictionaries not present,
1036         elements of sub-dictionaries not present, or elements of sub-dictionaries present with different values.
1037         A one sided difference is returned."""
1038
1039      cmv = {}
1040      for i in cmv2:
1041        if i not in cmv1:
1042          cmv[i] = cmv2[i]
1043        else:
1044          eei = {}
1045          for t in cmv2[i]:
1046            if t not in cmv1[i]:
1047              eei[t] = cmv2[i][t]
1048            else:
1049              if cmv2[i][t] > cmv1[i][t]:
1050                 eei[t] = cmv2[i][t] - cmv1[i][t]
1051          if len( eei.keys() ) != 0:
1052            cmv[i] = eei
1053      return cmv
1054
1055  def cmvByFreqStr(self,cmv,asDict=True,exptFilter=None,exptFilterBlack=None):
1056    if exptFilter != None:
1057      assert type(exptFilter) == type( set() ), 'Argument exptFilter must be None or a set: %s' % str(exptFilter)
1058    if exptFilterBlack != None:
1059      assert type(exptFilterBlack) == type( set() ), 'Argument exptFilterBlack must be None or a set: %s' % str(exptFilterBlack)
1060      if exptFilter != None:
1061        assert len( exptFilter.difference( exptFilterBlack ) ) > 0, 'If exptFilter and exptFilterBlack are both set, exptFilter must have non-black listed elements' 
1062
1063    cc = collections.defaultdict( list )
1064    for i in cmv:
1065      if asDict:
1066        ii = self.dq.inx.uid[i]
1067        if ii._h.label != 'remarks':
1068          st = self.dq.inx.uid[ ii.stid ]
1069          cc0 = collections.defaultdict( float )
1070          cc1 = collections.defaultdict( int )
1071          se = collections.defaultdict( set )
1072          if i == 'baa586e6-e5dd-11e5-8482-ac72891c3257':
1073             print 'INFO.vo.00001: ',cmv[i]
1074          for e,g in cmv[i]:
1075            cc0[g] += cmv[i][(e,g)]
1076            cc1[g] += 1
1077            se[g].add(e)
1078          for g in cc0:
1079            g1 = 'native'
1080            if self.isLatLon[st.spid] != False:
1081              g1 = g
1082              if g1 == 'DEF' and self.isLatLon[st.spid] == 'o':
1083                  g1 = '1deg'
1084              else:
1085                  g1 = 'native'
1086            g1 = g
1087
1088            cc[ (st.spid,st.odims,ii.frequency,g1) ].append( (i,cc0[g],cc1[g],se[g]) )
1089
1090      else:
1091        st = self.dq.inx.uid[ i.stid ]
1092        cc[ (st.spid,st.odims,i.frequency) ].append( i.label )
1093
1094    self.thiscmvset = set()
1095    c2 = collections.defaultdict( dict )
1096    sf = set()
1097    if asDict:
1098      for s,o,f,g in cc.keys():
1099        c2[(s,o,g)][f] = cc[ (s,o,f,g) ]
1100        sf.add( f )
1101    else:
1102      for s,o,f in cc.keys():
1103        c2[(s,o)][f] = cc[ (s,o,f) ]
1104        sf.add( f )
1105    lf = sorted( list(sf) )
1106    c3 = collections.defaultdict( dict )
1107
1108    for tt in sorted( c2.keys() ):
1109      if asDict:
1110        s,o,g = tt
1111      else:
1112        s,o = tt
1113        g = 'native'
1114      i = self.dq.inx.uid[ s ]
1115
1116      if asDict:
1117        for f in c2[tt]:
1118            isClim = f.lower().find( 'clim' ) != -1
1119            ny = 0
1120            expts = set()
1121            labs = []
1122            labs = collections.defaultdict( int )
1123            ccx = collections.defaultdict( list )
1124            for cmvi, ny1, ne, eset in c2[tt][f]:
1125              ccx[cmvi].append( (ny1, ne, eset) )
1126            net = 0
1127            for cmvi in ccx:
1128              if len( ccx[cmvi] ) == 1:
1129                 ny1, ne, eset = ccx[cmvi][0]
1130              else:
1131                 ny1, ne, eset = ( 0,0,set() )
1132                 for a,b,s in ccx[cmvi]:
1133                   ny1 += a
1134                   ne += b
1135                   eset = eset.union(  s )
1136             
1137              net += ne
1138              if len(eset) != ne:
1139                print ( 'WARNING: inconsistency in volume estimate ... possible duplication for %s,%s' % (cmvi,f) )
1140              for e in eset:
1141                elab = self.dq.inx.uid[e].label
1142                expts.add(elab)
1143
1144              if exptFilter != None:
1145                expts = exptFilter.intersection( expts )
1146              if exptFilterBlack != None:
1147                expts = expts.difference( exptFilterBlack )
1148
1149              if len(expts) > 0:
1150                lab = self.dq.inx.uid[cmvi].label
1151                self.thiscmvset.add( cmvi )
1152                ny += ny1
1153                labs[cmvi] += ny1
1154            ne = len( expts )
1155            nn = len( labs.keys() )
1156             
1157            if isClim:
1158              ny = net/float(nn)
1159            else:
1160              ny = ny/float(nn)
1161            assert tt[2] in ['native','1deg','2deg'], 'BAD grid identifier: %s' % str(tt)
1162            c3[tt][f] = (nn,ny,ne, labs,expts)
1163    return (sf,c3)
1164
1165  def getStrSz( self, g, stid=None, s=None, o=None, tt=False ):
1166    assert stid == None or (s==None and o==None), 'Specify either stid or s and o'
1167    assert stid != None or (s!=None and o!=None), 'Specify either stid or s and o'
1168
1169    if stid != None:
1170      st = self.dq.inx.uid[stid]
1171      if st._h.label != 'remarks':
1172        s = st.spid
1173        o = st.odims
1174      else:
1175        self.strSz[ (stid,g) ] = (False,0)
1176        if tt:
1177          return (self.strSz[ (stid,g) ], None)
1178        else:
1179          return self.strSz[ (stid,g) ]
1180
1181    g1 = g
1182    if g1 == 'DEF':
1183          if self.isLatLon[s] == 'o':
1184             g1 = '1deg'
1185          else:
1186             g1 = 'native'
1187    if (s,o,g) not in self.strSz:
1188
1189        if o == '':
1190           sf = 1
1191        elif o in self.odsz:
1192           sf = self.odsz[o]
1193        else:
1194           # print ( 'SEVERE.odims.00006: no information on dimension size: %s' % o )
1195           sf = 5
1196
1197        if type( sf ) == type( () ):
1198           sf = sf[0]
1199
1200
1201        try:
1202          if g1 != 'native' and self.isLatLon[s] != False:
1203            szg = self.szgss[g1][s]
1204          else:
1205            szg = self.szss[s]
1206        except:
1207          print ( 'Failed to get size for: %s, %s, %s' % (g,g1,s ) )
1208          raise
1209
1210        szg = szg * sf
1211        self.strSz[ (s,o,g) ] = (True,szg)
1212
1213    if tt:
1214      return (self.strSz[ (s,o,g) ], (s,o,g1) )
1215    else:
1216      return self.strSz[ (s,o,g) ]
1217
1218  def rvgByMip( self, mip, years=False, includePreset=False, returnLinks=False ):
1219    l1 = self.rqlByMip( mip )
1220    if includePreset:
1221      cc = collections.defaultdict( set )
1222      ss = set()
1223      for i in l1:
1224        if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
1225          prs = set()
1226          for x in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
1227             prs.add(self.dq.inx.uid[x].preset)
1228
1229          for p in prs:
1230            assert p in [-1,1,2,3], 'Bad preset value'
1231            cc[p].add( i.refid )
1232      ee = {}
1233      for p in cc:
1234        l2 = sorted( [self.dq.inx.uid[i] for i in cc[p]], key=lambda x: x.label )
1235        ee[p] = l2
1236      if returnLinks:
1237        return (l1,ee)
1238      else:
1239        return ee
1240    else:
1241      ss = set( [i.refid for i in l1] )
1242      l2 = sorted( [self.dq.inx.uid[i] for i in ss], key=lambda x: x.label )
1243      if returnLinks:
1244        return (l1,l2)
1245      else:
1246        return l2
1247
1248  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
1249
1250    l1 = self.rqiByMip( mip )
1251     
1252    #### The set of experiments/experiment groups:
1253    if exptid == None:
1254      exps = self.experiments
1255    elif type( exptid ) == type(''):
1256      exps = set( [exptid,] )
1257    else:
1258      assert type( exptid ) == type( set() ),'exptid arg to volByMip must be None, string or set: %s' % type( exptid )
1259      exps = exptid
1260   
1261    self.volByE = {}
1262    vtot = 0
1263    cc = collections.defaultdict( col_count )
1264    self.allVars = set()
1265    for e in exps:
1266      expts = self.esid_to_exptList(e,deref=True,full=False)
1267      if expts not in  [None,[]]:
1268        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
1269        for ei in expts:
1270          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
1271          vtot += self.volByE[ei.label][0]
1272        self.allVars = self.allVars.union( self.vars )
1273      ##else:
1274        ##print 'No expts found: ',e
1275    self.indexedVol = cc
1276
1277    return vtot
1278
1279  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
1280    do_count = acount != None
1281    do_list = alist != None
1282    assert not (do_count and do_list), 'It is an error to request both list and count'
1283    if not (do_count or do_list):
1284      acount = '__number__'
1285      do_count = True
1286
1287    if cc == None:
1288      if do_count:
1289        cc = collections.defaultdict( col_count )
1290      elif do_list:
1291        cc = collections.defaultdict( col_list )
1292
1293    if do_count:
1294      for l in ll:
1295        if cdict != None:
1296          v = cdict[l.uid]
1297        elif acount == '__number__':
1298          v = 1
1299        else:
1300          v = l.__dict__[acount]
1301
1302        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
1303    elif do_list:
1304      for l in ll:
1305        if cdict != None:
1306          v = cdict[l.uid]
1307        elif alist == '__item__':
1308          v = l
1309        else:
1310          v = l.__dict__[alist]
1311        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
1312
1313    od = {}
1314    for k in cc.keys():
1315      d2 = {}
1316      for k2 in cc[k].a.keys():
1317        d2[k2] = cc[k].a[k2]
1318      od[k] = d2
1319    return od
1320
1321class dreqUI(object):
1322  """Data Request Command line.
1323-------------------------
1324      -v : print version and exit;
1325      --unitTest : run some simple tests;
1326      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
1327      -l <options>: List for options:
1328              o: objectives
1329              e: experiments
1330      -q <options>: List information about the schema:
1331              s: sections
1332              <section>: attributes for a section
1333              <section:attribute>: definition of an attribute.
1334      -h :       help: print help text;
1335      -e <expt>: experiment;
1336      -t <tier> maxmum tier;
1337      -p <priority>  maximum priority;
1338      --xls : Create Excel file with requested variables;
1339      --sf : Print summary of variable count by structure and frequency;
1340      --SF : Print summary of variable count by structure and frequency for all MIPs;
1341      --grdpol <native|1deg> :  policy for default grid, if MIPs have not expressed a preference;
1342      --allgrd :  When a variable is requested on multiple grids, archive all grids requested (default: only the finest resolution);
1343      --unique :  List only variables which are not requested uniquely by this MIP, for at least one experiment;
1344      --txt : Create text file with requested variables;
1345      --mcfg : Model configuration: 7 integers, comma separated, 'nho','nlo','nha','nla','nlas','nls','nh1'
1346                 default: 259200,60,64800,40,20,5,100
1347      --txtOpts : options for content of text file: (v|c)[(+|-)att1[,att2[...]]]
1348      --xlsDir <directory> : Directory in which to place variable listing [xls];
1349      --printLinesMax <n>  : Maximum number of lines to be printed (default 20)
1350      --printVars    : If present, a summary of the variables (see --printLinesMax) fitting the selection options will be printed
1351      --intersection : Analyse the intersection of requests rather than union.
1352
1353NOTES
1354-----
1355[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
1356-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
1357
1358e.g.
1359drq -m HighResMIP:Ocean.DiurnalCycle
1360"""
1361  def __init__(self,args):
1362    self.adict = {}
1363    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
1364                      '-h':('h',False), '--printLinesMax':('plm',True), \
1365                      '-l':('l',True),
1366                      '-q':('q',True),
1367                      '--printVars':('vars',False), '--intersection':('intersection',False), \
1368                      '--count':('count',False), \
1369                      '--txt':('txt',False), \
1370                      '--sf':('sf',False), \
1371                      '--SF':('SF',False), \
1372                      '--grdpol':('grdpol',True), \
1373                      '--allgrd':('allgrd',False), \
1374                      '--unique':('unique',False), \
1375                      '--mcfg':('mcfg',True), \
1376                      '--txtOpts':('txtOpts',True), \
1377                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
1378                       } 
1379    aa = args[:]
1380    notKnownArgs = []
1381    while len(aa) > 0:
1382      a = aa.pop(0)
1383      if a in self.knownargs:
1384        b = self.knownargs[a][0]
1385        if self.knownargs[a][1]:
1386          v = aa.pop(0)
1387          self.adict[b] = v
1388        else:
1389          self.adict[b] = True
1390      else:
1391        notKnownArgs.append(a)
1392
1393    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
1394
1395    if 'm' in self.adict:
1396      if self.adict['m'] == '_all_':
1397        pass
1398      elif self.adict['m'].find( ':' ) != -1:
1399        ee = {}
1400        for i in self.adict['m'].split(','):
1401          bits =  i.split( ':' )
1402          if len( bits ) == 1:
1403             ee[bits[0]] = []
1404          else:
1405             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
1406             ee[bits[0]] = bits[1].split( '.' )
1407        self.adict['m'] = ee
1408      else:
1409        self.adict['m'] = set(self.adict['m'].split(',') )
1410
1411    if 'grdpol' in self.adict:
1412      assert self.adict['grdpol'] in ['native','1deg'], 'Grid policy argument --grdpol must be native or 1deg : %s' % self.adict['grdpol']
1413
1414    integerArgs = set( ['p','t','plm'] )
1415    for i in integerArgs.intersection( self.adict ):
1416      self.adict[i] = int( self.adict[i] )
1417
1418    self.intersection = self.adict.get( 'intersection', False )
1419
1420 
1421  def checkArgs( self, notKnownArgs ):
1422    if len( notKnownArgs ) == 0:
1423      return True
1424    print ('--------------------------------------')
1425    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
1426    k = 0
1427    for x in notKnownArgs:
1428      k += 1
1429      if x[1:] in self.knownargs:
1430        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
1431      elif '-%s' % x in self.knownargs:
1432        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
1433      elif x[0] == '\xe2':
1434        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
1435    print ('--------------------------------------')
1436
1437    return len( notKnownArgs ) == 0
1438     
1439  def run(self, dq=None):
1440    if 'h' in self.adict:
1441      mlg.prnt ( self.__doc__ )
1442      return
1443
1444    if 'q' in self.adict:
1445      if dq == None:
1446        dq = dreq.loadDreq(configOnly=True)
1447      s = self.adict['q']
1448      if self.adict['q'] == 's':
1449        ss = sorted( [(i.title,i.label) for i in dq.coll['__sect__'].items] )
1450        for s in ss:
1451          mlg.prnt( '%16s:: %s' % (s[1],s[0]) )
1452      else:
1453        ss = [i.label for i in dq.coll['__sect__'].items]
1454        if s.find( ':' ) != -1:
1455          s,a = s.split( ':' )
1456        else:
1457          a = None
1458        if s not in ss:
1459          mlg.prnt( 'ERROR: option must be a section; use "-q s" to list sections' )
1460        elif a == None:
1461          x = [i for i in dq.coll['__sect__'].items if i.label == s]
1462          s1 = [i for i in  dq.coll['__main__'].items if 'ATTRIBUTE::%s' % s in i.uid]
1463          mlg.prnt( x[0].title )
1464          mlg.prnt( ' '.join( sorted  ([i.label for i in s1] ) ))
1465        else:
1466          x = [i for i in dq.coll['__main__'].items if i.uid == 'ATTRIBUTE::%s.%s' % (s,a) ]
1467          if len(x) == 0:
1468            mlg.prnt( 'ERROR: attribute not found' )
1469            s1 = [i for i in  dq.coll['__main__'].items if 'ATTRIBUTE::%s' % s in i.uid]
1470            mlg.prnt( 'ATTRIBUTES: ' + ' '.join( sorted  ([i.label for i in s1] ) ))
1471          else:
1472            mlg.prnt( 'Section %s, attribute %s' % (s,a) )
1473            mlg.prnt( x[0].title )
1474            mlg.prnt( x[0].description )
1475      return
1476
1477    if not ('m' in self.adict or 'SF' in self.adict):
1478      mlg.prnt ( 'Current version requires -m or --SF argument'  )
1479      mlg.prnt ( self.__doc__ )
1480      sys.exit(0)
1481
1482    if dq == None:
1483      self.dq = dreq.loadDreq()
1484    else:
1485      self.dq = dq
1486
1487    if 'l' in self.adict:
1488      self.printList()
1489      return
1490
1491    if 'mcfg' in self.adict:
1492      ll = string.split( self.adict['mcfg'], ',' )
1493      assert len(ll) == 7, 'Length of model configuration argument must be 7 comma separated integers: %s' %  self.adict['mcfg']
1494      lli = [ int(x) for x in ll]
1495
1496    self.sc = dreqQuery( dq=self.dq )
1497
1498    if 'grdpol' in self.adict:
1499      self.sc.gridPolicyDefaultNative = self.adict['grdpol'] == 'native'
1500      print ( 'SETTING grid policy: %s' % self.sc.gridPolicyDefaultNative )
1501    if 'allgrd' in self.adict:
1502      self.sc.gridPolicyTopOnly = False
1503      print ( 'SETTING grid policy for multiple preferred grids: %s' % self.sc.gridPolicyTopOnly )
1504    if 'unique' in self.adict:
1505      self.sc.uniqueRequest = True
1506
1507    if 'mcfg' in self.adict:
1508      self.sc.setMcfg( lli )
1509
1510    tierMax = self.adict.get( 't', 1 )
1511    self.sc.setTierMax(  tierMax )
1512    pmax = self.adict.get( 'p', 1 )
1513
1514    makeXls = self.adict.get( 'xls', False )
1515    makeTxt = self.adict.get( 'txt', False )
1516    doSf = 'SF' in self.adict or 'sf' in self.adict
1517    if makeXls or makeTxt or doSf:
1518      xlsOdir = self.adict.get( 'xlsdir', 'xls' )
1519      self.sc.checkDir( xlsOdir, 'xls files' )
1520
1521    if 'SF' in self.adict:
1522      self.sc.gridPolicyDefaultNative = True
1523      vs = volsum.vsum( self.sc, odsz, npy, makeTables.makeTab, makeTables.tables, odir=xlsOdir )
1524      vs.analAll(pmax)
1525
1526      self.sc.gridPolicyDefaultNative = False
1527      vs = volsum.vsum( self.sc, odsz, npy, makeTables.makeTab, makeTables.tables, odir=xlsOdir )
1528      vs.analAll(pmax)
1529
1530      self.sc.setTierMax( 3 )
1531      vs = volsum.vsum( self.sc, odsz, npy, makeTables.makeTab, makeTables.tables, odir=xlsOdir )
1532      vs.analAll(3)
1533      return
1534
1535    ok = True
1536    if self.adict['m'] == '_all_':
1537      self.adict['m'] = set(self.sc.mips )
1538      mlab = 'TOTAL'
1539    else:
1540      for i in self.adict['m']:
1541        if i not in self.sc.mips:
1542          ok = False
1543          mlg.prnt ( 'NOT FOUND: %s' % i )
1544      mlab = makeTables.setMlab( self.adict['m'] )
1545    assert ok,'Available MIPs: %s' % str(self.sc.mips)
1546
1547    eid = None
1548    ex = None
1549    if 'e' in self.adict:
1550      ex = self.adict['e']
1551      if ex in self.sc.mipsp:
1552        eid = set( self.dq.inx.iref_by_sect[ex].a['experiment'] )
1553        self.sc.exptFilter = eid
1554      else:
1555        for i in self.dq.coll['experiment'].items:
1556          if i.label == self.adict['e']:
1557            eid = i.uid
1558        assert eid != None, 'Experiment/MIP %s not found' % self.adict['e']
1559        self.sc.exptFilter = set( [eid,] )
1560
1561    ss = set()
1562    for e in ['esm-hist','esm-hist-ext','esm-piControl','piControl-spinup','esm-piControl-spinup']:
1563      ss.add( self.sc.exptByLabel[ e ] )
1564    self.sc.exptFilterBlack = ss
1565
1566    if 'sf' in self.adict:
1567      vs = volsum.vsum( self.sc, odsz, npy, makeTables.makeTab, makeTables.tables, odir=xlsOdir )
1568      vs.run( self.adict['m'], 'requestVol_%s_%s_%s' % (mlab,tierMax,pmax), pmax=pmax ) 
1569      vs.anal(olab=mlab,doUnique=False)
1570      vs.analAll(pmax,mips=self.adict['m'])
1571      ttl = sum( [x for k,x in vs.res['vu'].items()] )*2.*1.e-12
1572      ttl2 = sum( [x for k,x in vs.res['vu'].items()] )*2.*1.e-12
1573      mlg.prnt( 'TOTAL volume: %8.2fTb' % ttl )
1574      return
1575
1576
1577    adsCount = self.adict.get( 'count', False )
1578
1579    self.getVolByMip(pmax,eid,adsCount)
1580    makeXls = self.adict.get( 'xls', False )
1581    makeTxt = self.adict.get( 'txt', False )
1582    if makeXls or makeTxt:
1583      mips = self.adict['m']
1584
1585      if 'txtOpts' in self.adict:
1586        if self.adict['txtOpts'][0] == 'v':
1587          txtOpts = NT_txtopts( 'var' )
1588        else:
1589          txtOpts = NT_txtopts( 'cmv' )
1590      else:
1591        txtOpts=None
1592
1593      self.sc.xlsByMipExpt(mips,eid,pmax,odir=xlsOdir,xls=makeXls,txt=makeTxt,txtOpts=txtOpts)
1594
1595  def printList(self):
1596    mips = self.adict['m']
1597    ee = {}
1598    for i in self.dq.coll['mip'].items:
1599      if i.label in mips:
1600        ee[i.label] = i
1601    if self.adict['l'] in ['o','e']:
1602      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
1603      for k in sorted( ee.keys() ):
1604        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
1605          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
1606            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
1607    else:
1608      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
1609     
1610  def getVolByMip(self,pmax,eid,adsCount):
1611
1612    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
1613    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
1614    cc = collections.defaultdict( int )
1615    for e in self.sc.volByE:
1616      for v in self.sc.volByE[e][2]:
1617          cc[v] += self.sc.volByE[e][2][v]
1618    x = 0
1619    for v in cc:
1620      x += cc[v]
1621   
1622    if python2:
1623      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
1624    else:
1625      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
1626    if self.adict.get( 'vars', False ):
1627      printLinesMax = self.adict.get( 'plm', 20 )
1628      if printLinesMax > 0:
1629        mx = min( [printLinesMax,len(vl)] )
1630      else:
1631        mx = len(vl)
1632
1633      for v in vl[:mx]:
1634        mlg.prnt ( '%s.%s: %s' % (self.dq.inx.uid[v].mipTable,self.dq.inx.uid[v].label, makeTables.vfmt( cc[v]*2. ) ) )
1635      if mx < len(vl):
1636        mlg.prnt ( '%s variables not listed (use --printLinesMax to print more)' % (len(vl)-mx) )
1637
Note: See TracBrowser for help on using the repository browser.