source: CMIP6dreq/trunk/dreqPy/scope.py @ 601

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreq/trunk/dreqPy/scope.py@601
Revision 601, 26.6 KB checked in by mjuckes, 4 years ago (diff)

distrib

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32
33class baseException(Exception):
34  """Basic exception for general use in code."""
35
36  def __init__(self,msg):
37    self.msg = 'scope:: %s' % msg
38
39  def __str__(self):
40    return repr( self.msg )
41
42  def __repr__(self):
43    return self.msg
44
45nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
46class cmpd(object):
47  def __init__(self,dct):
48    self.d = dct
49  def cmp(self,x,y,):
50    return cmp( self.d[x], self.d[y] )
51
52    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
53
54def filter1( a, b ):
55  if b < 0:
56    return a
57  else:
58    return min( [a,b] )
59
60def filter2( a, b, tt, tm ):
61## largest tier less than or equal to tm
62  t1 = [t for t in tt if t <= tm][-1]
63  it1 = tt.index(t1)
64  aa = a[it1]
65  if b < 0:
66    return aa
67  else:
68    return min( [aa,b] )
69
70npy = {'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365, u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1, u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365, 'subhr':24*365, 'Day':365, '6h':4*365,
71'3 hourly':8*365, '':1 }
72## There are 4 cmor variables with blank frequency ....
73
74def vol01( sz, v, npy, freq, inx ):
75  n1 = npy[freq]
76  s = sz[inx.uid[v].stid]
77  assert type(s) == type(1), 'Non-integer size found for %s' % v
78  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
79  return s*n1
80
81class col_list(object):
82  def __init__(self):
83    self.a = collections.defaultdict(list)
84
85class col_count(object):
86  def __init__(self):
87    self.a = collections.defaultdict(int)
88
89class dreqQuery(object):
90  __doc__ = """Methods to analyse the data request, including data volume estimates"""
91  def __init__(self,dq=None,tierMax=1):
92    if dq == None:
93      self.dq = dreq.loadDreq()
94    else:
95      self.dq=dq
96    self.rlu = {}
97    for i in self.dq.coll['objective'].items:
98      k = '%s.%s' % (i.mip,i.label)
99      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
100      self.rlu[k] = i.uid
101
102    self.cmvFilter = cmvFilter( self )
103    self.tierMax = tierMax
104
105    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
106    self.mipls = sorted( list( self.mips ) )
107
108    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
109    self.mcfg = self.default_mcfg._asdict()
110    ##for k in self.default_mcfg.__dict__.keys():
111      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
112    self.szcfg()
113    self.requestItemExpAll(  )
114
115  def szcfg(self):
116    self.szss = {}
117    self.sz = {}
118    for i in self.dq.coll['spatialShape'].items:
119      type = 'a'
120      if i.levelFlag == False:
121        ds =  i.dimensions.split( '|' )
122        if ds[-1] in ['site', 'basin']:
123          vd = ds[-2]
124        else:
125          vd = ds[-1]
126 
127        if vd[:4] == 'olev' or vd == 'rho':
128          type = 'o'
129          nz = self.mcfg['nlo']
130        elif vd[:4] == 'alev':
131          nz = self.mcfg['nla']
132        elif vd in ['slevel','sdepth']:
133          nz = self.mcfg['nls']
134        elif vd == 'aslevel':
135          nz = self.mcfg['nlas']
136        else:
137          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
138          raise
139      else:
140        nz = i.levels
141
142      dims = set( i.dimensions.split( '|' ) )
143      if 'latitude' in dims and 'longitude' in dims:
144        if type == 'o':
145          nh = self.mcfg['nho']
146        else:
147          nh = self.mcfg['nha']
148      else:
149        nh = 10
150
151      self.szss[i.uid] = nh*nz
152    for i in self.dq.coll['structure'].items:
153      s = self.szss[i.spid]
154      if i.odims != '':
155        s = s*5
156      self.sz[i.uid] = s
157
158  def getRequestLinkByMip( self, mipSel ):
159    """Return the set of request links which are associated with specified MIP"""
160    if type(mipSel) == type(''):
161      t1 = lambda x: x == mipSel
162    elif type(mipSel) == type(set()):
163      t1 = lambda x: x in mipSel
164
165    s = set()
166    for i in self.dq.coll['objectiveLink'].items:
167      if t1(i.label):
168        s.add( self.dq.inx.uid[i.rid] )
169    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
170    self.rqs = list( s )
171    return self.rqs
172
173  def getRequestLinkByObjective( self, objSel ):
174    """Return the set of request links which are associated with specified objectives"""
175    if type(objSel) == type(''):
176      t1 = lambda x: x == self.rlu[objSel]
177    elif type(objSel) == type(set()):
178      t1 = lambda x: x in [self.rlu[i] for i in objSel]
179
180    s = set()
181    for i in self.dq.coll['objectiveLink'].items:
182      if t1(i.label):
183        s.add( self.dq.inx.uid[i.oid] )
184##
185    self.rqs = list( s )
186    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
187    return self.rqs
188
189  def varGroupXexpt(self, rqList ):
190    """For a list of request links, return a list of variable group IDs for each experiment"""
191    self.cc = collections.defaultdict( list )
192    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
193    return self.cc
194
195  def yearsInRequest(self, rql ):
196    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
197    return self.ntot
198
199  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
200    """rqlByExpt: return a set of request links for an experiment"""
201##
202    inx = self.dq.inx
203   
204    exi = self.dq.inx.uid[ex]
205    if exi._h.label == 'experiment':
206      exset = set( [ex,exi.egid,exi.mip] )
207    else:
208      exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
209##
210## rql is the set of all request links which are associated with a request item for this experiment set
211##
212    l1p = set()
213    for i in l1:
214      if i.preset < 0 or i.preset <= pmax:
215        if i.esid in exset:
216          l1p.add(i)
217
218    rql0 = set()
219    for i in l1p:
220       rql0.add(i.rlid)
221
222    rqlInv = set()
223    for u in rql0:
224      if inx.uid[u]._h.label == 'remarks':
225        rqlInv.add( u )
226    if len(rqlInv) != 0:
227      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
228    rql = set()
229    for u in rql0:
230       if inx.uid[u]._h.label != 'remarks':
231         rql.add( u ) 
232
233    return rql, l1p, exset
234
235  def varsByRql( self, rql, pmax=2, intersection=False): 
236      """The complete set of variables associated with a set of rquest links."""
237      inx = self.dq.inx
238      cc1 = collections.defaultdict( set )
239      for i in rql:
240        o = inx.uid[i]
241        if o.opt == 'priority':
242          p = int( float( o.opar ) )
243          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
244          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
245        else:
246          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
247
248      if intersection:
249        ccv = {}
250#
251# set of request variables for each MIP
252#
253        for k in cc1:
254          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
255          rqvgs = collections.defaultdict( set )
256          for x in cc1[k]:
257            if type(x) == type( () ):
258              rqvgs[x[0]].add( x[1] )
259            else:
260              rqvgs[x].add( 3 )
261         
262          s = set()
263          for vg in rqvgs:
264            for l in inx.iref_by_sect[vg].a['requestVar']:
265              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
266                s.add( inx.uid[l].vid )
267          ccv[k] = s
268
269        if len( ccv.keys() ) < len( list(imips) ):
270          vars = set()
271        else:
272          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
273      else:
274        rqvgs = collections.defaultdict( set )
275        for k in cc1:
276          for x in cc1[k]:
277            if type(x) == type( () ):
278              rqvgs[x[0]].add( x[1] )
279            else:
280              rqvgs[x].add( 3 )
281         
282###To obtain a set of variables associated with this collection of variable groups:
283
284        vars = set()
285        for vg in rqvgs:
286          for l in inx.iref_by_sect[vg].a['requestVar']:
287            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
288               vars.add(inx.uid[l].vid)
289        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
290
291### filter out cases where the request does not point to a CMOR variable.
292    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
293      thisvars = set()
294      for vid in vars:
295         if inx.uid[vid]._h.label == u'CMORvar':
296             thisvars.add(vid)
297
298      return thisvars
299
300  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
301    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
302          The calculation has some approximations concerning the number of years in each experiment group.
303          cc: an optional collector, to accumulate indexed volumes. """
304##
305    inx = self.dq.inx
306    imips = set()
307    for i in l1:
308      imips.add(i.mip)
309    ##imips = {i.mip for i in l1}
310   
311    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
312    dn = False
313    if dn:
314      exi = self.dq.inx.uid[ex]
315      if exi._h.label == 'experiment':
316        exset = set( [ex,exi.egid,exi.mip] )
317      else:
318        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
319##
320## rql is the set of all request links which are associated with a request item for this experiment set
321##
322      l1p = set()
323      for i in l1:
324        if i.preset < 0 or i.preset <= pmax:
325          if i.esid in exset:
326            l1p.add(i)
327 
328      rql0 = set()
329      for i in l1p:
330         rql0.add(i.rlid)
331 
332      rqlInv = set()
333      for u in rql0:
334        if inx.uid[u]._h.label == 'remarks':
335          rqlInv.add( u )
336      if len(rqlInv) != 0:
337        mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
338      rql = set()
339      for u in rql0:
340         if inx.uid[u]._h.label != 'remarks':
341           rql.add( u ) 
342    else:
343      exi = self.dq.inx.uid[ex]
344      if exi._h.label == 'experiment':
345        exset = set( [ex,exi.egid,exi.mip] )
346
347#####
348    if len( rql ) == 0:
349      self.vars = set()
350      return (0,{},{} )
351
352## The complete set of variables associated with these requests:
353    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
354    tm = 3
355    if tm == 0:
356      s = set()
357      for i in rql:
358        s.add( inx.uid[i].refid )
359      rqvg = list( s )
360    elif tm == 1:
361      cc1 = collections.defaultdict( set )
362      for i in rql:
363        o = inx.uid[i]
364        if o.opt == 'priority':
365          p = int( float( o.opar ) )
366          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
367          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
368        else:
369          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
370
371      if intersection:
372        ccv = {}
373#
374# set of request variables for each MIP
375#
376        for k in cc1:
377          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
378          rqvgs = collections.defaultdict( set )
379          for x in cc1[k]:
380            if type(x) == type( () ):
381              rqvgs[x[0]].add( x[1] )
382            else:
383              rqvgs[x].add( 3 )
384         
385          s = set()
386          for vg in rqvgs:
387            for l in inx.iref_by_sect[vg].a['requestVar']:
388              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
389                s.add( inx.uid[l].vid )
390          ccv[k] = s
391
392        if len( ccv.keys() ) < len( list(imips) ):
393          vars = set()
394        else:
395          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
396      else:
397        rqvgs = collections.defaultdict( set )
398        for k in cc1:
399          for x in cc1[k]:
400            if type(x) == type( () ):
401              rqvgs[x[0]].add( x[1] )
402            else:
403              rqvgs[x].add( 3 )
404         
405###To obtain a set of variables associated with this collection of variable groups:
406
407        vars = set()
408        for vg in rqvgs:
409          for l in inx.iref_by_sect[vg].a['requestVar']:
410            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
411               vars.add(inx.uid[l].vid)
412        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
413
414### filter out cases where the request does not point to a CMOR variable.
415    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
416      thisvars = set()
417      for vid in vars:
418         if inx.uid[vid]._h.label == u'CMORvar':
419             thisvars.add(vid)
420      vars = thisvars
421##
422## filter by configuration option and rank
423##
424    if not retainRedundantRank:
425      len1 = len(vars)
426      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
427
428      vars = cmv
429   
430    self.vars = vars
431
432    e = {}
433    for u in rql:
434### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
435      i = inx.uid[u]
436      e[i.uid] = set()
437      for x in inx.iref_by_sect[i.refid].a['requestVar']:
438           if inx.uid[x].priority <= pmax:
439              e[i.uid].add( inx.uid[x].vid )
440#
441# for each variable, calculate the maximum number of years across all the request links which reference that variable.
442##
443## for each request item we have nymax, nenmax, nexmax.
444##
445    nym = {}
446
447##
448## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
449    if adsCount:
450      irqi = 3
451    else:
452      irqi = 2
453
454    for v in vars:
455      s = set()
456      cc2 = collections.defaultdict( set )
457      for i in l1p:
458##################
459        if i.esid in exset and v in e[i.rlid]:
460          ix = inx.uid[i.esid]
461          if exi._h.label == 'experiment':
462            if ex in self.rqiExp[i.uid][1]:
463              this = self.rqiExp[i.uid][1][ex]
464              cc2[i.esid].add( this[-1]*this[-2] )
465          elif ix._h.label == 'experiment':
466            cc2[i.esid].add( self.rqiExp[i.uid][irqi] )
467          else:
468            if 'experiment' in inx.iref_by_sect[i.esid].a:
469              for u in inx.iref_by_sect[i.esid].a['experiment']:
470                if u in self.rqiExp[i.uid][1]:
471                  this = self.rqiExp[i.uid][1][u]
472                  cc2[u].add( this[-1]*this[-2] )
473                ###cc2[u].add( self.rqiExp[i.uid][irqi] )
474            ##else:
475              ##print 'WARNING .... empty experiment set'
476          s.add( self.rqiExp[i.uid][irqi] )
477      ##nym[v] = max( {self.rqiExp[i.uid][2] for i in l1p if i.esid == ex and v in e[i.rlid]} )
478      if len(s) == 0:
479        nym[v] = 0
480      else:
481        ##print 'debug2:: ',v,cc2
482        nym[v] = sum( [max( cc2[k] ) for k in cc2] )
483
484    szv = {}
485    ov = []
486    for v in vars:
487      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
488      ov.append( self.dq.inx.uid[v] )
489    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
490    ff = {}
491    for v in vars:
492      if adsCount:
493        ff[v] = 1
494      else:
495        ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
496        if inx.uid[v].frequency != 'monClim':
497          ff[v] = ff[v]*nym[v]
498    self.ngptot = sum( [  ff[v]  for v in vars] )
499    return (self.ngptot, ee, ff )
500
501  def esid_to_exptList(self,esid,deref=False,full=False):
502    if not esid in self.dq.inx.uid:
503      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
504      raise
505
506    if self.dq.inx.uid[esid]._h.label == 'experiment':
507      expts = [esid,]
508    elif self.dq.inx.uid[esid]._h.label != 'remarks':
509      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
510        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
511      else:
512        expts = []
513
514## add in groups and mips for completeness
515##
516      if full:
517        if self.dq.inx.uid[esid]._h.label == 'mip':
518          s = set()
519          for e in expts:
520            if self.dq.inx.uid[e]._h.label != 'experiment':
521              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
522            s.add( self.dq.inx.uid[e].egid )
523          for i in s:
524            expts.append( i )
525        expts.append( esid )
526    else:
527      ##print ( 'WARNING: request link not associated with valid experiment group' )
528      ##raise
529      return None
530
531
532    if self.tierMax > 0:
533      expts1 = []
534      for i in expts:
535        if self.dq.inx.uid[i]._h.label == 'experiment':
536          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
537            expts1.append( i )
538        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
539          if self.dq.inx.uid[i].tierMin <= self.tierMax:
540            expts1.append( i )
541        else:
542            expts1.append( i )
543    else:
544      expts1 = expts
545
546    if deref:
547      return [self.dq.inx.uid[e] for e in expts1]
548    else:
549      return expts1
550 
551##
552## need to call this on load
553## then use instead of i.ny etc below
554##
555  def requestItemExpAll( self ):
556    self.rqiExp = {}
557    for rqi in self.dq.coll['requestItem'].items:
558      a,b,c,d = self.requestItemExp( rqi )
559      if a != None:
560        self.rqiExp[rqi.uid] = (a,b,c,d)
561
562  def requestItemExp( self, rqi ):
563    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
564    u = rqi.esid
565    if self.dq.inx.uid[u]._h.label == 'experiment':
566      expts = [u,]
567    elif self.dq.inx.uid[u]._h.label != 'remarks':
568      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
569        expts = self.dq.inx.iref_by_sect[u].a['experiment']
570      else:
571        expts = []
572    else:
573      # print ( 'WARNING: request link not associated with valid experiment group'  )
574      ##rqi.__info__()
575      ##raise
576      return (None, None, None, None)
577
578    if self.tierMax > 0:
579      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
580
581    self.multiTierOnly = False
582    if self.multiTierOnly:
583      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
584      print ('Len expts: %s' % len(expts) )
585
586    if len(expts) > 0:
587      e = [self.dq.inx.uid[i] for i in expts]
588      for i in e:
589        if i._h.label != 'experiment':
590          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
591      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
592      dat2 = {}
593      for i in e:
594        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
595      ### number of
596      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
597      netot = sum( [dat2[x][-1] for x in dat2 ] )
598      ##print 'debug1:: ',dat, nytot, netot
599    else:
600      dat2 = {}
601      nytot = 0
602      netot = 0
603   
604    return (expts, dat2, nytot, netot )
605
606  def setTierMax( self, tierMax ):
607    """Set the maxium tier and recompute request sizes"""
608    if tierMax != self.tierMax:
609      self.tierMax = tierMax
610      self.requestItemExpAll(  )
611
612  def summaryByMip( self, pmax=1 ):
613    bytesPerFloat = 2.
614    for m in self.mipls:
615      v = self.volByMip( m, pmax=pmax )
616      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
617
618  def rqiByMip( self, mip):
619
620    if type(mip) in [type( '' ),type( u'') ]:
621      if mip not in self.mips:
622        mlg.prnt ( self.mips )
623        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
624      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
625    elif type(mip) == type( set()):
626      nf = [ m for m in mip if m not in self.mips]
627      if len(nf) > 0:
628        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
629      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
630    else:
631      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
632    return l1
633
634  def xlsByMipExpt(self,m,ex,pmax,odir='xls'):
635
636    mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
637    tabs = makeTables.tables( self, mips, odir=odir )
638    cc = collections.defaultdict( c1 )
639    mlab = tabs.setMlab( m )
640    cc[mlab].dd = {}
641    cc[mlab].ee = {}
642    if m == 'TOTAL':
643        l1 = self.rqiByMip( set( mips ) )
644    else:
645        l1 = self.rqiByMip( m )
646
647    ###print 'len l1:',len(l1)
648    tabs.doTable(m,l1,ex,pmax,cc, mlab=mlab)
649     
650  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
651
652    l1 = self.rqiByMip( mip )
653     
654    #### The set of experiments/experiment groups:
655    if exptid == None:
656      exps = self.mips
657    else:
658      exps = set( [exptid,] )
659      ##print exptid, exps
660    self.volByE = {}
661    vtot = 0
662    cc = collections.defaultdict( col_count )
663    self.allVars = set()
664    for e in exps:
665      expts = self.esid_to_exptList(e,deref=True,full=False)
666      if expts != None:
667        self.volByE[e] = self.volByExpt( l1, e, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
668        vtot += self.volByE[e][0]
669        self.allVars = self.allVars.union( self.vars )
670    self.indexedVol = cc
671
672    return vtot
673
674  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
675    do_count = acount != None
676    do_list = alist != None
677    assert not (do_count and do_list), 'It is an error to request both list and count'
678    if not (do_count or do_list):
679      acount = '__number__'
680      do_count = True
681
682    if cc == None:
683      if do_count:
684        cc = collections.defaultdict( col_count )
685      elif do_list:
686        cc = collections.defaultdict( col_list )
687
688    if do_count:
689      for l in ll:
690        if cdict != None:
691          v = cdict[l.uid]
692        elif acount == '__number__':
693          v = 1
694        else:
695          v = l.__dict__[acount]
696
697        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
698    elif do_list:
699      for l in ll:
700        if cdict != None:
701          v = cdict[l.uid]
702        elif alist == '__item__':
703          v = l
704        else:
705          v = l.__dict__[alist]
706        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
707
708    od = {}
709    for k in cc.keys():
710      d2 = {}
711      for k2 in cc[k].a.keys():
712        d2[k2] = cc[k].a[k2]
713      od[k] = d2
714    return od
715
716class dreqUI(object):
717  """Data Request Command line.
718-------------------------
719      -v : print version and exit;
720      --unitTest : run some simple tests;
721      -m <mip>:  MIP of list of MIPs (comma separated);
722      -h :       help: print help text;
723      -e <expt>: experiment;
724      -t <tier> maxmum tier;
725      -p <priority>  maximum priority;
726      --xls : Create Excel file with requested variables;
727      --xlsDir <directory> : Directory in which to place variable listing [xls];
728      --printLinesMax <n>: Maximum number of lines to be printed
729      --printVars  : If present, a summary of the variables fitting the selection options will be printed
730      --intersection : Analyse the intersection of requests rather than union.
731"""
732  def __init__(self,args):
733    self.adict = {}
734    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
735                      '-h':('h',False), '--printLinesMax':('plm',True), \
736                      '--printVars':('vars',False), '--intersection':('intersection',False), \
737                      '--count':('count',False), \
738                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
739                       } 
740    aa = args[:]
741    while len(aa) > 0:
742      a = aa.pop(0)
743      if a in self.knownargs:
744        b = self.knownargs[a][0]
745        if self.knownargs[a][1]:
746          v = aa.pop(0)
747          self.adict[b] = v
748        else:
749          self.adict[b] = True
750
751    if 'm' in self.adict:
752      self.adict['m'] = set(self.adict['m'].split(',') )
753
754    integerArgs = set( ['p','t','plm'] )
755    for i in integerArgs.intersection( self.adict ):
756      self.adict[i] = int( self.adict[i] )
757
758    self.intersection = self.adict.get( 'intersection', False )
759
760  def run(self, dq=None):
761    if 'h' in self.adict:
762      mlg.prnt ( self.__doc__ )
763      return
764
765    if not 'm' in self.adict:
766      mlg.prnt ( 'Current version requires -m argument'  )
767      mlg.prnt ( self.__doc__ )
768      sys.exit(0)
769
770    if dq == None:
771      self.dq = dreq.loadDreq()
772    else:
773      self.dq = None
774
775    self.sc = dreqQuery( dq=self.dq )
776
777    ok = True
778    for i in self.adict['m']:
779        if i not in self.sc.mips:
780          ok = False
781          mlg.prnt ( 'NOT FOUND: %s' % i )
782
783    eid = None
784    ex = None
785    if self.adict.has_key('e'):
786      ex = self.adict['e']
787      for i in self.dq.coll['experiment'].items:
788        if i.label == self.adict['e']:
789          eid = i.uid
790      assert eid != None, 'Experiment %s not found' % self.adict['e']
791    ##print ( 'eid=%s' % eid )
792    assert ok,'Available MIPs: %s' % str(self.sc.mips)
793    adsCount = self.adict.get( 'count', False )
794
795    tierMax = self.adict.get( 't', 1 )
796    self.sc.setTierMax(  tierMax )
797    pmax = self.adict.get( 'p', 1 )
798    self.getVolByMip(pmax,eid,adsCount)
799    makeXls = self.adict.get( 'xls', False )
800    if makeXls:
801      mips = self.adict['m']
802      odir = self.adict.get( 'xlsdir', 'xls' )
803      ##print 'odir:::::::::: ',odir
804      ##m = list( mips )[0]
805      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir)
806 
807
808  def getVolByMip(self,pmax,eid,adsCount):
809
810    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
811    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
812    mlg.prnt ( '%s' % v0 )
813    cc = collections.defaultdict( int )
814    for e in self.sc.volByE:
815      for v in self.sc.volByE[e][2]:
816          cc[v] += self.sc.volByE[e][2][v]
817    x = 0
818    for v in cc:
819      x += cc[v]
820   
821    if python2:
822      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
823    else:
824      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
825    if self.adict.get( 'vars', False ):
826      printLinesMax = self.adict.get( 'plm', 20 )
827      if printLinesMax > 0:
828        mx = min( [printLinesMax,len(vl)] )
829      else:
830        mx = len(vl)
831
832      for v in vl[:mx]:
833        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
834
Note: See TracBrowser for help on using the repository browser.