source: CMIP6dreq/trunk/dreqPy/scope.py @ 606

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreq/trunk/dreqPy/scope.py@606
Revision 606, 28.2 KB checked in by mjuckes, 4 years ago (diff)

resolved some bugs in volume estimate and cf3hr variable definitions

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32class c1s(object):
33  def __init__(self):
34    self.a = collections.defaultdict( set )
35
36class baseException(Exception):
37  """Basic exception for general use in code."""
38
39  def __init__(self,msg):
40    self.msg = 'scope:: %s' % msg
41
42  def __str__(self):
43    return repr( self.msg )
44
45  def __repr__(self):
46    return self.msg
47
48nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
49class cmpd(object):
50  def __init__(self,dct):
51    self.d = dct
52  def cmp(self,x,y,):
53    return cmp( self.d[x], self.d[y] )
54
55    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
56
57def filter1( a, b ):
58  if b < 0:
59    return a
60  else:
61    return min( [a,b] )
62
63def filter2( a, b, tt, tm ):
64## largest tier less than or equal to tm
65  t1 = [t for t in tt if t <= tm][-1]
66  it1 = tt.index(t1)
67  aa = a[it1]
68  if b < 0:
69    return aa
70  else:
71    return min( [aa,b] )
72
73npy = {'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365, u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1, u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365, 'subhr':24*365, 'Day':365, '6h':4*365,
74'3 hourly':8*365, '':1 }
75## There are 4 cmor variables with blank frequency ....
76
77def vol01( sz, v, npy, freq, inx ):
78  n1 = npy[freq]
79  s = sz[inx.uid[v].stid]
80  assert type(s) == type(1), 'Non-integer size found for %s' % v
81  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
82  return s*n1
83
84class col_list(object):
85  def __init__(self):
86    self.a = collections.defaultdict(list)
87
88class col_count(object):
89  def __init__(self):
90    self.a = collections.defaultdict(int)
91
92class dreqQuery(object):
93  __doc__ = """Methods to analyse the data request, including data volume estimates"""
94  def __init__(self,dq=None,tierMax=1):
95    if dq == None:
96      self.dq = dreq.loadDreq()
97    else:
98      self.dq=dq
99    self.rlu = {}
100    for i in self.dq.coll['objective'].items:
101      k = '%s.%s' % (i.mip,i.label)
102      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
103      self.rlu[k] = i.uid
104
105    self.cmvFilter = cmvFilter( self )
106    self.tierMax = tierMax
107
108    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
109    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
110    self.mipls = sorted( list( self.mips ) )
111
112    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
113    self.mcfg = self.default_mcfg._asdict()
114    ##for k in self.default_mcfg.__dict__.keys():
115      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
116    self.szcfg()
117    self.requestItemExpAll(  )
118
119  def szcfg(self):
120    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
121    self.szss = {}
122    self.sz = {}
123    self.szg = collections.defaultdict( dict )
124    self.szgss = collections.defaultdict( dict )
125    for i in self.dq.coll['spatialShape'].items:
126      type = 'a'
127      if i.levelFlag == False:
128        ds =  i.dimensions.split( '|' )
129        if ds[-1] in ['site', 'basin']:
130          vd = ds[-2]
131        else:
132          vd = ds[-1]
133 
134        if vd[:4] == 'olev' or vd == 'rho':
135          type = 'o'
136          nz = self.mcfg['nlo']
137        elif vd[:4] == 'alev':
138          nz = self.mcfg['nla']
139        elif vd in ['slevel','sdepth']:
140          nz = self.mcfg['nls']
141        elif vd == 'aslevel':
142          nz = self.mcfg['nlas']
143        else:
144          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
145          raise
146      else:
147        nz = i.levels
148
149      dims = set( i.dimensions.split( '|' ) )
150      if 'latitude' in dims and 'longitude' in dims:
151        if type == 'o':
152          nh = self.mcfg['nho']
153        else:
154          nh = self.mcfg['nha']
155      else:
156        nh = 10
157
158      self.szss[i.uid] = nh*nz
159      for k in szr:
160        self.szgss[k][i.uid] = szr[k]*nz
161    for i in self.dq.coll['structure'].items:
162      s = 1
163      if i.odims != '':
164        s = s*5
165      self.sz[i.uid] = self.szss[i.spid]*s
166      for k in szr:
167        self.szg[k][i.uid] = self.szgss[k][i.spid]*s
168
169  def getRequestLinkByMip( self, mipSel ):
170    """Return the set of request links which are associated with specified MIP"""
171    if type(mipSel) == type(''):
172      t1 = lambda x: x == mipSel
173    elif type(mipSel) == type(set()):
174      t1 = lambda x: x in mipSel
175
176    s = set()
177    for i in self.dq.coll['objectiveLink'].items:
178      if t1(i.label):
179        s.add( self.dq.inx.uid[i.rid] )
180    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
181    self.rqs = list( s )
182    return self.rqs
183
184  def getRequestLinkByObjective( self, objSel ):
185    """Return the set of request links which are associated with specified objectives"""
186    if type(objSel) == type(''):
187      t1 = lambda x: x == self.rlu[objSel]
188    elif type(objSel) == type(set()):
189      t1 = lambda x: x in [self.rlu[i] for i in objSel]
190
191    s = set()
192    for i in self.dq.coll['objectiveLink'].items:
193      if t1(i.label):
194        s.add( self.dq.inx.uid[i.oid] )
195##
196    self.rqs = list( s )
197    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
198    return self.rqs
199
200  def varGroupXexpt(self, rqList ):
201    """For a list of request links, return a list of variable group IDs for each experiment"""
202    self.cc = collections.defaultdict( list )
203    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
204    return self.cc
205
206  def yearsInRequest(self, rql ):
207    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
208    return self.ntot
209
210  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
211    """rqlByExpt: return a set of request links for an experiment"""
212##
213    inx = self.dq.inx
214   
215    exi = self.dq.inx.uid[ex]
216    if exi._h.label == 'experiment':
217      exset = set( [ex,exi.egid,exi.mip] )
218    else:
219      exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
220##
221## rql is the set of all request links which are associated with a request item for this experiment set
222##
223    l1p = set()
224    for i in l1:
225      if i.preset < 0 or i.preset <= pmax:
226        if i.esid in exset:
227          l1p.add(i)
228
229    rql0 = set()
230    for i in l1p:
231       rql0.add(i.rlid)
232
233    rqlInv = set()
234    for u in rql0:
235      if inx.uid[u]._h.label == 'remarks':
236        rqlInv.add( u )
237    if len(rqlInv) != 0:
238      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
239    rql = set()
240    for u in rql0:
241       if inx.uid[u]._h.label != 'remarks':
242         rql.add( u ) 
243
244    return rql, l1p, exset
245
246  def varsByRql( self, rql, pmax=2, intersection=False): 
247      """The complete set of variables associated with a set of rquest links."""
248      inx = self.dq.inx
249      cc1 = collections.defaultdict( set )
250      for i in rql:
251        o = inx.uid[i]
252        if o.opt == 'priority':
253          p = int( float( o.opar ) )
254          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
255          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
256        else:
257          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
258
259      if intersection:
260        ccv = {}
261#
262# set of request variables for each MIP
263#
264        for k in cc1:
265          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
266          rqvgs = collections.defaultdict( set )
267          for x in cc1[k]:
268            if type(x) == type( () ):
269              rqvgs[x[0]].add( x[1] )
270            else:
271              rqvgs[x].add( 3 )
272         
273          s = set()
274          for vg in rqvgs:
275            for l in inx.iref_by_sect[vg].a['requestVar']:
276              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
277                s.add( inx.uid[l].vid )
278          ccv[k] = s
279
280        if len( ccv.keys() ) < len( list(imips) ):
281          vars = set()
282        else:
283          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
284      else:
285        rqvgs = collections.defaultdict( set )
286        for k in cc1:
287          for x in cc1[k]:
288            if type(x) == type( () ):
289              rqvgs[x[0]].add( x[1] )
290            else:
291              rqvgs[x].add( 3 )
292         
293###To obtain a set of variables associated with this collection of variable groups:
294
295        vars = set()
296        for vg in rqvgs:
297          for l in inx.iref_by_sect[vg].a['requestVar']:
298            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
299               vars.add(inx.uid[l].vid)
300        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
301
302### filter out cases where the request does not point to a CMOR variable.
303    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
304      thisvars = set()
305      for vid in vars:
306         if inx.uid[vid]._h.label == u'CMORvar':
307             thisvars.add(vid)
308
309      return thisvars
310
311  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
312    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
313          The calculation has some approximations concerning the number of years in each experiment group.
314          cc: an optional collector, to accumulate indexed volumes. """
315##
316    inx = self.dq.inx
317    imips = set()
318    for i in l1:
319      imips.add(i.mip)
320    ##imips = {i.mip for i in l1}
321   
322    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
323    verbose = False
324    if verbose:
325      for i in rql:
326        r = inx.uid[i]
327        print r.label, r.title, r.uid
328
329    dn = False
330    if dn:
331      exi = self.dq.inx.uid[ex]
332      if exi._h.label == 'experiment':
333        exset = set( [ex,exi.egid,exi.mip] )
334      else:
335        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
336##
337## rql is the set of all request links which are associated with a request item for this experiment set
338##
339      l1p = set()
340      for i in l1:
341        if i.preset < 0 or i.preset <= pmax:
342          if i.esid in exset:
343            l1p.add(i)
344 
345      rql0 = set()
346      for i in l1p:
347         rql0.add(i.rlid)
348 
349      rqlInv = set()
350      for u in rql0:
351        if inx.uid[u]._h.label == 'remarks':
352          rqlInv.add( u )
353      if len(rqlInv) != 0:
354        mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
355      rql = set()
356      for u in rql0:
357         if inx.uid[u]._h.label != 'remarks':
358           rql.add( u ) 
359    else:
360      exi = self.dq.inx.uid[ex]
361      if exi._h.label == 'experiment':
362        exset = set( [ex,exi.egid,exi.mip] )
363
364#####
365    if len( rql ) == 0:
366      self.vars = set()
367      return (0,{},{} )
368
369## The complete set of variables associated with these requests:
370    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
371    tm = 3
372    if tm == 0:
373      s = set()
374      for i in rql:
375        s.add( inx.uid[i].refid )
376      rqvg = list( s )
377    elif tm == 1:
378      cc1 = collections.defaultdict( set )
379      for i in rql:
380        o = inx.uid[i]
381        if o.opt == 'priority':
382          p = int( float( o.opar ) )
383          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
384          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
385        else:
386          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
387
388      if intersection:
389        ccv = {}
390#
391# set of request variables for each MIP
392#
393        for k in cc1:
394          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
395          rqvgs = collections.defaultdict( set )
396          for x in cc1[k]:
397            if type(x) == type( () ):
398              rqvgs[x[0]].add( x[1] )
399            else:
400              rqvgs[x].add( 3 )
401         
402          s = set()
403          for vg in rqvgs:
404            for l in inx.iref_by_sect[vg].a['requestVar']:
405              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
406                s.add( inx.uid[l].vid )
407          ccv[k] = s
408
409        if len( ccv.keys() ) < len( list(imips) ):
410          vars = set()
411        else:
412          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
413      else:
414        rqvgs = collections.defaultdict( set )
415        for k in cc1:
416          for x in cc1[k]:
417            if type(x) == type( () ):
418              rqvgs[x[0]].add( x[1] )
419            else:
420              rqvgs[x].add( 3 )
421         
422###To obtain a set of variables associated with this collection of variable groups:
423
424        vars = set()
425        for vg in rqvgs:
426          for l in inx.iref_by_sect[vg].a['requestVar']:
427            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
428               vars.add(inx.uid[l].vid)
429        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
430
431### filter out cases where the request does not point to a CMOR variable.
432    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
433      thisvars = set()
434      for vid in vars:
435         if inx.uid[vid]._h.label == u'CMORvar':
436             thisvars.add(vid)
437      vars = thisvars
438##
439## filter by configuration option and rank
440##
441    if not retainRedundantRank:
442      len1 = len(vars)
443      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
444
445      vars = cmv
446   
447    self.vars = vars
448
449    e = {}
450    for u in rql:
451### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
452      i = inx.uid[u]
453      e[i.uid] = set()
454      si = collections.defaultdict( list )
455      for x in inx.iref_by_sect[i.refid].a['requestVar']:
456           if inx.uid[x].priority <= pmax:
457              e[i.uid].add( inx.uid[x].vid )
458
459              if verbose:
460                cmv = inx.uid[inx.uid[x].vid]
461                if cmv._h.label == 'CMORvar':
462                  si[ cmv.mipTable ].append( inx.uid[x].label )
463#
464# for each variable, calculate the maximum number of years across all the request links which reference that variable.
465##
466## for each request item we have nymax, nenmax, nexmax.
467##
468    nym = {}
469    nymg = collections.defaultdict( dict )
470
471##
472## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
473    if adsCount:
474      irqi = 3
475    else:
476      irqi = 2
477
478    sgg = set()
479    for v in vars:
480      s = set()
481      sg = collections.defaultdict( set )
482      cc2 = collections.defaultdict( set )
483      cc2s = collections.defaultdict( c1s )
484      for i in l1p:
485##################
486        if i.esid in exset and v in e[i.rlid]:
487          ix = inx.uid[i.esid]
488          rl = inx.uid[i.rlid]
489          sgg.add( rl.grid )
490          if rl.grid in ['100km','1deg','2deg']:
491            grd = rl.grid
492          else:
493            grd = 'native'
494
495          if exi._h.label == 'experiment':
496            if ex in self.rqiExp[i.uid][1]:
497              this = self.rqiExp[i.uid][1][ex]
498              thisz = this[-1]*this[-2]
499            else:
500              thisz = None
501          elif ix._h.label == 'experiment':
502            #cc2s[grd].a[i.esid].add( self.rqiExp[i.uid][irqi] )
503            thisz = self.rqiExp[i.uid][irqi]
504          else:
505            thisz = None
506            if 'experiment' in inx.iref_by_sect[i.esid].a:
507              for u in inx.iref_by_sect[i.esid].a['experiment']:
508                if u in self.rqiExp[i.uid][1]:
509                  this = self.rqiExp[i.uid][1][u]
510                  cc2s[grd].a[u].add( this[-1]*this[-2] )
511
512          if thisz != None:
513              cc2s[grd].a[i.esid].add( thisz )
514          ##if rl.grid in ['100km','1x1']:
515            ##sg[rl.grid].add( self.rqiExp[i.uid][irqi] )
516          ##else:
517          sg[grd].add( self.rqiExp[i.uid][irqi] )
518     
519      if len(s) == 0:
520        nym[v] = 0
521      else:
522###
523### sum over experiments of maximum within eacj experiment
524###
525        nym[v] = sum( [max( cc2[k] ) for k in cc2] )
526      for g in sg:
527        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
528
529    szv = {}
530    ov = []
531    for v in vars:
532      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
533      ov.append( self.dq.inx.uid[v] )
534    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
535
536    ff = {}
537    for v in vars:
538      if adsCount:
539        ff[v] = 1
540      else:
541        if 'native' in nymg[v]:
542          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
543          ny = nymg[v]['native']
544        else:
545          if len( nymg[v] ) > 1:
546            print '########### Selecting first in list .............'
547          ks = nymg[v].keys()[0]
548          ny = nymg[v][ks]
549          ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
550
551        if inx.uid[v].frequency != 'monClim':
552          ff[v] = ff[v]*ny
553    self.ngptot = sum( [  ff[v]  for v in vars] )
554    return (self.ngptot, ee, ff )
555
556  def esid_to_exptList(self,esid,deref=False,full=False):
557    if not esid in self.dq.inx.uid:
558      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
559      raise
560
561    if self.dq.inx.uid[esid]._h.label == 'experiment':
562      expts = [esid,]
563    elif self.dq.inx.uid[esid]._h.label != 'remarks':
564      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
565        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
566      else:
567        expts = []
568
569## add in groups and mips for completeness
570##
571      if full:
572        if self.dq.inx.uid[esid]._h.label == 'mip':
573          s = set()
574          for e in expts:
575            if self.dq.inx.uid[e]._h.label != 'experiment':
576              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
577            s.add( self.dq.inx.uid[e].egid )
578          for i in s:
579            expts.append( i )
580        expts.append( esid )
581    else:
582      ##print ( 'WARNING: request link not associated with valid experiment group' )
583      ##raise
584      return None
585
586
587    if self.tierMax > 0:
588      expts1 = []
589      for i in expts:
590        if self.dq.inx.uid[i]._h.label == 'experiment':
591          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
592            expts1.append( i )
593        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
594          if self.dq.inx.uid[i].tierMin <= self.tierMax:
595            expts1.append( i )
596        else:
597            expts1.append( i )
598    else:
599      expts1 = expts
600
601    if deref:
602      return [self.dq.inx.uid[e] for e in expts1]
603    else:
604      return expts1
605 
606##
607## need to call this on load
608## then use instead of i.ny etc below
609##
610  def requestItemExpAll( self ):
611    self.rqiExp = {}
612    for rqi in self.dq.coll['requestItem'].items:
613      a,b,c,d = self.requestItemExp( rqi )
614      if a != None:
615        self.rqiExp[rqi.uid] = (a,b,c,d)
616
617  def requestItemExp( self, rqi ):
618    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
619    u = rqi.esid
620    if self.dq.inx.uid[u]._h.label == 'experiment':
621      expts = [u,]
622    elif self.dq.inx.uid[u]._h.label != 'remarks':
623      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
624        expts = self.dq.inx.iref_by_sect[u].a['experiment']
625      else:
626        expts = []
627    else:
628      # print ( 'WARNING: request link not associated with valid experiment group'  )
629      ##rqi.__info__()
630      ##raise
631      return (None, None, None, None)
632
633    if self.tierMax > 0:
634      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
635
636    self.multiTierOnly = False
637    if self.multiTierOnly:
638      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
639      print ('Len expts: %s' % len(expts) )
640
641    if len(expts) > 0:
642      e = [self.dq.inx.uid[i] for i in expts]
643      for i in e:
644        if i._h.label != 'experiment':
645          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
646      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
647      dat2 = {}
648      for i in e:
649        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
650      ### number of
651      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
652      netot = sum( [dat2[x][-1] for x in dat2 ] )
653      ##print 'debug1:: ',dat, nytot, netot
654    else:
655      dat2 = {}
656      nytot = 0
657      netot = 0
658   
659    return (expts, dat2, nytot, netot )
660
661  def setTierMax( self, tierMax ):
662    """Set the maxium tier and recompute request sizes"""
663    if tierMax != self.tierMax:
664      self.tierMax = tierMax
665      self.requestItemExpAll(  )
666
667  def summaryByMip( self, pmax=1 ):
668    bytesPerFloat = 2.
669    for m in self.mipls:
670      v = self.volByMip( m, pmax=pmax )
671      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
672
673  def rqiByMip( self, mip):
674
675    if type(mip) in [type( '' ),type( u'') ]:
676      if mip not in self.mips:
677        mlg.prnt ( self.mips )
678        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
679      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
680    elif type(mip) == type( set()):
681      nf = [ m for m in mip if m not in self.mips]
682      if len(nf) > 0:
683        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
684      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
685    else:
686      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
687    return l1
688
689  def xlsByMipExpt(self,m,ex,pmax,odir='xls'):
690
691    mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
692    tabs = makeTables.tables( self, mips, odir=odir )
693    cc = collections.defaultdict( c1 )
694    mlab = tabs.setMlab( m )
695    cc[mlab].dd = {}
696    cc[mlab].ee = {}
697    if m == 'TOTAL':
698        l1 = self.rqiByMip( set( mips ) )
699    else:
700        l1 = self.rqiByMip( m )
701
702    ###print 'len l1:',len(l1)
703    tabs.doTable(m,l1,ex,pmax,cc, mlab=mlab)
704     
705  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
706
707    l1 = self.rqiByMip( mip )
708     
709    #### The set of experiments/experiment groups:
710    if exptid == None:
711      ##exps = self.mips
712      exps = self.experiments
713    else:
714      exps = set( [exptid,] )
715      ##print exptid, exps
716    self.volByE = {}
717    vtot = 0
718    cc = collections.defaultdict( col_count )
719    self.allVars = set()
720    for e in exps:
721      expts = self.esid_to_exptList(e,deref=True,full=False)
722      if expts != None:
723        self.volByE[e] = self.volByExpt( l1, e, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
724        vtot += self.volByE[e][0]
725        self.allVars = self.allVars.union( self.vars )
726    self.indexedVol = cc
727
728    return vtot
729
730  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
731    do_count = acount != None
732    do_list = alist != None
733    assert not (do_count and do_list), 'It is an error to request both list and count'
734    if not (do_count or do_list):
735      acount = '__number__'
736      do_count = True
737
738    if cc == None:
739      if do_count:
740        cc = collections.defaultdict( col_count )
741      elif do_list:
742        cc = collections.defaultdict( col_list )
743
744    if do_count:
745      for l in ll:
746        if cdict != None:
747          v = cdict[l.uid]
748        elif acount == '__number__':
749          v = 1
750        else:
751          v = l.__dict__[acount]
752
753        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
754    elif do_list:
755      for l in ll:
756        if cdict != None:
757          v = cdict[l.uid]
758        elif alist == '__item__':
759          v = l
760        else:
761          v = l.__dict__[alist]
762        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
763
764    od = {}
765    for k in cc.keys():
766      d2 = {}
767      for k2 in cc[k].a.keys():
768        d2[k2] = cc[k].a[k2]
769      od[k] = d2
770    return od
771
772class dreqUI(object):
773  """Data Request Command line.
774-------------------------
775      -v : print version and exit;
776      --unitTest : run some simple tests;
777      -m <mip>:  MIP of list of MIPs (comma separated);
778      -h :       help: print help text;
779      -e <expt>: experiment;
780      -t <tier> maxmum tier;
781      -p <priority>  maximum priority;
782      --xls : Create Excel file with requested variables;
783      --xlsDir <directory> : Directory in which to place variable listing [xls];
784      --printLinesMax <n>: Maximum number of lines to be printed
785      --printVars  : If present, a summary of the variables fitting the selection options will be printed
786      --intersection : Analyse the intersection of requests rather than union.
787"""
788  def __init__(self,args):
789    self.adict = {}
790    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
791                      '-h':('h',False), '--printLinesMax':('plm',True), \
792                      '--printVars':('vars',False), '--intersection':('intersection',False), \
793                      '--count':('count',False), \
794                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
795                       } 
796    aa = args[:]
797    while len(aa) > 0:
798      a = aa.pop(0)
799      if a in self.knownargs:
800        b = self.knownargs[a][0]
801        if self.knownargs[a][1]:
802          v = aa.pop(0)
803          self.adict[b] = v
804        else:
805          self.adict[b] = True
806
807    if 'm' in self.adict:
808      self.adict['m'] = set(self.adict['m'].split(',') )
809
810    integerArgs = set( ['p','t','plm'] )
811    for i in integerArgs.intersection( self.adict ):
812      self.adict[i] = int( self.adict[i] )
813
814    self.intersection = self.adict.get( 'intersection', False )
815
816  def run(self, dq=None):
817    if 'h' in self.adict:
818      mlg.prnt ( self.__doc__ )
819      return
820
821    if not 'm' in self.adict:
822      mlg.prnt ( 'Current version requires -m argument'  )
823      mlg.prnt ( self.__doc__ )
824      sys.exit(0)
825
826    if dq == None:
827      self.dq = dreq.loadDreq()
828    else:
829      self.dq = None
830
831    self.sc = dreqQuery( dq=self.dq )
832
833    ok = True
834    for i in self.adict['m']:
835        if i not in self.sc.mips:
836          ok = False
837          mlg.prnt ( 'NOT FOUND: %s' % i )
838
839    eid = None
840    ex = None
841    if self.adict.has_key('e'):
842      ex = self.adict['e']
843      for i in self.dq.coll['experiment'].items:
844        if i.label == self.adict['e']:
845          eid = i.uid
846      assert eid != None, 'Experiment %s not found' % self.adict['e']
847    ##print ( 'eid=%s' % eid )
848    assert ok,'Available MIPs: %s' % str(self.sc.mips)
849    adsCount = self.adict.get( 'count', False )
850
851    tierMax = self.adict.get( 't', 1 )
852    self.sc.setTierMax(  tierMax )
853    pmax = self.adict.get( 'p', 1 )
854    self.getVolByMip(pmax,eid,adsCount)
855    makeXls = self.adict.get( 'xls', False )
856    if makeXls:
857      mips = self.adict['m']
858      odir = self.adict.get( 'xlsdir', 'xls' )
859      ##print 'odir:::::::::: ',odir
860      ##m = list( mips )[0]
861      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir)
862 
863
864  def getVolByMip(self,pmax,eid,adsCount):
865
866    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
867    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
868    mlg.prnt ( '%s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
869    cc = collections.defaultdict( int )
870    for e in self.sc.volByE:
871      for v in self.sc.volByE[e][2]:
872          cc[v] += self.sc.volByE[e][2][v]
873    x = 0
874    for v in cc:
875      x += cc[v]
876   
877    if python2:
878      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
879    else:
880      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
881    if self.adict.get( 'vars', False ):
882      printLinesMax = self.adict.get( 'plm', 20 )
883      if printLinesMax > 0:
884        mx = min( [printLinesMax,len(vl)] )
885      else:
886        mx = len(vl)
887
888      for v in vl[:mx]:
889        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
890
Note: See TracBrowser for help on using the repository browser.