source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 629

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@629
Revision 629, 28.9 KB checked in by mjuckes, 4 years ago (diff)

cleaned scope.py

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys, os
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32class c1s(object):
33  def __init__(self):
34    self.a = collections.defaultdict( set )
35
36class baseException(Exception):
37  """Basic exception for general use in code."""
38
39  def __init__(self,msg):
40    self.msg = 'scope:: %s' % msg
41
42  def __str__(self):
43    return repr( self.msg )
44
45  def __repr__(self):
46    return self.msg
47
48nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
49class cmpd(object):
50  def __init__(self,dct):
51    self.d = dct
52  def cmp(self,x,y,):
53    return cmp( self.d[x], self.d[y] )
54
55    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
56
57def filter1( a, b ):
58  if b < 0:
59    return a
60  else:
61    return min( [a,b] )
62
63def filter2( a, b, tt, tm ):
64## largest tier less than or equal to tm
65  t1 = [t for t in tt if t <= tm][-1]
66  it1 = tt.index(t1)
67  aa = a[it1]
68  if b < 0:
69    return aa
70  else:
71    return min( [aa,b] )
72
73npy = {'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365, u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1, u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365, 'subhr':24*365, 'Day':365, '6h':4*365,
74'3 hourly':8*365, '':1 }
75## There are 4 cmor variables with blank frequency ....
76
77def vol01( sz, v, npy, freq, inx ):
78  n1 = npy[freq]
79  s = sz[inx.uid[v].stid]
80  assert type(s) == type(1), 'Non-integer size found for %s' % v
81  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
82  return s*n1
83
84class col_list(object):
85  def __init__(self):
86    self.a = collections.defaultdict(list)
87
88class col_count(object):
89  def __init__(self):
90    self.a = collections.defaultdict(int)
91
92class dreqQuery(object):
93  __doc__ = """Methods to analyse the data request, including data volume estimates"""
94  def __init__(self,dq=None,tierMax=1):
95    if dq == None:
96      self.dq = dreq.loadDreq()
97    else:
98      self.dq=dq
99    self.rlu = {}
100    for i in self.dq.coll['objective'].items:
101      k = '%s.%s' % (i.mip,i.label)
102      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
103      self.rlu[k] = i.uid
104
105    self.cmvFilter = cmvFilter( self )
106    self.tierMax = tierMax
107
108    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
109    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
110    self.exptByLabel = {}
111    for x in self.dq.coll['experiment'].items:
112      if x.label in self.exptByLabel:
113        print ( 'ERROR: experiment label duplicated: %s' % x.label )
114      self.exptByLabel[x.label] = x.uid
115    self.mipls = sorted( list( self.mips ) )
116
117    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
118    self.mcfg = self.default_mcfg._asdict()
119    ##for k in self.default_mcfg.__dict__.keys():
120      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
121    self.szcfg()
122    self.requestItemExpAll(  )
123
124  def szcfg(self):
125    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
126    self.szss = {}
127    self.sz = {}
128    self.szg = collections.defaultdict( dict )
129    self.szgss = collections.defaultdict( dict )
130    for i in self.dq.coll['spatialShape'].items:
131      type = 'a'
132      if i.levelFlag == False:
133        ds =  i.dimensions.split( '|' )
134        if ds[-1] in ['site', 'basin']:
135          vd = ds[-2]
136        else:
137          vd = ds[-1]
138 
139        if vd[:4] == 'olev' or vd == 'rho':
140          type = 'o'
141          nz = self.mcfg['nlo']
142        elif vd[:4] == 'alev':
143          nz = self.mcfg['nla']
144        elif vd in ['slevel','sdepth']:
145          nz = self.mcfg['nls']
146        elif vd == 'aslevel':
147          nz = self.mcfg['nlas']
148        else:
149          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
150          raise
151      else:
152        nz = i.levels
153
154      dims = set( i.dimensions.split( '|' ) )
155      if 'latitude' in dims and 'longitude' in dims:
156        if type == 'o':
157          nh = self.mcfg['nho']
158        else:
159          nh = self.mcfg['nha']
160      else:
161        nh = 10
162
163      self.szss[i.uid] = nh*nz
164      for k in szr:
165        self.szgss[k][i.uid] = szr[k]*nz
166    for i in self.dq.coll['structure'].items:
167      s = 1
168      if i.odims != '':
169        s = s*5
170      self.sz[i.uid] = self.szss[i.spid]*s
171      for k in szr:
172        self.szg[k][i.uid] = self.szgss[k][i.spid]*s
173
174  def getRequestLinkByMip( self, mipSel ):
175    """Return the set of request links which are associated with specified MIP"""
176
177    if type(mipSel) == type( {} ):
178      return self.getRequestLinkByMipObjective(self,mipSel)
179
180    if type(mipSel) == type(''):
181      t1 = lambda x: x == mipSel
182    elif type(mipSel) == type(set()):
183      t1 = lambda x: x in mipSel
184
185    s = set()
186    for i in self.dq.coll['objectiveLink'].items:
187      if t1(i.label):
188        s.add( self.dq.inx.uid[i.rid] )
189    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
190    self.rqs = list( s )
191    return self.rqs
192
193  def getRequestLinkByMipObjective( self, mipSel ):
194    """Return the set of request links which are associated with specified MIP and its objectives"""
195
196    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
197
198    s = set()
199    for i in self.dq.coll['objectiveLink'].items:
200      if i.label in mipSel:
201        if len(mipSel[i]) == 0 or self.dq.inx.uid[i.oid].label in mipSel[i]:
202          s.add( self.dq.inx.uid[i.rid] )
203    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
204    self.rqs = list( s )
205    return self.rqs
206
207
208  def getRequestLinkByObjective( self, objSel ):
209    """Return the set of request links which are associated with specified objectives"""
210    if type(objSel) == type(''):
211      t1 = lambda x: x == self.rlu[objSel]
212    elif type(objSel) == type(set()):
213      t1 = lambda x: x in [self.rlu[i] for i in objSel]
214
215    s = set()
216    for i in self.dq.coll['objectiveLink'].items:
217      if t1(i.label):
218        s.add( self.dq.inx.uid[i.oid] )
219##
220    self.rqs = list( s )
221    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
222    return self.rqs
223
224  def varGroupXexpt(self, rqList ):
225    """For a list of request links, return a list of variable group IDs for each experiment"""
226    self.cc = collections.defaultdict( list )
227    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
228    return self.cc
229
230  def yearsInRequest(self, rql ):
231    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
232    return self.ntot
233
234  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
235    """rqlByExpt: return a set of request links for an experiment"""
236##
237    inx = self.dq.inx
238
239    if ex != None:
240   
241      exi = self.dq.inx.uid[ex]
242      if exi._h.label == 'experiment':
243        exset = set( [ex,exi.egid,exi.mip] )
244      else:
245        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
246##
247## rql is the set of all request links which are associated with a request item for this experiment set
248##
249   
250      l1p = set()
251      for i in l1:
252        if i.preset < 0 or i.preset <= pmax:
253          if i.esid in exset:
254            l1p.add(i)
255    else:
256      exset = None
257      l1p = l1
258
259    rql0 = set()
260    for i in l1p:
261       rql0.add(i.rlid)
262
263    rqlInv = set()
264    for u in rql0:
265      if inx.uid[u]._h.label == 'remarks':
266        rqlInv.add( u )
267    if len(rqlInv) != 0:
268      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
269    rql = set()
270    for u in rql0:
271       if inx.uid[u]._h.label != 'remarks':
272         rql.add( u ) 
273
274    return rql, l1p, exset
275
276  def varsByRql( self, rql, pmax=2, intersection=False): 
277      """The complete set of variables associated with a set of rquest links."""
278      inx = self.dq.inx
279      cc1 = collections.defaultdict( set )
280      for i in rql:
281        o = inx.uid[i]
282        if o.opt == 'priority':
283          p = int( float( o.opar ) )
284          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
285          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
286        else:
287          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
288
289      if intersection:
290        ccv = {}
291#
292# set of request variables for each MIP
293#
294        for k in cc1:
295          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
296          rqvgs = collections.defaultdict( set )
297          for x in cc1[k]:
298            if type(x) == type( () ):
299              rqvgs[x[0]].add( x[1] )
300            else:
301              rqvgs[x].add( 3 )
302         
303          s = set()
304          for vg in rqvgs:
305            for l in inx.iref_by_sect[vg].a['requestVar']:
306              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
307                s.add( inx.uid[l].vid )
308          ccv[k] = s
309
310        if len( ccv.keys() ) < len( list(imips) ):
311          vars = set()
312        else:
313          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
314      else:
315        rqvgs = collections.defaultdict( set )
316        for k in cc1:
317          for x in cc1[k]:
318            if type(x) == type( () ):
319              rqvgs[x[0]].add( x[1] )
320            else:
321              rqvgs[x].add( 3 )
322         
323###To obtain a set of variables associated with this collection of variable groups:
324
325        vars = set()
326        for vg in rqvgs:
327          for l in inx.iref_by_sect[vg].a['requestVar']:
328            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
329               vars.add(inx.uid[l].vid)
330        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
331
332### filter out cases where the request does not point to a CMOR variable.
333    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
334      thisvars = set()
335      for vid in vars:
336         if inx.uid[vid]._h.label == u'CMORvar':
337             thisvars.add(vid)
338
339      return thisvars
340
341  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
342    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
343          The calculation has some approximations concerning the number of years in each experiment group.
344          cc: an optional collector, to accumulate indexed volumes. """
345##
346    inx = self.dq.inx
347    imips = set()
348    for i in l1:
349      imips.add(i.mip)
350    ##imips = {i.mip for i in l1}
351   
352    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
353    verbose = False
354    if verbose:
355      for i in rql:
356        r = inx.uid[i]
357        print ( '%s, %s, %s' % r.label, r.title, r.uid )
358
359    dn = False
360    if dn:
361## obsolete code deleted here
362      pass
363    elif ex != None:
364     
365      exi = self.dq.inx.uid[ex]
366      if exi._h.label == 'experiment':
367        exset = set( [ex,exi.egid,exi.mip] )
368
369#####
370    if len( rql ) == 0:
371      self.vars = set()
372      return (0,{},{} )
373
374## The complete set of variables associated with these requests:
375    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
376    tm = 3
377    if tm == 0:
378      pass
379    elif tm == 1:
380      pass
381##
382## filter by configuration option and rank
383##
384    if not retainRedundantRank:
385      len1 = len(vars)
386      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
387
388      vars = cmv
389   
390    self.vars = vars
391
392    e = {}
393    for u in rql:
394### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
395      i = inx.uid[u]
396      e[i.uid] = set()
397      si = collections.defaultdict( list )
398      for x in inx.iref_by_sect[i.refid].a['requestVar']:
399           if inx.uid[x].priority <= pmax:
400              e[i.uid].add( inx.uid[x].vid )
401
402              if verbose:
403                cmv = inx.uid[inx.uid[x].vid]
404                if cmv._h.label == 'CMORvar':
405                  si[ cmv.mipTable ].append( inx.uid[x].label )
406#
407# for each variable, calculate the maximum number of years across all the request links which reference that variable.
408##
409## for each request item we have nymax, nenmax, nexmax.
410##
411    nym = {}
412    nymg = collections.defaultdict( dict )
413
414##
415## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
416    if adsCount:
417      irqi = 3
418    else:
419      irqi = 2
420
421    sgg = set()
422    for v in vars:
423      s = set()
424      sg = collections.defaultdict( set )
425      cc2 = collections.defaultdict( set )
426      cc2s = collections.defaultdict( c1s )
427      for i in l1p:
428##################
429        if (exset == None or i.esid in exset) and v in e[i.rlid]:
430          ix = inx.uid[i.esid]
431          rl = inx.uid[i.rlid]
432          sgg.add( rl.grid )
433          if rl.grid in ['100km','1deg','2deg']:
434            grd = rl.grid
435          else:
436            grd = 'native'
437
438          if exset == None:
439            thisz = 100
440          elif exi._h.label == 'experiment':
441            if ex in self.rqiExp[i.uid][1]:
442              this = self.rqiExp[i.uid][1][ex]
443              thisz = this[-1]*this[-2]
444            else:
445              thisz = None
446          elif ix._h.label == 'experiment':
447            #cc2s[grd].a[i.esid].add( self.rqiExp[i.uid][irqi] )
448            thisz = self.rqiExp[i.uid][irqi]
449          else:
450            thisz = None
451            if 'experiment' in inx.iref_by_sect[i.esid].a:
452              for u in inx.iref_by_sect[i.esid].a['experiment']:
453                if u in self.rqiExp[i.uid][1]:
454                  this = self.rqiExp[i.uid][1][u]
455                  cc2s[grd].a[u].add( this[-1]*this[-2] )
456
457          if thisz != None:
458              cc2s[grd].a[i.esid].add( thisz )
459         
460          if exset == None:
461            sg[grd].add( self.rqiExp[i.uid][irqi] )
462     
463      if len(s) == 0:
464        nym[v] = 0
465      else:
466###
467### sum over experiments of maximum within eacj experiment
468###
469        nym[v] = sum( [max( cc2[k] ) for k in cc2] )
470      for g in sg:
471        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
472
473    szv = {}
474    ov = []
475    for v in vars:
476      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
477      ov.append( self.dq.inx.uid[v] )
478    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
479
480    ff = {}
481    for v in vars:
482      if adsCount:
483        ff[v] = 1
484      else:
485        if 'native' in nymg[v]:
486          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
487          ny = nymg[v]['native']
488        else:
489          if len( nymg[v] ) > 1:
490            print ( '########### Selecting first in list .............' )
491          ks = list( nymg[v].keys() )[0]
492          ny = nymg[v][ks]
493          ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
494
495        if inx.uid[v].frequency != 'monClim':
496          ff[v] = ff[v]*ny
497    self.ngptot = sum( [  ff[v]  for v in vars] )
498    return (self.ngptot, ee, ff )
499
500  def esid_to_exptList(self,esid,deref=False,full=False):
501    if not esid in self.dq.inx.uid:
502      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
503      raise
504
505    if self.dq.inx.uid[esid]._h.label == 'experiment':
506      expts = [esid,]
507    elif self.dq.inx.uid[esid]._h.label != 'remarks':
508      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
509        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
510      else:
511        expts = []
512
513## add in groups and mips for completeness
514##
515      if full:
516        if self.dq.inx.uid[esid]._h.label == 'mip':
517          s = set()
518          for e in expts:
519            if self.dq.inx.uid[e]._h.label != 'experiment':
520              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
521            s.add( self.dq.inx.uid[e].egid )
522          for i in s:
523            expts.append( i )
524        expts.append( esid )
525    else:
526      ##print ( 'WARNING: request link not associated with valid experiment group' )
527      ##raise
528      return None
529
530
531    if self.tierMax > 0:
532      expts1 = []
533      for i in expts:
534        if self.dq.inx.uid[i]._h.label == 'experiment':
535          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
536            expts1.append( i )
537        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
538          if self.dq.inx.uid[i].tierMin <= self.tierMax:
539            expts1.append( i )
540        else:
541            expts1.append( i )
542    else:
543      expts1 = expts
544
545    if deref:
546      return [self.dq.inx.uid[e] for e in expts1]
547    else:
548      return expts1
549 
550##
551## need to call this on load
552## then use instead of i.ny etc below
553##
554  def requestItemExpAll( self ):
555    self.rqiExp = {}
556    for rqi in self.dq.coll['requestItem'].items:
557      a,b,c,d = self.requestItemExp( rqi )
558      if a != None:
559        self.rqiExp[rqi.uid] = (a,b,c,d)
560
561  def requestItemExp( self, rqi ):
562    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
563    u = rqi.esid
564    if self.dq.inx.uid[u]._h.label == 'experiment':
565      expts = [u,]
566    elif self.dq.inx.uid[u]._h.label != 'remarks':
567      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
568        expts = self.dq.inx.iref_by_sect[u].a['experiment']
569      else:
570        expts = []
571    else:
572      # print ( 'WARNING: request link not associated with valid experiment group'  )
573      ##rqi.__info__()
574      ##raise
575      return (None, None, None, None)
576
577    if self.tierMax > 0:
578      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
579
580    self.multiTierOnly = False
581    if self.multiTierOnly:
582      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
583      print ('Len expts: %s' % len(expts) )
584
585    if len(expts) > 0:
586      e = [self.dq.inx.uid[i] for i in expts]
587      for i in e:
588        if i._h.label != 'experiment':
589          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
590      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
591      dat2 = {}
592      for i in e:
593        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
594      ### number of
595      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
596      netot = sum( [dat2[x][-1] for x in dat2 ] )
597      ##print 'debug1:: ',dat, nytot, netot
598    else:
599      dat2 = {}
600      nytot = 0
601      netot = 0
602   
603    return (expts, dat2, nytot, netot )
604
605  def setTierMax( self, tierMax ):
606    """Set the maxium tier and recompute request sizes"""
607    if tierMax != self.tierMax:
608      self.tierMax = tierMax
609      self.requestItemExpAll(  )
610
611  def summaryByMip( self, pmax=1 ):
612    bytesPerFloat = 2.
613    for m in self.mipls:
614      v = self.volByMip( m, pmax=pmax )
615      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
616
617  def rqiByMip( self, mip):
618
619    if type(mip) in [type( '' ),type( u'') ]:
620      if mip not in self.mips:
621        mlg.prnt ( self.mips )
622        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
623      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
624    elif type(mip) == type( set()):
625      nf = [ m for m in mip if m not in self.mips]
626      if len(nf) > 0:
627        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
628      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
629    elif type(mip) == type( dict()):
630      nf = [ m for m in mip if m not in self.mips]
631      if len(nf) > 0:
632        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
633      l1 = []
634      for i in  self.dq.coll['requestLink'].items:
635        if i.mip in mip:
636          ok = False
637          if len( mip[i.mip] ) == 0:
638            ok = True
639          else:
640            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
641              o = self.dq.inx.uid[ol]
642              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
643                ok = True
644          if ok:
645              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
646                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
647                  l1.append( self.dq.inx.uid[u] )
648    else:
649      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
650
651    return l1
652
653  def xlsByMipExpt(self,m,ex,pmax,odir='xls'):
654
655    mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
656    tabs = makeTables.tables( self, mips, odir=odir )
657    cc = collections.defaultdict( c1 )
658    mlab = tabs.setMlab( m )
659    cc[mlab].dd = {}
660    cc[mlab].ee = {}
661    if m == 'TOTAL':
662        l1 = self.rqiByMip( set( mips ) )
663    else:
664        l1 = self.rqiByMip( m )
665
666    ###print 'len l1:',len(l1)
667    tabs.doTable(m,l1,ex,pmax,cc, mlab=mlab)
668     
669  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
670
671    l1 = self.rqiByMip( mip )
672     
673    #### The set of experiments/experiment groups:
674    if exptid == None:
675      ##exps = self.mips
676      exps = self.experiments
677    else:
678      exps = set( [exptid,] )
679      ##print exptid, exps
680    self.volByE = {}
681    vtot = 0
682    cc = collections.defaultdict( col_count )
683    self.allVars = set()
684    for e in exps:
685      expts = self.esid_to_exptList(e,deref=True,full=False)
686      if expts != None:
687        self.volByE[e] = self.volByExpt( l1, e, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
688        vtot += self.volByE[e][0]
689        self.allVars = self.allVars.union( self.vars )
690    self.indexedVol = cc
691
692    return vtot
693
694  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
695    do_count = acount != None
696    do_list = alist != None
697    assert not (do_count and do_list), 'It is an error to request both list and count'
698    if not (do_count or do_list):
699      acount = '__number__'
700      do_count = True
701
702    if cc == None:
703      if do_count:
704        cc = collections.defaultdict( col_count )
705      elif do_list:
706        cc = collections.defaultdict( col_list )
707
708    if do_count:
709      for l in ll:
710        if cdict != None:
711          v = cdict[l.uid]
712        elif acount == '__number__':
713          v = 1
714        else:
715          v = l.__dict__[acount]
716
717        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
718    elif do_list:
719      for l in ll:
720        if cdict != None:
721          v = cdict[l.uid]
722        elif alist == '__item__':
723          v = l
724        else:
725          v = l.__dict__[alist]
726        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
727
728    od = {}
729    for k in cc.keys():
730      d2 = {}
731      for k2 in cc[k].a.keys():
732        d2[k2] = cc[k].a[k2]
733      od[k] = d2
734    return od
735
736class dreqUI(object):
737  """Data Request Command line.
738-------------------------
739      -v : print version and exit;
740      --unitTest : run some simple tests;
741      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
742      -h :       help: print help text;
743      -e <expt>: experiment;
744      -t <tier> maxmum tier;
745      -p <priority>  maximum priority;
746      --xls : Create Excel file with requested variables;
747      --xlsDir <directory> : Directory in which to place variable listing [xls];
748      --printLinesMax <n>: Maximum number of lines to be printed
749      --printVars  : If present, a summary of the variables fitting the selection options will be printed
750      --intersection : Analyse the intersection of requests rather than union.
751
752NOTES
753-----
754[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
755-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
756
757e.g.
758drq -m HighResMIP:Ocean.DiurnalCycle
759"""
760  def __init__(self,args):
761    self.adict = {}
762    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
763                      '-h':('h',False), '--printLinesMax':('plm',True), \
764                      '--printVars':('vars',False), '--intersection':('intersection',False), \
765                      '--count':('count',False), \
766                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
767                       } 
768    aa = args[:]
769    notKnownArgs = []
770    while len(aa) > 0:
771      a = aa.pop(0)
772      if a in self.knownargs:
773        b = self.knownargs[a][0]
774        if self.knownargs[a][1]:
775          v = aa.pop(0)
776          self.adict[b] = v
777        else:
778          self.adict[b] = True
779      else:
780        notKnownArgs.append(a)
781
782    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
783
784    if 'm' in self.adict:
785      if self.adict['m'].find( ':' ) != -1:
786        ee = {}
787        for i in self.adict['m'].split(','):
788          bits =  i.split( ':' )
789          if len( bits ) == 1:
790             ee[bits[0]] = []
791          else:
792             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
793             ee[bits[0]] = bits[1].split( '.' )
794        self.adict['m'] = ee
795      else:
796        self.adict['m'] = set(self.adict['m'].split(',') )
797
798    integerArgs = set( ['p','t','plm'] )
799    for i in integerArgs.intersection( self.adict ):
800      self.adict[i] = int( self.adict[i] )
801
802    self.intersection = self.adict.get( 'intersection', False )
803
804 
805  def checkArgs( self, notKnownArgs ):
806    if len( notKnownArgs ) == 0:
807      return True
808    print ('--------------------------------------')
809    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
810    k = 0
811    for x in notKnownArgs:
812      k += 1
813      if x[1:] in self.knownargs:
814        print '%s PERHAPS %s instead of %s' % (k, x[1:],x)
815      elif '-%s' % x in self.knownargs:
816        print '%s PERHAPS -%s instead of %s' % (k, x,x)
817      elif x[0] == '\xe2':
818        print '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x)
819    print ('--------------------------------------')
820
821    return len( notKnownArgs ) == 0
822     
823  def run(self, dq=None):
824    if 'h' in self.adict:
825      mlg.prnt ( self.__doc__ )
826      return
827
828    if not 'm' in self.adict:
829      mlg.prnt ( 'Current version requires -m argument'  )
830      mlg.prnt ( self.__doc__ )
831      sys.exit(0)
832
833    if dq == None:
834      self.dq = dreq.loadDreq()
835    else:
836      self.dq = None
837
838    self.sc = dreqQuery( dq=self.dq )
839
840    ok = True
841    for i in self.adict['m']:
842        if i not in self.sc.mips:
843          ok = False
844          mlg.prnt ( 'NOT FOUND: %s' % i )
845
846    eid = None
847    ex = None
848    if 'e' in self.adict:
849      ex = self.adict['e']
850      for i in self.dq.coll['experiment'].items:
851        if i.label == self.adict['e']:
852          eid = i.uid
853      assert eid != None, 'Experiment %s not found' % self.adict['e']
854    ##print ( 'eid=%s' % eid )
855    assert ok,'Available MIPs: %s' % str(self.sc.mips)
856    adsCount = self.adict.get( 'count', False )
857
858    tierMax = self.adict.get( 't', 1 )
859    self.sc.setTierMax(  tierMax )
860    pmax = self.adict.get( 'p', 1 )
861    self.getVolByMip(pmax,eid,adsCount)
862    makeXls = self.adict.get( 'xls', False )
863    if makeXls:
864      mips = self.adict['m']
865      odir = self.adict.get( 'xlsdir', 'xls' )
866      ##print 'odir:::::::::: ',odir
867      ##m = list( mips )[0]
868      if not os.path.isdir( odir ):
869         try:
870            os.mkdir( odir )
871         except:
872            print ('\n\nFailed to make directory "%s" for xls files: make necessary subdirectories or run where you have write access' % odir )
873            print ( '\n\n' )
874            raise
875         print ('Created directory %s for xls file(s)' % odir )
876
877      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir)
878 
879
880  def getVolByMip(self,pmax,eid,adsCount):
881
882    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
883    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
884    mlg.prnt ( '%s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
885    cc = collections.defaultdict( int )
886    for e in self.sc.volByE:
887      for v in self.sc.volByE[e][2]:
888          cc[v] += self.sc.volByE[e][2][v]
889    x = 0
890    for v in cc:
891      x += cc[v]
892   
893    if python2:
894      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
895    else:
896      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
897    if self.adict.get( 'vars', False ):
898      printLinesMax = self.adict.get( 'plm', 20 )
899      if printLinesMax > 0:
900        mx = min( [printLinesMax,len(vl)] )
901      else:
902        mx = len(vl)
903
904      for v in vl[:mx]:
905        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
906
Note: See TracBrowser for help on using the repository browser.