source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 677

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@677
Revision 677, 31.2 KB checked in by mjuckes, 4 years ago (diff)

bug fixes in content and --txt option added

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys, os
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32class c1s(object):
33  def __init__(self):
34    self.a = collections.defaultdict( set )
35
36NT_txtopts = collections.namedtuple( 'txtopts', ['mode'] )
37
38class baseException(Exception):
39  """Basic exception for general use in code."""
40
41  def __init__(self,msg):
42    self.msg = 'scope:: %s' % msg
43
44  def __str__(self):
45    return repr( self.msg )
46
47  def __repr__(self):
48    return self.msg
49
50nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
51class cmpd(object):
52  def __init__(self,dct):
53    self.d = dct
54  def cmp(self,x,y,):
55    return cmp( self.d[x], self.d[y] )
56
57    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
58
59def filter1( a, b ):
60  if b < 0:
61    return a
62  else:
63    return min( [a,b] )
64
65def filter2( a, b, tt, tm ):
66## largest tier less than or equal to tm
67  t1 = [t for t in tt if t <= tm][-1]
68  it1 = tt.index(t1)
69  aa = a[it1]
70  if b < 0:
71    return aa
72  else:
73    return min( [aa,b] )
74
75npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
76       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
77       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
78        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
79
80## There are 4 cmor variables with blank frequency ....
81
82def vol01( sz, v, npy, freq, inx ):
83  n1 = npy[freq]
84  s = sz[inx.uid[v].stid]
85  assert type(s) == type(1), 'Non-integer size found for %s' % v
86  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
87  return s*n1
88
89class col_list(object):
90  def __init__(self):
91    self.a = collections.defaultdict(list)
92
93class col_count(object):
94  def __init__(self):
95    self.a = collections.defaultdict(int)
96
97class dreqQuery(object):
98  __doc__ = """Methods to analyse the data request, including data volume estimates"""
99  def __init__(self,dq=None,tierMax=1):
100    if dq == None:
101      self.dq = dreq.loadDreq()
102    else:
103      self.dq=dq
104    self.rlu = {}
105    for i in self.dq.coll['objective'].items:
106      k = '%s.%s' % (i.mip,i.label)
107      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
108      self.rlu[k] = i.uid
109
110    self.cmvFilter = cmvFilter( self )
111    self.tierMax = tierMax
112
113    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
114    self.mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
115    self.mipsp = ['DECK','CMIP6',] + self.mips[:-4]
116
117    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
118    self.exptByLabel = {}
119    for x in self.dq.coll['experiment'].items:
120      if x.label in self.exptByLabel:
121        print ( 'ERROR: experiment label duplicated: %s' % x.label )
122      self.exptByLabel[x.label] = x.uid
123    self.mipls = sorted( list( self.mips ) )
124
125    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
126    self.mcfg = self.default_mcfg._asdict()
127    ##for k in self.default_mcfg.__dict__.keys():
128      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
129    self.szcfg()
130    self.requestItemExpAll(  )
131
132  def szcfg(self):
133    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
134    self.szss = {}
135    self.sz = {}
136    self.szg = collections.defaultdict( dict )
137    self.szgss = collections.defaultdict( dict )
138    for i in self.dq.coll['spatialShape'].items:
139      type = 'a'
140      if i.levelFlag == False:
141        ds =  i.dimensions.split( '|' )
142        if ds[-1] in ['site', 'basin']:
143          vd = ds[-2]
144        else:
145          vd = ds[-1]
146 
147        if vd[:4] == 'olev' or vd == 'rho':
148          type = 'o'
149          nz = self.mcfg['nlo']
150        elif vd[:4] == 'alev':
151          nz = self.mcfg['nla']
152        elif vd in ['slevel','sdepth']:
153          nz = self.mcfg['nls']
154        elif vd == 'aslevel':
155          nz = self.mcfg['nlas']
156        else:
157          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
158          raise
159      else:
160        nz = i.levels
161
162      dims = set( i.dimensions.split( '|' ) )
163      if 'latitude' in dims and 'longitude' in dims:
164        if type == 'o':
165          nh = self.mcfg['nho']
166        else:
167          nh = self.mcfg['nha']
168      else:
169        nh = 10
170
171      self.szss[i.uid] = nh*nz
172      for k in szr:
173        self.szgss[k][i.uid] = szr[k]*nz
174    for i in self.dq.coll['structure'].items:
175      s = 1
176      if i.odims != '':
177        s = s*5
178      self.sz[i.uid] = self.szss[i.spid]*s
179      for k in szr:
180        self.szg[k][i.uid] = self.szgss[k][i.spid]*s
181
182  def getRequestLinkByMip( self, mipSel ):
183    """Return the set of request links which are associated with specified MIP"""
184
185    if type(mipSel) == type( {} ):
186      return self.getRequestLinkByMipObjective(self,mipSel)
187
188    if type(mipSel) == type(''):
189      t1 = lambda x: x == mipSel
190    elif type(mipSel) == type(set()):
191      t1 = lambda x: x in mipSel
192
193    s = set()
194    for i in self.dq.coll['objectiveLink'].items:
195      if t1(i.label):
196        s.add( self.dq.inx.uid[i.rid] )
197
198    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
199    self.rqs = list( s )
200    return self.rqs
201
202  def getRequestLinkByMipObjective( self, mipSel ):
203    """Return the set of request links which are associated with specified MIP and its objectives"""
204
205    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
206
207    s = set()
208    for i in self.dq.coll['objectiveLink'].items:
209      if i.label in mipSel:
210        if len(mipSel[i]) == 0 or self.dq.inx.uid[i.oid].label in mipSel[i]:
211          s.add( self.dq.inx.uid[i.rid] )
212    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
213    self.rqs = list( s )
214    return self.rqs
215
216  def getRequestLinkByObjective( self, objSel ):
217    """Return the set of request links which are associated with specified objectives"""
218    if type(objSel) == type(''):
219      t1 = lambda x: x == self.rlu[objSel]
220    elif type(objSel) == type(set()):
221      t1 = lambda x: x in [self.rlu[i] for i in objSel]
222
223    s = set()
224    for i in self.dq.coll['objectiveLink'].items:
225      if t1(i.label):
226        s.add( self.dq.inx.uid[i.oid] )
227##
228    self.rqs = list( s )
229    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
230    return self.rqs
231
232  def varGroupXexpt(self, rqList ):
233    """For a list of request links, return a list of variable group IDs for each experiment"""
234    self.cc = collections.defaultdict( list )
235    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
236    return self.cc
237
238  def yearsInRequest(self, rql ):
239    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
240    return self.ntot
241
242  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
243    """rqlByExpt: return a set of request links for an experiment"""
244##
245    inx = self.dq.inx
246
247    if ex != None:
248   
249      exi = self.dq.inx.uid[ex]
250      if exi._h.label == 'experiment':
251        exset = set( [ex,exi.egid,exi.mip] )
252      else:
253        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
254##
255## rql is the set of all request links which are associated with a request item for this experiment set
256##
257   
258      l1p = set()
259      for i in l1:
260        if i.preset < 0 or i.preset <= pmax:
261          if i.esid in exset:
262            l1p.add(i)
263    else:
264      exset = None
265      l1p = l1
266
267    rql0 = set()
268    for i in l1p:
269       rql0.add(i.rlid)
270
271    rqlInv = set()
272    for u in rql0:
273      if inx.uid[u]._h.label == 'remarks':
274        rqlInv.add( u )
275    if len(rqlInv) != 0:
276      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
277    rql = set()
278    for u in rql0:
279       if inx.uid[u]._h.label != 'remarks':
280         rql.add( u ) 
281
282    return rql, l1p, exset
283
284  def varsByRql( self, rql, pmax=2, intersection=False): 
285      """The complete set of variables associated with a set of rquest links."""
286      inx = self.dq.inx
287      cc1 = collections.defaultdict( set )
288      for i in rql:
289        o = inx.uid[i]
290        if o.opt == 'priority':
291          p = int( float( o.opar ) )
292          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
293          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
294        else:
295          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
296
297      if intersection:
298        ccv = {}
299#
300# set of request variables for each MIP
301#
302        for k in cc1:
303          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
304          rqvgs = collections.defaultdict( set )
305          for x in cc1[k]:
306            if type(x) == type( () ):
307              rqvgs[x[0]].add( x[1] )
308            else:
309              rqvgs[x].add( 3 )
310         
311          s = set()
312          for vg in rqvgs:
313            for l in inx.iref_by_sect[vg].a['requestVar']:
314              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
315                s.add( inx.uid[l].vid )
316          ccv[k] = s
317
318        if len( ccv.keys() ) < len( list(imips) ):
319          vars = set()
320        else:
321          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
322      else:
323        rqvgs = collections.defaultdict( set )
324        for k in cc1:
325          for x in cc1[k]:
326            if type(x) == type( () ):
327              rqvgs[x[0]].add( x[1] )
328            else:
329              rqvgs[x].add( 3 )
330         
331###To obtain a set of variables associated with this collection of variable groups:
332
333        vars = set()
334        for vg in rqvgs:
335          for l in inx.iref_by_sect[vg].a['requestVar']:
336            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
337               vars.add(inx.uid[l].vid)
338
339        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
340### filter out cases where the request does not point to a CMOR variable.
341    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
342
343      thisvars = set()
344      for vid in vars:
345         if inx.uid[vid]._h.label == u'CMORvar':
346             thisvars.add(vid)
347
348      return thisvars
349
350  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
351    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
352          The calculation has some approximations concerning the number of years in each experiment group.
353          cc: an optional collector, to accumulate indexed volumes. """
354##
355    inx = self.dq.inx
356    imips = set()
357    for i in l1:
358      imips.add(i.mip)
359   
360    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
361    verbose = False
362    if verbose:
363      for i in rql:
364        r = inx.uid[i]
365        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
366
367    dn = False
368    if dn:
369## obsolete code deleted here
370      pass
371    elif ex != None:
372     
373      exi = self.dq.inx.uid[ex]
374      if exi._h.label == 'experiment':
375        exset = set( [ex,exi.egid,exi.mip] )
376#####
377    if len( rql ) == 0:
378      self.vars = set()
379      return (0,{},{} )
380
381## The complete set of variables associated with these requests:
382    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
383    tm = 3
384    if tm == 0:
385      pass
386    elif tm == 1:
387      pass
388##
389## filter by configuration option and rank
390##
391    if not retainRedundantRank:
392      len1 = len(vars)
393      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
394
395      vars = cmv
396   
397    self.vars = vars
398
399    e = {}
400    for u in rql:
401### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
402      i = inx.uid[u]
403      e[i.uid] = set()
404      si = collections.defaultdict( list )
405      for x in inx.iref_by_sect[i.refid].a['requestVar']:
406           if inx.uid[x].priority <= pmax:
407              e[i.uid].add( inx.uid[x].vid )
408
409              if verbose:
410                cmv = inx.uid[inx.uid[x].vid]
411                if cmv._h.label == 'CMORvar':
412                  si[ cmv.mipTable ].append( inx.uid[x].label )
413#
414# for each variable, calculate the maximum number of years across all the request links which reference that variable.
415##
416## for each request item we have nymax, nenmax, nexmax.
417##
418    nymg = collections.defaultdict( dict )
419##
420## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
421    if adsCount:
422      irqi = 3
423    else:
424      irqi = 2
425
426    sgg = set()
427    for v in vars:
428      s = set()
429      sg = collections.defaultdict( set )
430      cc2 = collections.defaultdict( set )
431      cc2s = collections.defaultdict( c1s )
432      for i in l1p:
433##################
434        if (exset == None or i.esid in exset) and v in e[i.rlid]:
435          ix = inx.uid[i.esid]
436          rl = inx.uid[i.rlid]
437          sgg.add( rl.grid )
438          if rl.grid in ['100km','1deg','2deg']:
439            grd = rl.grid
440          else:
441            grd = 'native'
442
443          this = None
444          if exset == None:
445            thisz = 100
446##
447## for a single experiment, look up n years, and n ensemble.
448## should have nstart????
449##
450          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
451            this = None
452            if ex in self.rqiExp[i.uid][1]:
453              this = self.rqiExp[i.uid][1][ex]
454            elif ix.uid in self.rqiExp[i.uid][1]:
455              this = self.rqiExp[i.uid][1][ix.uid]
456            if this != None:
457              thisns = this[-3]
458              thisny = this[-2]
459              thisne = this[-1]
460              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
461          else:
462            thisz = None
463            if 'experiment' in inx.iref_by_sect[i.esid].a:
464              for u in inx.iref_by_sect[i.esid].a['experiment']:
465                if u in self.rqiExp[i.uid][1]:
466                  this = self.rqiExp[i.uid][1][u]
467                  thisns = this[-3]
468                  thisny = this[-2]
469                  thisne = this[-1]
470                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
471
472          ##if thisny != None and thisne != None:
473              ##cc2s[grd].a[i.esid].add( thisny*thisne )
474         
475          if exset != None:
476            sg[grd].add( self.rqiExp[i.uid][irqi] )
477     
478      ##if len(s) == 0:
479        ##nym[v] = 0
480      ##else:
481###
482### sum over experiments of maximum within each experiment
483###
484        ##nym[v] = sum( [max( cc2[k] ) for k in cc2] )
485      for g in sg:
486        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
487
488    szv = {}
489    ov = []
490    for v in vars:
491      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
492      ov.append( self.dq.inx.uid[v] )
493    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
494
495    ff = {}
496    for v in vars:
497      if adsCount:
498        ff[v] = 1
499      else:
500        if 'native' in nymg[v]:
501          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
502          ny = nymg[v]['native']
503        else:
504          if len( nymg[v] ) > 1:
505            print ( '########### Selecting first in list .............' )
506          ks0 = nymg[v].keys()
507          if len(ks0) == 0:
508            ##print 'WARN: no nymg entry for %s [%s]' % (v,ex)
509            ff[v] = 0.
510            ny = 0.
511          else:
512            ks = list( nymg[v].keys() )[0]
513            ny = nymg[v][ks]
514            ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
515
516        if inx.uid[v].frequency != 'monClim':
517          ff[v] = ff[v]*ny
518    self.ngptot = sum( [  ff[v]  for v in vars] )
519    return (self.ngptot, ee, ff )
520
521  def esid_to_exptList(self,esid,deref=False,full=False):
522    if not esid in self.dq.inx.uid:
523      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
524      raise
525
526    if self.dq.inx.uid[esid]._h.label == 'experiment':
527      expts = [esid,]
528    elif self.dq.inx.uid[esid]._h.label != 'remarks':
529      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
530        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
531      else:
532        expts = []
533
534## add in groups and mips for completeness
535##
536      if full:
537        if self.dq.inx.uid[esid]._h.label == 'mip':
538          s = set()
539          for e in expts:
540            if self.dq.inx.uid[e]._h.label != 'experiment':
541              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
542            s.add( self.dq.inx.uid[e].egid )
543          for i in s:
544            expts.append( i )
545        expts.append( esid )
546    else:
547      ##print ( 'WARNING: request link not associated with valid experiment group' )
548      ##raise
549      return None
550
551    if self.tierMax > 0:
552      expts1 = []
553      for i in expts:
554        if self.dq.inx.uid[i]._h.label == 'experiment':
555          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
556            expts1.append( i )
557        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
558          if self.dq.inx.uid[i].tierMin <= self.tierMax:
559            expts1.append( i )
560        else:
561            expts1.append( i )
562    else:
563      expts1 = expts
564
565    if deref:
566      return [self.dq.inx.uid[e] for e in expts1]
567    else:
568      return expts1
569 
570##
571## need to call this on load
572## then use instead of i.ny etc below
573##
574  def requestItemExpAll( self ):
575    self.rqiExp = {}
576    for rqi in self.dq.coll['requestItem'].items:
577      a,b,c,d = self.requestItemExp( rqi )
578      if a != None:
579        self.rqiExp[rqi.uid] = (a,b,c,d)
580
581  def requestItemExp( self, rqi ):
582    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
583    u = rqi.esid
584    if self.dq.inx.uid[u]._h.label == 'experiment':
585      expts = [u,]
586    elif self.dq.inx.uid[u]._h.label != 'remarks':
587      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
588        expts = self.dq.inx.iref_by_sect[u].a['experiment']
589      else:
590        expts = []
591    else:
592      # print ( 'WARNING: request link not associated with valid experiment group'  )
593      ##rqi.__info__()
594      ##raise
595      return (None, None, None, None)
596
597    if self.tierMax > 0:
598      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
599
600    self.multiTierOnly = False
601    if self.multiTierOnly:
602      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
603      print ('Len expts: %s' % len(expts) )
604
605    if len(expts) > 0:
606      e = [self.dq.inx.uid[i] for i in expts]
607      for i in e:
608        if i._h.label != 'experiment':
609          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
610      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
611      dat2 = {}
612      for i in e:
613        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
614        ##print i.label, rqi.title, dat2[i.uid]
615      ### number of
616      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
617      netot = sum( [dat2[x][-1] for x in dat2 ] )
618      ##print 'debug1:: ',dat, nytot, netot
619    else:
620      dat2 = {}
621      nytot = 0
622      netot = 0
623   
624    return (expts, dat2, nytot, netot )
625
626  def setTierMax( self, tierMax ):
627    """Set the maxium tier and recompute request sizes"""
628    if tierMax != self.tierMax:
629      self.tierMax = tierMax
630      self.requestItemExpAll(  )
631
632  def summaryByMip( self, pmax=1 ):
633    bytesPerFloat = 2.
634    for m in self.mipls:
635      v = self.volByMip( m, pmax=pmax )
636      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
637
638  def rqiByMip( self, mip):
639
640    if mip == 'TOTAL':
641        mip = self.mips
642    if type(mip) in [type( '' ),type( u'') ]:
643      if mip not in self.mips:
644        mlg.prnt ( self.mips )
645        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
646      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
647    elif type(mip) in [ type( set()), type( [] ) ]:
648      nf = [ m for m in mip if m not in self.mips]
649      if len(nf) > 0:
650          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
651      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
652    elif type(mip) == type( dict()):
653      nf = [ m for m in mip if m not in self.mips]
654      if len(nf) > 0:
655        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
656      l1 = []
657      for i in  self.dq.coll['requestLink'].items:
658        if i.mip in mip:
659          ok = False
660          if len( mip[i.mip] ) == 0:
661            ok = True
662          else:
663            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
664              o = self.dq.inx.uid[ol]
665              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
666                ok = True
667          if ok:
668              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
669                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
670                  l1.append( self.dq.inx.uid[u] )
671    else:
672      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
673
674    return l1
675
676  def checkDir(self,odir,msg):
677      if not os.path.isdir( odir ):
678         try:
679            os.mkdir( odir )
680         except:
681            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
682            print ( '\n\n' )
683            raise
684         print ('Created directory %s for: %s' % (odir,msg) )
685
686
687  def xlsByMipExpt(self,m,ex,pmax,odir='xls',xls=True,txt=False,txtOpts=None):
688    import scope_utils
689    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax,xls=xls, txt=txt, txtOpts=txtOpts)
690
691    ##tabs = makeTables.tables( self, mips, odir=odir )
692    mlab = makeTables.setMlab( m )
693    ##mm = list( m )[0]
694    ##r = overviewTabs.r1( self, tiermax=1, pmax=pmax, only=mm )
695
696    mxls.run( m, mlab=mlab )
697
698     
699  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
700
701    l1 = self.rqiByMip( mip )
702     
703    #### The set of experiments/experiment groups:
704    if exptid == None:
705      ##exps = self.mips
706      exps = self.experiments
707    else:
708      exps = set( [exptid,] )
709      ##print exptid, exps
710   
711    self.volByE = {}
712    vtot = 0
713    cc = collections.defaultdict( col_count )
714    self.allVars = set()
715    for e in exps:
716      expts = self.esid_to_exptList(e,deref=True,full=False)
717      if expts not in  [None,[]]:
718        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
719        for ei in expts:
720          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
721          vtot += self.volByE[ei.label][0]
722        self.allVars = self.allVars.union( self.vars )
723      ##else:
724        ##print 'No expts found: ',e
725    self.indexedVol = cc
726
727    return vtot
728
729  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
730    do_count = acount != None
731    do_list = alist != None
732    assert not (do_count and do_list), 'It is an error to request both list and count'
733    if not (do_count or do_list):
734      acount = '__number__'
735      do_count = True
736
737    if cc == None:
738      if do_count:
739        cc = collections.defaultdict( col_count )
740      elif do_list:
741        cc = collections.defaultdict( col_list )
742
743    if do_count:
744      for l in ll:
745        if cdict != None:
746          v = cdict[l.uid]
747        elif acount == '__number__':
748          v = 1
749        else:
750          v = l.__dict__[acount]
751
752        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
753    elif do_list:
754      for l in ll:
755        if cdict != None:
756          v = cdict[l.uid]
757        elif alist == '__item__':
758          v = l
759        else:
760          v = l.__dict__[alist]
761        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
762
763    od = {}
764    for k in cc.keys():
765      d2 = {}
766      for k2 in cc[k].a.keys():
767        d2[k2] = cc[k].a[k2]
768      od[k] = d2
769    return od
770
771class dreqUI(object):
772  """Data Request Command line.
773-------------------------
774      -v : print version and exit;
775      --unitTest : run some simple tests;
776      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
777      -l <options>: List for options:
778              o: objectives
779              e: experiments
780      -h :       help: print help text;
781      -e <expt>: experiment;
782      -t <tier> maxmum tier;
783      -p <priority>  maximum priority;
784      --xls : Create Excel file with requested variables;
785      --txt : Create text file with requested variables;
786      --txtOpts : options for content of text file: (v|c)[(+|-)att1[,att2[...]]]
787      --xlsDir <directory> : Directory in which to place variable listing [xls];
788      --printLinesMax <n>: Maximum number of lines to be printed
789      --printVars  : If present, a summary of the variables fitting the selection options will be printed
790      --intersection : Analyse the intersection of requests rather than union.
791
792NOTES
793-----
794[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
795-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
796
797e.g.
798drq -m HighResMIP:Ocean.DiurnalCycle
799"""
800  def __init__(self,args):
801    self.adict = {}
802    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
803                      '-h':('h',False), '--printLinesMax':('plm',True), \
804                      '-l':('l',True),
805                      '--printVars':('vars',False), '--intersection':('intersection',False), \
806                      '--count':('count',False), \
807                      '--txt':('txt',False), \
808                      '--txtOpts':('txtOpts',True), \
809                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
810                       } 
811    aa = args[:]
812    notKnownArgs = []
813    while len(aa) > 0:
814      a = aa.pop(0)
815      if a in self.knownargs:
816        b = self.knownargs[a][0]
817        if self.knownargs[a][1]:
818          v = aa.pop(0)
819          self.adict[b] = v
820        else:
821          self.adict[b] = True
822      else:
823        notKnownArgs.append(a)
824
825    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
826
827    if 'm' in self.adict:
828      if self.adict['m'].find( ':' ) != -1:
829        ee = {}
830        for i in self.adict['m'].split(','):
831          bits =  i.split( ':' )
832          if len( bits ) == 1:
833             ee[bits[0]] = []
834          else:
835             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
836             ee[bits[0]] = bits[1].split( '.' )
837        self.adict['m'] = ee
838      else:
839        self.adict['m'] = set(self.adict['m'].split(',') )
840
841    integerArgs = set( ['p','t','plm'] )
842    for i in integerArgs.intersection( self.adict ):
843      self.adict[i] = int( self.adict[i] )
844
845    self.intersection = self.adict.get( 'intersection', False )
846
847 
848  def checkArgs( self, notKnownArgs ):
849    if len( notKnownArgs ) == 0:
850      return True
851    print ('--------------------------------------')
852    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
853    k = 0
854    for x in notKnownArgs:
855      k += 1
856      if x[1:] in self.knownargs:
857        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
858      elif '-%s' % x in self.knownargs:
859        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
860      elif x[0] == '\xe2':
861        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
862    print ('--------------------------------------')
863
864    return len( notKnownArgs ) == 0
865     
866  def run(self, dq=None):
867    if 'h' in self.adict:
868      mlg.prnt ( self.__doc__ )
869      return
870
871    if not 'm' in self.adict:
872      mlg.prnt ( 'Current version requires -m argument'  )
873      mlg.prnt ( self.__doc__ )
874      sys.exit(0)
875
876    if dq == None:
877      self.dq = dreq.loadDreq()
878    else:
879      self.dq = dq
880
881    if 'l' in self.adict:
882      self.printList()
883      return
884
885    self.sc = dreqQuery( dq=self.dq )
886
887    ok = True
888    for i in self.adict['m']:
889        if i not in self.sc.mips:
890          ok = False
891          mlg.prnt ( 'NOT FOUND: %s' % i )
892
893    eid = None
894    ex = None
895    if 'e' in self.adict:
896      ex = self.adict['e']
897      for i in self.dq.coll['experiment'].items:
898        if i.label == self.adict['e']:
899          eid = i.uid
900      assert eid != None, 'Experiment %s not found' % self.adict['e']
901
902    assert ok,'Available MIPs: %s' % str(self.sc.mips)
903    adsCount = self.adict.get( 'count', False )
904
905    tierMax = self.adict.get( 't', 1 )
906    self.sc.setTierMax(  tierMax )
907    pmax = self.adict.get( 'p', 1 )
908    self.getVolByMip(pmax,eid,adsCount)
909    makeXls = self.adict.get( 'xls', False )
910    makeTxt = self.adict.get( 'txt', False )
911    if makeXls or makeTxt:
912      mips = self.adict['m']
913      odir = self.adict.get( 'xlsdir', 'xls' )
914      self.sc.checkDir( odir, 'xls files' )
915
916      ##print mips, eid
917      if 'txtOpts' in self.adict:
918        if self.adict['txtOpts'][0] == 'v':
919          txtOpts = NT_txtopts( 'var' )
920        else:
921          txtOpts = NT_txtopts( 'cmv' )
922      else:
923        txtOpts=None
924
925      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir,xls=makeXls,txt=makeTxt,txtOpts=txtOpts)
926
927  def printList(self):
928    mips = self.adict['m']
929    ee = {}
930    for i in self.dq.coll['mip'].items:
931      if i.label in mips:
932        ee[i.label] = i
933    if self.adict['l'] in ['o','e']:
934      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
935      for k in sorted( ee.keys() ):
936        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
937          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
938            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
939    else:
940      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
941     
942  def getVolByMip(self,pmax,eid,adsCount):
943
944    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
945    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
946    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
947    cc = collections.defaultdict( int )
948    for e in self.sc.volByE:
949      for v in self.sc.volByE[e][2]:
950          cc[v] += self.sc.volByE[e][2][v]
951    x = 0
952    for v in cc:
953      x += cc[v]
954   
955    if python2:
956      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
957    else:
958      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
959    if self.adict.get( 'vars', False ):
960      printLinesMax = self.adict.get( 'plm', 20 )
961      if printLinesMax > 0:
962        mx = min( [printLinesMax,len(vl)] )
963      else:
964        mx = len(vl)
965
966      for v in vl[:mx]:
967        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
968
Note: See TracBrowser for help on using the repository browser.