source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 712

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@712
Revision 712, 32.7 KB checked in by mjuckes, 4 years ago (diff)

charme enabled

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8  import makeTables
9except:
10  import dreqPy.dreq  as dreq
11  from dreqPy.utilities import cmvFilter
12  import dreqPy.makeTables as makeTables
13
14import collections, string, operator
15import sys, os
16
17python2 = True
18if sys.version_info[0] == 3:
19  python2 = False
20  from functools import reduce
21  try: 
22    from utilP3 import mlog3
23  except:
24    from dreqPy.utilP3 import mlog3
25  mlg = mlog3()
26else:
27  from utilP2 import mlog
28  mlg = mlog()
29
30class c1(object):
31  def __init__(self):
32    self.a = collections.defaultdict( int )
33class c1s(object):
34  def __init__(self):
35    self.a = collections.defaultdict( set )
36
37NT_txtopts = collections.namedtuple( 'txtopts', ['mode'] )
38
39class baseException(Exception):
40  """Basic exception for general use in code."""
41
42  def __init__(self,msg):
43    self.msg = 'scope:: %s' % msg
44
45  def __str__(self):
46    return repr( self.msg )
47
48  def __repr__(self):
49    return self.msg
50
51nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
52class cmpd(object):
53  def __init__(self,dct):
54    self.d = dct
55  def cmp(self,x,y,):
56    return cmp( self.d[x], self.d[y] )
57
58
59def filter1( a, b ):
60  if b < 0:
61    return a
62  else:
63    return min( [a,b] )
64
65def filter2( a, b, tt, tm ):
66## largest tier less than or equal to tm
67  t1 = [t for t in tt if t <= tm][-1]
68  it1 = tt.index(t1)
69  aa = a[it1]
70  if b < 0:
71    return aa
72  else:
73    return min( [aa,b] )
74
75npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
76       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
77       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
78        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
79
80## There are 4 cmor variables with blank frequency ....
81
82def vol01( sz, v, npy, freq, inx ):
83  n1 = npy[freq]
84  s = sz[inx.uid[v].stid]
85  assert type(s) == type(1), 'Non-integer size found for %s' % v
86  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
87  return s*n1
88
89class col_list(object):
90  def __init__(self):
91    self.a = collections.defaultdict(list)
92
93class col_count(object):
94  def __init__(self):
95    self.a = collections.defaultdict(int)
96
97class dreqQuery(object):
98  __doc__ = """Methods to analyse the data request, including data volume estimates"""
99  def __init__(self,dq=None,tierMax=1):
100    if dq == None:
101      self.dq = dreq.loadDreq()
102    else:
103      self.dq=dq
104    self.rlu = {}
105    for i in self.dq.coll['objective'].items:
106      k = '%s.%s' % (i.mip,i.label)
107      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
108      self.rlu[k] = i.uid
109
110    self.cmvFilter = cmvFilter( self )
111    self.tierMax = tierMax
112
113    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
114    self.mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
115    self.mipsp = ['DECK','CMIP6',] + self.mips[:-4]
116
117    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
118    self.exptByLabel = {}
119    for x in self.dq.coll['experiment'].items:
120      if x.label in self.exptByLabel:
121        print ( 'ERROR: experiment label duplicated: %s' % x.label )
122      self.exptByLabel[x.label] = x.uid
123    self.mipls = sorted( list( self.mips ) )
124
125    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
126    self.mcfg = self.default_mcfg._asdict()
127    self.mcfgNote = None
128    self.szcfg()
129    self.requestItemExpAll(  )
130
131  def setMcfg(self, ll, msg=None ):
132    assert len(ll) == 7, 'Model config must be of length 7: %s' % str(ll)
133    assert all( [type(x) == type(1) for x in ll] )
134    self.mcfg = nt_mcfg._make( ll )._asdict()
135    if msg == None:
136      self.mcfgNote = 'User supplied model configuration: %s' % str(ll)
137    else:
138      self.mcfgNote = msg
139    self.szcfg()
140
141  def szcfg(self):
142    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
143    self.szss = {}
144    self.sz = {}
145    self.szg = collections.defaultdict( dict )
146    self.szgss = collections.defaultdict( dict )
147    for i in self.dq.coll['spatialShape'].items:
148      type = 'a'
149      if i.levelFlag == False:
150        ds =  i.dimensions.split( '|' )
151        if ds[-1] in ['site', 'basin']:
152          vd = ds[-2]
153        else:
154          vd = ds[-1]
155 
156        if vd[:4] == 'olev' or vd == 'rho':
157          type = 'o'
158          nz = self.mcfg['nlo']
159        elif vd[:4] == 'alev':
160          nz = self.mcfg['nla']
161        elif vd in ['slevel','sdepth']:
162          nz = self.mcfg['nls']
163        elif vd == 'aslevel':
164          nz = self.mcfg['nlas']
165        else:
166          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
167          raise
168      else:
169        nz = i.levels
170
171      dims = set( i.dimensions.split( '|' ) )
172      if 'latitude' in dims and 'longitude' in dims:
173        if type == 'o':
174          nh = self.mcfg['nho']
175        else:
176          nh = self.mcfg['nha']
177      else:
178        nh = 10
179
180      self.szss[i.uid] = nh*nz
181      for k in szr:
182        self.szgss[k][i.uid] = szr[k]*nz
183    for i in self.dq.coll['structure'].items:
184      s = 1
185      if i.odims != '':
186        s = s*5
187      if i.spid in self.szss:
188        self.sz[i.uid] = self.szss[i.spid]*s
189        for k in szr:
190          self.szg[k][i.uid] = self.szgss[k][i.spid]*s
191      else:
192        print ('WARNING: spid has no size info: %s' % i.spid )
193        self.sz[i.uid] = 0.
194        for k in szr:
195          self.szg[k][i.uid] = 0.
196
197  def getRequestLinkByMip( self, mipSel ):
198    """Return the set of request links which are associated with specified MIP"""
199
200    if type(mipSel) == type( {} ):
201      return self.getRequestLinkByMipObjective(self,mipSel)
202
203    if type(mipSel) == type(''):
204      t1 = lambda x: x == mipSel
205    elif type(mipSel) == type(set()):
206      t1 = lambda x: x in mipSel
207
208    s = set()
209    for i in self.dq.coll['objectiveLink'].items:
210      if t1(i.label):
211        s.add( self.dq.inx.uid[i.rid] )
212
213    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
214    self.rqs = list( s )
215    return self.rqs
216
217  def getRequestLinkByMipObjective( self, mipSel ):
218    """Return the set of request links which are associated with specified MIP and its objectives"""
219
220    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
221
222    s = set()
223    for i in self.dq.coll['objectiveLink'].items:
224      if i.label in mipSel:
225        if len(mipSel[i]) == 0 or self.dq.inx.uid[i.oid].label in mipSel[i]:
226          s.add( self.dq.inx.uid[i.rid] )
227    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
228    self.rqs = list( s )
229    return self.rqs
230
231  def getRequestLinkByObjective( self, objSel ):
232    """Return the set of request links which are associated with specified objectives"""
233    if type(objSel) == type(''):
234      t1 = lambda x: x == self.rlu[objSel]
235    elif type(objSel) == type(set()):
236      t1 = lambda x: x in [self.rlu[i] for i in objSel]
237
238    s = set()
239    for i in self.dq.coll['objectiveLink'].items:
240      if t1(i.label):
241        s.add( self.dq.inx.uid[i.oid] )
242##
243    self.rqs = list( s )
244    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
245    return self.rqs
246
247  def varGroupXexpt(self, rqList ):
248    """For a list of request links, return a list of variable group IDs for each experiment"""
249    self.cc = collections.defaultdict( list )
250    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
251    return self.cc
252
253  def yearsInRequest(self, rql ):
254    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
255    return self.ntot
256
257  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
258    """rqlByExpt: return a set of request links for an experiment"""
259##
260    inx = self.dq.inx
261
262    if ex != None:
263   
264      exi = self.dq.inx.uid[ex]
265      if exi._h.label == 'experiment':
266        exset = set( [ex,exi.egid,exi.mip] )
267      else:
268        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
269##
270## rql is the set of all request links which are associated with a request item for this experiment set
271##
272   
273      l1p = set()
274      for i in l1:
275        if i.preset < 0 or i.preset <= pmax:
276          if i.esid in exset:
277            l1p.add(i)
278    else:
279      exset = None
280      l1p = l1
281
282    rql0 = set()
283    for i in l1p:
284       rql0.add(i.rlid)
285
286    rqlInv = set()
287    for u in rql0:
288      if inx.uid[u]._h.label == 'remarks':
289        rqlInv.add( u )
290    if len(rqlInv) != 0:
291      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
292    rql = set()
293    for u in rql0:
294       if inx.uid[u]._h.label != 'remarks':
295         rql.add( u ) 
296
297    return rql, l1p, exset
298
299  def varsByRql( self, rql, pmax=2, intersection=False, asDict=False): 
300      """The complete set of variables associated with a set of request links."""
301      inx = self.dq.inx
302      cc1 = collections.defaultdict( set )
303      for i in rql:
304        o = inx.uid[i]
305        if o.opt == 'priority':
306          p = int( float( o.opar ) )
307          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
308          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
309        else:
310          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
311
312      if intersection:
313        ccv = {}
314#
315# set of request variables for each MIP
316#
317        for k in cc1:
318          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
319          rqvgs = collections.defaultdict( set )
320          for x in cc1[k]:
321            if type(x) == type( () ):
322              rqvgs[x[0]].add( x[1] )
323            else:
324              rqvgs[x].add( 3 )
325         
326          s = set()
327          for vg in rqvgs:
328            for l in inx.iref_by_sect[vg].a['requestVar']:
329              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
330                s.add( inx.uid[l].vid )
331          ccv[k] = s
332
333        if len( ccv.keys() ) < len( list(imips) ):
334          vars = set()
335        else:
336          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
337      else:
338        rqvgs = collections.defaultdict( set )
339        for k in cc1:
340          for x in cc1[k]:
341            if type(x) == type( () ):
342              rqvgs[x[0]].add( x[1] )
343            else:
344              rqvgs[x].add( 3 )
345         
346###To obtain a set of variables associated with this collection of variable groups:
347
348        if asDict:
349          vars = collections.defaultdict( list )
350        else:
351          vars = set()
352        for vg in rqvgs:
353          for l in inx.iref_by_sect[vg].a['requestVar']:
354            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
355               if asDict:
356                 vars[inx.uid[l].vid].append( vg )
357               else:
358                 vars.add(inx.uid[l].vid)
359
360        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
361### filter out cases where the request does not point to a CMOR variable.
362    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
363
364      if asDict:
365        thisvars = {}
366        for vid in vars:
367           if inx.uid[vid]._h.label == u'CMORvar':
368             thisvars[vid] = vars[vid]
369      else:
370        thisvars = set()
371        for vid in vars:
372           if inx.uid[vid]._h.label == u'CMORvar':
373             thisvars.add(vid)
374
375      return thisvars
376
377  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
378    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
379          The calculation has some approximations concerning the number of years in each experiment group.
380          cc: an optional collector, to accumulate indexed volumes. """
381##
382    inx = self.dq.inx
383    imips = set()
384    for i in l1:
385      imips.add(i.mip)
386   
387    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
388    verbose = False
389    if verbose:
390      for i in rql:
391        r = inx.uid[i]
392        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
393
394    dn = False
395    if dn:
396## obsolete code deleted here
397      pass
398    elif ex != None:
399     
400      exi = self.dq.inx.uid[ex]
401      if exi._h.label == 'experiment':
402        exset = set( [ex,exi.egid,exi.mip] )
403#####
404    if len( rql ) == 0:
405      self.vars = set()
406      return (0,{},{} )
407
408## The complete set of variables associated with these requests:
409    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection, asDict=True) 
410    tm = 3
411    if tm == 0:
412      pass
413    elif tm == 1:
414      pass
415##
416## filter by configuration option and rank
417##
418    if not retainRedundantRank:
419      len1 = len(vars.keys())
420      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars.keys())
421
422      vars = cmv
423   
424    self.vars = vars
425
426    e = {}
427    for u in rql:
428### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
429      i = inx.uid[u]
430      e[i.uid] = set()
431      si = collections.defaultdict( list )
432      for x in inx.iref_by_sect[i.refid].a['requestVar']:
433           if inx.uid[x].priority <= pmax:
434              e[i.uid].add( inx.uid[x].vid )
435
436              if verbose:
437                cmv = inx.uid[inx.uid[x].vid]
438                if cmv._h.label == 'CMORvar':
439                  si[ cmv.mipTable ].append( inx.uid[x].label )
440#
441# for each variable, calculate the maximum number of years across all the request links which reference that variable.
442##
443## for each request item we have nymax, nenmax, nexmax.
444##
445    nymg = collections.defaultdict( dict )
446##
447## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
448    if adsCount:
449      irqi = 3
450    else:
451      irqi = 2
452
453    sgg = set()
454    for v in vars:
455      s = set()
456      sg = collections.defaultdict( set )
457      cc2 = collections.defaultdict( set )
458      cc2s = collections.defaultdict( c1s )
459      for i in l1p:
460##################
461        if (exset == None or i.esid in exset) and v in e[i.rlid]:
462          ix = inx.uid[i.esid]
463          rl = inx.uid[i.rlid]
464          sgg.add( rl.grid )
465          if rl.grid in ['100km','1deg','2deg']:
466            grd = rl.grid
467          else:
468            grd = 'native'
469
470          this = None
471          if exset == None:
472            thisz = 100
473##
474## for a single experiment, look up n years, and n ensemble.
475## should have nstart????
476##
477          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
478            this = None
479            if ex in self.rqiExp[i.uid][1]:
480              this = self.rqiExp[i.uid][1][ex]
481            elif ix.uid in self.rqiExp[i.uid][1]:
482              this = self.rqiExp[i.uid][1][ix.uid]
483            if this != None:
484              thisns = this[-3]
485              thisny = this[-2]
486              thisne = this[-1]
487              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
488          else:
489            thisz = None
490            if 'experiment' in inx.iref_by_sect[i.esid].a:
491              for u in inx.iref_by_sect[i.esid].a['experiment']:
492                if u in self.rqiExp[i.uid][1]:
493                  this = self.rqiExp[i.uid][1][u]
494                  thisns = this[-3]
495                  thisny = this[-2]
496                  thisne = this[-1]
497                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
498
499          ##if thisny != None and thisne != None:
500              ##cc2s[grd].a[i.esid].add( thisny*thisne )
501         
502          if exset != None:
503            sg[grd].add( self.rqiExp[i.uid][irqi] )
504     
505      ##if len(s) == 0:
506        ##nym[v] = 0
507      ##else:
508###
509### sum over experiments of maximum within each experiment
510###
511        ##nym[v] = sum( [max( cc2[k] ) for k in cc2] )
512      for g in sg:
513        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
514
515    szv = {}
516    ov = []
517    for v in vars:
518      if 'requestVar' not in inx.iref_by_sect[v].a:
519         print ( 'Variable with no request ....: %s, %s' % (inx.uid[v].label, inx.uid[v].mipTable) )
520      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
521      ov.append( self.dq.inx.uid[v] )
522    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
523
524    ff = {}
525    for v in vars:
526      if adsCount:
527        ff[v] = 1
528      else:
529        if 'native' in nymg[v]:
530          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
531          ny = nymg[v]['native']
532        else:
533          if len( nymg[v] ) > 1:
534            print ( '########### Selecting first in list .............' )
535          ks0 = nymg[v].keys()
536          if len(ks0) == 0:
537            ##print 'WARN: no nymg entry for %s [%s]' % (v,ex)
538            ff[v] = 0.
539            ny = 0.
540          else:
541            ks = list( nymg[v].keys() )[0]
542            ny = nymg[v][ks]
543            ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
544
545        if inx.uid[v].frequency != 'monClim':
546          ff[v] = ff[v]*ny
547    self.ngptot = sum( [  ff[v]  for v in vars] )
548    return (self.ngptot, ee, ff )
549
550  def esid_to_exptList(self,esid,deref=False,full=False):
551    if not esid in self.dq.inx.uid:
552      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
553      raise
554
555    if self.dq.inx.uid[esid]._h.label == 'experiment':
556      expts = [esid,]
557    elif self.dq.inx.uid[esid]._h.label != 'remarks':
558      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
559        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
560      else:
561        expts = []
562
563## add in groups and mips for completeness
564##
565      if full:
566        if self.dq.inx.uid[esid]._h.label == 'mip':
567          s = set()
568          for e in expts:
569            if self.dq.inx.uid[e]._h.label != 'experiment':
570              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
571            s.add( self.dq.inx.uid[e].egid )
572          for i in s:
573            expts.append( i )
574        expts.append( esid )
575    else:
576      ##print ( 'WARNING: request link not associated with valid experiment group' )
577      ##raise
578      return None
579
580    if self.tierMax > 0:
581      expts1 = []
582      for i in expts:
583        if self.dq.inx.uid[i]._h.label == 'experiment':
584          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
585            expts1.append( i )
586        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
587          if self.dq.inx.uid[i].tierMin <= self.tierMax:
588            expts1.append( i )
589        else:
590            expts1.append( i )
591    else:
592      expts1 = expts
593
594    if deref:
595      return [self.dq.inx.uid[e] for e in expts1]
596    else:
597      return expts1
598 
599##
600## need to call this on load
601## then use instead of i.ny etc below
602##
603  def requestItemExpAll( self ):
604    self.rqiExp = {}
605    for rqi in self.dq.coll['requestItem'].items:
606      a,b,c,d = self.requestItemExp( rqi )
607      if a != None:
608        self.rqiExp[rqi.uid] = (a,b,c,d)
609
610  def requestItemExp( self, rqi ):
611    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
612    u = rqi.esid
613    if self.dq.inx.uid[u]._h.label == 'experiment':
614      expts = [u,]
615    elif self.dq.inx.uid[u]._h.label != 'remarks':
616      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
617        expts = self.dq.inx.iref_by_sect[u].a['experiment']
618      else:
619        expts = []
620    else:
621      # print ( 'WARNING: request link not associated with valid experiment group'  )
622      ##rqi.__info__()
623      ##raise
624      return (None, None, None, None)
625
626    if self.tierMax > 0:
627      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
628
629    self.multiTierOnly = False
630    if self.multiTierOnly:
631      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
632      print ('Len expts: %s' % len(expts) )
633
634    if len(expts) > 0:
635      e = [self.dq.inx.uid[i] for i in expts]
636      for i in e:
637        if i._h.label != 'experiment':
638          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
639      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
640      dat2 = {}
641      for i in e:
642        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
643        ##print i.label, rqi.title, dat2[i.uid]
644      ### number of
645      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
646      netot = sum( [dat2[x][-1] for x in dat2 ] )
647      ##print 'debug1:: ',dat, nytot, netot
648    else:
649      dat2 = {}
650      nytot = 0
651      netot = 0
652   
653    return (expts, dat2, nytot, netot )
654
655  def setTierMax( self, tierMax ):
656    """Set the maxium tier and recompute request sizes"""
657    if tierMax != self.tierMax:
658      self.tierMax = tierMax
659      self.requestItemExpAll(  )
660
661  def summaryByMip( self, pmax=1 ):
662    bytesPerFloat = 2.
663    for m in self.mipls:
664      v = self.volByMip( m, pmax=pmax )
665      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
666
667  def rqiByMip( self, mip):
668
669    if mip == 'TOTAL':
670        mip = self.mips
671    if type(mip) in [type( '' ),type( u'') ]:
672      if mip not in self.mips:
673        mlg.prnt ( self.mips )
674        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
675      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
676    elif type(mip) in [ type( set()), type( [] ) ]:
677      nf = [ m for m in mip if m not in self.mips]
678      if len(nf) > 0:
679          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
680      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
681    elif type(mip) == type( dict()):
682      nf = [ m for m in mip if m not in self.mips]
683      if len(nf) > 0:
684        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
685      l1 = []
686      for i in  self.dq.coll['requestLink'].items:
687        if i.mip in mip:
688          ok = False
689          if len( mip[i.mip] ) == 0:
690            ok = True
691          else:
692            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
693              o = self.dq.inx.uid[ol]
694              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
695                ok = True
696          if ok:
697              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
698                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
699                  l1.append( self.dq.inx.uid[u] )
700    else:
701      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
702
703    return l1
704
705  def checkDir(self,odir,msg):
706      if not os.path.isdir( odir ):
707         try:
708            os.mkdir( odir )
709         except:
710            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
711            print ( '\n\n' )
712            raise
713         print ('Created directory %s for: %s' % (odir,msg) )
714
715
716  def xlsByMipExpt(self,m,ex,pmax,odir='xls',xls=True,txt=False,txtOpts=None):
717    import scope_utils
718    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax,xls=xls, txt=txt, txtOpts=txtOpts,odir=odir)
719
720    mlab = makeTables.setMlab( m )
721
722    mxls.run( m, mlab=mlab )
723
724     
725  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
726
727    l1 = self.rqiByMip( mip )
728     
729    #### The set of experiments/experiment groups:
730    if exptid == None:
731      ##exps = self.mips
732      exps = self.experiments
733    else:
734      exps = set( [exptid,] )
735      ##print exptid, exps
736   
737    self.volByE = {}
738    vtot = 0
739    cc = collections.defaultdict( col_count )
740    self.allVars = set()
741    for e in exps:
742      expts = self.esid_to_exptList(e,deref=True,full=False)
743      if expts not in  [None,[]]:
744        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
745        for ei in expts:
746          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
747          vtot += self.volByE[ei.label][0]
748        self.allVars = self.allVars.union( self.vars )
749      ##else:
750        ##print 'No expts found: ',e
751    self.indexedVol = cc
752
753    return vtot
754
755  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
756    do_count = acount != None
757    do_list = alist != None
758    assert not (do_count and do_list), 'It is an error to request both list and count'
759    if not (do_count or do_list):
760      acount = '__number__'
761      do_count = True
762
763    if cc == None:
764      if do_count:
765        cc = collections.defaultdict( col_count )
766      elif do_list:
767        cc = collections.defaultdict( col_list )
768
769    if do_count:
770      for l in ll:
771        if cdict != None:
772          v = cdict[l.uid]
773        elif acount == '__number__':
774          v = 1
775        else:
776          v = l.__dict__[acount]
777
778        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
779    elif do_list:
780      for l in ll:
781        if cdict != None:
782          v = cdict[l.uid]
783        elif alist == '__item__':
784          v = l
785        else:
786          v = l.__dict__[alist]
787        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
788
789    od = {}
790    for k in cc.keys():
791      d2 = {}
792      for k2 in cc[k].a.keys():
793        d2[k2] = cc[k].a[k2]
794      od[k] = d2
795    return od
796
797class dreqUI(object):
798  """Data Request Command line.
799-------------------------
800      -v : print version and exit;
801      --unitTest : run some simple tests;
802      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
803      -l <options>: List for options:
804              o: objectives
805              e: experiments
806      -h :       help: print help text;
807      -e <expt>: experiment;
808      -t <tier> maxmum tier;
809      -p <priority>  maximum priority;
810      --xls : Create Excel file with requested variables;
811      --txt : Create text file with requested variables;
812      --mcfg : Model configuration: 7 integers, comma separated, 'nho','nlo','nha','nla','nlas','nls','nh1'
813                 default: 259200,60,64800,40,20,5,100
814      --txtOpts : options for content of text file: (v|c)[(+|-)att1[,att2[...]]]
815      --xlsDir <directory> : Directory in which to place variable listing [xls];
816      --printLinesMax <n>: Maximum number of lines to be printed (default 20)
817      --printVars  : If present, a summary of the variables (see --printLinesMax) fitting the selection options will be printed
818      --intersection : Analyse the intersection of requests rather than union.
819
820NOTES
821-----
822[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
823-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
824
825e.g.
826drq -m HighResMIP:Ocean.DiurnalCycle
827"""
828  def __init__(self,args):
829    self.adict = {}
830    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
831                      '-h':('h',False), '--printLinesMax':('plm',True), \
832                      '-l':('l',True),
833                      '--printVars':('vars',False), '--intersection':('intersection',False), \
834                      '--count':('count',False), \
835                      '--txt':('txt',False), \
836                      '--mcfg':('mcfg',True), \
837                      '--txtOpts':('txtOpts',True), \
838                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
839                       } 
840    aa = args[:]
841    notKnownArgs = []
842    while len(aa) > 0:
843      a = aa.pop(0)
844      if a in self.knownargs:
845        b = self.knownargs[a][0]
846        if self.knownargs[a][1]:
847          v = aa.pop(0)
848          self.adict[b] = v
849        else:
850          self.adict[b] = True
851      else:
852        notKnownArgs.append(a)
853
854    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
855
856    if 'm' in self.adict:
857      if self.adict['m'].find( ':' ) != -1:
858        ee = {}
859        for i in self.adict['m'].split(','):
860          bits =  i.split( ':' )
861          if len( bits ) == 1:
862             ee[bits[0]] = []
863          else:
864             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
865             ee[bits[0]] = bits[1].split( '.' )
866        self.adict['m'] = ee
867      else:
868        self.adict['m'] = set(self.adict['m'].split(',') )
869
870    integerArgs = set( ['p','t','plm'] )
871    for i in integerArgs.intersection( self.adict ):
872      self.adict[i] = int( self.adict[i] )
873
874    self.intersection = self.adict.get( 'intersection', False )
875
876 
877  def checkArgs( self, notKnownArgs ):
878    if len( notKnownArgs ) == 0:
879      return True
880    print ('--------------------------------------')
881    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
882    k = 0
883    for x in notKnownArgs:
884      k += 1
885      if x[1:] in self.knownargs:
886        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
887      elif '-%s' % x in self.knownargs:
888        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
889      elif x[0] == '\xe2':
890        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
891    print ('--------------------------------------')
892
893    return len( notKnownArgs ) == 0
894     
895  def run(self, dq=None):
896    if 'h' in self.adict:
897      mlg.prnt ( self.__doc__ )
898      return
899
900    if not 'm' in self.adict:
901      mlg.prnt ( 'Current version requires -m argument'  )
902      mlg.prnt ( self.__doc__ )
903      sys.exit(0)
904
905    if dq == None:
906      self.dq = dreq.loadDreq()
907    else:
908      self.dq = dq
909
910    if 'l' in self.adict:
911      self.printList()
912      return
913
914    if 'mcfg' in self.adict:
915      ll = string.split( self.adict['mcfg'], ',' )
916      assert len(ll) == 7, 'Length of model configuration argument must be 7 comma separated integers: %s' %  self.adict['mcfg']
917      lli = [ int(x) for x in ll]
918
919    self.sc = dreqQuery( dq=self.dq )
920    if 'mcfg' in self.adict:
921      self.sc.setMcfg( lli )
922
923    ok = True
924    for i in self.adict['m']:
925        if i not in self.sc.mips:
926          ok = False
927          mlg.prnt ( 'NOT FOUND: %s' % i )
928
929    eid = None
930    ex = None
931    if 'e' in self.adict:
932      ex = self.adict['e']
933      for i in self.dq.coll['experiment'].items:
934        if i.label == self.adict['e']:
935          eid = i.uid
936      assert eid != None, 'Experiment %s not found' % self.adict['e']
937
938    assert ok,'Available MIPs: %s' % str(self.sc.mips)
939    adsCount = self.adict.get( 'count', False )
940
941    tierMax = self.adict.get( 't', 1 )
942    self.sc.setTierMax(  tierMax )
943    pmax = self.adict.get( 'p', 1 )
944    self.getVolByMip(pmax,eid,adsCount)
945    makeXls = self.adict.get( 'xls', False )
946    makeTxt = self.adict.get( 'txt', False )
947    if makeXls or makeTxt:
948      mips = self.adict['m']
949      odir = self.adict.get( 'xlsdir', 'xls' )
950      self.sc.checkDir( odir, 'xls files' )
951
952      if 'txtOpts' in self.adict:
953        if self.adict['txtOpts'][0] == 'v':
954          txtOpts = NT_txtopts( 'var' )
955        else:
956          txtOpts = NT_txtopts( 'cmv' )
957      else:
958        txtOpts=None
959
960      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir,xls=makeXls,txt=makeTxt,txtOpts=txtOpts)
961
962  def printList(self):
963    mips = self.adict['m']
964    ee = {}
965    for i in self.dq.coll['mip'].items:
966      if i.label in mips:
967        ee[i.label] = i
968    if self.adict['l'] in ['o','e']:
969      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
970      for k in sorted( ee.keys() ):
971        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
972          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
973            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
974    else:
975      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
976     
977  def getVolByMip(self,pmax,eid,adsCount):
978
979    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
980    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
981    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
982    cc = collections.defaultdict( int )
983    for e in self.sc.volByE:
984      for v in self.sc.volByE[e][2]:
985          cc[v] += self.sc.volByE[e][2][v]
986    x = 0
987    for v in cc:
988      x += cc[v]
989   
990    if python2:
991      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
992    else:
993      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
994    if self.adict.get( 'vars', False ):
995      printLinesMax = self.adict.get( 'plm', 20 )
996      if printLinesMax > 0:
997        mx = min( [printLinesMax,len(vl)] )
998      else:
999        mx = len(vl)
1000
1001      for v in vl[:mx]:
1002        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
1003      if mx < len(vl):
1004        mlg.prnt ( '%s variables not listed (use --printLinesMax to print more)' % (len(vl)-mx) )
1005
Note: See TracBrowser for help on using the repository browser.