source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 669

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@669
Revision 669, 30.6 KB checked in by mjuckes, 4 years ago (diff)

release cand

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys, os
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32class c1s(object):
33  def __init__(self):
34    self.a = collections.defaultdict( set )
35
36class baseException(Exception):
37  """Basic exception for general use in code."""
38
39  def __init__(self,msg):
40    self.msg = 'scope:: %s' % msg
41
42  def __str__(self):
43    return repr( self.msg )
44
45  def __repr__(self):
46    return self.msg
47
48nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
49class cmpd(object):
50  def __init__(self,dct):
51    self.d = dct
52  def cmp(self,x,y,):
53    return cmp( self.d[x], self.d[y] )
54
55    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
56
57def filter1( a, b ):
58  if b < 0:
59    return a
60  else:
61    return min( [a,b] )
62
63def filter2( a, b, tt, tm ):
64## largest tier less than or equal to tm
65  t1 = [t for t in tt if t <= tm][-1]
66  it1 = tt.index(t1)
67  aa = a[it1]
68  if b < 0:
69    return aa
70  else:
71    return min( [aa,b] )
72
73npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
74       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
75       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
76        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
77
78## There are 4 cmor variables with blank frequency ....
79
80def vol01( sz, v, npy, freq, inx ):
81  n1 = npy[freq]
82  s = sz[inx.uid[v].stid]
83  assert type(s) == type(1), 'Non-integer size found for %s' % v
84  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
85  return s*n1
86
87class col_list(object):
88  def __init__(self):
89    self.a = collections.defaultdict(list)
90
91class col_count(object):
92  def __init__(self):
93    self.a = collections.defaultdict(int)
94
95class dreqQuery(object):
96  __doc__ = """Methods to analyse the data request, including data volume estimates"""
97  def __init__(self,dq=None,tierMax=1):
98    if dq == None:
99      self.dq = dreq.loadDreq()
100    else:
101      self.dq=dq
102    self.rlu = {}
103    for i in self.dq.coll['objective'].items:
104      k = '%s.%s' % (i.mip,i.label)
105      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
106      self.rlu[k] = i.uid
107
108    self.cmvFilter = cmvFilter( self )
109    self.tierMax = tierMax
110
111    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
112    self.mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
113    self.mipsp = ['DECK','CMIP6',] + self.mips[:-4]
114
115    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
116    self.exptByLabel = {}
117    for x in self.dq.coll['experiment'].items:
118      if x.label in self.exptByLabel:
119        print ( 'ERROR: experiment label duplicated: %s' % x.label )
120      self.exptByLabel[x.label] = x.uid
121    self.mipls = sorted( list( self.mips ) )
122
123    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
124    self.mcfg = self.default_mcfg._asdict()
125    ##for k in self.default_mcfg.__dict__.keys():
126      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
127    self.szcfg()
128    self.requestItemExpAll(  )
129
130  def szcfg(self):
131    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
132    self.szss = {}
133    self.sz = {}
134    self.szg = collections.defaultdict( dict )
135    self.szgss = collections.defaultdict( dict )
136    for i in self.dq.coll['spatialShape'].items:
137      type = 'a'
138      if i.levelFlag == False:
139        ds =  i.dimensions.split( '|' )
140        if ds[-1] in ['site', 'basin']:
141          vd = ds[-2]
142        else:
143          vd = ds[-1]
144 
145        if vd[:4] == 'olev' or vd == 'rho':
146          type = 'o'
147          nz = self.mcfg['nlo']
148        elif vd[:4] == 'alev':
149          nz = self.mcfg['nla']
150        elif vd in ['slevel','sdepth']:
151          nz = self.mcfg['nls']
152        elif vd == 'aslevel':
153          nz = self.mcfg['nlas']
154        else:
155          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
156          raise
157      else:
158        nz = i.levels
159
160      dims = set( i.dimensions.split( '|' ) )
161      if 'latitude' in dims and 'longitude' in dims:
162        if type == 'o':
163          nh = self.mcfg['nho']
164        else:
165          nh = self.mcfg['nha']
166      else:
167        nh = 10
168
169      self.szss[i.uid] = nh*nz
170      for k in szr:
171        self.szgss[k][i.uid] = szr[k]*nz
172    for i in self.dq.coll['structure'].items:
173      s = 1
174      if i.odims != '':
175        s = s*5
176      self.sz[i.uid] = self.szss[i.spid]*s
177      for k in szr:
178        self.szg[k][i.uid] = self.szgss[k][i.spid]*s
179
180  def getRequestLinkByMip( self, mipSel ):
181    """Return the set of request links which are associated with specified MIP"""
182
183    if type(mipSel) == type( {} ):
184      return self.getRequestLinkByMipObjective(self,mipSel)
185
186    if type(mipSel) == type(''):
187      t1 = lambda x: x == mipSel
188    elif type(mipSel) == type(set()):
189      t1 = lambda x: x in mipSel
190
191    s = set()
192    for i in self.dq.coll['objectiveLink'].items:
193      if t1(i.label):
194        s.add( self.dq.inx.uid[i.rid] )
195
196    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
197    self.rqs = list( s )
198    return self.rqs
199
200  def getRequestLinkByMipObjective( self, mipSel ):
201    """Return the set of request links which are associated with specified MIP and its objectives"""
202
203    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
204
205    s = set()
206    for i in self.dq.coll['objectiveLink'].items:
207      if i.label in mipSel:
208        if len(mipSel[i]) == 0 or self.dq.inx.uid[i.oid].label in mipSel[i]:
209          s.add( self.dq.inx.uid[i.rid] )
210    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
211    self.rqs = list( s )
212    return self.rqs
213
214  def getRequestLinkByObjective( self, objSel ):
215    """Return the set of request links which are associated with specified objectives"""
216    if type(objSel) == type(''):
217      t1 = lambda x: x == self.rlu[objSel]
218    elif type(objSel) == type(set()):
219      t1 = lambda x: x in [self.rlu[i] for i in objSel]
220
221    s = set()
222    for i in self.dq.coll['objectiveLink'].items:
223      if t1(i.label):
224        s.add( self.dq.inx.uid[i.oid] )
225##
226    self.rqs = list( s )
227    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
228    return self.rqs
229
230  def varGroupXexpt(self, rqList ):
231    """For a list of request links, return a list of variable group IDs for each experiment"""
232    self.cc = collections.defaultdict( list )
233    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
234    return self.cc
235
236  def yearsInRequest(self, rql ):
237    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
238    return self.ntot
239
240  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
241    """rqlByExpt: return a set of request links for an experiment"""
242##
243    inx = self.dq.inx
244
245    if ex != None:
246   
247      exi = self.dq.inx.uid[ex]
248      if exi._h.label == 'experiment':
249        exset = set( [ex,exi.egid,exi.mip] )
250      else:
251        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
252##
253## rql is the set of all request links which are associated with a request item for this experiment set
254##
255   
256      l1p = set()
257      for i in l1:
258        if i.preset < 0 or i.preset <= pmax:
259          if i.esid in exset:
260            l1p.add(i)
261    else:
262      exset = None
263      l1p = l1
264
265    rql0 = set()
266    for i in l1p:
267       rql0.add(i.rlid)
268
269    rqlInv = set()
270    for u in rql0:
271      if inx.uid[u]._h.label == 'remarks':
272        rqlInv.add( u )
273    if len(rqlInv) != 0:
274      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
275    rql = set()
276    for u in rql0:
277       if inx.uid[u]._h.label != 'remarks':
278         rql.add( u ) 
279
280    return rql, l1p, exset
281
282  def varsByRql( self, rql, pmax=2, intersection=False): 
283      """The complete set of variables associated with a set of rquest links."""
284      inx = self.dq.inx
285      cc1 = collections.defaultdict( set )
286      for i in rql:
287        o = inx.uid[i]
288        if o.opt == 'priority':
289          p = int( float( o.opar ) )
290          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
291          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
292        else:
293          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
294
295      if intersection:
296        ccv = {}
297#
298# set of request variables for each MIP
299#
300        for k in cc1:
301          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
302          rqvgs = collections.defaultdict( set )
303          for x in cc1[k]:
304            if type(x) == type( () ):
305              rqvgs[x[0]].add( x[1] )
306            else:
307              rqvgs[x].add( 3 )
308         
309          s = set()
310          for vg in rqvgs:
311            for l in inx.iref_by_sect[vg].a['requestVar']:
312              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
313                s.add( inx.uid[l].vid )
314          ccv[k] = s
315
316        if len( ccv.keys() ) < len( list(imips) ):
317          vars = set()
318        else:
319          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
320      else:
321        rqvgs = collections.defaultdict( set )
322        for k in cc1:
323          for x in cc1[k]:
324            if type(x) == type( () ):
325              rqvgs[x[0]].add( x[1] )
326            else:
327              rqvgs[x].add( 3 )
328         
329###To obtain a set of variables associated with this collection of variable groups:
330
331        vars = set()
332        for vg in rqvgs:
333          for l in inx.iref_by_sect[vg].a['requestVar']:
334            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
335               vars.add(inx.uid[l].vid)
336
337        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
338### filter out cases where the request does not point to a CMOR variable.
339    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
340
341      thisvars = set()
342      for vid in vars:
343         if inx.uid[vid]._h.label == u'CMORvar':
344             thisvars.add(vid)
345
346      return thisvars
347
348  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
349    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
350          The calculation has some approximations concerning the number of years in each experiment group.
351          cc: an optional collector, to accumulate indexed volumes. """
352##
353    inx = self.dq.inx
354    imips = set()
355    for i in l1:
356      imips.add(i.mip)
357   
358    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
359    verbose = False
360    if verbose:
361      for i in rql:
362        r = inx.uid[i]
363        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
364
365    dn = False
366    if dn:
367## obsolete code deleted here
368      pass
369    elif ex != None:
370     
371      exi = self.dq.inx.uid[ex]
372      if exi._h.label == 'experiment':
373        exset = set( [ex,exi.egid,exi.mip] )
374#####
375    if len( rql ) == 0:
376      self.vars = set()
377      return (0,{},{} )
378
379## The complete set of variables associated with these requests:
380    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
381    tm = 3
382    if tm == 0:
383      pass
384    elif tm == 1:
385      pass
386##
387## filter by configuration option and rank
388##
389    if not retainRedundantRank:
390      len1 = len(vars)
391      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
392
393      vars = cmv
394   
395    self.vars = vars
396
397    e = {}
398    for u in rql:
399### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
400      i = inx.uid[u]
401      e[i.uid] = set()
402      si = collections.defaultdict( list )
403      for x in inx.iref_by_sect[i.refid].a['requestVar']:
404           if inx.uid[x].priority <= pmax:
405              e[i.uid].add( inx.uid[x].vid )
406
407              if verbose:
408                cmv = inx.uid[inx.uid[x].vid]
409                if cmv._h.label == 'CMORvar':
410                  si[ cmv.mipTable ].append( inx.uid[x].label )
411#
412# for each variable, calculate the maximum number of years across all the request links which reference that variable.
413##
414## for each request item we have nymax, nenmax, nexmax.
415##
416    nymg = collections.defaultdict( dict )
417##
418## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
419    if adsCount:
420      irqi = 3
421    else:
422      irqi = 2
423
424    sgg = set()
425    for v in vars:
426      s = set()
427      sg = collections.defaultdict( set )
428      cc2 = collections.defaultdict( set )
429      cc2s = collections.defaultdict( c1s )
430      for i in l1p:
431##################
432        if (exset == None or i.esid in exset) and v in e[i.rlid]:
433          ix = inx.uid[i.esid]
434          rl = inx.uid[i.rlid]
435          sgg.add( rl.grid )
436          if rl.grid in ['100km','1deg','2deg']:
437            grd = rl.grid
438          else:
439            grd = 'native'
440
441          this = None
442          if exset == None:
443            thisz = 100
444##
445## for a single experiment, look up n years, and n ensemble.
446## should have nstart????
447##
448          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
449            this = None
450            if ex in self.rqiExp[i.uid][1]:
451              this = self.rqiExp[i.uid][1][ex]
452            elif ix.uid in self.rqiExp[i.uid][1]:
453              this = self.rqiExp[i.uid][1][ix.uid]
454            if this != None:
455              thisns = this[-3]
456              thisny = this[-2]
457              thisne = this[-1]
458              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
459          else:
460            thisz = None
461            if 'experiment' in inx.iref_by_sect[i.esid].a:
462              for u in inx.iref_by_sect[i.esid].a['experiment']:
463                if u in self.rqiExp[i.uid][1]:
464                  this = self.rqiExp[i.uid][1][u]
465                  thisns = this[-3]
466                  thisny = this[-2]
467                  thisne = this[-1]
468                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
469
470          ##if thisny != None and thisne != None:
471              ##cc2s[grd].a[i.esid].add( thisny*thisne )
472         
473          if exset != None:
474            sg[grd].add( self.rqiExp[i.uid][irqi] )
475     
476      ##if len(s) == 0:
477        ##nym[v] = 0
478      ##else:
479###
480### sum over experiments of maximum within each experiment
481###
482        ##nym[v] = sum( [max( cc2[k] ) for k in cc2] )
483      for g in sg:
484        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
485
486    szv = {}
487    ov = []
488    for v in vars:
489      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
490      ov.append( self.dq.inx.uid[v] )
491    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
492
493    ff = {}
494    for v in vars:
495      if adsCount:
496        ff[v] = 1
497      else:
498        if 'native' in nymg[v]:
499          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
500          ny = nymg[v]['native']
501        else:
502          if len( nymg[v] ) > 1:
503            print ( '########### Selecting first in list .............' )
504          ks0 = nymg[v].keys()
505          if len(ks0) == 0:
506            ##print 'WARN: no nymg entry for %s [%s]' % (v,ex)
507            ff[v] = 0.
508            ny = 0.
509          else:
510            ks = list( nymg[v].keys() )[0]
511            ny = nymg[v][ks]
512            ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
513
514        if inx.uid[v].frequency != 'monClim':
515          ff[v] = ff[v]*ny
516    self.ngptot = sum( [  ff[v]  for v in vars] )
517    return (self.ngptot, ee, ff )
518
519  def esid_to_exptList(self,esid,deref=False,full=False):
520    if not esid in self.dq.inx.uid:
521      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
522      raise
523
524    if self.dq.inx.uid[esid]._h.label == 'experiment':
525      expts = [esid,]
526    elif self.dq.inx.uid[esid]._h.label != 'remarks':
527      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
528        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
529      else:
530        expts = []
531
532## add in groups and mips for completeness
533##
534      if full:
535        if self.dq.inx.uid[esid]._h.label == 'mip':
536          s = set()
537          for e in expts:
538            if self.dq.inx.uid[e]._h.label != 'experiment':
539              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
540            s.add( self.dq.inx.uid[e].egid )
541          for i in s:
542            expts.append( i )
543        expts.append( esid )
544    else:
545      ##print ( 'WARNING: request link not associated with valid experiment group' )
546      ##raise
547      return None
548
549    if self.tierMax > 0:
550      expts1 = []
551      for i in expts:
552        if self.dq.inx.uid[i]._h.label == 'experiment':
553          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
554            expts1.append( i )
555        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
556          if self.dq.inx.uid[i].tierMin <= self.tierMax:
557            expts1.append( i )
558        else:
559            expts1.append( i )
560    else:
561      expts1 = expts
562
563    if deref:
564      return [self.dq.inx.uid[e] for e in expts1]
565    else:
566      return expts1
567 
568##
569## need to call this on load
570## then use instead of i.ny etc below
571##
572  def requestItemExpAll( self ):
573    self.rqiExp = {}
574    for rqi in self.dq.coll['requestItem'].items:
575      a,b,c,d = self.requestItemExp( rqi )
576      if a != None:
577        self.rqiExp[rqi.uid] = (a,b,c,d)
578
579  def requestItemExp( self, rqi ):
580    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
581    u = rqi.esid
582    if self.dq.inx.uid[u]._h.label == 'experiment':
583      expts = [u,]
584    elif self.dq.inx.uid[u]._h.label != 'remarks':
585      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
586        expts = self.dq.inx.iref_by_sect[u].a['experiment']
587      else:
588        expts = []
589    else:
590      # print ( 'WARNING: request link not associated with valid experiment group'  )
591      ##rqi.__info__()
592      ##raise
593      return (None, None, None, None)
594
595    if self.tierMax > 0:
596      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
597
598    self.multiTierOnly = False
599    if self.multiTierOnly:
600      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
601      print ('Len expts: %s' % len(expts) )
602
603    if len(expts) > 0:
604      e = [self.dq.inx.uid[i] for i in expts]
605      for i in e:
606        if i._h.label != 'experiment':
607          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
608      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
609      dat2 = {}
610      for i in e:
611        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
612        ##print i.label, rqi.title, dat2[i.uid]
613      ### number of
614      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
615      netot = sum( [dat2[x][-1] for x in dat2 ] )
616      ##print 'debug1:: ',dat, nytot, netot
617    else:
618      dat2 = {}
619      nytot = 0
620      netot = 0
621   
622    return (expts, dat2, nytot, netot )
623
624  def setTierMax( self, tierMax ):
625    """Set the maxium tier and recompute request sizes"""
626    if tierMax != self.tierMax:
627      self.tierMax = tierMax
628      self.requestItemExpAll(  )
629
630  def summaryByMip( self, pmax=1 ):
631    bytesPerFloat = 2.
632    for m in self.mipls:
633      v = self.volByMip( m, pmax=pmax )
634      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
635
636  def rqiByMip( self, mip):
637
638    if mip == 'TOTAL':
639        mip = self.mips
640    if type(mip) in [type( '' ),type( u'') ]:
641      if mip not in self.mips:
642        mlg.prnt ( self.mips )
643        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
644      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
645    elif type(mip) in [ type( set()), type( [] ) ]:
646      nf = [ m for m in mip if m not in self.mips]
647      if len(nf) > 0:
648          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
649      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
650    elif type(mip) == type( dict()):
651      nf = [ m for m in mip if m not in self.mips]
652      if len(nf) > 0:
653        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
654      l1 = []
655      for i in  self.dq.coll['requestLink'].items:
656        if i.mip in mip:
657          ok = False
658          if len( mip[i.mip] ) == 0:
659            ok = True
660          else:
661            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
662              o = self.dq.inx.uid[ol]
663              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
664                ok = True
665          if ok:
666              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
667                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
668                  l1.append( self.dq.inx.uid[u] )
669    else:
670      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
671
672    return l1
673
674  def checkDir(self,odir,msg):
675      if not os.path.isdir( odir ):
676         try:
677            os.mkdir( odir )
678         except:
679            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
680            print ( '\n\n' )
681            raise
682         print ('Created directory %s for: %s' % (odir,msg) )
683
684
685  def xlsByMipExpt(self,m,ex,pmax,odir='xls'):
686    import scope_utils
687    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax)
688
689    ##tabs = makeTables.tables( self, mips, odir=odir )
690    mlab = makeTables.setMlab( m )
691    ##mm = list( m )[0]
692    ##r = overviewTabs.r1( self, tiermax=1, pmax=pmax, only=mm )
693
694    mxls.run( m, mlab=mlab )
695
696     
697  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
698
699    l1 = self.rqiByMip( mip )
700     
701    #### The set of experiments/experiment groups:
702    if exptid == None:
703      ##exps = self.mips
704      exps = self.experiments
705    else:
706      exps = set( [exptid,] )
707      ##print exptid, exps
708   
709    self.volByE = {}
710    vtot = 0
711    cc = collections.defaultdict( col_count )
712    self.allVars = set()
713    for e in exps:
714      expts = self.esid_to_exptList(e,deref=True,full=False)
715      if expts not in  [None,[]]:
716        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
717        for ei in expts:
718          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
719          vtot += self.volByE[ei.label][0]
720        self.allVars = self.allVars.union( self.vars )
721      ##else:
722        ##print 'No expts found: ',e
723    self.indexedVol = cc
724
725    return vtot
726
727  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
728    do_count = acount != None
729    do_list = alist != None
730    assert not (do_count and do_list), 'It is an error to request both list and count'
731    if not (do_count or do_list):
732      acount = '__number__'
733      do_count = True
734
735    if cc == None:
736      if do_count:
737        cc = collections.defaultdict( col_count )
738      elif do_list:
739        cc = collections.defaultdict( col_list )
740
741    if do_count:
742      for l in ll:
743        if cdict != None:
744          v = cdict[l.uid]
745        elif acount == '__number__':
746          v = 1
747        else:
748          v = l.__dict__[acount]
749
750        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
751    elif do_list:
752      for l in ll:
753        if cdict != None:
754          v = cdict[l.uid]
755        elif alist == '__item__':
756          v = l
757        else:
758          v = l.__dict__[alist]
759        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
760
761    od = {}
762    for k in cc.keys():
763      d2 = {}
764      for k2 in cc[k].a.keys():
765        d2[k2] = cc[k].a[k2]
766      od[k] = d2
767    return od
768
769class dreqUI(object):
770  """Data Request Command line.
771-------------------------
772      -v : print version and exit;
773      --unitTest : run some simple tests;
774      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
775      -l <options>: List for options:
776              o: objectives
777              e: experiments
778      -h :       help: print help text;
779      -e <expt>: experiment;
780      -t <tier> maxmum tier;
781      -p <priority>  maximum priority;
782      --xls : Create Excel file with requested variables;
783      --xlsDir <directory> : Directory in which to place variable listing [xls];
784      --printLinesMax <n>: Maximum number of lines to be printed
785      --printVars  : If present, a summary of the variables fitting the selection options will be printed
786      --intersection : Analyse the intersection of requests rather than union.
787
788NOTES
789-----
790[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
791-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
792
793e.g.
794drq -m HighResMIP:Ocean.DiurnalCycle
795"""
796  def __init__(self,args):
797    self.adict = {}
798    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
799                      '-h':('h',False), '--printLinesMax':('plm',True), \
800                      '-l':('l',True),
801                      '--printVars':('vars',False), '--intersection':('intersection',False), \
802                      '--count':('count',False), \
803                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
804                       } 
805    aa = args[:]
806    notKnownArgs = []
807    while len(aa) > 0:
808      a = aa.pop(0)
809      if a in self.knownargs:
810        b = self.knownargs[a][0]
811        if self.knownargs[a][1]:
812          v = aa.pop(0)
813          self.adict[b] = v
814        else:
815          self.adict[b] = True
816      else:
817        notKnownArgs.append(a)
818
819    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
820
821    if 'm' in self.adict:
822      if self.adict['m'].find( ':' ) != -1:
823        ee = {}
824        for i in self.adict['m'].split(','):
825          bits =  i.split( ':' )
826          if len( bits ) == 1:
827             ee[bits[0]] = []
828          else:
829             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
830             ee[bits[0]] = bits[1].split( '.' )
831        self.adict['m'] = ee
832      else:
833        self.adict['m'] = set(self.adict['m'].split(',') )
834
835    integerArgs = set( ['p','t','plm'] )
836    for i in integerArgs.intersection( self.adict ):
837      self.adict[i] = int( self.adict[i] )
838
839    self.intersection = self.adict.get( 'intersection', False )
840
841 
842  def checkArgs( self, notKnownArgs ):
843    if len( notKnownArgs ) == 0:
844      return True
845    print ('--------------------------------------')
846    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
847    k = 0
848    for x in notKnownArgs:
849      k += 1
850      if x[1:] in self.knownargs:
851        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
852      elif '-%s' % x in self.knownargs:
853        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
854      elif x[0] == '\xe2':
855        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
856    print ('--------------------------------------')
857
858    return len( notKnownArgs ) == 0
859     
860  def run(self, dq=None):
861    if 'h' in self.adict:
862      mlg.prnt ( self.__doc__ )
863      return
864
865    if not 'm' in self.adict:
866      mlg.prnt ( 'Current version requires -m argument'  )
867      mlg.prnt ( self.__doc__ )
868      sys.exit(0)
869
870    if dq == None:
871      self.dq = dreq.loadDreq()
872    else:
873      self.dq = dq
874
875    if 'l' in self.adict:
876      self.printList()
877      return
878
879    self.sc = dreqQuery( dq=self.dq )
880
881    ok = True
882    for i in self.adict['m']:
883        if i not in self.sc.mips:
884          ok = False
885          mlg.prnt ( 'NOT FOUND: %s' % i )
886
887    eid = None
888    ex = None
889    if 'e' in self.adict:
890      ex = self.adict['e']
891      for i in self.dq.coll['experiment'].items:
892        if i.label == self.adict['e']:
893          eid = i.uid
894      assert eid != None, 'Experiment %s not found' % self.adict['e']
895
896    assert ok,'Available MIPs: %s' % str(self.sc.mips)
897    adsCount = self.adict.get( 'count', False )
898
899    tierMax = self.adict.get( 't', 1 )
900    self.sc.setTierMax(  tierMax )
901    pmax = self.adict.get( 'p', 1 )
902    self.getVolByMip(pmax,eid,adsCount)
903    makeXls = self.adict.get( 'xls', False )
904    if makeXls:
905      mips = self.adict['m']
906      odir = self.adict.get( 'xlsdir', 'xls' )
907      self.sc.checkDir( odir, 'xls files' )
908
909      ##print mips, eid
910      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir)
911
912
913  def printList(self):
914    mips = self.adict['m']
915    ee = {}
916    for i in self.dq.coll['mip'].items:
917      if i.label in mips:
918        ee[i.label] = i
919    if self.adict['l'] in ['o','e']:
920      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
921      for k in sorted( ee.keys() ):
922        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
923          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
924            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
925    else:
926      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
927     
928  def getVolByMip(self,pmax,eid,adsCount):
929
930    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
931    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
932    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
933    cc = collections.defaultdict( int )
934    for e in self.sc.volByE:
935      for v in self.sc.volByE[e][2]:
936          cc[v] += self.sc.volByE[e][2][v]
937    x = 0
938    for v in cc:
939      x += cc[v]
940   
941    if python2:
942      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
943    else:
944      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
945    if self.adict.get( 'vars', False ):
946      printLinesMax = self.adict.get( 'plm', 20 )
947      if printLinesMax > 0:
948        mx = min( [printLinesMax,len(vl)] )
949      else:
950        mx = len(vl)
951
952      for v in vl[:mx]:
953        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
954
Note: See TracBrowser for help on using the repository browser.