source: CMIP6dreq/trunk/dreqPy/scope.py @ 683

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreq/trunk/dreqPy/scope.py@684
Revision 683, 32.5 KB checked in by mjuckes, 4 years ago (diff)

01.beta.30

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import makeTables
14import sys, os
15
16python2 = True
17if sys.version_info[0] == 3:
18  python2 = False
19  from functools import reduce
20  try: 
21    from utilP3 import mlog3
22  except:
23    from dreqPy.utilP3 import mlog3
24  mlg = mlog3()
25else:
26  from utilP2 import mlog
27  mlg = mlog()
28
29class c1(object):
30  def __init__(self):
31    self.a = collections.defaultdict( int )
32class c1s(object):
33  def __init__(self):
34    self.a = collections.defaultdict( set )
35
36NT_txtopts = collections.namedtuple( 'txtopts', ['mode'] )
37
38class baseException(Exception):
39  """Basic exception for general use in code."""
40
41  def __init__(self,msg):
42    self.msg = 'scope:: %s' % msg
43
44  def __str__(self):
45    return repr( self.msg )
46
47  def __repr__(self):
48    return self.msg
49
50nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
51class cmpd(object):
52  def __init__(self,dct):
53    self.d = dct
54  def cmp(self,x,y,):
55    return cmp( self.d[x], self.d[y] )
56
57
58def filter1( a, b ):
59  if b < 0:
60    return a
61  else:
62    return min( [a,b] )
63
64def filter2( a, b, tt, tm ):
65## largest tier less than or equal to tm
66  t1 = [t for t in tt if t <= tm][-1]
67  it1 = tt.index(t1)
68  aa = a[it1]
69  if b < 0:
70    return aa
71  else:
72    return min( [aa,b] )
73
74npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
75       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
76       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
77        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
78
79## There are 4 cmor variables with blank frequency ....
80
81def vol01( sz, v, npy, freq, inx ):
82  n1 = npy[freq]
83  s = sz[inx.uid[v].stid]
84  assert type(s) == type(1), 'Non-integer size found for %s' % v
85  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
86  return s*n1
87
88class col_list(object):
89  def __init__(self):
90    self.a = collections.defaultdict(list)
91
92class col_count(object):
93  def __init__(self):
94    self.a = collections.defaultdict(int)
95
96class dreqQuery(object):
97  __doc__ = """Methods to analyse the data request, including data volume estimates"""
98  def __init__(self,dq=None,tierMax=1):
99    if dq == None:
100      self.dq = dreq.loadDreq()
101    else:
102      self.dq=dq
103    self.rlu = {}
104    for i in self.dq.coll['objective'].items:
105      k = '%s.%s' % (i.mip,i.label)
106      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
107      self.rlu[k] = i.uid
108
109    self.cmvFilter = cmvFilter( self )
110    self.tierMax = tierMax
111
112    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
113    self.mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
114    self.mipsp = ['DECK','CMIP6',] + self.mips[:-4]
115
116    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
117    self.exptByLabel = {}
118    for x in self.dq.coll['experiment'].items:
119      if x.label in self.exptByLabel:
120        print ( 'ERROR: experiment label duplicated: %s' % x.label )
121      self.exptByLabel[x.label] = x.uid
122    self.mipls = sorted( list( self.mips ) )
123
124    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
125    self.mcfg = self.default_mcfg._asdict()
126    self.mcfgNote = None
127    self.szcfg()
128    self.requestItemExpAll(  )
129
130  def setMcfg(self, ll, msg=None ):
131    assert len(ll) == 7, 'Model config must be of length 7: %s' % str(ll)
132    assert all( [type(x) == type(1) for x in ll] )
133    self.mcfg = nt_mcfg._make( ll )._asdict()
134    if msg == None:
135      self.mcfgNote = 'User supplied model configuration: %s' % str(ll)
136    else:
137      self.mcfgNote = msg
138    self.szcfg()
139
140  def szcfg(self):
141    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
142    self.szss = {}
143    self.sz = {}
144    self.szg = collections.defaultdict( dict )
145    self.szgss = collections.defaultdict( dict )
146    for i in self.dq.coll['spatialShape'].items:
147      type = 'a'
148      if i.levelFlag == False:
149        ds =  i.dimensions.split( '|' )
150        if ds[-1] in ['site', 'basin']:
151          vd = ds[-2]
152        else:
153          vd = ds[-1]
154 
155        if vd[:4] == 'olev' or vd == 'rho':
156          type = 'o'
157          nz = self.mcfg['nlo']
158        elif vd[:4] == 'alev':
159          nz = self.mcfg['nla']
160        elif vd in ['slevel','sdepth']:
161          nz = self.mcfg['nls']
162        elif vd == 'aslevel':
163          nz = self.mcfg['nlas']
164        else:
165          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
166          raise
167      else:
168        nz = i.levels
169
170      dims = set( i.dimensions.split( '|' ) )
171      if 'latitude' in dims and 'longitude' in dims:
172        if type == 'o':
173          nh = self.mcfg['nho']
174        else:
175          nh = self.mcfg['nha']
176      else:
177        nh = 10
178
179      self.szss[i.uid] = nh*nz
180      for k in szr:
181        self.szgss[k][i.uid] = szr[k]*nz
182    for i in self.dq.coll['structure'].items:
183      s = 1
184      if i.odims != '':
185        s = s*5
186      self.sz[i.uid] = self.szss[i.spid]*s
187      for k in szr:
188        self.szg[k][i.uid] = self.szgss[k][i.spid]*s
189
190  def getRequestLinkByMip( self, mipSel ):
191    """Return the set of request links which are associated with specified MIP"""
192
193    if type(mipSel) == type( {} ):
194      return self.getRequestLinkByMipObjective(self,mipSel)
195
196    if type(mipSel) == type(''):
197      t1 = lambda x: x == mipSel
198    elif type(mipSel) == type(set()):
199      t1 = lambda x: x in mipSel
200
201    s = set()
202    for i in self.dq.coll['objectiveLink'].items:
203      if t1(i.label):
204        s.add( self.dq.inx.uid[i.rid] )
205
206    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
207    self.rqs = list( s )
208    return self.rqs
209
210  def getRequestLinkByMipObjective( self, mipSel ):
211    """Return the set of request links which are associated with specified MIP and its objectives"""
212
213    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
214
215    s = set()
216    for i in self.dq.coll['objectiveLink'].items:
217      if i.label in mipSel:
218        if len(mipSel[i]) == 0 or self.dq.inx.uid[i.oid].label in mipSel[i]:
219          s.add( self.dq.inx.uid[i.rid] )
220    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
221    self.rqs = list( s )
222    return self.rqs
223
224  def getRequestLinkByObjective( self, objSel ):
225    """Return the set of request links which are associated with specified objectives"""
226    if type(objSel) == type(''):
227      t1 = lambda x: x == self.rlu[objSel]
228    elif type(objSel) == type(set()):
229      t1 = lambda x: x in [self.rlu[i] for i in objSel]
230
231    s = set()
232    for i in self.dq.coll['objectiveLink'].items:
233      if t1(i.label):
234        s.add( self.dq.inx.uid[i.oid] )
235##
236    self.rqs = list( s )
237    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
238    return self.rqs
239
240  def varGroupXexpt(self, rqList ):
241    """For a list of request links, return a list of variable group IDs for each experiment"""
242    self.cc = collections.defaultdict( list )
243    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
244    return self.cc
245
246  def yearsInRequest(self, rql ):
247    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
248    return self.ntot
249
250  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
251    """rqlByExpt: return a set of request links for an experiment"""
252##
253    inx = self.dq.inx
254
255    if ex != None:
256   
257      exi = self.dq.inx.uid[ex]
258      if exi._h.label == 'experiment':
259        exset = set( [ex,exi.egid,exi.mip] )
260      else:
261        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
262##
263## rql is the set of all request links which are associated with a request item for this experiment set
264##
265   
266      l1p = set()
267      for i in l1:
268        if i.preset < 0 or i.preset <= pmax:
269          if i.esid in exset:
270            l1p.add(i)
271    else:
272      exset = None
273      l1p = l1
274
275    rql0 = set()
276    for i in l1p:
277       rql0.add(i.rlid)
278
279    rqlInv = set()
280    for u in rql0:
281      if inx.uid[u]._h.label == 'remarks':
282        rqlInv.add( u )
283    if len(rqlInv) != 0:
284      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
285    rql = set()
286    for u in rql0:
287       if inx.uid[u]._h.label != 'remarks':
288         rql.add( u ) 
289
290    return rql, l1p, exset
291
292  def varsByRql( self, rql, pmax=2, intersection=False, asDict=False): 
293      """The complete set of variables associated with a set of request links."""
294      inx = self.dq.inx
295      cc1 = collections.defaultdict( set )
296      for i in rql:
297        o = inx.uid[i]
298        if o.opt == 'priority':
299          p = int( float( o.opar ) )
300          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
301          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
302        else:
303          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
304
305      if intersection:
306        ccv = {}
307#
308# set of request variables for each MIP
309#
310        for k in cc1:
311          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
312          rqvgs = collections.defaultdict( set )
313          for x in cc1[k]:
314            if type(x) == type( () ):
315              rqvgs[x[0]].add( x[1] )
316            else:
317              rqvgs[x].add( 3 )
318         
319          s = set()
320          for vg in rqvgs:
321            for l in inx.iref_by_sect[vg].a['requestVar']:
322              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
323                s.add( inx.uid[l].vid )
324          ccv[k] = s
325
326        if len( ccv.keys() ) < len( list(imips) ):
327          vars = set()
328        else:
329          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
330      else:
331        rqvgs = collections.defaultdict( set )
332        for k in cc1:
333          for x in cc1[k]:
334            if type(x) == type( () ):
335              rqvgs[x[0]].add( x[1] )
336            else:
337              rqvgs[x].add( 3 )
338         
339###To obtain a set of variables associated with this collection of variable groups:
340
341        if asDict:
342          vars = collections.defaultdict( list )
343        else:
344          vars = set()
345        for vg in rqvgs:
346          for l in inx.iref_by_sect[vg].a['requestVar']:
347            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
348               if asDict:
349                 vars[inx.uid[l].vid].append( vg )
350               else:
351                 vars.add(inx.uid[l].vid)
352
353        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
354### filter out cases where the request does not point to a CMOR variable.
355    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
356
357      if asDict:
358        thisvars = {}
359        for vid in vars:
360           if inx.uid[vid]._h.label == u'CMORvar':
361             thisvars[vid] = vars[vid]
362      else:
363        thisvars = set()
364        for vid in vars:
365           if inx.uid[vid]._h.label == u'CMORvar':
366             thisvars.add(vid)
367
368      return thisvars
369
370  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
371    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
372          The calculation has some approximations concerning the number of years in each experiment group.
373          cc: an optional collector, to accumulate indexed volumes. """
374##
375    inx = self.dq.inx
376    imips = set()
377    for i in l1:
378      imips.add(i.mip)
379   
380    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
381    verbose = False
382    if verbose:
383      for i in rql:
384        r = inx.uid[i]
385        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
386
387    dn = False
388    if dn:
389## obsolete code deleted here
390      pass
391    elif ex != None:
392     
393      exi = self.dq.inx.uid[ex]
394      if exi._h.label == 'experiment':
395        exset = set( [ex,exi.egid,exi.mip] )
396#####
397    if len( rql ) == 0:
398      self.vars = set()
399      return (0,{},{} )
400
401## The complete set of variables associated with these requests:
402    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection, asDict=True) 
403    tm = 3
404    if tm == 0:
405      pass
406    elif tm == 1:
407      pass
408##
409## filter by configuration option and rank
410##
411    if not retainRedundantRank:
412      len1 = len(vars.keys())
413      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars.keys())
414
415      vars = cmv
416   
417    self.vars = vars
418
419    e = {}
420    for u in rql:
421### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
422      i = inx.uid[u]
423      e[i.uid] = set()
424      si = collections.defaultdict( list )
425      for x in inx.iref_by_sect[i.refid].a['requestVar']:
426           if inx.uid[x].priority <= pmax:
427              e[i.uid].add( inx.uid[x].vid )
428
429              if verbose:
430                cmv = inx.uid[inx.uid[x].vid]
431                if cmv._h.label == 'CMORvar':
432                  si[ cmv.mipTable ].append( inx.uid[x].label )
433#
434# for each variable, calculate the maximum number of years across all the request links which reference that variable.
435##
436## for each request item we have nymax, nenmax, nexmax.
437##
438    nymg = collections.defaultdict( dict )
439##
440## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
441    if adsCount:
442      irqi = 3
443    else:
444      irqi = 2
445
446    sgg = set()
447    for v in vars:
448      s = set()
449      sg = collections.defaultdict( set )
450      cc2 = collections.defaultdict( set )
451      cc2s = collections.defaultdict( c1s )
452      for i in l1p:
453##################
454        if (exset == None or i.esid in exset) and v in e[i.rlid]:
455          ix = inx.uid[i.esid]
456          rl = inx.uid[i.rlid]
457          sgg.add( rl.grid )
458          if rl.grid in ['100km','1deg','2deg']:
459            grd = rl.grid
460          else:
461            grd = 'native'
462
463          this = None
464          if exset == None:
465            thisz = 100
466##
467## for a single experiment, look up n years, and n ensemble.
468## should have nstart????
469##
470          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
471            this = None
472            if ex in self.rqiExp[i.uid][1]:
473              this = self.rqiExp[i.uid][1][ex]
474            elif ix.uid in self.rqiExp[i.uid][1]:
475              this = self.rqiExp[i.uid][1][ix.uid]
476            if this != None:
477              thisns = this[-3]
478              thisny = this[-2]
479              thisne = this[-1]
480              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
481          else:
482            thisz = None
483            if 'experiment' in inx.iref_by_sect[i.esid].a:
484              for u in inx.iref_by_sect[i.esid].a['experiment']:
485                if u in self.rqiExp[i.uid][1]:
486                  this = self.rqiExp[i.uid][1][u]
487                  thisns = this[-3]
488                  thisny = this[-2]
489                  thisne = this[-1]
490                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
491
492          ##if thisny != None and thisne != None:
493              ##cc2s[grd].a[i.esid].add( thisny*thisne )
494         
495          if exset != None:
496            sg[grd].add( self.rqiExp[i.uid][irqi] )
497     
498      ##if len(s) == 0:
499        ##nym[v] = 0
500      ##else:
501###
502### sum over experiments of maximum within each experiment
503###
504        ##nym[v] = sum( [max( cc2[k] ) for k in cc2] )
505      for g in sg:
506        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
507
508    szv = {}
509    ov = []
510    for v in vars:
511      if 'requestVar' not in inx.iref_by_sect[v].a:
512         print 'Variable with no request ....: %s, %s' % (inx.uid[v].label, inx.uid[v].mipTable)
513      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
514      ov.append( self.dq.inx.uid[v] )
515    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
516
517    ff = {}
518    for v in vars:
519      if adsCount:
520        ff[v] = 1
521      else:
522        if 'native' in nymg[v]:
523          ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
524          ny = nymg[v]['native']
525        else:
526          if len( nymg[v] ) > 1:
527            print ( '########### Selecting first in list .............' )
528          ks0 = nymg[v].keys()
529          if len(ks0) == 0:
530            ##print 'WARN: no nymg entry for %s [%s]' % (v,ex)
531            ff[v] = 0.
532            ny = 0.
533          else:
534            ks = list( nymg[v].keys() )[0]
535            ny = nymg[v][ks]
536            ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
537
538        if inx.uid[v].frequency != 'monClim':
539          ff[v] = ff[v]*ny
540    self.ngptot = sum( [  ff[v]  for v in vars] )
541    return (self.ngptot, ee, ff )
542
543  def esid_to_exptList(self,esid,deref=False,full=False):
544    if not esid in self.dq.inx.uid:
545      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
546      raise
547
548    if self.dq.inx.uid[esid]._h.label == 'experiment':
549      expts = [esid,]
550    elif self.dq.inx.uid[esid]._h.label != 'remarks':
551      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
552        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
553      else:
554        expts = []
555
556## add in groups and mips for completeness
557##
558      if full:
559        if self.dq.inx.uid[esid]._h.label == 'mip':
560          s = set()
561          for e in expts:
562            if self.dq.inx.uid[e]._h.label != 'experiment':
563              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
564            s.add( self.dq.inx.uid[e].egid )
565          for i in s:
566            expts.append( i )
567        expts.append( esid )
568    else:
569      ##print ( 'WARNING: request link not associated with valid experiment group' )
570      ##raise
571      return None
572
573    if self.tierMax > 0:
574      expts1 = []
575      for i in expts:
576        if self.dq.inx.uid[i]._h.label == 'experiment':
577          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
578            expts1.append( i )
579        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
580          if self.dq.inx.uid[i].tierMin <= self.tierMax:
581            expts1.append( i )
582        else:
583            expts1.append( i )
584    else:
585      expts1 = expts
586
587    if deref:
588      return [self.dq.inx.uid[e] for e in expts1]
589    else:
590      return expts1
591 
592##
593## need to call this on load
594## then use instead of i.ny etc below
595##
596  def requestItemExpAll( self ):
597    self.rqiExp = {}
598    for rqi in self.dq.coll['requestItem'].items:
599      a,b,c,d = self.requestItemExp( rqi )
600      if a != None:
601        self.rqiExp[rqi.uid] = (a,b,c,d)
602
603  def requestItemExp( self, rqi ):
604    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
605    u = rqi.esid
606    if self.dq.inx.uid[u]._h.label == 'experiment':
607      expts = [u,]
608    elif self.dq.inx.uid[u]._h.label != 'remarks':
609      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
610        expts = self.dq.inx.iref_by_sect[u].a['experiment']
611      else:
612        expts = []
613    else:
614      # print ( 'WARNING: request link not associated with valid experiment group'  )
615      ##rqi.__info__()
616      ##raise
617      return (None, None, None, None)
618
619    if self.tierMax > 0:
620      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
621
622    self.multiTierOnly = False
623    if self.multiTierOnly:
624      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
625      print ('Len expts: %s' % len(expts) )
626
627    if len(expts) > 0:
628      e = [self.dq.inx.uid[i] for i in expts]
629      for i in e:
630        if i._h.label != 'experiment':
631          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
632      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
633      dat2 = {}
634      for i in e:
635        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
636        ##print i.label, rqi.title, dat2[i.uid]
637      ### number of
638      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
639      netot = sum( [dat2[x][-1] for x in dat2 ] )
640      ##print 'debug1:: ',dat, nytot, netot
641    else:
642      dat2 = {}
643      nytot = 0
644      netot = 0
645   
646    return (expts, dat2, nytot, netot )
647
648  def setTierMax( self, tierMax ):
649    """Set the maxium tier and recompute request sizes"""
650    if tierMax != self.tierMax:
651      self.tierMax = tierMax
652      self.requestItemExpAll(  )
653
654  def summaryByMip( self, pmax=1 ):
655    bytesPerFloat = 2.
656    for m in self.mipls:
657      v = self.volByMip( m, pmax=pmax )
658      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
659
660  def rqiByMip( self, mip):
661
662    if mip == 'TOTAL':
663        mip = self.mips
664    if type(mip) in [type( '' ),type( u'') ]:
665      if mip not in self.mips:
666        mlg.prnt ( self.mips )
667        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
668      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
669    elif type(mip) in [ type( set()), type( [] ) ]:
670      nf = [ m for m in mip if m not in self.mips]
671      if len(nf) > 0:
672          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
673      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
674    elif type(mip) == type( dict()):
675      nf = [ m for m in mip if m not in self.mips]
676      if len(nf) > 0:
677        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
678      l1 = []
679      for i in  self.dq.coll['requestLink'].items:
680        if i.mip in mip:
681          ok = False
682          if len( mip[i.mip] ) == 0:
683            ok = True
684          else:
685            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
686              o = self.dq.inx.uid[ol]
687              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
688                ok = True
689          if ok:
690              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
691                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
692                  l1.append( self.dq.inx.uid[u] )
693    else:
694      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
695
696    return l1
697
698  def checkDir(self,odir,msg):
699      if not os.path.isdir( odir ):
700         try:
701            os.mkdir( odir )
702         except:
703            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
704            print ( '\n\n' )
705            raise
706         print ('Created directory %s for: %s' % (odir,msg) )
707
708
709  def xlsByMipExpt(self,m,ex,pmax,odir='xls',xls=True,txt=False,txtOpts=None):
710    import scope_utils
711    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax,xls=xls, txt=txt, txtOpts=txtOpts,odir=odir)
712
713    mlab = makeTables.setMlab( m )
714
715    mxls.run( m, mlab=mlab )
716
717     
718  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
719
720    l1 = self.rqiByMip( mip )
721     
722    #### The set of experiments/experiment groups:
723    if exptid == None:
724      ##exps = self.mips
725      exps = self.experiments
726    else:
727      exps = set( [exptid,] )
728      ##print exptid, exps
729   
730    self.volByE = {}
731    vtot = 0
732    cc = collections.defaultdict( col_count )
733    self.allVars = set()
734    for e in exps:
735      expts = self.esid_to_exptList(e,deref=True,full=False)
736      if expts not in  [None,[]]:
737        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
738        for ei in expts:
739          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
740          vtot += self.volByE[ei.label][0]
741        self.allVars = self.allVars.union( self.vars )
742      ##else:
743        ##print 'No expts found: ',e
744    self.indexedVol = cc
745
746    return vtot
747
748  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
749    do_count = acount != None
750    do_list = alist != None
751    assert not (do_count and do_list), 'It is an error to request both list and count'
752    if not (do_count or do_list):
753      acount = '__number__'
754      do_count = True
755
756    if cc == None:
757      if do_count:
758        cc = collections.defaultdict( col_count )
759      elif do_list:
760        cc = collections.defaultdict( col_list )
761
762    if do_count:
763      for l in ll:
764        if cdict != None:
765          v = cdict[l.uid]
766        elif acount == '__number__':
767          v = 1
768        else:
769          v = l.__dict__[acount]
770
771        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
772    elif do_list:
773      for l in ll:
774        if cdict != None:
775          v = cdict[l.uid]
776        elif alist == '__item__':
777          v = l
778        else:
779          v = l.__dict__[alist]
780        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
781
782    od = {}
783    for k in cc.keys():
784      d2 = {}
785      for k2 in cc[k].a.keys():
786        d2[k2] = cc[k].a[k2]
787      od[k] = d2
788    return od
789
790class dreqUI(object):
791  """Data Request Command line.
792-------------------------
793      -v : print version and exit;
794      --unitTest : run some simple tests;
795      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
796      -l <options>: List for options:
797              o: objectives
798              e: experiments
799      -h :       help: print help text;
800      -e <expt>: experiment;
801      -t <tier> maxmum tier;
802      -p <priority>  maximum priority;
803      --xls : Create Excel file with requested variables;
804      --txt : Create text file with requested variables;
805      --mcfg : Model configuration: 7 integers, comma separated, 'nho','nlo','nha','nla','nlas','nls','nh1'
806                 default: 259200,60,64800,40,20,5,100
807      --txtOpts : options for content of text file: (v|c)[(+|-)att1[,att2[...]]]
808      --xlsDir <directory> : Directory in which to place variable listing [xls];
809      --printLinesMax <n>: Maximum number of lines to be printed (default 20)
810      --printVars  : If present, a summary of the variables (see --printLinesMax) fitting the selection options will be printed
811      --intersection : Analyse the intersection of requests rather than union.
812
813NOTES
814-----
815[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
816-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
817
818e.g.
819drq -m HighResMIP:Ocean.DiurnalCycle
820"""
821  def __init__(self,args):
822    self.adict = {}
823    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
824                      '-h':('h',False), '--printLinesMax':('plm',True), \
825                      '-l':('l',True),
826                      '--printVars':('vars',False), '--intersection':('intersection',False), \
827                      '--count':('count',False), \
828                      '--txt':('txt',False), \
829                      '--mcfg':('mcfg',True), \
830                      '--txtOpts':('txtOpts',True), \
831                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
832                       } 
833    aa = args[:]
834    notKnownArgs = []
835    while len(aa) > 0:
836      a = aa.pop(0)
837      if a in self.knownargs:
838        b = self.knownargs[a][0]
839        if self.knownargs[a][1]:
840          v = aa.pop(0)
841          self.adict[b] = v
842        else:
843          self.adict[b] = True
844      else:
845        notKnownArgs.append(a)
846
847    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
848
849    if 'm' in self.adict:
850      if self.adict['m'].find( ':' ) != -1:
851        ee = {}
852        for i in self.adict['m'].split(','):
853          bits =  i.split( ':' )
854          if len( bits ) == 1:
855             ee[bits[0]] = []
856          else:
857             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
858             ee[bits[0]] = bits[1].split( '.' )
859        self.adict['m'] = ee
860      else:
861        self.adict['m'] = set(self.adict['m'].split(',') )
862
863    integerArgs = set( ['p','t','plm'] )
864    for i in integerArgs.intersection( self.adict ):
865      self.adict[i] = int( self.adict[i] )
866
867    self.intersection = self.adict.get( 'intersection', False )
868
869 
870  def checkArgs( self, notKnownArgs ):
871    if len( notKnownArgs ) == 0:
872      return True
873    print ('--------------------------------------')
874    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
875    k = 0
876    for x in notKnownArgs:
877      k += 1
878      if x[1:] in self.knownargs:
879        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
880      elif '-%s' % x in self.knownargs:
881        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
882      elif x[0] == '\xe2':
883        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
884    print ('--------------------------------------')
885
886    return len( notKnownArgs ) == 0
887     
888  def run(self, dq=None):
889    if 'h' in self.adict:
890      mlg.prnt ( self.__doc__ )
891      return
892
893    if not 'm' in self.adict:
894      mlg.prnt ( 'Current version requires -m argument'  )
895      mlg.prnt ( self.__doc__ )
896      sys.exit(0)
897
898    if dq == None:
899      self.dq = dreq.loadDreq()
900    else:
901      self.dq = dq
902
903    if 'l' in self.adict:
904      self.printList()
905      return
906
907    if 'mcfg' in self.adict:
908      ll = string.split( self.adict['mcfg'], ',' )
909      assert len(ll) == 7, 'Length of model configuration argument must be 7 comma separated integers: %s' %  self.adict['mcfg']
910      lli = [ int(x) for x in ll]
911      print lli
912
913    self.sc = dreqQuery( dq=self.dq )
914    if 'mcfg' in self.adict:
915      self.sc.setMcfg( lli )
916
917    ok = True
918    for i in self.adict['m']:
919        if i not in self.sc.mips:
920          ok = False
921          mlg.prnt ( 'NOT FOUND: %s' % i )
922
923    eid = None
924    ex = None
925    if 'e' in self.adict:
926      ex = self.adict['e']
927      for i in self.dq.coll['experiment'].items:
928        if i.label == self.adict['e']:
929          eid = i.uid
930      assert eid != None, 'Experiment %s not found' % self.adict['e']
931
932    assert ok,'Available MIPs: %s' % str(self.sc.mips)
933    adsCount = self.adict.get( 'count', False )
934
935    tierMax = self.adict.get( 't', 1 )
936    self.sc.setTierMax(  tierMax )
937    pmax = self.adict.get( 'p', 1 )
938    self.getVolByMip(pmax,eid,adsCount)
939    makeXls = self.adict.get( 'xls', False )
940    makeTxt = self.adict.get( 'txt', False )
941    if makeXls or makeTxt:
942      mips = self.adict['m']
943      odir = self.adict.get( 'xlsdir', 'xls' )
944      self.sc.checkDir( odir, 'xls files' )
945
946      ##print mips, eid
947      if 'txtOpts' in self.adict:
948        if self.adict['txtOpts'][0] == 'v':
949          txtOpts = NT_txtopts( 'var' )
950        else:
951          txtOpts = NT_txtopts( 'cmv' )
952      else:
953        txtOpts=None
954
955      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir,xls=makeXls,txt=makeTxt,txtOpts=txtOpts)
956
957  def printList(self):
958    mips = self.adict['m']
959    ee = {}
960    for i in self.dq.coll['mip'].items:
961      if i.label in mips:
962        ee[i.label] = i
963    if self.adict['l'] in ['o','e']:
964      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
965      for k in sorted( ee.keys() ):
966        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
967          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
968            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
969    else:
970      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
971     
972  def getVolByMip(self,pmax,eid,adsCount):
973
974    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
975    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
976    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
977    cc = collections.defaultdict( int )
978    for e in self.sc.volByE:
979      for v in self.sc.volByE[e][2]:
980          cc[v] += self.sc.volByE[e][2][v]
981    x = 0
982    for v in cc:
983      x += cc[v]
984   
985    if python2:
986      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
987    else:
988      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
989    if self.adict.get( 'vars', False ):
990      printLinesMax = self.adict.get( 'plm', 20 )
991      if printLinesMax > 0:
992        mx = min( [printLinesMax,len(vl)] )
993      else:
994        mx = len(vl)
995
996      for v in vl[:mx]:
997        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
998      if mx < len(vl):
999        mlg.prnt ( '%s variables not listed (use --printLinesMax to print more)' % (len(vl)-mx) )
1000
Note: See TracBrowser for help on using the repository browser.