source: CMIP6dreq/trunk/dreqPy/scope.py @ 758

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreq/trunk/dreqPy/scope.py@758
Revision 758, 34.8 KB checked in by mjuckes, 3 years ago (diff)

candidate 01.beta.36

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8  import makeTables
9except:
10  import dreqPy.dreq  as dreq
11  from dreqPy.utilities import cmvFilter
12  import dreqPy.makeTables as makeTables
13
14import collections, string, operator
15import sys, os
16
17python2 = True
18if sys.version_info[0] == 3:
19  python2 = False
20  from functools import reduce
21  try: 
22    from utilP3 import mlog3
23  except:
24    from dreqPy.utilP3 import mlog3
25  mlg = mlog3()
26else:
27  from utilP2 import util
28  mlg = util.mlog()
29
30class c1(object):
31  def __init__(self):
32    self.a = collections.defaultdict( int )
33class c1s(object):
34  def __init__(self):
35    self.a = collections.defaultdict( set )
36
37NT_txtopts = collections.namedtuple( 'txtopts', ['mode'] )
38
39class baseException(Exception):
40  """Basic exception for general use in code."""
41
42  def __init__(self,msg):
43    self.msg = 'scope:: %s' % msg
44
45  def __str__(self):
46    return repr( self.msg )
47
48  def __repr__(self):
49    return self.msg
50
51nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
52class cmpd(object):
53  def __init__(self,dct):
54    self.d = dct
55  def cmp(self,x,y,):
56    return cmp( self.d[x], self.d[y] )
57
58
59def filter1( a, b ):
60  if b < 0:
61    return a
62  else:
63    return min( [a,b] )
64
65def filter2( a, b, tt, tm ):
66## largest tier less than or equal to tm
67  ll = [t for t in tt if t <= tm]
68  if len( ll ) > 0:
69    t1 = [t for t in tt if t <= tm][-1]
70    it1 = tt.index(t1)
71    aa = a[it1]
72    if b < 0:
73      return aa
74    else:
75      return min( [aa,b] )
76  else:
77    return 0
78
79npy = {'1hrClimMon':24*12, 'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365,
80       u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1,
81       u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365,
82        'subhr':24*365, 'Day':365, '6h':4*365, '3 hourly':8*365, '':1 }
83
84## There are 4 cmor variables with blank frequency ....
85
86def vol01( sz, v, npy, freq, inx ):
87  n1 = npy[freq]
88  s = sz[inx.uid[v].stid]
89  assert type(s) == type(1), 'Non-integer size found for %s' % v
90  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
91  return s*n1
92
93class col_list(object):
94  def __init__(self):
95    self.a = collections.defaultdict(list)
96
97class col_count(object):
98  def __init__(self):
99    self.a = collections.defaultdict(int)
100
101class dreqQuery(object):
102  __doc__ = """Methods to analyse the data request, including data volume estimates"""
103  def __init__(self,dq=None,tierMax=1):
104    if dq == None:
105      self.dq = dreq.loadDreq()
106    else:
107      self.dq=dq
108    self.rlu = {}
109    for i in self.dq.coll['objective'].items:
110      k = '%s.%s' % (i.mip,i.label)
111      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
112      self.rlu[k] = i.uid
113
114    self.cmvFilter = cmvFilter( self )
115    self.tierMax = tierMax
116
117    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
118    self.mips = ['AerChemMIP', 'C4MIP', 'CFMIP', 'DAMIP', 'DCPP', 'FAFMIP', 'GeoMIP', 'GMMIP', 'HighResMIP', 'ISMIP6', 'LS3MIP', 'LUMIP', 'OMIP', 'PMIP', 'RFMIP', 'ScenarioMIP', 'VolMIP', 'CORDEX', 'DynVar', 'SIMIP', 'VIACSAB']
119    self.mipsp = ['DECK','CMIP6',] + self.mips[:-4]
120
121    self.experiments = set( [x.uid for x in self.dq.coll['experiment'].items ] )
122    self.exptByLabel = {}
123    for x in self.dq.coll['experiment'].items:
124      if x.label in self.exptByLabel:
125        print ( 'ERROR: experiment label duplicated: %s' % x.label )
126      self.exptByLabel[x.label] = x.uid
127    self.mipls = sorted( list( self.mips ) )
128
129    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
130    self.mcfg = self.default_mcfg._asdict()
131    self.mcfgNote = None
132    self.szcfg()
133    self.requestItemExpAll(  )
134
135  def setMcfg(self, ll, msg=None ):
136    assert len(ll) == 7, 'Model config must be of length 7: %s' % str(ll)
137    assert all( [type(x) == type(1) for x in ll] )
138    self.mcfg = nt_mcfg._make( ll )._asdict()
139    if msg == None:
140      self.mcfgNote = 'User supplied model configuration: %s' % str(ll)
141    else:
142      self.mcfgNote = msg
143    self.szcfg()
144
145  def szcfg(self):
146    szr = {'100km':64800, '1deg':64800, '2deg':16200 }
147    self.szss = {}
148    self.sz = {}
149    self.szg = collections.defaultdict( dict )
150    self.szgss = collections.defaultdict( dict )
151    for i in self.dq.coll['spatialShape'].items:
152      type = 'a'
153      if i.levelFlag == False:
154        ds =  i.dimensions.split( '|' )
155        if ds[-1] in ['site', 'basin']:
156          vd = ds[-2]
157        else:
158          vd = ds[-1]
159 
160        if vd[:4] == 'olev' or vd == 'rho':
161          type = 'o'
162          nz = self.mcfg['nlo']
163        elif vd[:4] == 'alev':
164          nz = self.mcfg['nla']
165        elif vd in ['slevel','sdepth']:
166          nz = self.mcfg['nls']
167        elif vd == 'aslevel':
168          nz = self.mcfg['nlas']
169        else:
170          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
171          raise
172      else:
173        nz = i.levels
174
175      dims = set( i.dimensions.split( '|' ) )
176      if 'latitude' in dims and 'longitude' in dims:
177        if type == 'o':
178          nh = self.mcfg['nho']
179        else:
180          nh = self.mcfg['nha']
181      else:
182        nh = 10
183
184      self.szss[i.uid] = nh*nz
185      for k in szr:
186        self.szgss[k][i.uid] = szr[k]*nz
187
188    for i in self.dq.coll['structure'].items:
189      s = 1
190      if i.odims != '':
191        s = s*5
192      if i.spid in self.szss:
193        self.sz[i.uid] = self.szss[i.spid]*s
194        for k in szr:
195          self.szg[k][i.uid] = self.szgss[k][i.spid]*s
196      else:
197        print ('WARNING: spid has no size info: %s' % i.spid )
198        self.sz[i.uid] = 0.
199        for k in szr:
200          self.szg[k][i.uid] = 0.
201
202  def getRequestLinkByMip( self, mipSel ):
203    """Return the set of request links which are associated with specified MIP"""
204
205    if type(mipSel) == type( {} ):
206      return self.getRequestLinkByMipObjective(self,mipSel)
207
208    if type(mipSel) == type(''):
209      t1 = lambda x: x == mipSel
210    elif type(mipSel) == type(set()):
211      t1 = lambda x: x in mipSel
212
213    s = set()
214    for i in self.dq.coll['requestLink'].items:
215      if t1(i.mip):
216        if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
217          if any( [ self.rqiExp[x][-1] > 0 for  x in self.dq.inx.iref_by_sect[i.uid].a['requestItem'] if x in self.rqiExp ] ):
218            s.add( i )
219
220    self.rqs = list( s )
221    return self.rqs
222
223  def getRequestLinkByMipObjective( self, mipSel ):
224    """Return the set of request links which are associated with specified MIP and its objectives"""
225
226    assert type(mipSel) == type( {} ),'Argument must be a dictionary, listing objectives for each MIP'
227
228    s = set()
229    for i in self.dq.coll['requestLink'].items:
230      if i.mip in mipSel:
231        if len(mipSel[i.mip]) == 0:
232          s.add( i )
233        elif 'objectiveLink' in self.dq.inx.iref_by_sect[i.uid].a:
234          ss = set( [self.dq.inx.uid[k].label for k in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink'] ] )
235          if any( [x in mipSel[i.mip] for x in ss] ):
236            s.add( i )
237##
238## filter requestLinks by tierMax: check to see whether they link to experiments with tier below or equal to tiermax.
239##
240    s1 = set()
241    for i in s:
242      if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
243        if any( [ self.rqiExp[x][-1] > 0 for  x in self.dq.inx.iref_by_sect[i.uid].a['requestItem'] if x in self.rqiExp ] ):
244            s1.add( i )
245
246    self.rqs = list( s1 )
247    return self.rqs
248
249  def varGroupXexpt(self, rqList ):
250    """For a list of request links, return a list of variable group IDs for each experiment"""
251    self.cc = collections.defaultdict( list )
252    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
253    return self.cc
254
255  def yearsInRequest(self, rql ):
256    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
257    return self.ntot
258
259  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
260    """rqlByExpt: return a set of request links for an experiment"""
261##
262    inx = self.dq.inx
263
264    if ex != None:
265   
266      exi = self.dq.inx.uid[ex]
267      if exi._h.label == 'experiment':
268        exset = set( [ex,exi.egid,exi.mip] )
269      else:
270        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
271##
272## rql is the set of all request links which are associated with a request item for this experiment set
273##
274   
275      l1p = set()
276      for i in l1:
277        if i.preset < 0 or i.preset <= pmax:
278          if i.esid in exset:
279            l1p.add(i)
280    else:
281      exset = None
282      l1p = l1
283
284    rql0 = set()
285    for i in l1p:
286       rql0.add(i.rlid)
287
288    rqlInv = set()
289    for u in rql0:
290      if inx.uid[u]._h.label == 'remarks':
291        rqlInv.add( u )
292    if len(rqlInv) != 0:
293      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
294    rql = set()
295    for u in rql0:
296       if inx.uid[u]._h.label != 'remarks':
297         rql.add( u ) 
298
299    return rql, l1p, exset
300
301  def varsByRql( self, rql, pmax=2, intersection=False, asDict=False): 
302      """The complete set of variables associated with a set of request links."""
303      inx = self.dq.inx
304      cc1 = collections.defaultdict( set )
305      for i in rql:
306        o = inx.uid[i]
307        if o.opt == 'priority':
308          p = int( float( o.opar ) )
309          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
310          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
311        else:
312          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
313
314      if intersection:
315        ccv = {}
316#
317# set of request variables for each MIP
318#
319        for k in cc1:
320          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
321          rqvgs = collections.defaultdict( set )
322          for x in cc1[k]:
323            if type(x) == type( () ):
324              rqvgs[x[0]].add( x[1] )
325            else:
326              rqvgs[x].add( 3 )
327         
328          s = set()
329          for vg in rqvgs:
330            for l in inx.iref_by_sect[vg].a['requestVar']:
331              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
332                s.add( inx.uid[l].vid )
333          ccv[k] = s
334
335        if len( ccv.keys() ) < len( list(imips) ):
336          vars = set()
337        else:
338          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
339      else:
340        rqvgs = collections.defaultdict( set )
341        for k in cc1:
342          for x in cc1[k]:
343            if type(x) == type( () ):
344              rqvgs[x[0]].add( x[1] )
345            else:
346              rqvgs[x].add( 3 )
347         
348###To obtain a set of variables associated with this collection of variable groups:
349
350        if asDict:
351          vars = collections.defaultdict( list )
352        else:
353          vars = set()
354        for vg in rqvgs:
355          for l in inx.iref_by_sect[vg].a['requestVar']:
356            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
357               if asDict:
358                 vars[inx.uid[l].vid].append( vg )
359               else:
360                 vars.add(inx.uid[l].vid)
361
362        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
363### filter out cases where the request does not point to a CMOR variable.
364    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
365
366      if asDict:
367        thisvars = {}
368        for vid in vars:
369           if inx.uid[vid]._h.label == u'CMORvar':
370             thisvars[vid] = vars[vid]
371      else:
372        thisvars = set()
373        for vid in vars:
374           if inx.uid[vid]._h.label == u'CMORvar':
375             thisvars.add(vid)
376
377      return thisvars
378
379  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
380    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
381          The calculation has some approximations concerning the number of years in each experiment group.
382          cc: an optional collector, to accumulate indexed volumes. """
383##
384    inx = self.dq.inx
385    imips = set()
386    for i in l1:
387      imips.add(i.mip)
388   
389    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
390    verbose = False
391    if verbose:
392      for i in rql:
393        r = inx.uid[i]
394        print ( '%s, %s, %s' % (r.label, r.title, r.uid) )
395
396    dn = False
397    if dn:
398## obsolete code deleted here
399      pass
400    elif ex != None:
401     
402      exi = self.dq.inx.uid[ex]
403      if exi._h.label == 'experiment':
404        exset = set( [ex,exi.egid,exi.mip] )
405#####
406    if len( rql ) == 0:
407      self.vars = set()
408      return (0,{},{} )
409
410## The complete set of variables associated with these requests:
411    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection, asDict=True) 
412    tm = 3
413    if tm == 0:
414      pass
415    elif tm == 1:
416      pass
417##
418## filter by configuration option and rank
419##
420    if not retainRedundantRank:
421      len1 = len(vars.keys())
422      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars.keys())
423
424      vars = cmv
425   
426    self.vars = vars
427
428    e = {}
429    for u in rql:
430### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
431      i = inx.uid[u]
432      e[i.uid] = set()
433      si = collections.defaultdict( list )
434      for x in inx.iref_by_sect[i.refid].a['requestVar']:
435           if inx.uid[x].priority <= pmax:
436              e[i.uid].add( inx.uid[x].vid )
437
438              if verbose:
439                cmv = inx.uid[inx.uid[x].vid]
440                if cmv._h.label == 'CMORvar':
441                  si[ cmv.mipTable ].append( inx.uid[x].label )
442#
443# for each variable, calculate the maximum number of years across all the request links which reference that variable.
444##
445## for each request item we have nymax, nenmax, nexmax.
446##
447    nymg = collections.defaultdict( dict )
448##
449## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
450    if adsCount:
451      irqi = 3
452    else:
453      irqi = 2
454
455    sgg = set()
456    for v in vars:
457      s = set()
458      sg = collections.defaultdict( set )
459      cc2 = collections.defaultdict( set )
460      cc2s = collections.defaultdict( c1s )
461      for i in l1p:
462##################
463        if (exset == None or i.esid in exset) and v in e[i.rlid]:
464          ix = inx.uid[i.esid]
465          rl = inx.uid[i.rlid]
466          sgg.add( rl.grid )
467          if rl.grid in ['100km','1deg','2deg']:
468            grd = rl.grid
469          else:
470            grd = 'native'
471
472          this = None
473          if exset == None:
474            thisz = 100
475##
476## for a single experiment, look up n years, and n ensemble.
477## should have nstart????
478##
479          elif exi._h.label == 'experiment' or ix._h.label == 'experiment':
480            this = None
481            if ex in self.rqiExp[i.uid][1]:
482              this = self.rqiExp[i.uid][1][ex]
483            elif ix.uid in self.rqiExp[i.uid][1]:
484              this = self.rqiExp[i.uid][1][ix.uid]
485            if this != None:
486              thisns = this[-3]
487              thisny = this[-2]
488              thisne = this[-1]
489              cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
490          else:
491            thisz = None
492            if 'experiment' in inx.iref_by_sect[i.esid].a:
493              for u in inx.iref_by_sect[i.esid].a['experiment']:
494                if u in self.rqiExp[i.uid][1]:
495                  this = self.rqiExp[i.uid][1][u]
496                  thisns = this[-3]
497                  thisny = this[-2]
498                  thisne = this[-1]
499                  cc2s[grd].a[u].add( filter1( thisns*thisny*thisne, i.nymax) )
500
501          ##if thisny != None and thisne != None:
502              ##cc2s[grd].a[i.esid].add( thisny*thisne )
503         
504          if exset != None:
505            sg[grd].add( self.rqiExp[i.uid][irqi] )
506     
507      ##if len(s) == 0:
508        ##nym[v] = 0
509      ##else:
510###
511### sum over experiments of maximum within each experiment
512###
513        ##nym[v] = sum( [max( cc2[k] ) for k in cc2] )
514      for g in sg:
515        nymg[v][g] = sum( [max( cc2s[g].a[k] ) for k in cc2s[g].a] )
516
517    szv = {}
518    ov = []
519    for v in vars:
520      if 'requestVar' not in inx.iref_by_sect[v].a:
521         print ( 'Variable with no request ....: %s, %s' % (inx.uid[v].label, inx.uid[v].mipTable) )
522      try:
523        szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
524      except:
525        if inx.uid[v].stid not in self.sz:
526          print ('ERROR: size not found for stid %s (v=%s, %s)' % (inx.uid[v].stid,v,inx.uid[v].label) )
527        if inx.uid[v].frequency not in npy:
528          print ('ERROR: npy not found for frequency %s (v=%s, %s)' % (inx.uid[v].frequency,v,inx.uid[v].label) )
529        szv[v] = 0
530      ov.append( self.dq.inx.uid[v] )
531
532    ff = {}
533    for v in vars:
534      if adsCount:
535        ff[v] = 1
536      else:
537        if 'native' in nymg[v]:
538          ff[v] = szv[v]
539          ny = nymg[v]['native']
540        else:
541          if len( nymg[v] ) > 1:
542            print ( '########### Selecting first in list .............' )
543          ks0 = nymg[v].keys()
544          if len(ks0) == 0:
545            ##print 'WARN: no nymg entry for %s [%s]' % (v,ex)
546            ff[v] = 0.
547            ny = 0.
548          else:
549            ks = list( nymg[v].keys() )[0]
550            ny = nymg[v][ks]
551            if inx.uid[v].stid in self.szg[ks]:
552              ff[v] = self.szg[ks][ inx.uid[v].stid ] * npy[inx.uid[v].frequency]
553            else:
554              ff[v] = 0.
555
556        if inx.uid[v].frequency != 'monClim':
557          ff[v] = ff[v]*ny
558
559    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=ff, cc=cc )
560    self.ngptot = sum( [  ff[v]  for v in vars] )
561    return (self.ngptot, ee, ff )
562
563  def esid_to_exptList(self,esid,deref=False,full=False):
564    if not esid in self.dq.inx.uid:
565      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
566      raise
567
568    if self.dq.inx.uid[esid]._h.label == 'experiment':
569      expts = [esid,]
570    elif self.dq.inx.uid[esid]._h.label != 'remarks':
571      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
572        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
573      else:
574        expts = []
575
576## add in groups and mips for completeness
577##
578      if full:
579        if self.dq.inx.uid[esid]._h.label == 'mip':
580          s = set()
581          for e in expts:
582            if self.dq.inx.uid[e]._h.label != 'experiment':
583              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
584            s.add( self.dq.inx.uid[e].egid )
585          for i in s:
586            expts.append( i )
587        expts.append( esid )
588    else:
589      ##print ( 'WARNING: request link not associated with valid experiment group' )
590      ##raise
591      return None
592
593    if self.tierMax > 0:
594      expts1 = []
595      for i in expts:
596        if self.dq.inx.uid[i]._h.label == 'experiment':
597          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
598            expts1.append( i )
599        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
600          if self.dq.inx.uid[i].tierMin <= self.tierMax:
601            expts1.append( i )
602        else:
603            expts1.append( i )
604    else:
605      expts1 = expts
606
607    if deref:
608      return [self.dq.inx.uid[e] for e in expts1]
609    else:
610      return expts1
611 
612##
613## need to call this on load
614## then use instead of i.ny etc below
615##
616  def requestItemExpAll( self ):
617    self.rqiExp = {}
618    for rqi in self.dq.coll['requestItem'].items:
619      a,b,c,d = self.requestItemExp( rqi )
620      if a != None:
621        self.rqiExp[rqi.uid] = (a,b,c,d)
622
623  def requestItemExp( self, rqi ):
624    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
625    u = rqi.esid
626    if self.dq.inx.uid[u]._h.label == 'experiment':
627      expts = [u,]
628    elif self.dq.inx.uid[u]._h.label != 'remarks':
629      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
630        expts = self.dq.inx.iref_by_sect[u].a['experiment']
631      else:
632        expts = []
633    else:
634      # print ( 'WARNING: request link not associated with valid experiment group'  )
635      ##rqi.__info__()
636      ##raise
637      return (None, None, None, None)
638
639    if self.tierMax > 0:
640      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
641
642    self.multiTierOnly = False
643    if self.multiTierOnly:
644      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
645      print ('Len expts: %s' % len(expts) )
646
647    if len(expts) > 0:
648      e = [self.dq.inx.uid[i] for i in expts]
649      for i in e:
650        if i._h.label != 'experiment':
651          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
652      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
653      dat2 = {}
654      for i in e:
655        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
656        ##print i.label, rqi.title, dat2[i.uid]
657      ### number of
658      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
659      netot = sum( [dat2[x][-1] for x in dat2 ] )
660      ##print 'debug1:: ',dat, nytot, netot
661    else:
662      dat2 = {}
663      nytot = 0
664      netot = 0
665   
666    return (expts, dat2, nytot, netot )
667
668  def setTierMax( self, tierMax ):
669    """Set the maxium tier and recompute request sizes"""
670    if tierMax != self.tierMax:
671      self.tierMax = tierMax
672      self.requestItemExpAll(  )
673
674  def summaryByMip( self, pmax=1 ):
675    bytesPerFloat = 2.
676    for m in self.mipls:
677      v = self.volByMip( m, pmax=pmax )
678      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
679
680  def rqiByMip( self, mip):
681
682    if mip == 'TOTAL':
683        mip = self.mips
684    if type(mip) in [type( '' ),type( u'') ]:
685      if mip not in self.mips:
686        mlg.prnt ( self.mips )
687        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
688      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
689    elif type(mip) in [ type( set()), type( [] ) ]:
690      nf = [ m for m in mip if m not in self.mips]
691      if len(nf) > 0:
692          raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
693      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
694    elif type(mip) == type( dict()):
695      nf = [ m for m in mip if m not in self.mips]
696      if len(nf) > 0:
697        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
698      l1 = []
699      for i in  self.dq.coll['requestLink'].items:
700        if i.mip in mip:
701          ok = False
702          if len( mip[i.mip] ) == 0:
703            ok = True
704          else:
705            for ol in self.dq.inx.iref_by_sect[i.uid].a['objectiveLink']:
706              o = self.dq.inx.uid[ol]
707              if self.dq.inx.uid[o.oid].label in mip[i.mip]:
708                ok = True
709          if ok:
710              if 'requestItem' in self.dq.inx.iref_by_sect[i.uid].a:
711                for u in self.dq.inx.iref_by_sect[i.uid].a['requestItem']:
712                  l1.append( self.dq.inx.uid[u] )
713    else:
714      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
715
716    return l1
717
718  def checkDir(self,odir,msg):
719      if not os.path.isdir( odir ):
720         try:
721            os.mkdir( odir )
722         except:
723            print ('\n\nFailed to make directory "%s" for: %s: make necessary subdirectories or run where you have write access' % (odir,msg) )
724            print ( '\n\n' )
725            raise
726         print ('Created directory %s for: %s' % (odir,msg) )
727
728
729  def xlsByMipExpt(self,m,ex,pmax,odir='xls',xls=True,txt=False,txtOpts=None):
730    import scope_utils
731    mxls = scope_utils.xlsTabs(self,tiermax=self.tierMax,pmax=pmax,xls=xls, txt=txt, txtOpts=txtOpts,odir=odir)
732
733    mlab = makeTables.setMlab( m )
734
735    mxls.run( m, mlab=mlab )
736
737     
738  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
739
740    l1 = self.rqiByMip( mip )
741     
742    #### The set of experiments/experiment groups:
743    if exptid == None:
744      ##exps = self.mips
745      exps = self.experiments
746    else:
747      exps = set( [exptid,] )
748      ##print exptid, exps
749   
750    self.volByE = {}
751    vtot = 0
752    cc = collections.defaultdict( col_count )
753    self.allVars = set()
754    for e in exps:
755      expts = self.esid_to_exptList(e,deref=True,full=False)
756      if expts not in  [None,[]]:
757        ###print 'EXPTS: ',e,len(expts), list( expts )[0].label
758        for ei in expts:
759          self.volByE[ei.label] = self.volByExpt( l1, ei.uid, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
760          vtot += self.volByE[ei.label][0]
761        self.allVars = self.allVars.union( self.vars )
762      ##else:
763        ##print 'No expts found: ',e
764    self.indexedVol = cc
765
766    return vtot
767
768  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
769    do_count = acount != None
770    do_list = alist != None
771    assert not (do_count and do_list), 'It is an error to request both list and count'
772    if not (do_count or do_list):
773      acount = '__number__'
774      do_count = True
775
776    if cc == None:
777      if do_count:
778        cc = collections.defaultdict( col_count )
779      elif do_list:
780        cc = collections.defaultdict( col_list )
781
782    if do_count:
783      for l in ll:
784        if cdict != None:
785          v = cdict[l.uid]
786        elif acount == '__number__':
787          v = 1
788        else:
789          v = l.__dict__[acount]
790
791        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
792    elif do_list:
793      for l in ll:
794        if cdict != None:
795          v = cdict[l.uid]
796        elif alist == '__item__':
797          v = l
798        else:
799          v = l.__dict__[alist]
800        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
801
802    od = {}
803    for k in cc.keys():
804      d2 = {}
805      for k2 in cc[k].a.keys():
806        d2[k2] = cc[k].a[k2]
807      od[k] = d2
808    return od
809
810class dreqUI(object):
811  """Data Request Command line.
812-------------------------
813      -v : print version and exit;
814      --unitTest : run some simple tests;
815      -m <mip>:  MIP of list of MIPs (comma separated; for objective selection see note [1] below);
816      -l <options>: List for options:
817              o: objectives
818              e: experiments
819      -q <options>: List information about the schema:
820              s: sections
821              <section>: attributes for a section
822              <section:attribute>: definition of an attribute.
823      -h :       help: print help text;
824      -e <expt>: experiment;
825      -t <tier> maxmum tier;
826      -p <priority>  maximum priority;
827      --xls : Create Excel file with requested variables;
828      --txt : Create text file with requested variables;
829      --mcfg : Model configuration: 7 integers, comma separated, 'nho','nlo','nha','nla','nlas','nls','nh1'
830                 default: 259200,60,64800,40,20,5,100
831      --txtOpts : options for content of text file: (v|c)[(+|-)att1[,att2[...]]]
832      --xlsDir <directory> : Directory in which to place variable listing [xls];
833      --printLinesMax <n>: Maximum number of lines to be printed (default 20)
834      --printVars  : If present, a summary of the variables (see --printLinesMax) fitting the selection options will be printed
835      --intersection : Analyse the intersection of requests rather than union.
836
837NOTES
838-----
839[1] A set of objectives within a MIP can be specified in the command line. The extended syntax of the "-m" argument is:
840-m <mip>[:objective[.obj2[.obj3 ...]]][,<mip2]...]
841
842e.g.
843drq -m HighResMIP:Ocean.DiurnalCycle
844"""
845  def __init__(self,args):
846    self.adict = {}
847    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), \
848                      '-h':('h',False), '--printLinesMax':('plm',True), \
849                      '-l':('l',True),
850                      '-q':('q',True),
851                      '--printVars':('vars',False), '--intersection':('intersection',False), \
852                      '--count':('count',False), \
853                      '--txt':('txt',False), \
854                      '--mcfg':('mcfg',True), \
855                      '--txtOpts':('txtOpts',True), \
856                      '--xlsDir':('xlsdir',True), '--xls':('xls',False) \
857                       } 
858    aa = args[:]
859    notKnownArgs = []
860    while len(aa) > 0:
861      a = aa.pop(0)
862      if a in self.knownargs:
863        b = self.knownargs[a][0]
864        if self.knownargs[a][1]:
865          v = aa.pop(0)
866          self.adict[b] = v
867        else:
868          self.adict[b] = True
869      else:
870        notKnownArgs.append(a)
871
872    assert self.checkArgs( notKnownArgs ), 'FATAL ERROR 001: Arguments not recognised: %s' % (str(notKnownArgs) )
873
874    if 'm' in self.adict:
875      if self.adict['m'] == '_all_':
876        pass
877      elif self.adict['m'].find( ':' ) != -1:
878        ee = {}
879        for i in self.adict['m'].split(','):
880          bits =  i.split( ':' )
881          if len( bits ) == 1:
882             ee[bits[0]] = []
883          else:
884             assert len(bits) == 2, 'Cannot parse %s' % self.adict['m']
885             ee[bits[0]] = bits[1].split( '.' )
886        self.adict['m'] = ee
887      else:
888        self.adict['m'] = set(self.adict['m'].split(',') )
889
890    integerArgs = set( ['p','t','plm'] )
891    for i in integerArgs.intersection( self.adict ):
892      self.adict[i] = int( self.adict[i] )
893
894    self.intersection = self.adict.get( 'intersection', False )
895
896 
897  def checkArgs( self, notKnownArgs ):
898    if len( notKnownArgs ) == 0:
899      return True
900    print ('--------------------------------------')
901    print ('------------  %s Arguments Not Recognised ------------' % len(notKnownArgs) )
902    k = 0
903    for x in notKnownArgs:
904      k += 1
905      if x[1:] in self.knownargs:
906        print ( '%s PERHAPS %s instead of %s' % (k, x[1:],x) )
907      elif '-%s' % x in self.knownargs:
908        print ( '%s PERHAPS -%s instead of %s' % (k, x,x) )
909      elif x[0] == '\xe2':
910        print ( '%s POSSIBLY -- (double hyphen) instead of long dash in %s' % (k, x) )
911    print ('--------------------------------------')
912
913    return len( notKnownArgs ) == 0
914     
915  def run(self, dq=None):
916    if 'h' in self.adict:
917      mlg.prnt ( self.__doc__ )
918      return
919
920    if 'q' in self.adict:
921      if dq == None:
922        dq = dreq.loadDreq(configOnly=True)
923      s = self.adict['q']
924      if self.adict['q'] == 's':
925        ss = sorted( [(i.title,i.label) for i in dq.coll['__sect__'].items] )
926        for s in ss:
927          mlg.prnt( '%16s:: %s' % (s[1],s[0]) )
928      else:
929        ss = [i.label for i in dq.coll['__sect__'].items]
930        if s.find( ':' ) != -1:
931          s,a = s.split( ':' )
932        else:
933          a = None
934        if s not in ss:
935          mlg.prnt( 'ERROR: option must be a section; use "-q s" to list sections' )
936        elif a == None:
937          x = [i for i in dq.coll['__sect__'].items if i.label == s]
938          s1 = [i for i in  dq.coll['__main__'].items if 'ATTRIBUTE::%s' % s in i.uid]
939          mlg.prnt( x[0].title )
940          mlg.prnt( ' '.join( sorted  ([i.label for i in s1] ) ))
941        else:
942          x = [i for i in dq.coll['__main__'].items if i.uid == 'ATTRIBUTE::%s.%s' % (s,a) ]
943          if len(x) == 0:
944            mlg.prnt( 'ERROR: attribute not found' )
945            s1 = [i for i in  dq.coll['__main__'].items if 'ATTRIBUTE::%s' % s in i.uid]
946            mlg.prnt( 'ATTRIBUTES: ' + ' '.join( sorted  ([i.label for i in s1] ) ))
947          else:
948            mlg.prnt( 'Section %s, attribute %s' % (s,a) )
949            mlg.prnt( x[0].title )
950            mlg.prnt( x[0].description )
951      return
952
953    if not 'm' in self.adict:
954      mlg.prnt ( 'Current version requires -m argument'  )
955      mlg.prnt ( self.__doc__ )
956      sys.exit(0)
957
958    if dq == None:
959      self.dq = dreq.loadDreq()
960    else:
961      self.dq = dq
962
963    if 'l' in self.adict:
964      self.printList()
965      return
966
967    if 'mcfg' in self.adict:
968      ll = string.split( self.adict['mcfg'], ',' )
969      assert len(ll) == 7, 'Length of model configuration argument must be 7 comma separated integers: %s' %  self.adict['mcfg']
970      lli = [ int(x) for x in ll]
971
972    self.sc = dreqQuery( dq=self.dq )
973    if 'mcfg' in self.adict:
974      self.sc.setMcfg( lli )
975
976    ok = True
977    if self.adict['m'] == '_all_':
978      self.adict['m'] = set(self.sc.mips )
979    else:
980      for i in self.adict['m']:
981        if i not in self.sc.mips:
982          ok = False
983          mlg.prnt ( 'NOT FOUND: %s' % i )
984
985    eid = None
986    ex = None
987    if 'e' in self.adict:
988      ex = self.adict['e']
989      for i in self.dq.coll['experiment'].items:
990        if i.label == self.adict['e']:
991          eid = i.uid
992      assert eid != None, 'Experiment %s not found' % self.adict['e']
993
994    assert ok,'Available MIPs: %s' % str(self.sc.mips)
995    adsCount = self.adict.get( 'count', False )
996
997    tierMax = self.adict.get( 't', 1 )
998    self.sc.setTierMax(  tierMax )
999    pmax = self.adict.get( 'p', 1 )
1000    self.getVolByMip(pmax,eid,adsCount)
1001    makeXls = self.adict.get( 'xls', False )
1002    makeTxt = self.adict.get( 'txt', False )
1003    if makeXls or makeTxt:
1004      mips = self.adict['m']
1005      odir = self.adict.get( 'xlsdir', 'xls' )
1006      self.sc.checkDir( odir, 'xls files' )
1007
1008      if 'txtOpts' in self.adict:
1009        if self.adict['txtOpts'][0] == 'v':
1010          txtOpts = NT_txtopts( 'var' )
1011        else:
1012          txtOpts = NT_txtopts( 'cmv' )
1013      else:
1014        txtOpts=None
1015
1016      self.sc.xlsByMipExpt(mips,eid,pmax,odir=odir,xls=makeXls,txt=makeTxt,txtOpts=txtOpts)
1017
1018  def printList(self):
1019    mips = self.adict['m']
1020    ee = {}
1021    for i in self.dq.coll['mip'].items:
1022      if i.label in mips:
1023        ee[i.label] = i
1024    if self.adict['l'] in ['o','e']:
1025      targ = {'o':'objective', 'e':'experiment' }[self.adict['l']]
1026      for k in sorted( ee.keys() ):
1027        if targ in self.dq.inx.iref_by_sect[ee[k].uid].a:
1028          for u in self.dq.inx.iref_by_sect[ee[k].uid].a[targ]:
1029            print ( '%s: %s' % (ee[k].label, self.dq.inx.uid[u].label) )
1030    else:
1031      print ('list objective *%s* not recognised (should be e or o)' % self.adict['l'] )
1032     
1033  def getVolByMip(self,pmax,eid,adsCount):
1034
1035    v0 = self.sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
1036    mlg.prnt ( 'getVolByMip: %s [%s]' % (v0,makeTables.vfmt(v0*2.)) )
1037    cc = collections.defaultdict( int )
1038    for e in self.sc.volByE:
1039      for v in self.sc.volByE[e][2]:
1040          cc[v] += self.sc.volByE[e][2][v]
1041    x = 0
1042    for v in cc:
1043      x += cc[v]
1044   
1045    if python2:
1046      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
1047    else:
1048      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
1049    if self.adict.get( 'vars', False ):
1050      printLinesMax = self.adict.get( 'plm', 20 )
1051      if printLinesMax > 0:
1052        mx = min( [printLinesMax,len(vl)] )
1053      else:
1054        mx = len(vl)
1055
1056      for v in vl[:mx]:
1057        mlg.prnt ( '%s: %7.2fTb' % (self.dq.inx.uid[v].label, cc[v]*2.*1.e-12) )
1058      if mx < len(vl):
1059        mlg.prnt ( '%s variables not listed (use --printLinesMax to print more)' % (len(vl)-mx) )
1060
Note: See TracBrowser for help on using the repository browser.