source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 555

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@555
Revision 555, 25.0 KB checked in by mjuckes, 5 years ago (diff)

cleaning CMOR tables

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5try:
6  import dreq
7  from utilities import cmvFilter
8except:
9  import dreqPy.dreq
10  from dreqPy.utilities import cmvFilter
11
12import collections, string, operator
13import sys
14
15python2 = True
16if sys.version_info[0] == 3:
17  python2 = False
18  from functools import reduce
19  from dreqPy.utilP3 import mlog3
20  mlg = mlog3()
21else:
22  from utilP2 import mlog
23  mlg = mlog()
24
25class baseException(Exception):
26  """Basic exception for general use in code."""
27
28  def __init__(self,msg):
29    self.msg = 'scope:: %s' % msg
30
31  def __str__(self):
32    return repr( self.msg )
33
34  def __repr__(self):
35    return self.msg
36
37nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
38class cmpd(object):
39  def __init__(self,dct):
40    self.d = dct
41  def cmp(self,x,y,):
42    return cmp( self.d[x], self.d[y] )
43
44    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
45
46def filter1( a, b ):
47  if b < 0:
48    return a
49  else:
50    return min( [a,b] )
51
52def filter2( a, b, tt, tm ):
53## largest tier less than or equal to tm
54  t1 = [t for t in tt if t <= tm][-1]
55  it1 = tt.index(t1)
56  aa = a[it1]
57  if b < 0:
58    return aa
59  else:
60    return min( [aa,b] )
61
62npy = {'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365, u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1, u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365, 'subhr':24*365, 'Day':365, '6h':4*365,
63'3 hourly':8*365, '':1 }
64## There are 4 cmor variables with blank frequency ....
65
66def vol01( sz, v, npy, freq, inx ):
67  n1 = npy[freq]
68  s = sz[inx.uid[v].stid]
69  assert type(s) == type(1), 'Non-integer size found for %s' % v
70  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
71  return s*n1
72
73class col_list(object):
74  def __init__(self):
75    self.a = collections.defaultdict(list)
76
77class col_count(object):
78  def __init__(self):
79    self.a = collections.defaultdict(int)
80
81class dreqQuery(object):
82  __doc__ = """Methods to analyse the data request, including data volume estimates"""
83  def __init__(self,dq=None,tierMax=1):
84    if dq == None:
85      self.dq = dreq.loadDreq()
86    else:
87      self.dq=dq
88    self.rlu = {}
89    for i in self.dq.coll['objective'].items:
90      k = '%s.%s' % (i.mip,i.label)
91      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
92      self.rlu[k] = i.uid
93
94    self.cmvFilter = cmvFilter( self )
95    self.tierMax = tierMax
96
97    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
98    self.mipls = sorted( list( self.mips ) )
99
100    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
101    self.mcfg = self.default_mcfg._asdict()
102    ##for k in self.default_mcfg.__dict__.keys():
103      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
104    self.szcfg()
105    self.requestItemExpAll(  )
106
107  def szcfg(self):
108    self.szss = {}
109    self.sz = {}
110    for i in self.dq.coll['spatialShape'].items:
111      type = 'a'
112      if i.levelFlag == False:
113        ds =  i.dimensions.split( '|' )
114        if ds[-1] in ['site', 'basin']:
115          vd = ds[-2]
116        else:
117          vd = ds[-1]
118 
119        if vd[:4] == 'olev' or vd == 'rho':
120          type = 'o'
121          nz = self.mcfg['nlo']
122        elif vd[:4] == 'alev':
123          nz = self.mcfg['nla']
124        elif vd in ['slevel','sdepth']:
125          nz = self.mcfg['nls']
126        elif vd == 'aslevel':
127          nz = self.mcfg['nlas']
128        else:
129          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
130          raise
131      else:
132        nz = i.levels
133
134      dims = set( i.dimensions.split( '|' ) )
135      if 'latitude' in dims and 'longitude' in dims:
136        if type == 'o':
137          nh = self.mcfg['nho']
138        else:
139          nh = self.mcfg['nha']
140      else:
141        nh = 10
142
143      self.szss[i.uid] = nh*nz
144    for i in self.dq.coll['structure'].items:
145      s = self.szss[i.spid]
146      if i.odims != '':
147        s = s*5
148      self.sz[i.uid] = s
149
150  def getRequestLinkByMip( self, mipSel ):
151    """Return the set of request links which are associated with specified MIP"""
152    if type(mipSel) == type(''):
153      t1 = lambda x: x == mipSel
154    elif type(mipSel) == type(set()):
155      t1 = lambda x: x in mipSel
156
157    s = set()
158    for i in self.dq.coll['objectiveLink'].items:
159      if t1(i.label):
160        s.add( self.dq.inx.uid[i.rid] )
161    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
162    self.rqs = list( s )
163    return self.rqs
164
165  def getRequestLinkByObjective( self, objSel ):
166    """Return the set of request links which are associated with specified objectives"""
167    if type(objSel) == type(''):
168      t1 = lambda x: x == self.rlu[objSel]
169    elif type(objSel) == type(set()):
170      t1 = lambda x: x in [self.rlu[i] for i in objSel]
171
172    s = set()
173    for i in self.dq.coll['objectiveLink'].items:
174      if t1(i.label):
175        s.add( self.dq.inx.uid[i.oid] )
176##
177    self.rqs = list( s )
178    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
179    return self.rqs
180
181  def varGroupXexpt(self, rqList ):
182    """For a list of request links, return a list of variable group IDs for each experiment"""
183    self.cc = collections.defaultdict( list )
184    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
185    return self.cc
186
187  def yearsInRequest(self, rql ):
188    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
189    return self.ntot
190
191  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
192    """rqlByExpt: return a set of request links for an experiment"""
193##
194    inx = self.dq.inx
195   
196    exi = self.dq.inx.uid[ex]
197    if exi._h.label == 'experiment':
198      exset = set( [ex,exi.egid,exi.mip] )
199    else:
200      exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
201##
202## rql is the set of all request links which are associated with a request item for this experiment set
203##
204    l1p = set()
205    for i in l1:
206      if i.preset < 0 or i.preset <= pmax:
207        if i.esid in exset:
208          l1p.add(i)
209
210    rql0 = set()
211    for i in l1p:
212       rql0.add(i.rlid)
213
214    rqlInv = set()
215    for u in rql0:
216      if inx.uid[u]._h.label == 'remarks':
217        rqlInv.add( u )
218    if len(rqlInv) != 0:
219      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
220    rql = set()
221    for u in rql0:
222       if inx.uid[u]._h.label != 'remarks':
223         rql.add( u ) 
224
225    return rql, l1p, exset
226
227  def varsByRql( self, rql, pmax=2, intersection=False): 
228      """The complete set of variables associated with a set of rquest links."""
229      inx = self.dq.inx
230      cc1 = collections.defaultdict( set )
231      for i in rql:
232        o = inx.uid[i]
233        if o.opt == 'priority':
234          p = int( float( o.opar ) )
235          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
236          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
237        else:
238          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
239
240      if intersection:
241        ccv = {}
242#
243# set of request variables for each MIP
244#
245        for k in cc1:
246          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
247          rqvgs = collections.defaultdict( set )
248          for x in cc1[k]:
249            if type(x) == type( () ):
250              rqvgs[x[0]].add( x[1] )
251            else:
252              rqvgs[x].add( 3 )
253         
254          s = set()
255          for vg in rqvgs:
256            for l in inx.iref_by_sect[vg].a['requestVar']:
257              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
258                s.add( inx.uid[l].vid )
259          ccv[k] = s
260
261        if len( ccv.keys() ) < len( list(imips) ):
262          vars = set()
263        else:
264          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
265      else:
266        rqvgs = collections.defaultdict( set )
267        for k in cc1:
268          for x in cc1[k]:
269            if type(x) == type( () ):
270              rqvgs[x[0]].add( x[1] )
271            else:
272              rqvgs[x].add( 3 )
273         
274###To obtain a set of variables associated with this collection of variable groups:
275
276        vars = set()
277        for vg in rqvgs:
278          for l in inx.iref_by_sect[vg].a['requestVar']:
279            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
280               vars.add(inx.uid[l].vid)
281        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
282
283### filter out cases where the request does not point to a CMOR variable.
284    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
285      thisvars = set()
286      for vid in vars:
287         if inx.uid[vid]._h.label == u'CMORvar':
288             thisvars.add(vid)
289
290      return thisvars
291
292  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
293    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
294          The calculation has some approximations concerning the number of years in each experiment group.
295          cc: an optional collector, to accumulate indexed volumes. """
296##
297    inx = self.dq.inx
298    imips = set()
299    for i in l1:
300      imips.add(i.mip)
301    ##imips = {i.mip for i in l1}
302   
303    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
304    dn = False
305    if dn:
306      exi = self.dq.inx.uid[ex]
307      if exi._h.label == 'experiment':
308        exset = set( [ex,exi.egid,exi.mip] )
309      else:
310        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
311##
312## rql is the set of all request links which are associated with a request item for this experiment set
313##
314      l1p = set()
315      for i in l1:
316        if i.preset < 0 or i.preset <= pmax:
317          if i.esid in exset:
318            l1p.add(i)
319 
320      rql0 = set()
321      for i in l1p:
322         rql0.add(i.rlid)
323 
324      rqlInv = set()
325      for u in rql0:
326        if inx.uid[u]._h.label == 'remarks':
327          rqlInv.add( u )
328      if len(rqlInv) != 0:
329        mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
330      rql = set()
331      for u in rql0:
332         if inx.uid[u]._h.label != 'remarks':
333           rql.add( u ) 
334    else:
335      exi = self.dq.inx.uid[ex]
336      if exi._h.label == 'experiment':
337        exset = set( [ex,exi.egid,exi.mip] )
338
339#####
340    if len( rql ) == 0:
341      self.vars = set()
342      return (0,{},{} )
343
344## The complete set of variables associated with these requests:
345    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
346    tm = 3
347    if tm == 0:
348      s = set()
349      for i in rql:
350        s.add( inx.uid[i].refid )
351      rqvg = list( s )
352    elif tm == 1:
353      cc1 = collections.defaultdict( set )
354      for i in rql:
355        o = inx.uid[i]
356        if o.opt == 'priority':
357          p = int( float( o.opar ) )
358          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
359          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
360        else:
361          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
362
363      if intersection:
364        ccv = {}
365#
366# set of request variables for each MIP
367#
368        for k in cc1:
369          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
370          rqvgs = collections.defaultdict( set )
371          for x in cc1[k]:
372            if type(x) == type( () ):
373              rqvgs[x[0]].add( x[1] )
374            else:
375              rqvgs[x].add( 3 )
376         
377          s = set()
378          for vg in rqvgs:
379            for l in inx.iref_by_sect[vg].a['requestVar']:
380              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
381                s.add( inx.uid[l].vid )
382          ccv[k] = s
383
384        if len( ccv.keys() ) < len( list(imips) ):
385          vars = set()
386        else:
387          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
388      else:
389        rqvgs = collections.defaultdict( set )
390        for k in cc1:
391          for x in cc1[k]:
392            if type(x) == type( () ):
393              rqvgs[x[0]].add( x[1] )
394            else:
395              rqvgs[x].add( 3 )
396         
397###To obtain a set of variables associated with this collection of variable groups:
398
399        vars = set()
400        for vg in rqvgs:
401          for l in inx.iref_by_sect[vg].a['requestVar']:
402            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
403               vars.add(inx.uid[l].vid)
404        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
405
406### filter out cases where the request does not point to a CMOR variable.
407    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
408      thisvars = set()
409      for vid in vars:
410         if inx.uid[vid]._h.label == u'CMORvar':
411             thisvars.add(vid)
412      vars = thisvars
413##
414## filter by configuration option and rank
415##
416    if not retainRedundantRank:
417      len1 = len(vars)
418      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
419
420      vars = cmv
421   
422    self.vars = vars
423
424    e = {}
425    for u in rql:
426### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
427      i = inx.uid[u]
428      e[i.uid] = set()
429      for x in inx.iref_by_sect[i.refid].a['requestVar']:
430           if inx.uid[x].priority <= pmax:
431              e[i.uid].add( inx.uid[x].vid )
432#
433# for each variable, calculate the maximum number of years across all the request links which reference that variable.
434##
435## for each request item we have nymax, nenmax, nexmax.
436##
437    nym = {}
438
439##
440## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
441    if adsCount:
442      irqi = 3
443    else:
444      irqi = 2
445
446    for v in vars:
447      s = set()
448      cc2 = collections.defaultdict( set )
449      for i in l1p:
450##################
451        if i.esid in exset and v in e[i.rlid]:
452          ix = inx.uid[i.esid]
453          if exi._h.label == 'experiment':
454            if ex in self.rqiExp[i.uid][1]:
455              this = self.rqiExp[i.uid][1][ex]
456              cc2[i.esid].add( this[-1]*this[-2] )
457          elif ix._h.label == 'experiment':
458            cc2[i.esid].add( self.rqiExp[i.uid][irqi] )
459          else:
460            if 'experiment' in inx.iref_by_sect[i.esid].a:
461              for u in inx.iref_by_sect[i.esid].a['experiment']:
462                if u in self.rqiExp[i.uid][1]:
463                  this = self.rqiExp[i.uid][1][u]
464                  cc2[u].add( this[-1]*this[-2] )
465                ###cc2[u].add( self.rqiExp[i.uid][irqi] )
466            ##else:
467              ##print 'WARNING .... empty experiment set'
468          s.add( self.rqiExp[i.uid][irqi] )
469      ##nym[v] = max( {self.rqiExp[i.uid][2] for i in l1p if i.esid == ex and v in e[i.rlid]} )
470      if len(s) == 0:
471        nym[v] = 0
472      else:
473        ##print 'debug2:: ',v,cc2
474        nym[v] = sum( [max( cc2[k] ) for k in cc2] )
475
476    szv = {}
477    ov = []
478    for v in vars:
479      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
480      ov.append( self.dq.inx.uid[v] )
481    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
482    ff = {}
483    for v in vars:
484      if adsCount:
485        ff[v] = nym[v]
486      else:
487        ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency] * nym[v]
488    self.ngptot = sum( [  ff[v]  for v in vars] )
489    return (self.ngptot, ee, ff )
490
491  def esid_to_exptList(self,esid,deref=False,full=False):
492    if not esid in self.dq.inx.uid:
493      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
494      raise
495
496    if self.dq.inx.uid[esid]._h.label == 'experiment':
497      expts = [esid,]
498    elif self.dq.inx.uid[esid]._h.label != 'remarks':
499      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
500        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
501      else:
502        expts = []
503
504## add in groups and mips for completeness
505##
506      if full:
507        if self.dq.inx.uid[esid]._h.label == 'mip':
508          s = set()
509          for e in expts:
510            if self.dq.inx.uid[e]._h.label != 'experiment':
511              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
512            s.add( self.dq.inx.uid[e].egid )
513          for i in s:
514            expts.append( i )
515        expts.append( esid )
516    else:
517      ##print ( 'WARNING: request link not associated with valid experiment group' )
518      ##raise
519      return None
520
521
522    if self.tierMax > 0:
523      expts1 = []
524      for i in expts:
525        if self.dq.inx.uid[i]._h.label == 'experiment':
526          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
527            expts1.append( i )
528        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
529          if self.dq.inx.uid[i].tierMin <= self.tierMax:
530            expts1.append( i )
531        else:
532            expts1.append( i )
533    else:
534      expts1 = expts
535
536    if deref:
537      return [self.dq.inx.uid[e] for e in expts1]
538    else:
539      return expts1
540 
541##
542## need to call this on load
543## then use instead of i.ny etc below
544##
545  def requestItemExpAll( self ):
546    self.rqiExp = {}
547    for rqi in self.dq.coll['requestItem'].items:
548      a,b,c,d = self.requestItemExp( rqi )
549      if a != None:
550        self.rqiExp[rqi.uid] = (a,b,c,d)
551
552  def requestItemExp( self, rqi ):
553    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
554    u = rqi.esid
555    if self.dq.inx.uid[u]._h.label == 'experiment':
556      expts = [u,]
557    elif self.dq.inx.uid[u]._h.label != 'remarks':
558      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
559        expts = self.dq.inx.iref_by_sect[u].a['experiment']
560      else:
561        expts = []
562    else:
563      # print ( 'WARNING: request link not associated with valid experiment group'  )
564      ##rqi.__info__()
565      ##raise
566      return (None, None, None, None)
567
568    if self.tierMax > 0:
569      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
570
571    self.multiTierOnly = False
572    if self.multiTierOnly:
573      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
574      print ('Len expts: %s' % len(expts) )
575
576    if len(expts) > 0:
577      e = [self.dq.inx.uid[i] for i in expts]
578      for i in e:
579        if i._h.label != 'experiment':
580          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
581      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
582      dat2 = {}
583      for i in e:
584        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
585      ### number of
586      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
587      netot = sum( [dat2[x][-1] for x in dat2 ] )
588      ##print 'debug1:: ',dat, nytot, netot
589    else:
590      dat2 = {}
591      nytot = 0
592      netot = 0
593   
594    return (expts, dat2, nytot, netot )
595
596  def setTierMax( self, tierMax ):
597    """Set the maxium tier and recompute request sizes"""
598    if tierMax != self.tierMax:
599      self.tierMax = tierMax
600      self.requestItemExpAll(  )
601
602  def summaryByMip( self, pmax=1 ):
603    bytesPerFloat = 2.
604    for m in self.mipls:
605      v = self.volByMip( m, pmax=pmax )
606      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
607
608  def rqiByMip( self, mip):
609
610    if type(mip) in [type( '' ),type( u'') ]:
611      if mip not in self.mips:
612        mlg.prnt ( self.mips )
613        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
614      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
615    elif type(mip) == type( set()):
616      nf = [ m for m in mip if m not in self.mips]
617      if len(nf) > 0:
618        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
619      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
620    else:
621      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
622    return l1
623     
624  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
625
626    l1 = self.rqiByMip( mip )
627     
628    #### The set of experiments/experiment groups:
629    if exptid == None:
630      exps = self.mips
631    else:
632      exps = set( [exptid,] )
633      ##print exptid, exps
634    self.volByE = {}
635    vtot = 0
636    cc = collections.defaultdict( col_count )
637    self.allVars = set()
638    for e in exps:
639      expts = self.esid_to_exptList(e,deref=True,full=False)
640      if expts != None:
641        self.volByE[e] = self.volByExpt( l1, e, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
642        vtot += self.volByE[e][0]
643        self.allVars = self.allVars.union( self.vars )
644    self.indexedVol = cc
645
646    return vtot
647
648  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
649    do_count = acount != None
650    do_list = alist != None
651    assert not (do_count and do_list), 'It is an error to request both list and count'
652    if not (do_count or do_list):
653      acount = '__number__'
654      do_count = True
655
656    if cc == None:
657      if do_count:
658        cc = collections.defaultdict( col_count )
659      elif do_list:
660        cc = collections.defaultdict( col_list )
661
662    if do_count:
663      for l in ll:
664        if cdict != None:
665          v = cdict[l.uid]
666        elif acount == '__number__':
667          v = 1
668        else:
669          v = l.__dict__[acount]
670
671        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
672    elif do_list:
673      for l in ll:
674        if cdict != None:
675          v = cdict[l.uid]
676        elif alist == '__item__':
677          v = l
678        else:
679          v = l.__dict__[alist]
680        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
681
682    od = {}
683    for k in cc.keys():
684      d2 = {}
685      for k2 in cc[k].a.keys():
686        d2[k2] = cc[k].a[k2]
687      od[k] = d2
688    return od
689
690class dreqUI(object):
691  """Data Request Command line.
692-------------------------
693      -v : print version and exit;
694      --unitTest : run some simple tests;
695      -m <mip>:  MIP of list of MIPs (comma separated);
696      -h :       help: print help text;
697      -e <expt>: experiment;
698      -t <tier> maxmum tier;
699      -p <priority>  maximum priority;
700      --printLinesMax <n>: Maximum number of lines to be printed
701      --printVars  : If present, a summary of the variables fitting the selection options will be printed
702      --intersection : Analyse the intersection of requests rather than union.
703"""
704  def __init__(self,args):
705    self.adict = {}
706    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), '-h':('h',False), '--printLinesMax':('plm',True), '--printVars':('vars',False), '--intersection':('intersection',False),'--count':('count',False)} 
707    aa = args[:]
708    while len(aa) > 0:
709      a = aa.pop(0)
710      if a in self.knownargs:
711        b = self.knownargs[a][0]
712        if self.knownargs[a][1]:
713          v = aa.pop(0)
714          self.adict[b] = v
715        else:
716          self.adict[b] = True
717
718    if 'm' in self.adict:
719      self.adict['m'] = set(self.adict['m'].split(',') )
720
721    integerArgs = set( ['p','t','plm'] )
722    for i in integerArgs.intersection( self.adict ):
723      self.adict[i] = int( self.adict[i] )
724
725    self.intersection = self.adict.get( 'intersection', False )
726
727  def run(self, dq=None):
728    if 'h' in self.adict:
729      mlg.prnt ( self.__doc__ )
730      return
731
732    if not 'm' in self.adict:
733      mlg.prnt ( 'Current version requires -m argument'  )
734      mlg.prnt ( self.__doc__ )
735      sys.exit(0)
736
737    if dq == None:
738      self.dq = dreq.loadDreq()
739    else:
740      self.dq = None
741
742    sc = dreqQuery( dq=self.dq )
743
744    ok = True
745    for i in self.adict['m']:
746        if i not in sc.mips:
747          ok = False
748          mlg.prnt ( 'NOT FOUND: %s' % i )
749
750    eid = None
751    if self.adict.has_key('e'):
752      for i in self.dq.coll['experiment'].items:
753        if i.label == self.adict['e']:
754          eid = i.uid
755      assert eid != None, 'Experiment %s not found' % self.adict['e']
756    print ( 'eid=%s' % eid )
757    assert ok,'Available MIPs: %s' % str(sc.mips)
758    adsCount = self.adict.get( 'count', False )
759
760    tierMax = self.adict.get( 't', 1 )
761    sc.setTierMax(  tierMax )
762    pmax = self.adict.get( 'p', 1 )
763    v0 = sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
764    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
765    mlg.prnt ( '%s' % v0 )
766    cc = collections.defaultdict( int )
767    for e in sc.volByE:
768      for v in sc.volByE[e][2]:
769          cc[v] += sc.volByE[e][2][v]
770    x = 0
771    for v in cc:
772      x += cc[v]
773   
774    if python2:
775      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
776    else:
777      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
778    if self.adict.get( 'vars', False ):
779      printLinesMax = self.adict.get( 'plm', 20 )
780      if printLinesMax > 0:
781        mx = min( [printLinesMax,len(vl)] )
782      else:
783        mx = len(vl)
784
785      for v in vl[:mx]:
786        mlg.prnt ( self.dq.inx.uid[v].label, '%7.2fTb' % (cc[v]*2.*1.e-12) )
Note: See TracBrowser for help on using the repository browser.