source: CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py @ 554

Subversion URL: http://proj.badc.rl.ac.uk/svn/exarch/CMIP6dreqbuild/trunk/src/framework/dreqPy/scope.py@554
Revision 554, 24.9 KB checked in by mjuckes, 5 years ago (diff)

further debugging on overview tables; per expt view

Line 
1"""Date Request Scoping module
2---------------------------
3The scope.py module contains the dreqQuery class and a set of ancilliary functions. The dreqQuery class contains methods for analysing the data request.
4"""
5import dreq
6from utilities import cmvFilter
7import collections, string, operator
8import sys
9
10python2 = True
11if sys.version_info[0] == 3:
12  python2 = False
13  from functools import reduce
14  from utilP3 import mlog3
15  mlg = mlog3()
16else:
17  from utilP2 import mlog
18  mlg = mlog()
19
20class baseException(Exception):
21  """Basic exception for general use in code."""
22
23  def __init__(self,msg):
24    self.msg = 'scope:: %s' % msg
25
26  def __str__(self):
27    return repr( self.msg )
28
29  def __repr__(self):
30    return self.msg
31
32nt_mcfg = collections.namedtuple( 'mcfg', ['nho','nlo','nha','nla','nlas','nls','nh1'] )
33class cmpd(object):
34  def __init__(self,dct):
35    self.d = dct
36  def cmp(self,x,y,):
37    return cmp( self.d[x], self.d[y] )
38
39    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
40
41def filter1( a, b ):
42  if b < 0:
43    return a
44  else:
45    return min( [a,b] )
46
47def filter2( a, b, tt, tm ):
48## largest tier less than or equal to tm
49  t1 = [t for t in tt if t <= tm][-1]
50  it1 = tt.index(t1)
51  aa = a[it1]
52  if b < 0:
53    return aa
54  else:
55    return min( [aa,b] )
56
57npy = {'daily':365, u'Annual':1, u'fx':0.01, u'1hr':24*365, u'3hr':8*365, u'monClim':12, u'Timestep':100, u'6hr':4*365, u'day':365, u'1day':365, u'mon':12, u'yr':1, u'1mon':12, 'month':12, 'year':1, 'monthly':12, 'hr':24*365, 'other':24*365, 'subhr':24*365, 'Day':365, '6h':4*365,
58'3 hourly':8*365, '':1 }
59## There are 4 cmor variables with blank frequency ....
60
61def vol01( sz, v, npy, freq, inx ):
62  n1 = npy[freq]
63  s = sz[inx.uid[v].stid]
64  assert type(s) == type(1), 'Non-integer size found for %s' % v
65  assert type(n1) in (type(1),type(0.)), 'Non-number "npy" found for %s, [%s]' % (v,freq)
66  return s*n1
67
68class col_list(object):
69  def __init__(self):
70    self.a = collections.defaultdict(list)
71
72class col_count(object):
73  def __init__(self):
74    self.a = collections.defaultdict(int)
75
76class dreqQuery(object):
77  __doc__ = """Methods to analyse the data request, including data volume estimates"""
78  def __init__(self,dq=None,tierMax=1):
79    if dq == None:
80      self.dq = dreq.loadDreq()
81    else:
82      self.dq=dq
83    self.rlu = {}
84    for i in self.dq.coll['objective'].items:
85      k = '%s.%s' % (i.mip,i.label)
86      assert not k in self.rlu, 'Duplicate label in objectives: %s' % k
87      self.rlu[k] = i.uid
88
89    self.cmvFilter = cmvFilter( self )
90    self.tierMax = tierMax
91
92    self.mips = set( [x.label for x in self.dq.coll['mip'].items ] )
93    self.mipls = sorted( list( self.mips ) )
94
95    self.default_mcfg = nt_mcfg._make( [259200,60,64800,40,20,5,100] )
96    self.mcfg = self.default_mcfg._asdict()
97    ##for k in self.default_mcfg.__dict__.keys():
98      ##self.mcfg[k] = self.default_mcfg.__dict__[k]
99    self.szcfg()
100    self.requestItemExpAll(  )
101
102  def szcfg(self):
103    self.szss = {}
104    self.sz = {}
105    for i in self.dq.coll['spatialShape'].items:
106      type = 'a'
107      if i.levelFlag == False:
108        ds =  i.dimensions.split( '|' )
109        if ds[-1] in ['site', 'basin']:
110          vd = ds[-2]
111        else:
112          vd = ds[-1]
113 
114        if vd[:4] == 'olev' or vd == 'rho':
115          type = 'o'
116          nz = self.mcfg['nlo']
117        elif vd[:4] == 'alev':
118          nz = self.mcfg['nla']
119        elif vd in ['slevel','sdepth']:
120          nz = self.mcfg['nls']
121        elif vd == 'aslevel':
122          nz = self.mcfg['nlas']
123        else:
124          mlg.prnt( 'Failed to parse dimensions %s' % i.dimensions )
125          raise
126      else:
127        nz = i.levels
128
129      dims = set( i.dimensions.split( '|' ) )
130      if 'latitude' in dims and 'longitude' in dims:
131        if type == 'o':
132          nh = self.mcfg['nho']
133        else:
134          nh = self.mcfg['nha']
135      else:
136        nh = 10
137
138      self.szss[i.uid] = nh*nz
139    for i in self.dq.coll['structure'].items:
140      s = self.szss[i.spid]
141      if i.odims != '':
142        s = s*5
143      self.sz[i.uid] = s
144
145  def getRequestLinkByMip( self, mipSel ):
146    """Return the set of request links which are associated with specified MIP"""
147    if type(mipSel) == type(''):
148      t1 = lambda x: x == mipSel
149    elif type(mipSel) == type(set()):
150      t1 = lambda x: x in mipSel
151
152    s = set()
153    for i in self.dq.coll['objectiveLink'].items:
154      if t1(i.label):
155        s.add( self.dq.inx.uid[i.rid] )
156    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.label) })
157    self.rqs = list( s )
158    return self.rqs
159
160  def getRequestLinkByObjective( self, objSel ):
161    """Return the set of request links which are associated with specified objectives"""
162    if type(objSel) == type(''):
163      t1 = lambda x: x == self.rlu[objSel]
164    elif type(objSel) == type(set()):
165      t1 = lambda x: x in [self.rlu[i] for i in objSel]
166
167    s = set()
168    for i in self.dq.coll['objectiveLink'].items:
169      if t1(i.label):
170        s.add( self.dq.inx.uid[i.oid] )
171##
172    self.rqs = list( s )
173    ##self.rqs = list({self.dq.inx.uid[i.rid] for i in self.dq.coll['objectiveLink'].items if t1(i.oid) })
174    return self.rqs
175
176  def varGroupXexpt(self, rqList ):
177    """For a list of request links, return a list of variable group IDs for each experiment"""
178    self.cc = collections.defaultdict( list )
179    ## dummy = {self.cc[i.expt].append(i.rlid) for i in self.dq.coll['requestItem'].items if i.rlid in {j.uid for j in rqList} }
180    return self.cc
181
182  def yearsInRequest(self, rql ):
183    self.ntot = sum( [i.ny for i in self.dq.coll['requestItem'].items if i.rlid == rql.uid] )
184    return self.ntot
185
186  def rqlByExpt( self, l1, ex, pmax=2, expFullEx=False ):
187    """rqlByExpt: return a set of request links for an experiment"""
188##
189    inx = self.dq.inx
190   
191    exi = self.dq.inx.uid[ex]
192    if exi._h.label == 'experiment':
193      exset = set( [ex,exi.egid,exi.mip] )
194    else:
195      exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
196##
197## rql is the set of all request links which are associated with a request item for this experiment set
198##
199    l1p = set()
200    for i in l1:
201      if i.preset < 0 or i.preset <= pmax:
202        if i.esid in exset:
203          l1p.add(i)
204
205    rql0 = set()
206    for i in l1p:
207       rql0.add(i.rlid)
208
209    rqlInv = set()
210    for u in rql0:
211      if inx.uid[u]._h.label == 'remarks':
212        rqlInv.add( u )
213    if len(rqlInv) != 0:
214      mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
215    rql = set()
216    for u in rql0:
217       if inx.uid[u]._h.label != 'remarks':
218         rql.add( u ) 
219
220    return rql, l1p, exset
221
222  def varsByRql( self, rql, pmax=2, intersection=False): 
223      """The complete set of variables associated with a set of rquest links."""
224      inx = self.dq.inx
225      cc1 = collections.defaultdict( set )
226      for i in rql:
227        o = inx.uid[i]
228        if o.opt == 'priority':
229          p = int( float( o.opar ) )
230          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
231          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
232        else:
233          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
234
235      if intersection:
236        ccv = {}
237#
238# set of request variables for each MIP
239#
240        for k in cc1:
241          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
242          rqvgs = collections.defaultdict( set )
243          for x in cc1[k]:
244            if type(x) == type( () ):
245              rqvgs[x[0]].add( x[1] )
246            else:
247              rqvgs[x].add( 3 )
248         
249          s = set()
250          for vg in rqvgs:
251            for l in inx.iref_by_sect[vg].a['requestVar']:
252              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
253                s.add( inx.uid[l].vid )
254          ccv[k] = s
255
256        if len( ccv.keys() ) < len( list(imips) ):
257          vars = set()
258        else:
259          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
260      else:
261        rqvgs = collections.defaultdict( set )
262        for k in cc1:
263          for x in cc1[k]:
264            if type(x) == type( () ):
265              rqvgs[x[0]].add( x[1] )
266            else:
267              rqvgs[x].add( 3 )
268         
269###To obtain a set of variables associated with this collection of variable groups:
270
271        vars = set()
272        for vg in rqvgs:
273          for l in inx.iref_by_sect[vg].a['requestVar']:
274            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
275               vars.add(inx.uid[l].vid)
276        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
277
278### filter out cases where the request does not point to a CMOR variable.
279    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
280      thisvars = set()
281      for vid in vars:
282         if inx.uid[vid]._h.label == u'CMORvar':
283             thisvars.add(vid)
284
285      return thisvars
286
287  def volByExpt( self, l1, ex, pmax=1, cc=None, retainRedundantRank=False, intersection=False,expFullEx=False, adsCount=False ):
288    """volByExpt: calculates the total data volume associated with an experiment/experiment group and a list of request items.
289          The calculation has some approximations concerning the number of years in each experiment group.
290          cc: an optional collector, to accumulate indexed volumes. """
291##
292    inx = self.dq.inx
293    imips = set()
294    for i in l1:
295      imips.add(i.mip)
296    ##imips = {i.mip for i in l1}
297   
298    rql, l1p, exset = self.rqlByExpt( l1, ex, pmax=pmax, expFullEx=expFullEx )
299    dn = False
300    if dn:
301      exi = self.dq.inx.uid[ex]
302      if exi._h.label == 'experiment':
303        exset = set( [ex,exi.egid,exi.mip] )
304      else:
305        exset = set( self.esid_to_exptList(ex,deref=False,full=expFullEx) )
306##
307## rql is the set of all request links which are associated with a request item for this experiment set
308##
309      l1p = set()
310      for i in l1:
311        if i.preset < 0 or i.preset <= pmax:
312          if i.esid in exset:
313            l1p.add(i)
314 
315      rql0 = set()
316      for i in l1p:
317         rql0.add(i.rlid)
318 
319      rqlInv = set()
320      for u in rql0:
321        if inx.uid[u]._h.label == 'remarks':
322          rqlInv.add( u )
323      if len(rqlInv) != 0:
324        mlg.prnt ( 'WARNING.001.00002: %s invalid request links from request items ...' % len(rqlInv) )
325      rql = set()
326      for u in rql0:
327         if inx.uid[u]._h.label != 'remarks':
328           rql.add( u ) 
329    else:
330      exi = self.dq.inx.uid[ex]
331      if exi._h.label == 'experiment':
332        exset = set( [ex,exi.egid,exi.mip] )
333
334#####
335    if len( rql ) == 0:
336      self.vars = set()
337      return (0,{},{} )
338
339## The complete set of variables associated with these requests:
340    vars = self.varsByRql( rql, pmax=pmax, intersection=intersection) 
341    tm = 3
342    if tm == 0:
343      s = set()
344      for i in rql:
345        s.add( inx.uid[i].refid )
346      rqvg = list( s )
347    elif tm == 1:
348      cc1 = collections.defaultdict( set )
349      for i in rql:
350        o = inx.uid[i]
351        if o.opt == 'priority':
352          p = int( float( o.opar ) )
353          assert p in [1,2,3], 'Priority incorrectly set .. %s, %s, %s' % (o.label,o.title, o.uid)
354          cc1[inx.uid[i].mip].add( (inx.uid[i].refid,p) )
355        else:
356          cc1[inx.uid[i].mip].add( inx.uid[i].refid )
357
358      if intersection:
359        ccv = {}
360#
361# set of request variables for each MIP
362#
363        for k in cc1:
364          thisc = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in cc1[k] ] )
365          rqvgs = collections.defaultdict( set )
366          for x in cc1[k]:
367            if type(x) == type( () ):
368              rqvgs[x[0]].add( x[1] )
369            else:
370              rqvgs[x].add( 3 )
371         
372          s = set()
373          for vg in rqvgs:
374            for l in inx.iref_by_sect[vg].a['requestVar']:
375              if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
376                s.add( inx.uid[l].vid )
377          ccv[k] = s
378
379        if len( ccv.keys() ) < len( list(imips) ):
380          vars = set()
381        else:
382          vars =  reduce( operator.and_, [ccv[k] for k in ccv] )
383      else:
384        rqvgs = collections.defaultdict( set )
385        for k in cc1:
386          for x in cc1[k]:
387            if type(x) == type( () ):
388              rqvgs[x[0]].add( x[1] )
389            else:
390              rqvgs[x].add( 3 )
391         
392###To obtain a set of variables associated with this collection of variable groups:
393
394        vars = set()
395        for vg in rqvgs:
396          for l in inx.iref_by_sect[vg].a['requestVar']:
397            if inx.uid[l].priority <= min(pmax,max(rqvgs[vg])):
398               vars.add(inx.uid[l].vid)
399        ##col1 = reduce( operator.or_, [set( inx.iref_by_sect[vg].a['requestVar'] ) for vg in rqvg ] )
400
401### filter out cases where the request does not point to a CMOR variable.
402    ##vars = {vid for vid in vars if inx.uid[vid][0] == u'CMORvar'}
403      thisvars = set()
404      for vid in vars:
405         if inx.uid[vid]._h.label == u'CMORvar':
406             thisvars.add(vid)
407      vars = thisvars
408##
409## filter by configuration option and rank
410##
411    if not retainRedundantRank:
412      len1 = len(vars)
413      cmv = self.cmvFilter.filterByChoiceRank(cmv=vars)
414
415      vars = cmv
416   
417    self.vars = vars
418
419    e = {}
420    for u in rql:
421### for request variables which reference the variable group attached to the link, add the associate CMOR variables, subject to priority
422      i = inx.uid[u]
423      e[i.uid] = set()
424      for x in inx.iref_by_sect[i.refid].a['requestVar']:
425           if inx.uid[x].priority <= pmax:
426              e[i.uid].add( inx.uid[x].vid )
427#
428# for each variable, calculate the maximum number of years across all the request links which reference that variable.
429##
430## for each request item we have nymax, nenmax, nexmax.
431##
432    nym = {}
433
434##
435## if dataset count rather than volume is wanted, use item 3 from rqiExp tuple.
436    if adsCount:
437      irqi = 3
438    else:
439      irqi = 2
440
441    for v in vars:
442      s = set()
443      cc2 = collections.defaultdict( set )
444      for i in l1p:
445##################
446        if i.esid in exset and v in e[i.rlid]:
447          ix = inx.uid[i.esid]
448          if exi._h.label == 'experiment':
449            if ex in self.rqiExp[i.uid][1]:
450              this = self.rqiExp[i.uid][1][ex]
451              cc2[i.esid].add( this[-1]*this[-2] )
452          elif ix._h.label == 'experiment':
453            cc2[i.esid].add( self.rqiExp[i.uid][irqi] )
454          else:
455            if 'experiment' in inx.iref_by_sect[i.esid].a:
456              for u in inx.iref_by_sect[i.esid].a['experiment']:
457                if u in self.rqiExp[i.uid][1]:
458                  this = self.rqiExp[i.uid][1][u]
459                  cc2[u].add( this[-1]*this[-2] )
460                ###cc2[u].add( self.rqiExp[i.uid][irqi] )
461            ##else:
462              ##print 'WARNING .... empty experiment set'
463          s.add( self.rqiExp[i.uid][irqi] )
464      ##nym[v] = max( {self.rqiExp[i.uid][2] for i in l1p if i.esid == ex and v in e[i.rlid]} )
465      if len(s) == 0:
466        nym[v] = 0
467      else:
468        ##print 'debug2:: ',v,cc2
469        nym[v] = sum( [max( cc2[k] ) for k in cc2] )
470
471    szv = {}
472    ov = []
473    for v in vars:
474      szv[v] = self.sz[inx.uid[v].stid]*npy[inx.uid[v].frequency]
475      ov.append( self.dq.inx.uid[v] )
476    ee = self.listIndexDual( ov, 'mipTable', 'label', acount=None, alist=None, cdict=szv, cc=cc )
477    ff = {}
478    for v in vars:
479      if adsCount:
480        ff[v] = nym[v]
481      else:
482        ff[v] = self.sz[ inx.uid[v].stid ] * npy[inx.uid[v].frequency] * nym[v]
483    self.ngptot = sum( [  ff[v]  for v in vars] )
484    return (self.ngptot, ee, ff )
485
486  def esid_to_exptList(self,esid,deref=False,full=False):
487    if not esid in self.dq.inx.uid:
488      mlg.prnt ( 'Attempt to dereferece invalid uid: %s' % esid )
489      raise
490
491    if self.dq.inx.uid[esid]._h.label == 'experiment':
492      expts = [esid,]
493    elif self.dq.inx.uid[esid]._h.label != 'remarks':
494      if esid in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[esid].a:
495        expts = list( self.dq.inx.iref_by_sect[esid].a['experiment'][:] )
496      else:
497        expts = []
498
499## add in groups and mips for completeness
500##
501      if full:
502        if self.dq.inx.uid[esid]._h.label == 'mip':
503          s = set()
504          for e in expts:
505            if self.dq.inx.uid[e]._h.label != 'experiment':
506              mlg.prnt ( 'ERROR: %s, %s, %s ' % (esid,e, self.dq.inx.uid[e].title ) )
507            s.add( self.dq.inx.uid[e].egid )
508          for i in s:
509            expts.append( i )
510        expts.append( esid )
511    else:
512      ##print ( 'WARNING: request link not associated with valid experiment group' )
513      ##raise
514      return None
515
516
517    if self.tierMax > 0:
518      expts1 = []
519      for i in expts:
520        if self.dq.inx.uid[i]._h.label == 'experiment':
521          if self.dq.inx.uid[i].tier[0] <= self.tierMax:
522            expts1.append( i )
523        elif self.dq.inx.uid[i]._h.label == 'exptgroup':
524          if self.dq.inx.uid[i].tierMin <= self.tierMax:
525            expts1.append( i )
526        else:
527            expts1.append( i )
528    else:
529      expts1 = expts
530
531    if deref:
532      return [self.dq.inx.uid[e] for e in expts1]
533    else:
534      return expts1
535 
536##
537## need to call this on load
538## then use instead of i.ny etc below
539##
540  def requestItemExpAll( self ):
541    self.rqiExp = {}
542    for rqi in self.dq.coll['requestItem'].items:
543      a,b,c,d = self.requestItemExp( rqi )
544      if a != None:
545        self.rqiExp[rqi.uid] = (a,b,c,d)
546
547  def requestItemExp( self, rqi ):
548    assert rqi._h.label == "requestItem", 'Argument to requestItemExp must be a requestItem'
549    u = rqi.esid
550    if self.dq.inx.uid[u]._h.label == 'experiment':
551      expts = [u,]
552    elif self.dq.inx.uid[u]._h.label != 'remarks':
553      if u in self.dq.inx.iref_by_sect and 'experiment' in self.dq.inx.iref_by_sect[u].a:
554        expts = self.dq.inx.iref_by_sect[u].a['experiment']
555      else:
556        expts = []
557    else:
558      # print ( 'WARNING: request link not associated with valid experiment group'  )
559      ##rqi.__info__()
560      ##raise
561      return (None, None, None, None)
562
563    if self.tierMax > 0:
564      expts = [i for i in expts if self.dq.inx.uid[i].tier[0] <= self.tierMax]
565
566    self.multiTierOnly = False
567    if self.multiTierOnly:
568      expts = [i for i in expts if len(self.dq.inx.uid[i].tier) > 1]
569      print 'Len expts: ',len(expts)
570
571    if len(expts) > 0:
572      e = [self.dq.inx.uid[i] for i in expts]
573      for i in e:
574        if i._h.label != 'experiment':
575          mlg.prnt ( 'ERROR: %s, %s, %s ' % ( u,i._h.label, i.label, i.title ) )
576      ##dat = [ (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) ) for i in e]
577      dat2 = {}
578      for i in e:
579        dat2[i.uid] = (i.ntot, i.yps, i.ensz, i.tier, i.nstart, filter1(i.yps,rqi.nymax), filter2(i.ensz,rqi.nenmax,i.tier,self.tierMax) )
580      ### number of
581      nytot = sum( [dat2[x][-2]*dat2[x][-3] for x in dat2 ] )
582      netot = sum( [dat2[x][-1] for x in dat2 ] )
583      ##print 'debug1:: ',dat, nytot, netot
584    else:
585      dat2 = {}
586      nytot = 0
587      netot = 0
588   
589    return (expts, dat2, nytot, netot )
590
591  def setTierMax( self, tierMax ):
592    """Set the maxium tier and recompute request sizes"""
593    if tierMax != self.tierMax:
594      self.tierMax = tierMax
595      self.requestItemExpAll(  )
596
597  def summaryByMip( self, pmax=1 ):
598    bytesPerFloat = 2.
599    for m in self.mipls:
600      v = self.volByMip( m, pmax=pmax )
601      mlg.prnt ( '%12.12s: %6.2fTb' % (m,v*bytesPerFloat*1.e-12) )
602
603  def rqiByMip( self, mip):
604
605    if type(mip) in [type( '' ),type( u'') ]:
606      if mip not in self.mips:
607        mlg.prnt ( self.mips )
608        raise baseException( 'rqiByMip: Name of mip not recognised: %s' % mip )
609      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip == mip]
610    elif type(mip) == type( set()):
611      nf = [ m for m in mip if m not in self.mips]
612      if len(nf) > 0:
613        raise baseException( 'rqiByMip: Name of mip(s) not recognised: %s' % str(nf) )
614      l1 = [i for i in  self.dq.coll['requestItem'].items if i.mip in mip]
615    else:
616      raise baseException( 'rqiByMip: "mip" (1st explicit argument) should be type string or set: %s -- %s' % (mip, type(mip))   )
617    return l1
618     
619  def volByMip( self, mip, pmax=2, retainRedundantRank=False, intersection=False, adsCount=False, exptid=None):
620
621    l1 = self.rqiByMip( mip )
622     
623    #### The set of experiments/experiment groups:
624    if exptid == None:
625      exps = self.mips
626    else:
627      exps = set( [exptid,] )
628      ##print exptid, exps
629    self.volByE = {}
630    vtot = 0
631    cc = collections.defaultdict( col_count )
632    self.allVars = set()
633    for e in exps:
634      expts = self.esid_to_exptList(e,deref=True,full=False)
635      if expts != None:
636        self.volByE[e] = self.volByExpt( l1, e, pmax=pmax, cc=cc, retainRedundantRank=retainRedundantRank, intersection=intersection, adsCount=adsCount )
637        vtot += self.volByE[e][0]
638        self.allVars = self.allVars.union( self.vars )
639    self.indexedVol = cc
640
641    return vtot
642
643  def listIndexDual(self, ll, a1, a2, acount=None, alist=None, cdict=None, cc=None ):
644    do_count = acount != None
645    do_list = alist != None
646    assert not (do_count and do_list), 'It is an error to request both list and count'
647    if not (do_count or do_list):
648      acount = '__number__'
649      do_count = True
650
651    if cc == None:
652      if do_count:
653        cc = collections.defaultdict( col_count )
654      elif do_list:
655        cc = collections.defaultdict( col_list )
656
657    if do_count:
658      for l in ll:
659        if cdict != None:
660          v = cdict[l.uid]
661        elif acount == '__number__':
662          v = 1
663        else:
664          v = l.__dict__[acount]
665
666        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ] += v
667    elif do_list:
668      for l in ll:
669        if cdict != None:
670          v = cdict[l.uid]
671        elif alist == '__item__':
672          v = l
673        else:
674          v = l.__dict__[alist]
675        cc[ l.__dict__[a1] ].a[ l.__dict__[a2] ].append( v )
676
677    od = {}
678    for k in cc.keys():
679      d2 = {}
680      for k2 in cc[k].a.keys():
681        d2[k2] = cc[k].a[k2]
682      od[k] = d2
683    return od
684
685class dreqUI(object):
686  """Data Request Command line.
687-------------------------
688      -v : print version and exit;
689      --unitTest : run some simple tests;
690      -m <mip>:  MIP of list of MIPs (comma separated);
691      -h :       help: print help text;
692      -e <expt>: experiment;
693      -t <tier> maxmum tier;
694      -p <priority>  maximum priority;
695      --printLinesMax <n>: Maximum number of lines to be printed
696      --printVars  : If present, a summary of the variables fitting the selection options will be printed
697      --intersection : Analyse the intersection of requests rather than union.
698"""
699  def __init__(self,args):
700    self.adict = {}
701    self.knownargs = {'-m':('m',True), '-p':('p',True), '-e':('e',True), '-t':('t',True), '-h':('h',False), '--printLinesMax':('plm',True), '--printVars':('vars',False), '--intersection':('intersection',False),'--count':('count',False)} 
702    aa = args[:]
703    while len(aa) > 0:
704      a = aa.pop(0)
705      if a in self.knownargs:
706        b = self.knownargs[a][0]
707        if self.knownargs[a][1]:
708          v = aa.pop(0)
709          self.adict[b] = v
710        else:
711          self.adict[b] = True
712
713    if 'm' in self.adict:
714      self.adict['m'] = set(self.adict['m'].split(',') )
715
716    integerArgs = set( ['p','t','plm'] )
717    for i in integerArgs.intersection( self.adict ):
718      self.adict[i] = int( self.adict[i] )
719
720    self.intersection = self.adict.get( 'intersection', False )
721
722  def run(self, dq=None):
723    if 'h' in self.adict:
724      mlg.prnt ( self.__doc__ )
725      return
726
727    if not 'm' in self.adict:
728      mlg.prnt ( 'Current version requires -m argument'  )
729      mlg.prnt ( self.__doc__ )
730      sys.exit(0)
731
732    if dq == None:
733      self.dq = dreq.loadDreq()
734    else:
735      self.dq = None
736
737    sc = dreqQuery( dq=self.dq )
738
739    ok = True
740    for i in self.adict['m']:
741        if i not in sc.mips:
742          ok = False
743          mlg.prnt ( 'NOT FOUND: %s' % i )
744
745    eid = None
746    if self.adict.has_key('e'):
747      for i in self.dq.coll['experiment'].items:
748        if i.label == self.adict['e']:
749          eid = i.uid
750      assert eid != None, 'Experiment %s not found' % self.adict['e']
751    print 'eid=',eid
752    assert ok,'Available MIPs: %s' % str(sc.mips)
753    adsCount = self.adict.get( 'count', False )
754
755    tierMax = self.adict.get( 't', 1 )
756    sc.setTierMax(  tierMax )
757    pmax = self.adict.get( 'p', 1 )
758    v0 = sc.volByMip( self.adict['m'], pmax=pmax, intersection=self.intersection, adsCount=adsCount, exptid=eid )
759    #mlg.prnt ( '%7.2fTb' % (v0*2.*1.e-12) )
760    mlg.prnt ( '%s' % v0 )
761    cc = collections.defaultdict( int )
762    for e in sc.volByE:
763      for v in sc.volByE[e][2]:
764          cc[v] += sc.volByE[e][2][v]
765    x = 0
766    for v in cc:
767      x += cc[v]
768   
769    if python2:
770      vl = sorted( cc.keys(), cmp=cmpd(cc).cmp, reverse=True )
771    else:
772      vl = sorted( cc.keys(), key=lambda x: cc[x], reverse=True )
773    if self.adict.get( 'vars', False ):
774      printLinesMax = self.adict.get( 'plm', 20 )
775      if printLinesMax > 0:
776        mx = min( [printLinesMax,len(vl)] )
777      else:
778        mx = len(vl)
779
780      for v in vl[:mx]:
781        mlg.prnt ( self.dq.inx.uid[v].label, '%7.2fTb' % (cc[v]*2.*1.e-12) )
Note: See TracBrowser for help on using the repository browser.