Ignore:
Timestamp:
15/02/17 12:02:45 (3 years ago)
Author:
mjuckes
Message:

updates

File:
1 edited

Legend:

Unmodified
Added
Removed
  • CMIP6dreqbuild/trunk/src/framework/ingest/dreq_consol_dreq2.py

    r903 r947  
    110110            print 'INFO.tslice-his.000001: %s requesting years %s' % (mip,ny) 
    111111            info = '_slice_historical%3.3i' % ny 
    112     self.records.append( (mip,tab,expt, rid,nn, nexmax, nenmax, nymax,treset,info) ) 
    113112    self.records.append( (mip,tab,expt, rid,nn, nexmax, nenmax, nymax,treset,info) ) 
    114113 
     
    390389    sh['__info__'] = { 'label':'requestLinks', 'title':'Links from variable groups to a request id' } 
    391390    sh['__cols__'] = [ 'uid', 'mip', 'tab','objective','grid','gridreq','comment','opt','opar', 'preset', 'vgid'] 
     391    print 'INFO.rql.000101: number of rows: %s' % len( self.rqs.rowList ) 
    392392    for i in self.rqs.rowList: 
    393393      assert i[-1] in self.rqs.groupset, 'vgid not found for %s' % str(i) 
     
    397397        print 'ERROR.099.0060: Blank objective: %s' % str(i) 
    398398      s1.add( i[0] ) 
     399      print 'INFO.dcd.00401: ',i[0],i[1],i[2],i[-1] 
    399400    sh.close() 
     401    print 'INFO.rqi.000101: number of rows: %s' % len( self.rqs.records ) 
    400402    sh = shelve.open( '%s/requestItems02' % self.odir, 'n' ) 
    401403    sh['__info__'] = { 'label':'requestItems', 'title':'Specification for a single experiment' , \ 
     
    403405    sh['__cols__'] = [ 'mip', 'tab', 'expt','rlid','ny', 'nexmax', 'nenmax', 'nymax','treset','info'] 
    404406    ##('AerChemMIP', u'Omon_3d', u'CMIP6 historical', 'ad74be9a-26ef-11e5-8d9b-ac72891c3257', 0.0) 
     407    nro = 0 
     408    cc = dict() 
    405409    for i in self.rqs.records: 
    406410      if type(i[4]) not in ( type(0), type(1.) ): 
     
    429433          k = str( uuid.uuid1() ) 
    430434          sh[k] =  il[:]  
     435          ttt = (il[2],il[3]) 
     436          if ttt in cc: 
     437            print 'WARN.rqi.00101: duplicate: %s -- %s' % (str(il),str(cc[ttt])) 
     438          cc[ttt] = il 
     439          nro += 1 
    431440       
    432441      else: 
     
    436445          il[2] = expt 
    437446          sh[k] =  il[:]  
     447          nro += 1 
     448          ttt = (il[2],il[3]) 
     449          if ttt in cc: 
     450            print 'WARN.rqi.00102: duplicate: %s -- %s' % (str(il),str(cc[ttt])) 
     451          cc[ttt] = il 
    438452        else: 
    439453          sh[k] =  i[:]  
     454          nro += 1 
     455          ttt = (i[2],i[3]) 
     456          if ttt in cc: 
     457            print 'WARN.rqi.00103: duplicate: %s -- %s' % (str(i),str(cc[ttt])) 
     458          cc[ttt] = i 
    440459    sh.close() 
     460    print 'INFO.rqi.000102: number of records written: %s' % nro 
    441461 
    442462if __name__ == '__main__': 
Note: See TracChangeset for help on using the changeset viewer.