source: TI02-CSML/trunk/csml/csmllibs/csmldataiface.py @ 2595

Subversion URL: http://proj.badc.rl.ac.uk/svn/ndg/TI02-CSML/trunk/csml/csmllibs/csmldataiface.py@2595
Revision 2595, 23.7 KB checked in by domlowe, 13 years ago (diff)

fixed problem with latitude reversal

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
Line 
1#!/usr/bin/env python
2
3#**************************************************************************************
4#csmldataIface.py
5#contains classes for interfacing with various files
6#currently supports cdunif (NetCDF, PP, Grib(untested)) And Nappy (NASAAmes)
7#use by instantiating the factory class: DataInterface
8#v0.00 30th November 2005
9#Dominic Lowe, BADC
10#**************************************************************************************
11
12import pdb
13import cdms 
14import Numeric
15
16try:
17    import nappy 
18except ImportError:
19    pass
20    #print 'could not import NASAAmes interface'
21import string
22import sys
23import csml.csmllibs.csmltime
24# This is required to prevent Numeric arrays being truncated when printed.
25import MA
26MA.set_print_limit(0)
27
28# Generic mathematical expression solver, required by the raw and image
29# interfaces
30import NumericTransform
31
32try:
33    # Part of the PIL. Required for ImageFileInterface:
34    import Image
35except ImportError:
36    print 'could not import Image'
37    pass
38
39try:
40    # Required for RawFileInterface:
41    import struct
42except ImportError:
43    print 'could not import struct'
44    pass
45
46
47class DataInterface(object):
48        #Use DataInterface and setInterfaceType to instantiate the correct
49        #subclass for data
50        def __init__(self):
51                self.iface ='None'
52               
53        def setInterfaceType(self,interfaceType):
54                # function returns approprate data interface
55                #set interfaceType: should correspond to available datainterface subclasses
56                self.iface =interfaceType
57                if self.iface == 'nappy':
58                        return NappyInterface()
59                elif self.iface == 'cdunif':
60                        return cdunifInterface()
61                elif self.iface == 'raw':
62                        return RawFileInterface()
63                elif self.iface == 'image':
64                        return ImageFileInterface()
65               
66               
67        def getUnknownInterfaceType(self, filename):
68                #if the interface type is not known at the time of instantiation, then use
69                #this function to examine the file and return the correct interface (if it exists).
70                fileExtension = str(filename)[-3:]
71                if fileExtension == '.nc':
72                        return cdunifInterface()
73                if fileExtension == 'qxf':
74                        return cdunifInterface()
75                elif fileExtension == '.pp':
76                        return cdunifInterface()
77                elif fileExtension == 'ctl':
78                        return cdunifInterface()
79                elif fileExtension == 'xml':
80                        return cdmlInterface()
81                elif fileExtensions == 'png' or fileExtension == 'gif':
82                        return ImageFileInterface()
83                else:
84                        try:
85                                nappy.readFFI(filename) in [1001,1010,1020,2010,2110,2160,2310,3010,4010]
86                                return NappyInterface()
87                        except:
88                                print "Could not establish file type"
89                                print "See csmldataiface.py"
90                       
91       
92                                                       
93class AbstractDI(object):               
94        #Abstract data interface class
95        #does nothing, but contains templates for methods required for a data interface class
96        #individual interfaces (e.g NappyInterface) should override these methods
97
98        def __init__(self):
99                self.extractType=''
100                self.extractPrefix = ''
101                                       
102        def openFile(self, filename):
103           #opens file, must be overwritten by subclass
104            raise NotImplementedError 
105               
106        def closeFile(self):
107           #closes file, probably needs to be overwritten by subclass
108            try:
109                self.file.close()
110            except:
111                raise NotImplementedError
112         
113        def setAxis(self,axis):
114           #'set' the name of the current axis , must be overwritten by subclass
115           #this may just involve a stub (see NASAAmes interface) or may involve
116           #calling a real set method of the underlying api (see cdunif Interface)
117           raise NotImplementedError 
118                       
119        def getDataForAxis(self):
120            #return all data for axis, must be overwritten by subclass
121           raise NotImplementedError   
122       
123        def setVariable(self,varname):
124             #As for setAxis, 'set' the name of the current axis , must be overwritten by subclass
125             raise NotImplementedError
126       
127        def getDataForVar(self):
128            #return all data for variable, must be overwritten by subclass
129           raise NotImplementedError   
130       
131        def getSubsetOfDataForVar(self,**kwargs):
132            #return subset of data for variable, must be overwritten by subclass
133            raise NotImplementedError
134       
135       
136class NappyInterface(AbstractDI):       
137        # Data Interface for Nappy (NASA Ames Processing in Python)
138   
139        def __init__(self):
140                self.extractType='NASAAmesExtract'
141                self.extractPrefix = '_naextract_'
142                                         
143        def openFile(self, filename):
144                #print 'opening NA file: ' + str(filename)
145                self.file=nappy.openNAFile(filename)
146                #print 'reading data....'
147                #self.file.readData()
148                #print 'nappyopen ' + filename
149
150        def getListOfAxes(self):
151                axes=self.file.XNAME
152                #print 'before units stripped' + str(axes)
153                axes=self.stripunits(axes)
154                #print 'after units stripped' + str(axes)
155                return axes
156
157        def setAxis(self,axis):
158                axes = self.getListOfAxes()
159                self.axisstub=axes.index(axis)
160
161        def getAxisAttribute(self, att):
162                #need to do something here...? maybe
163                attValue=None
164                return attValue
165
166        def getTimeUnits(self):
167                axes = self.getListOfAxes()
168                for axis in axes:
169                        if string.find(string.upper(axis),'SECONDS SINCE') != -1:
170                                #found possible time axis.
171                                if axis[-3:]=='UTC':
172                                    units =string.lower(axis[:-4]) #hack!
173                                    units=units.replace('/','-') #try and clean it up
174                                else:
175                                    units=string.lower(axis)
176                                break
177                        elif string.find(string.upper(axis),'HOURS SINCE') != -1:
178                                #found possible time axis.
179                                units =(str(axis))
180                                break
181                        elif string.find(string.upper(axis),'DAYS SINCE') != -1:
182                                #found possible time axis.
183                                units =(str(axis))
184                                break
185                       
186                #revisit with udunits python library?
187                return units
188
189
190        def getDataForAxis(self):           
191            if self.file.X == None:
192                    #print 'reading data....'
193                    self.file.readData()
194            for x in self.file.X:
195                pass
196                #print type(x)
197           
198           
199            d=Numeric.array(self.file.X)
200            print d
201            if type(self.file.X[1])==list:
202            #if len(self.file.X) > 0:
203                    data = self.file.X[self.axisstub]
204            else:
205                    data =self.file.X
206            #print data
207            data=Numeric.array(data)
208            return data
209
210        def getSizeOfAxis(self,axis):
211
212                #check this function is okay
213                #is time always the first dimension in NA??
214                axes = self.getListOfAxes()
215                axisPosition=axes.index(axis)
216                #print "axis position" + str( axisPosition)
217                #print "NX" + str(self.file.NX)
218                try :
219                        axisSize=self.file.NX[axisPosition-1]
220                except:
221                        axisSize ='Unknown axis size'
222                return axisSize
223
224        def getListofVariables(self):
225                variableList=self.stripunits(self.file.VNAME)
226                return variableList
227
228        def setVariable(self,varname):
229                vlist=self.getListofVariables()
230                self.varstub=vlist.index(varname)
231
232        def getVariableAxes(self):
233                #hmm, now with Nasa Ames the Axis will be the same for all variables.
234                #so just use the getListOfAxes function again
235                #I think... check this!
236                varAxesList=self.getListOfAxes()
237                return varAxesList
238
239        def getVariableAttribute(self,attName):
240                if attName =='units':
241                        #strip the units (attribute) from the variable
242                        unitslist=self.getUnits(self.file.VNAME)
243                        attribValue = unitslist[self.varstub]
244                        try:
245                                attribValue = unitslist[self.varstub]
246                        except:
247                                attribValue = 'unknown'
248                else:
249                        attribValue = 'unknown'
250                return attribValue
251
252        def getDataForVar(self):
253            #NOTE TO SELF:
254            #Review this function (and in fact all of nasa ames data interface...)
255                if self.file.V == None:
256                        #print 'reading data....'
257                        self.file.readData()
258
259                try:
260                    if type(self.file.V[1])==list:
261                        data = self.file.V[self.varstub]
262                #else:
263                #       data =self.file.X
264                #       print data
265                    return data
266                except:
267                    data = self.file.X
268                   # print data
269                    return data
270
271        def getArraySizeOfVar(self):
272        #iterates through all dimensions in variable to get array size i.e a 3x3x3 array would have a size of 27
273
274                dimlist=self.file.NX
275                varsize =1
276                for item in dimlist:
277                        varsize = varsize * item
278                        #print "VARSISZE" + str(varsize)
279                return varsize
280
281        def getShapeOfVar(self):
282            #this should return a list.
283            varShape = []
284            for item in self.file.NX:
285                varShape.append(item)
286            return varShape
287
288        def getLowLimits(self):
289                lowlims = ""
290                for i in range (0, len(self.file.NX)):
291                        #for now, assume low limit is always of form 1 1 1 ..
292                        lowlims =lowlims + str(1)  +' '
293                return lowlims
294
295        def getHighLimits(self):
296                highlims = ""
297                for i in range (0, len(self.file.NX)):
298                        dimValue = self.file.NX[i]
299                        highlims =highlims  + str(dimValue) +' '
300                return highlims
301
302
303        def stripunits(self,listtostrip):
304                #strips units of measure from list
305                #eg ['Universal time (hours)', 'Altitude (km)', 'Latitude (degrees)', 'Longitude (degrees)']
306                #becomes ['Universal time', 'Altitude', 'Latitude', 'Longitude']
307                cleanlist = []
308                for item in listtostrip:
309                        openbracket=string.find(item,'(')
310                        if openbracket != -1:
311                                #if brackets exist, strip units.
312                                item=item[:openbracket-1]
313                        cleanlist.append(item)
314                return cleanlist
315
316        def getUnits(self,listwithunits):
317                #gets units from list
318                #eg ['Universal time (hours)', 'Altitude (km)', 'Latitude (degrees)', 'Longitude (degrees)']
319                #becomes ['hours', 'km', 'degrees', 'degrees']
320                unitlist=[]
321                for item in listwithunits:
322                        openbracket=string.find(item,'(')
323                        item = item[openbracket+1:-1]
324                        unitlist.append(item)
325                return unitlist
326
327        def getTimes(self):
328                print 'HELLO'
329                #This function attempts to determine the time axis and read the time data
330                #it may well not manage it.
331                axes = self.getListOfAxes()
332                for axis in axes:
333                        if string.find(string.upper(axis),'TIME') != -1:
334                                #found possible time axis.
335                                self.setAxis(axis)
336                                times=self.getDataForAxis()
337                                break
338                        elif string.find(string.upper(axis),'SECONDS SINCE') != -1:
339                                #found possible time axis.
340                                self.setAxis(axis)
341                                times=self.getDataForAxis()
342                                break
343                        elif string.find(string.upper(axis),'HOURS SINCE') != -1:
344                                #found possible time axis.
345                                self.setAxis(axis)
346                                times=self.getDataForAxis()
347                                break
348                        elif string.find(string.upper(axis),'DAYS SINCE') != -1:
349                                #found possible time axis.
350                                self.setAxis(axis)
351                                times=self.getDataForAxis()
352                                break
353                times=Numeric.array(times)
354                return times
355
356
357
358class cdunifInterface(AbstractDI):
359    #Data Interface for cdunif (netcdf & pp formats & grib (not tested with grib)
360
361    def __init__(self):
362        #these are just temporary values until we can determine whether the
363        #file is netcdf pp or grib
364        self.extractType='cdunifExtract'
365        self.extractPrefix = '_cdunifextract_'
366
367    def openFile(self, filename):
368        self.file=cdms.open(filename)
369
370        #now we have the file name can properly determine extractType/Prefix
371        fileExtension = str(filename)[-3:]
372        if fileExtension == '.nc':
373            self.extractType = 'NetCDFExtract'
374            self.extractPrefix = '_ncextract_'
375        elif fileExtension == '.qxf':
376            self.extractType = 'NetCDFExtract'
377            self.extractPrefix = '_ncextract_'
378        elif fileExtension == '.pp':
379            self.extractType  = 'PPExtract'
380            self.extractPrefix = '_ppextract_'
381        elif fileExtension == 'ctl':
382            self.extractType = 'GRIBExtract'
383            self.extractPrefix = '_gribextract_'
384        elif fileExtension == 'xml': 
385            self.extractType = 'NetCDFExtract'  #okay this isn't true, but ok for testing
386            self.extractPrefix = '_ncextract__' 
387    def getListOfAxes(self):
388        axes=self.file.dimensions.keys()
389        return axes
390
391    def getSizeOfAxis(self,axis):
392        axisSize=self.file.dimensions[axis]
393        return axisSize
394
395    def getListofVariables(self):
396        variableList=self.file.variables.keys()
397
398        # Hack to test if removing climatology_bounds fixes pywms bug
399        if 'climatology_bounds' in variableList:
400            variableList.remove('climatology_bounds')
401
402        return variableList
403
404    def setAxis(self,axis):
405        self.axisobj=self.file.getAxis(axis)
406
407    def getAxisAttribute(self, att):
408        attValue=self.axisobj.attributes[att]
409        return attValue
410   
411    def getTimeUnits(self):
412        #this does the same as getAxisAttribute, but is a separate function as different formats handle time differently.
413        return self.getAxisAttribute('units')
414
415    def getDataForAxis(self):
416        data = self.axisobj.getValue()
417        return data
418
419    def setVariable(self,varname):
420        self.varobj=self.file.variables[varname]
421
422    def getVariableAxes(self):
423        varAxesList=self.varobj.getAxisIds()
424        return varAxesList
425
426    def getVariableAttribute(self,attName):
427        #NEED TO REWRITE THIS!
428        if attName == 'long_name':
429            try:
430                attribValue = self.varobj.long_name
431            except:
432                attribValue='no_long_name_found'
433        elif attName == 'units':
434            try:
435                attribValue = self.varobj.units
436            except:
437                attribValue='no_units_found'
438        elif attName == '_FillValue':
439            try:
440                attribValue=self.varobj._FillValue
441                attribValue=attribValue.toscalar()
442            except:
443                try:
444                    attribValue=self.varobj.missing_value
445                    attribValue=attribValue.toscalar()
446                except:
447                    attribValue = None 
448        return attribValue
449
450    def getDataForVar(self):
451        data = self.varobj.getValue()
452        return data
453
454    def getSubsetOfDataForVar(self, **kwargs):     
455        #put any slicing indices aside for later and use names       
456        try:
457            upper=kwargs['upper']
458            del kwargs['upper']
459        except:
460            pass
461        try:
462            lower=kwargs['lower']
463            del kwargs['lower']
464        except:
465            pass
466        try:
467            #takes keyword args defining subset eg
468            #subset=getSubsetOfDataForVar(latitude=(0.,10.0), longitude=(90, 100.0))
469            subset=None
470            lonkey='longitude'
471            if lonkey in kwargs.keys():   #this test needs to be much more robust...!
472                if  type(kwargs[lonkey]) is tuple:
473                    if kwargs[lonkey][0] > kwargs[lonkey][1]:
474                        #subsetting greenwich meridian around 0
475                        lonMin = kwargs[lonkey][0]
476                        lonMax =kwargs[lonkey][1]
477                        kwargs[lonkey]=(0.0, lonMax)
478                        subset1=self.file(self.varobj.id,**kwargs)
479                        kwargs[lonkey]=(lonMin,359.9999)
480                        print 'kwargs: %s'%kwargs
481                        try:
482                            subset2=self.file(self.varobj.id,**kwargs)
483                            longitudeAxis=subset1.getAxisIndex(lonkey)
484                            #concatenate arrays along longitude             
485                            subset = cdms.MV.concatenate([subset1,subset2],axis=longitudeAxis)
486                        except:
487                            subset=subset1
488            if type(subset) is not cdms.tvariable.TransientVariable:
489                subset=self.file(self.varobj.id,**kwargs)
490        except:             
491                return None
492                #try and slice with indices instead
493        return subset
494   
495   
496    def getArraySizeOfVar(self):
497    #iterates through all dimensions in variable to get array size i.e a 3x3x3 array would have a size of 27
498        var = self.varobj
499        size = var.shape
500        varsize = 1
501        for item in size:
502            varsize = item *varsize
503        return varsize
504
505    def getShapeOfVar(self):
506        varShape = []
507        for item in self.varobj.shape:
508            varShape.append(item)
509        return varShape
510
511    def getLowLimits(self):
512        dimNames = self.varobj.getAxisIds()
513        lowlims = ""
514        for i in range (1, len(dimNames)):
515            #for now, assume low limit is always of form 1 1 1 ..
516            lowlims =lowlims + str(1)  +' '
517        return lowlims
518
519    def getHighLimits(self):
520        dimNames = self.varobj.getAxisIds()
521        highlims = ""
522        for i in range (1, len(dimNames)):
523            dimValue = self.file.dimensions[dimNames[i]]
524            highlims =highlims  + str(dimValue) +' '
525        return highlims
526       
527   
528class cdmlInterface(cdunifInterface):
529    #this is more  or less the cdunif interface but a few methods have been overwritten
530    def __init__(self):
531        #this all needs to be revisited in csml v2.
532        self.extractType='cdmlExtract'
533        self.extractPrefix = '_cdmlextract_'
534       
535    def getListOfAxes(self):
536        axes=self.file.axes.keys() 
537        return axes
538
539    def getSizeOfAxis(self,axis):
540        axisSize=self.file.axes[axis].length
541        return axisSize
542
543
544class RawFileInterface(AbstractDI):
545
546   def __init__(self):
547      self.extractType   = 'rawExtract'
548      self.extractPrefix = '_rawextract_'
549 
550 
551   def openFile(self, filename):
552      self.file = open(filename, "rb")
553
554
555   def closeFile(self):
556      self.file.close()
557
558
559   # Read the data from the raw file into a multidimensional Numeric array
560   def readFile(self, **kwargs):
561        # Determine the numeric type:
562        if 'numericType' in kwargs:
563            try:
564                numericTypeCode = {
565                    'uint8':Numeric.UInt8,
566                    'uint16':Numeric.UInt16,
567                    'uint32':Numeric.UInt32,
568                    'int8':Numeric.Int8,
569                    'int16':Numeric.Int16,
570                    'int32':Numeric.Int32,
571                    'float':Numeric.Float32,
572                    'double':Numeric.Float64
573                }[kwargs['numericType']]
574            except KeyError:
575                raise TypeError("Invalid numericType: " + str(kwargs['numericType']))
576        else:
577            raise KeyError("numericType is mandatory.")
578       
579        # Read the file into a numpy array:
580        self.data = Numeric.fromstring(self.file.read(), numericTypeCode)
581        # If necessary, swap the byte order:
582        if 'endianess' in kwargs:
583            if ((kwargs['endianness'] == 'little' and not Numeric.LittleEndian) or (kwargs['endianness'] == 'big' and Numeric.LittleEndian)):
584                self.data = self.data.byteswapped()   
585        # Declare the shape of the array:
586        dimensions = map(int,kwargs['dimensions'])
587        dimensions.reverse()
588        self.data.shape = tuple(dimensions)
589        # If numericTransform or fillValue were provided, store them as
590        # attributes.
591        if 'numericTransform' in kwargs:
592            self.numericTransform = NumericTransform.infixExpression(kwargs['numericTransform'])
593        if 'fillValue' in kwargs:
594            self.fillValue = kwargs['fillValue']
595   
596   # Return the fill value, if set, and transform if necessary:
597   def getFillValue(self):
598      # Both fillValue and numericTransform attributes may or may
599      # not exist...
600      try:
601         return self.numericTransform.solve( n = float(self.fillValue) )
602      except AttributeError:
603         try:
604            return self.fillValue
605         except AttributeError:
606            return None
607
608
609   # This is a just a special case of getSubsetOfDataForVar. To avoid
610   # duplication of code, just subset the entire array. (getSubset.. is
611   # optimised for this case)
612   def getDataForVar(self):
613      return self.getSubsetOfDataForVar(lower = (0,)*len(self.data.shape),
614                                        upper = self.data.shape)
615
616
617   # Subset the n-dimensional file based on array indices. Accepts parameters
618   # in the form of e.g.
619   #
620   # getSubsetOfDataForVar( lower=(0,0), upper=(1,2) )
621   #
622   # Note: The rank of the required subset, must exactly match the
623   # rank of the original data: len(lower) == len(upper) == rank of file
624   #
625   def getSubsetOfDataForVar(self, **kwargs):
626      # Assume subset parameters are passed as: lower=(0,0) upper=(512,512)
627      if 'lower' not in kwargs or 'upper' not in kwargs:
628         # Have not specified any subset parameters that we recognise, so raise
629         # an exception:
630         raise NotImplementedError("Only supports subsetting with lower+upper array indices")
631      elif not len(kwargs['lower']) == len(kwargs['upper']) == len(self.data.shape):
632         # Rank of subset is not the same as rank of full data array. so raise
633         # an exception:
634         raise NotImplementedError("Only supports subsets of same rank as full dataset")
635      elif Numeric.sometrue(Numeric.greater(kwargs['upper'], self.data.shape)):
636         # Requested upper bound of subset is beyond the size of the the full
637         # data array, so raise an exception
638         raise IndexError("Subset out of range")
639      elif Numeric.sometrue(Numeric.less( kwargs['upper'], Numeric.zeros(len(self.data.shape)))):
640         # Requested lower bound of subset is beyond the size of the the full
641         # data array, so raise an exception
642         raise IndexError("Subset out of range")
643      elif Numeric.sometrue(Numeric.less_equal(kwargs['upper'], kwargs['lower'])):
644         # lower bound <= upper_bound for at least one dimension, so raise an
645         # exception
646         raise IndexError("Upper bound less than lower bound")
647      elif tuple(kwargs['lower']) == (0,)*len(self.data.shape) and tuple(kwargs['upper']) == self.data.shape:
648         # Special case of requested subset == entire data file.
649         subset = self.data
650      else:
651         # We are okay to subset.
652
653         # I cant see any nice (and speedy) way of subsetting a Numeric
654         # array of arbitrary rank without the use of eval. By doing it
655         # this way, we can make use of the (possible) acceleration provided
656         # by Numeric/NumPy.
657         slices = []
658         for i in range(len(self.data.shape)):
659            lower = int(kwargs['lower'][i])
660            upper = int(kwargs['upper'][i]) 
661            slices.append(str(lower)+':'+str(upper))
662         subset = eval("self.data["+','.join(slices)+"]")
663
664      # Attempt to perform the numericTransform on the data array, if we get
665      # AttributeError, it most likely means that numericTransform was not
666      # specified, so return the data as-is
667      try:
668         return self.numericTransform.solve( n = subset )
669      except AttributeError:
670         return subset.copy()
671
672
673# Interface for reading data from image files. Requires PIL Image module.
674class ImageFileInterface(RawFileInterface):
675   def __init__(self):
676      self.extractType   = 'imageExtract'
677      self.extractPrefix = '_imageextract_'
678   
679   def image2array(self,im):
680       #Adapted from code by Fredrik Lundh, http://www.pythonware.com
681       #http://effbot.org/zone/pil-numpy.htm
682        if im.mode not in ("L", "F"):
683            raise ValueError, "can only convert single-layer images"
684        if im.mode == "L":
685            a = Numeric.fromstring(im.tostring(), Numeric.UnsignedInt8)
686        else:
687            a = Numeric.fromstring(im.tostring(), Numeric.Float32)
688        a.shape = im.size[1], im.size[0]
689        return a
690
691   def openFile(self, filename):
692      self.file = Image.open(filename)
693
694   def closeFile(self):
695      self.file = None #...Image does not seem to have a close() method.
696
697   def readFile(self, **kwargs):
698      # Convert the image to a Numeric array
699     
700      self.data=self.image2array(self.file)
701      #slower method:
702      #self.data = Numeric.array(self.file.getdata())
703
704      if 'numericTransform' in kwargs:
705         # numericTransform was specified, so compile the expression:
706         self.numericTransform = NumericTransform.infixExpression(kwargs['numericTransform'])
707      if 'fillValue' in kwargs:
708         self.fillValue = kwargs['fillValue']
Note: See TracBrowser for help on using the repository browser.