source: TI02-CSML/trunk/csml/csmllibs/csmlfeaturetypes.py @ 2328

Subversion URL: http://proj.badc.rl.ac.uk/svn/ndg/TI02-CSML/trunk/csml/csmllibs/csmlfeaturetypes.py@2328
Revision 2328, 26.3 KB checked in by domlowe, 13 years ago (diff)

mandatory gml:ids added

  • Property svn:eol-style set to native
  • Property svn:keywords set to Author Date Id Revision
Line 
1#!/usr/bin/env python
2#**************************************************************************************
3#csmlfeaturetypes.py
4#For creating CSML featuretypes
5#v0.5 split off 11th November 2005
6#Dominic Lowe, BADC
7#**************************************************************************************
8
9import csml.parser as cp
10import csml.csmllibs
11import sys
12import pdb
13   
14
15class featureBuilder(object):
16    def __init__(self, dataset_element, featureCollection_element, ffmap,fileExtractDictionary, timedim, timestorage,spatialstorage,valuestorage):
17        self.ds_element=dataset_element
18        self.featureCollection = featureCollection_element
19        self.ffmap = ffmap
20        self.fileExtractDictionary = fileExtractDictionary
21        self.timedim = timedim
22        self.timestorage=timestorage
23        self.spatialstorage=spatialstorage
24        self.valuestorage=valuestorage
25               
26        #empty list to hold featureMembers
27        self.fms =[]
28               
29        #at the moment, only one featuretype per CSML Dataset is supported.
30        #get the featuretype of the first representative file in the ffmap object
31        self.featuretype=  self.ffmap.getRepresentativeFiles()[0].getFeatureType()
32       #and create the features
33        print 'determining feature type'
34        print self.featuretype
35        if self.featuretype == 'GridSeries':
36            self.createCSMLGridSeriesFeatures()
37        elif self.featuretype == 'PointSeries':       
38            self.createCSMLPointSeriesFeatures()
39        elif self.featuretype == 'ProfileSeries':       
40            self.createCSMLProfileSeriesFeatures()
41        #after the features have been generated append all featureMembers to the feature collection
42        self.featureCollection.featureMembers=self.fms
43       
44    #Some internal methods that are of use to all feature types:
45    def _getDescriptiveName(self,DI):
46        #given a data interface class with the variable or axis set, try to get a descriptive name
47        #eg. long name
48        try:
49            descName=DI.getVariableAttribute('long_name')
50            descName
51        except AttributeError:
52            descName = "missing name"
53        descName=descName.replace('&','&') #remove ampersands TODO- extend this
54        return descName
55   
56    def _populateListOfFiles(self,repfile):
57        #given a representative file, get list of files: one representative file + all related files
58        listOfFiles=[]
59        repfilename=repfile.getRepresentativeFileName()
60        listOfFiles.append(repfilename)
61        relfiles = repfile.getRelatedFiles()
62        for f in relfiles:
63            fname = f.getRelatedFileName()
64            listOfFiles.append(fname)
65        return repfilename,listOfFiles
66       
67    def _getFilesAndTimes(self):
68        #TODO try and speed up csmllibs.csmltime.getFileTimeList
69        OrderedFileTimeList,self.caltype,self.units = csml.csmllibs.csmltime.getFileTimeList(self.listOfFiles,self.timedim)
70        #build strings to hold times/filenames for current gridseriesfeature
71        self.timeString =''
72        self.filesinDir = ''
73        lastf=''
74        for j in range (0, len(OrderedFileTimeList)):
75            t= OrderedFileTimeList[j][0]
76            f = OrderedFileTimeList[j][1]
77            self.timeString = self.timeString + ' ' + str(t)
78            if f != lastf:
79                self.filesinDir = self.filesinDir + ' ' + f
80                lastf=f
81           
82    def _getCorrectExtractType(self):
83        #returns an empty parser file extract object of the correct type.
84        if self.extractType=='NetCDFExtract':
85            fe = csml.parser.NetCDFExtract()
86        if self.extractType=='NASAAmesExtract':
87            fe = csml.parser.NASAAmesExtract()
88        if self.extractType=='GRIBExtract':
89            fe = csml.parser.GRIBExtract()
90        if self.extractType=='PPExtract':
91            fe = csml.parser.PPExtract()
92        return fe
93       
94   
95   
96    #the following __functions are used by all or most feature types:
97   
98    def __getVarInfo(self, representativeFile):
99        self.repfilename,self.listOfFiles=self._populateListOfFiles(representativeFile)
100        self._getFilesAndTimes()
101        #Open representative file and create feature members:
102        self.DI = csml.csmllibs.csmldataiface.DataInterface()
103        self.DI=self.DI.getUnknownInterfaceType(self.repfilename)
104        self.DI.openFile(self.repfilename)
105        allVarNames=self.DI.getListofVariables()
106        numFeatures=len(allVarNames)
107        return allVarNames, numFeatures
108   
109    def __getGridCoordinatesTable(self,dimNames, crs,axisorder):
110        #referenceableGrid/GridCoordinatesTable
111        gcT=cp.GridCoordinatesTable()
112        ##add an axisName element(s) for  each spatial dimension.
113        #and an ordinate element
114        axes=''
115        for axis in dimNames:
116            axes =axes + ' '+ axis
117        ordinates=[]
118        for dimName in enumerate(dimNames):
119            ord=cp.GridOrdinateDescription()               
120            #map the grid axis to the crs axis
121            #default to empty element
122            ord.coordAxisLabel=cp.csString('')
123            ord.gridAxesSpanned=cp.csString('')
124            for axis in axisorder:
125                if axisorder[axis]==dimName[0]:
126                    ord.coordAxisLabel=cp.csString(axis)
127                    ord.gridAxesSpanned=cp.csString(dimName[1])
128                    break
129            seqRule= cp.SequenceRule()
130            seqRule.CONTENT='Linear'
131            seqRule.axisOrder='+1'  #TO DO. Work this out.
132            ord.sequenceRule=seqRule
133            sptList=cp.SpatialOrTemporalPositionList()
134            sptList.id =csml.csmllibs.csmlextra.getRandomID()
135            if dimName[1]==self.timedim:
136                #this is the time dimension. handle calendaring etc when getting the data.
137                if self.timestorage=='fileextract':
138                    #look up file extract name in dictionary
139                    #(axisid stored in dictionary = current filename + variable name)
140                    axisid=self.repfilename+dimName[1]
141                    sptList.coordinateList=cp.csString('#'+self.fileExtractDictionary[axisid])
142                else:
143                    #store times inline
144                    self.DI.setAxis(dimName[1])
145                    sptList.coordinateList=cp.csString(self.timeString)
146                    sptList.frame='%s:%s'%(self.caltype,self.units)
147            else:  #for all other dimensions, create ordinates
148                if self.spatialstorage=='fileextract':
149                    #look up file extract name in dictionary
150                    #(axisid stored in dictionary = current filename + variable name)
151                    axisid=self.repfilename+dimName[1]
152                    sptList.coordinateList=cp.csString('#'+self.fileExtractDictionary[axisid])
153                else:
154                    #store inline
155                    self.DI.setAxis(dimName[1])
156                    sptList.coordinateList=cp.csString(csml.csmllibs.csmlextra.cleanString(str(self.DI.getDataForAxis())))
157            ord.coordAxisValues=sptList
158            gcT.addChildElem('gridOrdinates',ord)                         
159        return gcT
160       
161    def __getLocation(self):
162        #attempts to get a fixed location, eg for a ProfileSeriesFeature.
163        lonval=None
164        latval=None
165        heightval=None
166        vars=self.DI.getListofVariables()
167        cat = csml.csmllibs.csmlcrs.CRSCatalogue()
168        axes=[]
169        for var in vars:
170            self.DI.setVariable(var)
171            unitname=self.DI.getVariableAttribute('units')
172            unittype=cat.getUnitType(unitname)
173            if unittype == 'latitude':
174                latval=self.DI.getDataForVar()
175                axes.append(unittype)
176            elif unittype == 'longitude':
177                lonval=self.DI.getDataForVar() 
178                axes.append(unittype)
179            elif unittype=='height':
180                heightval=self.DI.getDataForVar() 
181                axes.append(unittype)
182               
183        #returns lat lon height, but note that any of these may be None     
184        crs=cat.determineCRS(knownCRSAxes =axes) #TODO, may need to rethink csmlcrs module a bit
185        srsName= crs[0].srsName
186        return latval, lonval, heightval, srsName
187       
188    def __getCRS(self,varName,catalogue):
189        self.DI.setVariable(varName)
190        dimNames=self.DI.getVariableAxes() 
191        if len(dimNames) <= 1:
192                #it's an axis or bounds not a feature, try next variable
193            return None, None, None
194        unitlist=[]
195        for dim in dimNames:
196            self.DI.setAxis(dim)
197            units=self.DI.getAxisAttribute('units')  #need to make special case of units in DI layer
198            unitlist.append(units)   
199        crs, axisorder=catalogue.determineCRS(dimNames,unitlist)
200        return crs, axisorder, dimNames
201   
202    def __featureMetadata(self,feature, varName):
203        feature.id=str(varName)
204        desc = self._getDescriptiveName(self.DI)
205        feature.description=csml.parser.csString(desc)
206       
207    def __getGMLRangeset(self,varName):
208        #GML RANGESET
209        rs=csml.parser.RangeSet()
210        self.DI.setVariable(varName)
211        arrSz = self.DI.getArraySizeOfVar()
212        try:
213            strUom = self.DI.getVariableAttribute('units')
214        except AttributeError:
215            # if units attribute doesn't exist:
216            strUom ="dimensionless or units not determined"
217        if self.valuestorage=='inline':
218            #TO DO, store the rangeset inline - use Datablock class???
219            pass
220        else:
221            #store the rangeSet as an aggregatedArray
222            #TODO, need to take this out of the rangeset and use xlink to reference it.
223            aa=cp.AggregatedArray()
224            aa.arraySize=cp.csString(arrSz)
225            aa.uom=cp.csString(strUom)
226            aa.aggType=cp.csString('new') #can it be anything else?
227            aa.aggIndex=cp.csString('1')
228            #FileExtract (fe) element will be NetCDF/GRIB/PPExtract element (As defined earlier in ExtractType)
229            self.extractType= self.DI.extractType
230            fe = self._getCorrectExtractType()
231            varSize=self.DI.getShapeOfVar()
232            varSize=csml.csmllibs.csmlextra.cleanString1(str(varSize))
233            fe.arraySize=cp.csString(varSize)
234            fl=cp.FileList()
235            fl.fileNames=cp.csString(self.filesinDir)
236            fe.fileList=fl
237            fe.variableName=cp.csString(varName)
238            aa.components=[fe]
239            aa.id=csml.csmllibs.csmlextra.getRandomID()
240            if hasattr(self.ds_element, 'storageDescriptor'):
241                self.ds_element.storageDescriptor.descriptors.append(aa)
242            else:
243                sd =csml.parser.CSMLStorageDescriptor()
244                sd.descriptors=aa
245                setattr(self.ds_element, 'storageDescriptor',sd)
246            #rs.aggregatedArray=aa
247            va=csml.parser.ValueArray()
248            vc=csml.parser.ValueComponent()
249            vc.href='#%s'%aa.id
250            vc.arcrole="http://ndg.nerc.ac.uk/xlinkUsage/insert#QuantityList"
251            vc.role="http://ndg.nerc.ac.uk/fileFormat/csmlStorageDescriptor"
252            vc.show='embed'
253            ql=csml.parser.MeasureOrNullList()
254            ql.uom=strUom
255            vc.quantityList=ql
256            va.valueComponent=vc
257            rs.valueArray=va
258        return rs
259   
260   
261    #the following functions are for creation of specific feature types (and call the __functions above)
262    def createCSMLGridSeriesFeatures(self):
263        #This method assumes that the variables (features) are shared across identically structured files
264        #should be supplied with a featurefilemap object (see csmlfiles for FileMapMaker)
265        representativeFiles=self.ffmap.getRepresentativeFiles()
266        cat=csml.csmllibs.csmlcrs.CRSCatalogue()
267        for repfile in representativeFiles:
268            #get the names of all the variables in the files:
269            allVarNames, numFeatures = self.__getVarInfo(repfile)
270            #Create a GridSeriesFeature for each variable:
271            for i in range(0, numFeatures):
272                crs,axisorder, dimNames=self.__getCRS(allVarNames[i], cat)
273                if crs == None:
274                    continue            #try next variable
275                gsFeature=cp.GridSeriesFeature()
276                self.__featureMetadata(gsFeature,allVarNames[i])
277                #VALUE (coverage)
278                gsCoverage=cp.GridSeriesCoverage()
279                gsCoverage.id = csml.csmllibs.csmlextra.getRandomID()
280                gsDomain=cp.GridSeriesDomain()
281                gsDomain.id = csml.csmllibs.csmlextra.getRandomID()
282                gsDomain.srsName=crs.srsName
283                gsDomain.axisLabels=crs.axisLabels # note this is the xml attribute axisLabels, not the child element (aLabels)
284                gsDomain.srsDimension=crs.srsDimension
285                aLabels=''
286                for dim in dimNames:
287                    aLabels=aLabels + dim + ' '
288                gsDomain.aLabels=cp.csString(aLabels)
289                gcT=self.__getGridCoordinatesTable(dimNames, crs,axisorder)
290                gsDomain.coordTransformTable=gcT
291                gsCoverage.gridSeriesDomain=gsDomain
292               
293                #COVERAGE FUNCTION
294                mr =csml.csmllibs.csmlextra.getMappingRule(len(dimNames))
295                gsCoverage.coverageFunction=cp.csString(mr)
296                rs=self.__getGMLRangeset(allVarNames[i])
297               
298                #RANGESET
299                gsCoverage.rangeSet=rs
300                gsFeature.parameter=csml.parser.Phenomenon(href='http://badc.rl.ac.uk/localparams#%s'%allVarNames[i])
301                gsFeature.value=gsCoverage
302                self.fms.append(gsFeature)
303            self.DI.closeFile()
304    ###End of createCSMLGridSeriesFeatures###
305   
306    def createCSMLProfileSeriesFeatures(self):
307        #This method assumes that the variables (features) are shared across identically structured files
308        #should be supplied with a featurefilemap object (see csmlfiles for FileMapMaker)
309        representativeFiles=self.ffmap.getRepresentativeFiles()
310        cat=csml.csmllibs.csmlcrs.CRSCatalogue()
311        for repfile in representativeFiles:
312            #get the names of all the variables in the files:
313            allVarNames, numFeatures = self.__getVarInfo(repfile)
314            #Create a ProfileSeriesFeature for each variable:
315            for i in range(0, numFeatures):
316                crs,axisorder, dimNames=self.__getCRS(allVarNames[i], cat)
317                if crs == None:
318                    print 'none'
319                    continue            #try next variable
320                psFeature=cp.ProfileSeriesFeature()
321                self.__featureMetadata(psFeature,allVarNames[i])
322                #VALUE (coverage)
323                psCoverage=cp.ProfileSeriesCoverage()
324                psDomain=cp.ProfileSeriesDomain()
325                psDomain.srsName=crs.srsName
326                psDomain.axisLabels=crs.axisLabels # note this is the xml attribute axisLabels, not the child element (aLabels)
327                psDomain.srsDimension=crs.srsDimension
328                aLabels=''
329                for dim in dimNames:
330                    aLabels=aLabels + dim + ' '
331                psDomain.aLabels=cp.csString(aLabels)
332                gcT=self.__getGridCoordinatesTable(dimNames, crs,axisorder)
333                psDomain.coordTransformTable=gcT
334                psCoverage.profileSeriesDomain=psDomain
335               
336                #COVERAGE FUNCTION
337                mr =csml.csmllibs.csmlextra.getMappingRule(len(dimNames))
338                psCoverage.coverageFunction=cp.csString(mr)
339                rs=self.__getGMLRangeset(allVarNames[i])
340               
341                #RANGESET
342                psCoverage.rangeSet=rs
343                psFeature.parameter=csml.parser.Phenomenon(href='http://badc.rl.ac.uk/localparams#%s'%allVarNames[i])
344                psFeature.value=psCoverage
345                (latval, lonval, heightval, srs)=self.__getLocation()
346                posString ='%s %s %s'%(latval, lonval, heightval)
347               
348                psFeature.location=csml.parser.DirectPositionList(CONTENT=posString, srsName=srs)
349                self.fms.append(psFeature)
350            self.DI.closeFile()
351    ###End of createCSMLProfileSeriesFeatures###
352
353        #BELOW THIS POINT ALL NEEDS REWRITING
354####################################
355    def createCSMLPointSeriesFeatures(self): 
356
357        representativeFiles=self.ffmap.getRepresentativeFiles()
358        for repfile in representativeFiles:
359            self.repfilename,self.listOfFiles=self._populateListOfFiles(repfile)
360            self._getFilesAndTimes()
361            DI = csml.csmllibs.csmldataiface.DataInterface()
362            DI=DI.getUnknownInterfaceType(self.repfilename)
363            DI.openFile(self.repfilename)
364            allVarNames=DI.getListofVariables()
365            numFeatures=len(allVarNames)       
366            try:
367                DI.setAxis(self.timedim)
368                times=DI.getDataForAxis()
369            except:                     
370                times = DI.getTimes()
371            #Create features:
372            for i in range (0, numFeatures):
373                PointSeriesFeature_element=csml.parser.PointSeriesFeature()
374                if str(allVarNames[i]).upper() in ['ERROR FLAG', 'ERROR']: #might need to extend this list
375                    break
376                PointSeriesFeature_element.id=str(allVarNames[i])
377                desc=self._getDescriptiveName(DI)
378                PointSeriesFeature_element.description=csml.parser.Description(desc)
379                #DOMAIN
380                psDomain=csml.parser.PointSeriesDomain()
381                t=csml.parser.Trajectory()
382                t.srsName='urn:EPSG:geographicCRS:4326' #TO Do
383                t.locations =csml.parser.DirectPositionList(vals='1 1')
384               
385                if self.timestorage =='inline':
386                    tpl =csml.parser.TimePositionList()
387                    tpl.timePositions=self.timeString
388                    tpl.frame='%s:%s'%(self.caltype,self.units)
389                    t.times=tpl
390                else:
391                    # do something to create a single extract for the times (from the representative file).
392                    tpl.timePositions = csml.csmllibs.csmlfileextracts.createSingleExtract(self.extractType, repfilename, self.timedim, len(self.timeString.split())) 
393                    tpl.frame='%s:%s'%(self.caltype,self.units)
394               
395               
396#                 if self.timestorage =='inline':
397#                     t.times=csmllibs.Parser.TimePositionList('#RefSysX',str(times))
398#                 else:
399#                     #todo: depends on the file mapping???
400#                     t.times=csmllibs.Parser.TimePositionList('#RefSysX','blah') #blah = dummy times
401#                 print 'times: ' + str(allVarNames[i])
402#                 print len(times)
403#                 print len(listOfFiles)
404#                 arraySize=len(times) * len(listOfFiles)
405#                 fextract=csmllibs.csmlfileextracts.createSingleExtract(self.extractType,filenames,self.timedim,arraySize)
406#                 tplist = csmllibs.Parser.TimePositionList(timePositions=fextract)
407#                 t.times=tplist                                                                   
408                filenames=csml.csmllibs.csmlextra.cleanString(str(self.listOfFiles))
409                psDomain.domainReference=t
410                #RANGESET
411                DI.setVariable(allVarNames[i])
412                try:
413                    strUom = DI.getVariableAttribute('units')
414                except AttributeError:
415                    #if units attribute doesn't exist:
416                    strUom ="dimensionless or units not determined"
417                try:                   
418                    measuredvalues = DI.getDataForVar()
419                except:
420                    measuredvalues = ' could not get values '
421                rs=csml.parser.RangeSet()
422                if self.valuestorage=='inline':
423                    #encode inline
424                    rs.quantityList=csml.parser.MeasureOrNullList(uom=strUom, val=str(measuredvalues)[1:-1])                         
425                else:
426                    #create a file extract link
427                    arraySize=len(measuredvalues)*len(self.listOfFiles) 
428                    #TODO this needs to be able to handle inline, use VALUESTORAGE to determine which to use:
429                    self.extractType=DI.extractType
430                    fextract=csml.csmllibs.csmlfileextracts.createSingleExtract(self.extractType,filenames,allVarNames[i],arraySize)
431                    qlist = csml.parser.MeasureOrNullList(val=fextract)
432                    rs.quantityList=qlist
433                PointSeriesFeature_element.rangeSet=rs
434                #COVERAGEFUNCTION                           
435                #PARAMETER
436                #need to do parameter and coverageFunction elements
437                PointSeriesFeature_element.domain=psDomain
438                self.fms.append(PointSeriesFeature_element)
439            DI.closeFile()
440       
441
442#This function needs revising in light of a) csml parser and b) new profile feature types
443    def createCSMLProfileFeature(csmldoc, dataset_element, gml_FeatureCollection_element,  ffmap, timedim):
444            representativeFiles=ffmap.getRepresentativeFiles()
445            listOfFiles=[]
446            for repfile in representativeFiles:
447                    repfilename=repfile.getRepresentativeFileName()
448                    listOfFiles.append(repfilename)
449                    relfiles = repfile.getRelatedFiles()
450                    for f in relfiles:
451                            #hopefully there are no related files at the moment!
452                            fname = f.getRelatedFileName()
453                            listOfFiles.append(fname)
454                    #print listOfFiles
455                   
456            for file in listOfFiles:
457                    DI = csmllibs.csmldataiface.DataInterface()
458                    DI=DI.getUnknownInterfaceType(file)
459                    print'opening file'
460                    DI.openFile(file)
461                    print 'getting variables'
462                    allVarNames=DI.getListofVariables()
463                    print 'getting feature count'
464                    numFeatures=len(allVarNames)       
465                   
466                    print "FEATURES"
467                    print "***********"
468                    for i in range (0, len(allVarNames)):
469                            print allVarNames[i]
470                           
471                    for i in range (0, numFeatures):
472                            gml_featureMember_element=csmldoc.createElement("gml:featureMember")
473                            ProfileFeature_element=csmldoc.createElement("ProfileFeature")
474                            ProfileFeature_element.setAttribute('gml:id',str(allVarNames[i]))
475                            gml_description_element = csmldoc.createElement("gml:description")
476                            gml_featureMember_element.appendChild(ProfileFeature_element)
477                            #***********************************************************************
478                            #PointSeriesDomain:
479                            #***********************************************************************
480                            ProfileDomain_element=csmldoc.createElement("ProfileDomain")
481                           
482                           
483                            #***********************************************************************
484                            # domainReference element (and sub-elements)               
485                            #***********************************************************************
486                            domainReference_element=csmldoc.createElement("domainReference")
487                            #orientedPosition_element=csmldoc.createElement("OrientedPosition")
488                            #locations_element=csmldoc.createElement("locations")
489                            #times_element=csmldoc.createElement("times")
490                            #trajectory_element.appendChild(locations_element)
491                            #trajectory_element.appendChild(times_element)
492                            #domainReference_element.appendChild(orientedPosition_element)
493                           
494                            #gml_timePositionList_element = csmldoc.createElement("gml:TimePositionList")
495                            #gml_timePositionList_element.appendChild(csmldoc.createTextNode(self.timeString))
496                            #domainReference_element.appendChild(gml_timePositionList_element)
497                            ProfileDomain_element.appendChild(domainReference_element)
498                            #***********************************************************************
499                            domainComplement_element=csmldoc.createElement("domainComplement")
500                            ProfileDomain_element.appendChild(domainComplement_element)
501                           
502                            #***********************************************************************
503                            # gml:rangeSet_element
504                            #***********************************************************************
505                           
506                            gml_rangeSet_element=csmldoc.createElement("gml:rangeSet") 
507                           
508                            #***********************************************************************
509                            # gml:coverageFunction element (and sub-element MappingRule)               
510                            #***********************************************************************
511                            gml_coverageFunction_element=csmldoc.createElement("gml:coverageFunction")
512                            MappingRule_element=csmldoc.createElement("MappingRule")
513                            #MappingRule_element.setAttribute('scanOrder',csmllibs.csmlextra.getMappingRule(len(dimNames)))
514                            MappingRule_element.setAttribute('scanOrder','tba')
515                            gml_coverageFunction_element.appendChild(MappingRule_element)
516                           
517                           
518                            gml_featureMember_element.appendChild(ProfileDomain_element)
519                            gml_featureMember_element.appendChild(gml_rangeSet_element)
520                            gml_featureMember_element.appendChild(gml_coverageFunction_element)
521                            gml_FeatureCollection_element.appendChild(gml_featureMember_element)       
522                           
523            return 
524                           
525       
Note: See TracBrowser for help on using the repository browser.