Ignore:
Timestamp:
12/02/09 17:40:48 (11 years ago)
Author:
cbyrom
Message:

Various fixes, tidy ups and simplications to ndgCommon codebase.

Location:
ndgCommon/trunk/ndg/common/src
Files:
8 edited

Legend:

Unmodified
Added
Removed
  • ndgCommon/trunk/ndg/common/src/clients/ws/discoveryserviceclient.py

    r4921 r4970  
    1010import sys, time, os.path, logging 
    1111from xml.dom import expatbuilder 
    12 from ndg.common.src.lib.ETxmlView import loadET,et2text 
     12from ndg.common.src.lib.ETxmlView import loadET 
    1313from ndg.common.src.clients.interfacesearchclient import InterfaceSearchClient 
    1414 
  • ndgCommon/trunk/ndg/common/src/clients/xmldb/eXist/atomclient.py

    r4928 r4970  
    5757         
    5858        if loadCollectionData: 
    59             self.atomCollections = self.__getAllAtomCollections() 
     59            self.__getAllAtomCollections() 
    6060         
    6161        logging.debug("AtomClient initialised") 
     
    7171        logging.info("Retrieving all atom collection paths") 
    7272 
    73         docs = self.buildAndRunQuery('atomList', dc.ATOM_COLLECTION_PATH, '', '') 
     73        docs = self.buildAndRunQuery('atomList', dc.ATOM_COLLECTION_PATH,  
     74                                     '', '', useChunked = True) 
    7475         
    7576        if not docs: 
     
    7879        et = ET.fromstring(docs[0]) 
    7980        colData = {} 
     81 
    8082        for member in et: 
    8183            collection = member.findtext('{http://www.w3.org/2005/Atom}fileName') 
     
    8789 
    8890        logging.debug("Finished looking up atom paths") 
    89         return colData 
     91        self.atomCollections = colData 
    9092 
    9193 
     
    119121                fileName = atom.datasetID + str(datetime.datetime.today().microsecond) 
    120122                self.createDoc(atom.toPrettyXML(), 
    121                                '/db/atoms/working/data_granules/badc.nerc.ac.uk', 
    122 #                               atom.getDefaultCollectionPath(),  
     123                               atom.getDefaultCollectionPath(),  
    123124                               fileName) 
    124125                tempAtomPath = atom.getDefaultCollectionPath() + fileName 
  • ndgCommon/trunk/ndg/common/src/clients/xmldb/eXist/crudclient.py

    r4924 r4970  
    105105            thread.start() 
    106106        else: 
    107             self.createEXistFile(doc, collection, fileName) 
     107            self.createDoc(doc, collection, fileName) 
    108108 
    109109        self.backupName = docPath 
  • ndgCommon/trunk/ndg/common/src/clients/xmldb/eXist/feedclient.py

    r4927 r4970  
    119119        eXist feeds 
    120120        ''' 
    121         import pdb 
    122         pdb.set_trace() 
    123121        # add to top level feed 
    124122        self.createAtomFeedEntry(dc.ATOM_COLLECTION_PATH, atom) 
  • ndgCommon/trunk/ndg/common/src/dal/ndgDirectory.py

    r4931 r4970  
    6363        et = ET.fromstring(doc[0]) 
    6464        for member in et: 
    65             #fn = member.findtext('{%s}fileName'%self.ns) 
    66             #eid = member.findtext('{%s}repositoryID'%self.ns) 
    67             #c = member.findtext('{%s}created'%self.ns) 
    68             fn = member.findtext('fileName') 
    69             eid = member.findtext('repositoryID') 
    70             c = member.findtext('created') 
     65            fn = member.findtext('{%s}fileName'%self.ns) 
     66            eid = member.findtext('{%s}repositoryID'%self.ns) 
     67            c = member.findtext('{%s}created'%self.ns) 
    7168            self.members.append({'fileName':fn,'EntryID':eid,'created':c}) 
    7269         
  • ndgCommon/trunk/ndg/common/src/lib/utilities.py

    r4934 r4970  
    2424 
    2525URLIB2_INITIALISED = False 
     26 
     27        
     28class edict(dict): 
     29    '''An extended dictionary which allows one to set and get values 
     30    as attributes (kudos Joe Gregorio's 1812)  
     31    The extended part allows you to get and set values as attributes. 
     32    That is,  
     33       d.fred  
     34    is the same as  
     35       d['fred'] 
     36    ''' 
     37    def __init__(self,**kw): 
     38        for a in kw: 
     39            self[a]=kw[a] 
     40    def __getattr__(self, key): 
     41        try: 
     42            return self.__dict__[key] 
     43        except KeyError: 
     44            pass 
     45        try: 
     46            assert not key.startswith('_') 
     47            return self.__getitem__(key) 
     48        except: 
     49            raise AttributeError, "object has no attribute '%s'" % key 
     50    def __setattr__(self, key, value): 
     51        if key.startswith('_'): 
     52            self.__dict__[key] = value 
     53        else: 
     54            return self.__setitem__(key, value) 
    2655 
    2756 
     
    87116    if not URLIB2_INITIALISED: 
    88117        # set the socket timeout period 
    89         socket.setdefaulttimeout(40) 
     118        socket.setdefaulttimeout(120) 
    90119     
    91120        proxy_support = urllib2.ProxyHandler(PROXIES) 
  • ndgCommon/trunk/ndg/common/src/models/Atom.py

    r4935 r4970  
    762762            else: 
    763763                logging.debug("No file data - adding contents of element instead") 
    764 #                div = contentTag.find('{http://www.w3.org/1999/xhtml}div') 
    765                 div = contentTag.find('{%s}div'%ndgObject.ATOM_NS) 
    766                 self.Content = div.text 
     764                div = contentTag.findtext('{%s}div'%ndgObject.ATOM_NS) 
     765                self.Content = div 
    767766         
    768767        range = tree.findtext('{%s}temporalRange' %ndgObject.MOLES_NS) 
     
    13011300                else: 
    13021301                    localID = link.href.split("__ATOM__")[-1] 
    1303                     deploymentAtom = searchClient.getNDGDoc(self.ME.providerID,  
     1302                    deploymentAtom = searchClient.getNDGDoc('',  
    13041303                                                            'ATOM', localID,  
    13051304                                                            targetCollection = dc.ATOM_COLLECTION_PATH) 
  • ndgCommon/trunk/ndg/common/src/tools/existatomvalidator.py

    r4936 r4970  
    119119        self._setUpOptions() 
    120120 
    121         self.validator = AtomValidator(None, self.DBCONFIG_FILE, loadAllCollections=True, \ 
     121        self.validator = AtomValidator(None, dbConfigFile = self.DBCONFIG_FILE,  
     122                                       loadAllCollections=True, 
    122123                                       raiseException = False) 
    123124         
Note: See TracChangeset for help on using the changeset viewer.