Changeset 6685


Ignore:
Timestamp:
05/03/10 14:25:23 (9 years ago)
Author:
sdonegan
Message:

roundup updates - ingestion working well

Location:
TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch
Files:
4 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/ExtractISO.py

    r6660 r6685  
    122122                self.datasetID = self.getElementVal(self.isoModel.datasetID()) 
    123123                 
     124                #noticed some MEDIN centres allowing space characters in a unique id.. change to single underscore! (remember only 1 allowed!) 
     125                self.datasetID[0][0] = self.datasetID[0][0].replace(" ", "_") 
     126                 
     127         
    124128                self.revisionDate = self.getElementVal(self.isoModel.metadataRevisionDate()) 
    125129                 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/PostgresDAO.py

    r6660 r6685  
    215215                logging.info("Data type not text or vector!") 
    216216                 
    217                 if len(columnValue[0]) > 1: 
     217                if len(columnValue[0]) == 0: 
     218                        newColVal = "null" 
     219                elif len(columnValue[0]) > 1: 
    218220                        logging.warn("NOTE: " + columnName + " is attempting to add multiple values - just take first for now!") 
    219221                        newColVal = columnValue[0][0] 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/abstractdocumentingester.py

    r6660 r6685  
    528528                                #Back to main stream of ISO ingest 
    529529                                if self._NDG_dataProvider: 
     530                                         
     531                                        #to ensure "stubISO" doesnt make it into the filename on system and in the db, use the self. 
    530532                                                                 
    531533                                        #changed so new new NDG3 discovery can pick up Discoveru View URL's correctly?  (why should it be different to previous?) 
    532                                         new_filename = discovery_dir + self._datacentre_namespace + "__" + self.isoFormat + "__"+ metadataFilename.replace(":", "-")+".xml" 
    533                                         new_filename_short = self._datacentre_namespace + "__" + self.isoFormat + "__" + metadataFilename.replace(":", "-")+".xml" 
     534                                        new_filename = discovery_dir + self._datacentre_namespace + "__" + self._currentMedinStandard + "__"+ metadataFilename.replace(":", "-")+".xml" 
     535                                        new_filename_short = self._datacentre_namespace + "__" + self._currentMedinStandard + "__" + metadataFilename.replace(":", "-")+".xml" 
    534536                                 
    535537                                         
     
    540542                                        ident = ident.replace("/", "-") 
    541543                                 
    542                                         new_filename = discovery_dir + "/" +self._datacentre_namespace+ "__"+ self.isoFormat + "__"+ ident +".xml" 
    543                                         new_filename_short = self._datacentre_namespace+ "__"+ self.isoFormat + "__"+ ident +".xml" 
     544                                        new_filename = discovery_dir + "/" +self._datacentre_namespace+ "__"+ self._currentMedinStandard + "__"+ ident +".xml" 
     545                                        new_filename_short = self._datacentre_namespace+ "__"+ self._currentMedinStandard + "__"+ ident +".xml" 
    544546                                 
    545547                                         
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/OAIBatch/testISO.py

    r6618 r6685  
    3232#dif2stubIso_file = 'data/NEODC/stub_iso/neodc.nerc.ac.uk__stubISO__dataent_11658383444211836_DIF.xml' 
    3333 
    34 inputISO = 'data/MEDIN/ISO_19139_Dataset_DASSH_v1.0.xml' 
     34#inputISO = 'data/MEDIN/ISO_19139_Dataset_DASSH_v1.0.xml' 
     35inputISO = '../../ingestData/ceh/ceh-core-v-0-6.xml' 
    3536 
    3637#test dif 2 iso 
Note: See TracChangeset for help on using the changeset viewer.