Changeset 6661 for TI01-discovery-Ingest


Ignore:
Timestamp:
02/03/10 11:28:58 (10 years ago)
Author:
sdonegan
Message:

Updated so no original_document text field in original_document table

Location:
TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/database
Files:
4 edited

Legend:

Unmodified
Added
Removed
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/database/create_database.sh

    r3968 r6661  
    2929psql -f spatial_data.sql $dbOptions 
    3030psql -f temporal_data.sql $dbOptions 
    31 psql -f spatial_temporal_data.sql $dbOptions 
     31 
     32 
     33psql -f spatial_temporal_data.sql $dbOptions #  
     34 
    3235# - the following loads some test data into the system - useful for testing in absence of ingestible datasets 
    3336#psql -f test_data.sql $dbOptions 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/database/ingest_procedures.sql

    r5581 r6661  
    3030        -- This inserts a new document into the DB 
    3131        INSERT INTO ORIGINAL_DOCUMENT (original_document_id, original_document_filename,  
    32             discovery_id, original_format, original_document, document_ts_vector, authors_ts_vector,  
     32            discovery_id, original_format, document_ts_vector, authors_ts_vector,  
    3333            parameters_ts_vector, scope_ts_vector, create_date, harvest_count, scn, dataset_name, datacentre_name, dataset_metadata_update_date, dataset_start_date_nom, dataset_end_date_nom ) VALUES ( 
    34             DEFAULT, filename_in, discovery_id_in, doc_type_in, original_document_in,  
     34            DEFAULT, filename_in, discovery_id_in, doc_type_in,  
    3535                        to_tsvector('english', original_document_in), to_tsvector('english', authors),  
    3636                        to_tsvector('english', parameters), to_tsvector('english', scope), current_timestamp, 1, 1, dataset_name_in, datacentre_name_in, metadata_update_date_in, dataset_start_date_in, dataset_end_date_in); 
     
    9090                        original_document_filename = filename_in, 
    9191            discovery_id = discovery_id_in, 
    92                         original_format = doc_type_in, 
    93                         original_document = original_document_in, 
     92                        original_format = doc_type_in,                   
    9493            document_ts_vector = to_tsvector('english', original_document_in), 
    9594            authors_ts_vector = to_tsvector('english', authors), 
    9695            parameters_ts_vector = to_tsvector('english', parameters), 
    9796            scope_ts_vector = to_tsvector('english', scope), 
    98             update_date = current_timestamp,  
     97            update_date = metadata_update_date_in,  
    9998                        harvest_count = 1, 
    10099                        scn = scn_in + 1, 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/database/ingest_procedures_MEDIN.sql

    r6631 r6661  
    3030        -- This inserts a new document into the DB 
    3131        INSERT INTO ORIGINAL_DOCUMENT (original_document_id, original_document_filename,  
    32             discovery_id, original_format, original_document, document_ts_vector, authors_ts_vector,  
    33             parameters_ts_vector, scope_ts_vector, create_date, harvest_count, scn, dataset_name, datacentre_name, dataset_metadata_update_date, dataset_start_date_nom, dataset_end_date_nom ) VALUES ( 
    34             DEFAULT, filename_in, discovery_id_in, doc_type_in, original_document_in,  
     32            discovery_id, original_format, document_ts_vector, authors_ts_vector,  
     33            parameters_ts_vector, scope_ts_vector, create_date, harvest_count, scn, dataset_name, datacentre_name, dataset_metadata_update_date, dataset_start_date_nom, dataset_end_date_nom,update_date ) VALUES ( 
     34            DEFAULT, filename_in, discovery_id_in, doc_type_in,  
    3535                        to_tsvector('english', original_document_in), to_tsvector('english', authors),  
    36                         to_tsvector('english', parameters), to_tsvector('english', scope), current_timestamp, 1, 1, dataset_name_in, datacentre_name_in, metadata_update_date_in, dataset_start_date_in, dataset_end_date_in); 
     36                        to_tsvector('english', parameters), to_tsvector('english', scope), current_timestamp, 1, 1, dataset_name_in, datacentre_name_in, metadata_update_date_in, dataset_start_date_in, dataset_end_date_in, current_timestamp); 
    3737 
    3838                SELECT original_document_id INTO db_id FROM ORIGINAL_DOCUMENT WHERE discovery_id = discovery_id_in; 
     
    9393            discovery_id = discovery_id_in, 
    9494                        original_format = doc_type_in, 
    95                         original_document = original_document_in, 
    9695            document_ts_vector = to_tsvector('english', original_document_in), 
    9796            authors_ts_vector = to_tsvector('english', authors), 
    9897            parameters_ts_vector = to_tsvector('english', parameters), 
    9998            scope_ts_vector = to_tsvector('english', scope), 
    100             update_date = metadata_update_date_in,  
     99            update_date = current_timestamp,  
    101100                        harvest_count = 1, 
    102101                        scn = scn_in + 1, 
  • TI01-discovery-Ingest/trunk/v4n_MEDIN/ingestAutomation-upgrade/database/original_document.sql

    r6444 r6661  
    1111                discovery_id    varchar(255) unique not null, 
    1212                original_format text, 
     13                original_format_name text, 
     14                original_format_version text, 
    1315                datacentre_name text, 
    1416                dataset_name text, 
    1517                dataset_abstract text, 
    16                 dataset_metadata_update_date timestamp, 
     18                dataset_metadata_update_date timestamp, -- update/revision of actual metadata content by DC 
     19                dataset_metadata_creation_date timestamp, -- creation date of actual metadata content by DC 
     20                dataset_metadata_publication_date timestamp, -- publication date of actual metadata content by DC 
    1721                dataset_start_date_nom timestamp, -- simplest method to allow ordering by date when no date info present in temporal table!! 
    1822                dataset_end_date_nom timestamp, -- ditto for end data ordering 
    19                 original_document text, 
    20                 document_ts_vector      tsvector, 
     23                document_ts_vector      tsvector, -- note original_document taken out 
     24                authors text, --original text version so can return original info 
    2125                authors_ts_vector       tsvector, 
     26                parameters text, --original text version so can return original info 
    2227                parameters_ts_vector    tsvector, 
    23                 medin_var1 text, 
    24                 medin_var2 text, 
    25                 medin_var3 text, 
    26                 medin_var4 text, 
    27                 medin_var5 text, 
     28                resource_type text, --original text version so can return original info 
     29                resource_type_ts_vector   tsvector, 
     30                topic_category text, --original text version so can return original info 
     31                topic_category_ts_vector  tsvector, 
     32                lineage text, --original text version so can return original info 
     33                lineage_ts_vector tsvector, 
     34                limitations_public_access text, --original text version so can return original info 
     35                limitations_public_access_ts_vector   tsvector, 
     36                data_originator text, -- for returning actual value of data originator 
     37                data_originator_tsvector tsvector,      -- to allow searching of data originator as a targeted search 
    2838                scope_ts_vector tsvector, 
    29                 create_date     timestamp, 
    30                 update_date timestamp, 
     39                create_date     timestamp, -- creation date of upload of record in the Discovery DB 
     40                update_date timestamp, -- subsequent date of update to the record in the Discovery DB 
    3141                harvest_count int,      -- this is a counter to store the number of times a doc is repeatedly harvested, even though it hasn't changed 
    3242                resultset_count int,    -- this is a counter to store the number of times a doc has been included in a resultset 
Note: See TracChangeset for help on using the changeset viewer.