jour 4 : publication des données sur l'internet création de réseaux d'information sur...
Post on 04-Apr-2015
110 Views
Preview:
TRANSCRIPT
Jour 4 :Jour 4 :
Publication des données sur Publication des données sur l'Internetl'Internet
Création de réseaux Création de réseaux d'information sur la d'information sur la
biodiversitébiodiversité
Sommaire
Rappel sur le XML
Présentation des standards de connexion
Sommaire
Présentation de l’IPT (Integrated Publishing Toolkit)
Démonstration de l’IPT
XMLXML
Sommaire
Présentation Avantages Utilisation du XML
Présentation
XML : eXtensible Markup Language Format d’échange de données Méta-Langage à balises
Même principe que le HTML Information ajoutée au contenu pour marquer la
structure logique
Présentation<?xml version="1.0" encoding="UTF-8"?> ENTÊTE et ENCODAGE<DataSets xmlns="http://www.tdwg.org/schemas/abcd/1.2"> <DataSet> <OriginalSource> <SourceInstitutionCode>BDI</SourceInstitutionCode> ELEMENT
<SourceName>BoBO - Botanic Garden Berlin BDI Observations</SourceName> <SourceLastUpdatedDate>2004-09-27</SourceLastUpdatedDate>
</OriginalSource> <DatasetDerivations> <Units> <!– liste des unités --> COMMENTAIRE <Unit> BALISE OUVRANTE <UnitID>2</UnitID> <RecordBasis>Observation</RecordBasis> ... <HigherTaxon TaxonRank="Kingdom">animalia</HigherTaxon> ATTRIBUT </Unit> BALISE FERMANTE </Units> </DataSet></DataSets>
Présentation
Séparation du fond et de la forme Forme : présentation à partir de la structure (style) Fond : structure + données (contenu)
Langage multi-support
Avantages
Lisibilité : simple à comprendre Autodescriptif et extensible Structure arborescente Facilement déployable Intégrabilité
Utilisation du XML
Standardise l’information indépendamment de la structure de la base de données source
Principe de « wrapping » : permet une mise en correspondance des
colonnes et les tables d'une base de données
avec un ou plusieurs éléments d'un schéma
XML donné
Utilisation du XML
Au niveau du wrapper:
Standards XML : ABCD et DarwinCore
Logiciels : Biocase, TAPIR, DIGIR et IPT
StandardsStandards
Standards
Standard : document qui fournit des règles pour des procédés et méthodes de production.
Utilisé pour la conception des collections et bases de données de gestion de l'information.
Standards
Standards d’échange de données :
Protocoles de transfert utilisés pour organiser et formater l’information pour échange.
ABCD et Darwin Core : standards d’échange les plus connus pour les données de collection.
Standards
Pourquoi des standards? Fournir le medium, les règles et les protocoles
pour échanger l’information. Permer l’interoperatibilité des données avec
d’autres données. Homogeneise l’information en vue de son
intégration à un système mondial
Darwin Core
Facilite l’échange d’information à propos des occurrences géographiques des espèces et l’existence des spécimens dans les collections.
Pertinent pour les collections d’histoire naturelle.
Darwin Core
Schéma simple, adapté aux données sur fichiers plats.
46 éléments regroupés dans 7 catégories :Record level, taxonomic, identification, locality, collecting event, biological, reference.
Liste des champs sur : http://wiki.tdwg.org/twiki/bin/view/DarwinCore/DarwinCoreDraftStandard
ABCD
Projet BIOCASE
Standard d’échange de données sur les spécimens et les données d’observation.
Plus complexe que Darwin Core (1200 élements).
Site internet : http://wiki.tdwg.org/activities/ABCD
(Access to Biological Collections Data)
Biocase
Logiciel mettant en correspondance une source de données avec un standard choisi.
Produit : Fichier XML formaté et exploitable
DémonstrationDémonstration
Integrated Publishing Integrated Publishing Toolkit (1.0)Toolkit (1.0)
Présentation générale de l’IPT
Introduction Fonction dans le réseau GBIF Resources Caractéristiques Fonctionnalités Une plate-forme pour faciliter la décentralisation
Sommaire
Démonstration
Configuration Publication de métadonnées Publication de données Web application, interfaces
Sommaire
L’IPT est…Une web application Java open-source :
Connecter et publier 3 types de données de biodiversité :
- Données primaires
- Information sur les espèces
- Métadonnées sur les ressources À partir d’une source de données :
- Base de données
- Fichier plat Pour rendre ces données visibles sur le réseau distribué du GBIF
Un composant du réseau GBIF
Ressources Documentation et téléchargement
http://code.google.com/p/gbif-providertoolkit/
Demo sitehttp://ipt.gbif.org
Version 1.0 disponible depuis le 31/03/2009
Chef de projet :Markus Döring, Senior Software Engineer, GBIF
Caractéristiques Web application multilingue Contient un serveur de géolocalisation Gestion de rôles Base de données embarquée Supporte l’utilisation de fichiers texte (.csv) Utilisation de vocabulaire pour limiter les termes Utilisation d’extension pour Darwin Core Vérification de la qualité de données basique Utilisation d’identifiant unique (uuid)
Utilisation des wrappeurs
Scénario original
Les wrappeurs exposent les bases de données aux requêtes
Utilisation des wrappeurs Scénario fréquent
Une copie de base est utilisée pour la publication des données
Souvent sur une machine de moins bonne qualité (perte de performance)
Souvent non mise à jour (fraîcheur des données)
‘Récolte’ avec les protocoles existants Le fournisseur a un wrappeur TAPIR
Ce wrappeur permet de récuperer 200 enregistrements par requete.Si la base contient 260,000 enregistrements à récuperer :
1300 request / responses9 heures au total
500MB de transfert XMLSeulement 32MB “utiles” à l’index
Compressées en 3MB
UUne fois défini, le vocabulaire est accessible à tous les utilisateurs de l’IPT
Contrôle du vocabulaire
Schéma extensible
Page d’accueil paramétrable (1)
Page d’accueil paramétrable (2)
Gestion de rôles
Les users ne peuvent qu’explorer les données
Les managers ne gèrent que leurs données
Possibilité de partager une même instance IPT
S’enregistrer au GBIF
Gestion des extensions
Gestion des vocabulaires
Créer des métadonnées
Catégories de métadonnées Basic metadata Resource originator Geographic coverage Taxonomic coverage Temporal coverage IP Rights Research project information Methods Keywords
Mapping
Chargement des données
Pendant le chargement, les données sont importées de la source
(fichier plat ou base de données) Des statistiques sont calculés
Vue sur les ressources disponibles
Exploration taxonomique
La taxonomie provient de la source de données
Un premier niveau de contrôle de qualité de données est effectué
Résumé statistique
Graphiques
Contrôle de la qualité de données
Sortie XML
Web site: http://www.gbif.org
Data portal: http://data.gbif.org
GBIF SecretariatUniversitetsparken 152100 CopenhagenDenmark
E-mail: trobertson@gbif.org
Phone: +45 3532 1487
Contact
top related