gestion pérenne des données scientifiques...3 le cycle de vie des données préparation du projet...
TRANSCRIPT
![Page 1: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/1.jpg)
SIST 2018 28-29 Juin 2018 [email protected]
Gestion pérenne des données scientifiques
Du Plan de Gestion des données au Datapaper
![Page 2: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/2.jpg)
2
Contexte général
![Page 3: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/3.jpg)
3
Le cycle de vie des données
Préparation du projetRédaction du
protocole et du PGDCollecte
ObservationExpérimentation
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Traitements &Analyses
PublicationDiffusion
Valorisation
![Page 4: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/4.jpg)
4
Une gestion à chaque étape
PublicationDiffusion
Valorisation
Traitements &Analyses
Livraison &
Structuration du Jeu de données
ArchivagePré-traitement des
données brutesCatalogage
(métadonnées)Préparation du projet
Rédaction du protocole
CollecteObservation
Expérimentation
Les objectifs poursuivis (≠ atteints !)
- Traçabilité des projets et de leurs données
- Accès aux données facilité pour tous les
agents de l’UMR
- « Chaîne de la donnée » (= sans rupture)
- Standardisation → Ouverture → Valorisation
![Page 5: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/5.jpg)
5
Préparation du projetRédaction du
Protocole et du PGD
Pour garantir la réussite de la campagne de collecte
→ Quels objectifs poursuivis ?
→ Quel cadre scientifique ?
→ Quel type de données à collecter ?
→ Qui fait quoi ?
→ Mode opératoire …
PLANIFIER
![Page 6: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/6.jpg)
6
Dialogue entre tous les acteurs + documents de références
→Meilleure anticipation
→ Premières métadonnées
PLANIFIER
Préparation du projetRédaction du
Protocole et du PGD
![Page 7: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/7.jpg)
7
Dialogue entre tous les acteurs + documents de références
→Meilleure anticipation
→ Premières métadonnées
⇒ Protocole écrit et diffusé à l’avance
(Sharepoint, protocols.io)
⇒ Plan de gestion des données
(Opidor)
PLANIFIER
Préparation du projetRédaction du
Protocole et du PGD
![Page 8: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/8.jpg)
8
Préparation du projetRédaction du
Protocole et du PGDCollecte
ObservationExpérimentation
Etape cruciale mais souvent négligée
→ Bonne collecte ssi protocole complet et disponible
→ Contrôle de la qualité in situ
→ Gestion des échantillons
Collec-Science
ACQUÉRIR
![Page 9: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/9.jpg)
9
CollecteObservation
Expérimentation
Etape cruciale mais souvent négligée
→ Bonne collecte ssi protocole complet et disponible
→ Contrôle de la qualité in situ
→ Gestion des échantillons
⇒ Apport des outils embarqués pour initier le flux des données :
Assistance à la saisie – BDD alimentée sur le terrain
Collec-Science
ACQUÉRIR
Préparation du projetRédaction du
Protocole et du PGD
![Page 10: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/10.jpg)
10
CollecteObservation
Expérimentation
Pré-traitement des données brutes
Vérifications post-terrain
→ Contrôle de l’intégrité des données
→ Éliminations des valeurs aberrantes
CONTRÔLER
Préparation du projetRédaction du
Protocole et du PGD
![Page 11: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/11.jpg)
11
CollecteObservation
Expérimentation
Pré-traitement des données brutes
Vérifications post-terrain
→ Contrôle de l’intégrité des données
→ Éliminations des valeurs aberrantes
⇒ Scripts R, OpenRefine, ETL ...
CONTRÔLER
Préparation du projetRédaction du
Protocole et du PGD
![Page 12: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/12.jpg)
12
Pré-traitement des données brutes
Catalogage(métadonnées)
Garantir la pérennité du jeu de données
→ Décrire les données et leur contexte
→ Faciliter la réutilisation
→ Normaliser pour une compréhension commune
CollecteObservation
Expérimentation
DÉCRIRE
Préparation du projetRédaction du
Protocole et du PGD
![Page 13: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/13.jpg)
13
Pré-traitement des données brutes
Catalogage(métadonnées)
Garantir la pérennité du jeu de données
→ Décrire les données et leur contexte
→ Faciliter la réutilisation
→ Normaliser pour une compréhension commune
⇒ Geonetwork, IPT, GeoNAPI R
CollecteObservation
Expérimentation
DÉCRIRE
Préparation du projetRédaction du
Protocole et du PGD
![Page 14: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/14.jpg)
14
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Stocker le jeu de données sur le long terme
→ Sauvegarder les données brutes
→ Permettre l’accès futur aux données
→ Garantir l’intégrité de la ressource
CollecteObservation
Expérimentation
DataCenter
STOCKER
Préparation du projetRédaction du
Protocole et du PGD
![Page 15: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/15.jpg)
15
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Stocker le jeu de données sur le long terme
→ Sauvegarder les données brutes
→ Permettre l’accès futur aux données
→ Garantir l’intégrité de la ressource
⇒ Datacenter
CollecteObservation
Expérimentation
DataCenter
STOCKER
Préparation du projetRédaction du
Protocole et du PGD
![Page 16: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/16.jpg)
16
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Intégrer les données dans le Sys. d’information
→Bases de données partagées
ORGANISER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 17: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/17.jpg)
17
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Intégrer les données dans le Sys. d’information
→Bases de données partagées
⇒ Infrastructure de Données Géographiques (IDG)
ORGANISER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 18: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/18.jpg)
18
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Traitements &Analyses
Traitements « scientifiques »
→Statistiques, SIG, algorithmes, interprétation …
ANALYSER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 19: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/19.jpg)
19
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Traitements &Analyses
Traitements « scientifiques »
→Statistiques, SIG, algorithmes, interprétation …
⇒ WPS, publication de scripts
ANALYSER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 20: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/20.jpg)
20
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Traitements &Analyses
PublicationDiffusion
Valorisation
OPEN SCIENCE !
→Mettre en oeuvre la réutilisation
PARTAGER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 21: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/21.jpg)
21
Pré-traitement des données brutes
Catalogage(métadonnées)
Archivage
Livraison &
Structuration du Jeu de données
Traitements &Analyses
PublicationDiffusion
Valorisation
OPEN SCIENCE !
→Mettre en oeuvre la réutilisation
⇒ WFS, R, IPT, DOI & Datapaper
PARTAGER
CollecteObservation
Expérimentation
Préparation du projetRédaction du
Protocole et du PGD
![Page 22: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/22.jpg)
22
Appli Web
SYGADE (IRSTEA) Gestionnaire
de données d’enquêtes
TERRAIN
LABO
Réseau antennes GPS centimétriques
WEB
IPT
Télédétection
Enquêtes
WebmapMétadonnées
Observations
Collec-Science
Relevés naturalistes
Geo Data
![Page 23: Gestion pérenne des données scientifiques...3 Le cycle de vie des données Préparation du projet Rédaction du protocole et du PGD Collecte Observation Expérimentation Pré-traitement](https://reader033.vdocuments.site/reader033/viewer/2022060905/60a0275f5f037e3bbb28bb88/html5/thumbnails/23.jpg)
23
Appli Web
SYGADE (IRSTEA) Gestionnaire
de données d’enquêtes
TERRAIN
LABO
Réseau antennes GPS centimétriques
WEB
IPT
Télédétection
Enquêtes
Métadonnées
Observations
Collec-Science
Relevés naturalistes
Geo Data
Webmap