valideringstjänst för miljöövervakningsdata, anders foureaux, naturvårdsverket

1 Naturvårdsverket | Swedish Environmental Protection Agency 1

Valideringstjänst för

Miljöövervakningsdata

GeoArena 2014 2014-10-14

Anders Foureaux

Processledare Dataflöden – Datavärdskap

Enheten för integrerad miljödataförsörjning

Naturvårdsverket


Den svenska miljöövervakningen bygger i hög

grad på att data samlas in av väldigt många olika

utförare på nationell, regional och lokal nivå.

Varje utförare ska enligt kontrakt leverera data till

en Datavärd som har i uppgift att:

1. Leveranskontrollera data

2. Lagra data

3. Tillgängliggöra data

Det finns mellan 10 och 15 datavärdar

Bakgrund


Utförare

Konsulter

Beställare

Avtal

Datavärd

Dataleverans

Avtal


Utförare

Konsulter Datavärd

Dataleverans

Beställare

Avtal Avtal


Fråga: Svar:

När är en dataleverans till

datavärd godkänd?

Vem godkänner leveransen?

Med stöd av vad?

Manual?

Erfarenhet?

Magkänsla?

Vem bestämmer?


• Det tar idag för lång tid mellan insamling av data innan en användare kan använda datat

• Kvalitetskontrollen tar för lång tid och är alltför personberoende

• Det är svårt för slutanvändaren att hitta relevant kvalitetsinformation i anslutning till datat.

Problem


En valideringstjänst för miljödata

Utvecklad av Metria på uppdrag av

Naturvårdsverket

Arbetet är fortfarande under utveckling

HaV ansluter nu till utvecklingsarbetet

Lösning

9

1. -Korta tiden mellan datafångst och användning eller presentation av data

2. -Kontrollera kvaliten på data mot erkända standarder och kvalitetsmåttt

3. -Skapa metadata för kvalitetsbeskrinving "on-the fly" I samband med kvalitetskontrollen

4. -Samla alla kvalitetskrav i en Data Produkt Specifikation.

5. -Spara tid så att anlitade experter hos datavärden ges möjlighet till mer kvalificerade analyser istället för att rätta felaktiga datafiler

6. -Så långt möjligt, använda samma OGC- och ISO standarder för Miljödata som INSPIRE föreskriver för Geodata.

Mål


En av >150 manualer

för insamling av data…


?

?

?

?

?

?

Manualerna

behöver bli

mer precisa!

Data Produkt Specifikation

ISO 19 131

Vi har för våra miljödata (tabelldata) testat att använda en

rad ISO standarder för att beskriva de kvalitetskrav vi

sedan länge ställer på de data vi samlar in.

Vi utgår från samma standarder som används inom

INSPIRE, men refererar även till andra

Vi samlar allt i ett och samma dokument för respektive

datatyp/ manual. Metaller och miljögifter i sediment t ex.

Dokumentet heter Dataproduktspecifikation och följer

standarden ISO 19 131

Vi är inte riktigt klara…


DPS för Metaller

och miljögifter i

sendiment


DPS för Miljögifter

i biota

(fisk t ex)


DPS för

Luftkvalitetsmätni

ngar i tätorter


Handbok för DPS

finns att ladda ned

hos SIS

kostnadsfritt!


Indatamall (xls) Metaller och miljögifter i

sediment

Ex ANALYSINSTRUMENT

Obligatorisk parameter

enligt DPS och kodlista

Ex SEDIMENT FÄRG

Valfri parameter

enligt DPS

Excel är inte slutmålet för inleverans av data…


Indatamall (xls) Luftkvalitet

Excel är inte slutmålet för inleverans av data…


Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata

Translation Validation

Data

host

Datafile in xls is

transformed into O&M (xml)

http://data.smhi.se/oce/SHARK/data_deliveries/


Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata


Data

host

Datafile in xls is




Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata


Data

host

?

Datafile in xls is


StnReg WFS-T



The validation

service need other

look-up services

for example

At JRC


The validation

service need other

look-up services

for example

At JRC

At EEA


The validation

service need other

look-up services

for example

At JRC

At EEA

Our

Station registry

WFS-T


Validation Service (FME)

Registry of monitoring stations (WFS-T)

Two ongoing pilot project together with Metria and

Sweco (consultants) and the Data hosts and other

experts

Two pilots

2012-02-02 27

XLS (t ex)

28

Respons per mail till leverantören om det

gick bra. Datavärden får filen med data +

specifikationsuppfyllelse + kvalitetsrapport

Kvalitetsrapport

Orginalfil (xls)

Leveranskvitto

Omtransformerad

Enligt O&M (xml)

29

Respons per mail till leverantören om det

INTE gick bra. Datavärden får ingen

leverans.

30

Stationen saknas i

Stationsregistret

som just nu är en

pilot, utvecklad av

Sweco i form av en

WFS-tjänst som

svarar på anrop från

valideringstjänsten.

WFS = Web Feature

Service (OGC- och

ISO standard

Fel!

Respons per mail till leverantören i om det

INTE gick bra. Med förklaringar.

31

Kvalitetsrapporten i xml enligt ISO 19139

vilket är samma som ISO 19115, dvs

”Inspire-standard för metadata”

• För att på ett standardiserat och spårbart sätt kunna

beskriva mätdatas kvalitet.

• För att låta en maskin i steg ett automatiskt göra de

kontroller som idag görs av människor

(och som är en av de främsta orsakerna till att data

inte kommer ut på webben i den takt användarna

förväntar sig)

• För att att skapa en starkare koppling mellan

kvalitetskraven i manualerna och valideringen.

Varför en fristående valideringstjänst ?

• Ger Naturvårdsverket (eller annan beställare)

ett verktyg att underlätta och kvalitetssäkra

miljöövervakningens datainsamling.

• Att satsa på en fristående tjänst som kan

nyttjas av många måste rimligen bli billigare

än att varje datavärd bygger sin egen tjänst

• Att satsa på en gemensam tjänst kommer

främja samordningen kring termer, begrepp,

kodlistor

• Kan utökas till alla datatyper, format, för t ex

utsläpp

Fördelar ?

Tillämpade standarder

• Dataspecifikation ISO 19131 struktur enligt

INSPIRE (även kallad produktspecifikation)

• Datamodell baserad på ISO 19156 Observations

and measurements vilket gör datamodellerna

kompatibla med INSPIRE datatema EF,

stationsregistret och analysmetodregister

• Kvalitetskontroll i enlighet med ISO 19157

• Metadata, resultat från QC enligt ISO 19139

(Samma som ISO 19115 fast uttryckt i XML)


Fråga: Svar:

När är en dataleverans till

datavärd godkänd?

När den uppfyller kraven i

dataproduktspecifikationen

Vem godkänner leveransen? En maskin i steg ett

En människa i steg två

Med stöd av vad?

Dataproduktspecifikationen

+ Expertbedömning

(människan behövs )

Manual? Behöver kopplas till DPS!

Erfarenhet? Bra om det finns

Magkänsla? Bra om den finns

Vem bestämmer? Beställaren


Frågor?

valideringstjänst för miljöövervakningsdata, anders foureaux, naturvårdsverket

Science