opne data, blug, bergen - 2016-03-31

Opne dataLivar Bergheim, Difi

Bergen, BLUG-møte 2016-03-31

Innhald

• Opne data - kva og kvifor?

• Nokre døme på bruk

• Korleis ta i bruk opne data

• Kva skjer

Direktoratet for forvaltning og IKT

Difi – Direktoratet for forvaltning og IKT

• Oppretta 2008

• Underlagt Kommunal- og moderniseringsdepartementet (KMD)

• Om lag 285 tilsette i Leikanger og Oslo

• Mandat:utvikle, forenkle og fornye offentlig sektor

• Har statsforvaltninga som primærmålgruppe

Skjermbilete: http://www.yr.no/artikkel/_-dei-syntes-vi-var-nokre-tullebukkar-1.12542740

Innhald

• Opne data - kva og kvifor?

• Nokre døme på bruk

• Korleis ta i bruk opne data

• Kva skjer

«Åpne data er fritt tilgjengelige for bruk og viderebruk av alle, både mennesker og maskiner. Dataforvaltere kan ikke kreve mer enn å bli oppgitt som kilde.»

Skjermbilete av CSV-datasett, vist i Excel: http://data.norge.no/data/stavanger-kommune/

skoleruter-barne-og-ungdomsskolene-i-stavanger-kommune

Skjermbilete av CSV-datasett, vist i Excel:http://data.norge.no/data/aure-kommune/skolerute-20152016-0

«Åpne data er fritt tilgjengelige for bruk og viderebruk av alle, både mennesker og maskiner. Dataforvaltere kan ikke kreve mer enn å bli oppgitt som kilde.»

Offentlege data• Finansiert av samfunnet.

• Data er forvalta på vegne av samfunnet.

• Nyttig for andre, både i offentleg sektor og elles.

• Offentleg sektor verken kan eller skal gjere alt sjølve. Både kapasitet til å lage/gjere alt, og muleghet til å kome på dei gode idèane.

• Opne data er ein måte å gjere offentleg informasjon tilgjengeleg for vidarebruk.

• Vanlegvis gratis, eller til kostpris — med nokre unntak.

Trafikklyssystemet• Klassifisering av grad av openheit på data

• Raud: Lukka. Datasett som på grunn avheilt spesifikke årsaker, f.eks. tryggleik, sensitive persondata eller immaterielle rettar, må haldast internt, eller potensielt berre delast med dei/det individet det gjeld.

• Gul: Avgrensa. Kan potensielt delast med andre offentlege verksemder, avhengig av lovheimel og formål.

• Grøn: Ope. Kan delast med alle.

Open lisens

Strukturerte data

Ope format

http-URIar

Lenka data

www.5stardata.info

Ulike typar distribusjonarTypar distribusjon : - Filnedlasting - API - Verktøy for å generere uttrekk (t.d. msis.no)

Skjermbilete: http://www.msis.no/

Kvifor opne offentlege data?

• Eit ope og opplyst demokrati

• Næringsutvikling og verdiskaping

• Effektivisering og innovasjon i offentleg sektor

Innhald

• Opne data - kva og kvifor?

• Nokre døme på bruk

• Korleis ta i bruk opne data

• Kva skjer

Eit ope og opplyst demokrati

Demokratisering og gjennomsiktighet

Datajournalistikk

• Datastøtta journalistikk analysere store datamengder for å finne nyhetssaker

• Infografikk / datavisualisering

• Interaktive visualiseringar

Kjelde: Wikipedia - https://en.wikipedia.org/wiki/Data_journalism Illustrasjon: collegehumor.com - http://bit.ly/1POHPJi

Skjermbilete frå sak på BT.no, tatt 2016-03-31: http://www.bt.no/nyheter/lokalt/Vurderer-fortlopende-tiltak-mot-luftforurensing-3524126.html (2016-01-17)

Illustrasjon: Bergens Tidende, frå metoderapport (2013) - http://bit.ly/1NsL0Gz

Skjermbilete: Bergens Tidende, metoderapport (2013) - http://bit.ly/1NsL0Gz

Bilde av Sankey-diagram frå http://openbudgetoakland.org/2015-17-proposed-budget-flow.html

Døme på Treemap. Skjermbilete henta frå: «Obama’s 2012 Budget Proposal: How $3.7 Trillion is Spent»

http://www.nytimes.com/packages/html/newsgraphics/2011/0119-budget/

Budsjett frå Bergen kommune

Skjermbilete frå datasett frå Bergen kommune http://bit.ly/1jjEm7o

holderdeord.no

Logo: Silje Nyløkken, designbasen.no - http://bit.ly/1lJY1Px

Skjermbilete: https://www.holderdeord.no/issues/47-utvide-til-11-maneders-studiestotte

Skjermbilete: holderdeord.no - 2015-11-25

Skjermbilete: holderdeord.no - 2015-11-25

Skjermbilete: holderdeord.no - 2015-11-25

Skjermbilete: https://enighet.holderdeord.no/ - 2016-02-17

Skjermbilete: https://enighet.holderdeord.no/ - 2016-02-17

Oslo kommune

• Byrådet vil:

• At alle etater skal tilgjengeliggjøre verdifulle data for publikum på DIFIs åpne dataplattform, for å bidra til innovasjon

• Gjøre informasjon om saker, forslag og stemmegiving i bystyret enkelt tilgjengelig i form av strukturerte data

Utdrag frå byrådserklæringa okt. 2015 - http://bit.ly/1QIxC1m

Næringsutvikling og verdiskaping

TerraFab

Video: TerraFab av Bengler - http://bengler.no/terrafab

• Datasetta i det nasjonale kartgrunnlaget (N50, N250, N500, N1000, N2000 og N5000 Kartdata og Rasterdata)

• Administrative grenser

• Vegdata med adresser

• Digitale terrengmodellar

• Stadnamndata

• Historiske kart

• Sjødata

• Tur- og friluftsruter

• Offisielle adresser

• Geodetiske datasett

• Postsoner og valgkrinsar

• Illustrasjonskart i små målestokkar

Døme på bruk av cache-tenester for kartfliser frå Kartverket - http://bit.ly/1Ii5uKn

Døme på bruk av Kartverket sine data. Skjermbilete, tatt nov. 2015: http://kartverket.no/Kart/Gratis-kartdata/Smartkart/

biocaching.no

Biocaching mottek pris på Slush i Finnland. Foto: Magnus Buer, Nordic innovation

Også forbetring av eksisterande tenester

• Ikkje berre nye appar eller tenester

• Grunnlagsdata

• Finn.no

• Case: registrere kvar hjertestartar-utstyr finst. Kobling til enhetsregisteret.

Video: Skjermopptak som viser type-ahead på Firmanavn.

http://geo.stordahl.org/enhetsregisteret.html

Brønnøysundregistrene

• Enhetsregisteret og underenheter

• 4-10 millionar API-kall i månaden dei siste par åra

• Koble mot eigne system. Kan “vaske” eigne lister over leverandørar/kundar.

Norsk reiseinformasjon (NRI)

• Nasjonal rutedatabase

• Rutedata - planlagte ruter, ikkje trafikkdata (sanntidsinformasjon)

• Inneheld data frå over 200 selskap som tilbyr personstransport, alt frå NSB, SAS, Norwegian, Skyss, hurtigbåtar og små busselskap.

• http://labs.rutebok.no/

Direktoratet for forvaltning og IKTDato

Skjermbilete, tatt nov. 2015: www.norgesruter.no

Direktoratet for forvaltning og IKTDato

Skjermbilete, tatt nov. 2015: www.tidr.no

Skjermbilete, tatt 2016-03-31: http://www.suncurves.com/

Effektivisering og innovasjon i offentleg sektor

• Meir effektiv deling av data Døme: Norges vassdrags- og energidirektorat (NVE) og Met.no.

• Innovasjon“Dei smarte hovuda jobbar ikkje hos oss”

Frå videoopptak av foredag, “Tenkning og strategi bak

«Smart Aarhus»”Kultur og naturreise sin konferanse 2015-11-13

http://bit.ly/1TfbA4M

Bergens mest etterspurte datasett

• Masteroppgåve: «Skaping av meirverdi gjennom opne data om kollektivtrafikk»

• Mai 2015

• http://breim.net/livar/

Bruk på tvers i offentleg sektor også viktig!

• “Tradisjonell” opne-data-tankegang:

• Offentleg sektor gjer data tilgjengeleg

• Private lagar apps

• Viktig bruk innad i offentleg sektor

Data er ikkje data

Video: Trondheim kommune - trondheim2030.no - http://bit.ly/1TbRAA1

Bilde: Trondheim kommune - trondheim2030.no - http://bit.ly/1TbRAA1

Innhald

• Opne data - kva og kvifor?

• Nokre døme på bruk

• Korleis ta i bruk opne data

• Kva skjer

Kvar startar eg?• Begynne med ein eller fleire:

• Idè

• Datasett

• Organisasjon

• Noko du vil lære deg (programmeringsspråk, verktøy, rammeverk)

• Nysgjerrig

data.norge.noNasjonalt register over opne offentlege data m.m.

RSS frå data.norge.no

Brukar sjølv IFTTT.com for å få varsel på mobil straks datasett er lagt ut.

http://data.norge.no/aktuelt/rss.xml http://data.norge.no/app/rss.xml http://data.norge.no/data/rss.xml

Datahotellethotell.difi.no

Datahotellet• Gir data i CSV, JSON, JSONP, XML og YAML

• Teknisk løysing

• Lucene søketeknologi

• CSV + metadata

• Ingen registrering eller API-nøklar

• Open kjeldekode — https://github.com/difi/datahotel

API — hotell.difi.no

• Syntaks:

• hotell.difi.no/api/<format>/<datasett>

Hente data http://hotell.difi.no/api/json/

brreg/enhetsregisteret

Hent metadata (…/meta) http://hotell.difi.no/api/json/brreg/enhetsregisteret/meta

Hent felt-definisjonar (…/fields) http://hotell.difi.no/api/json/brreg/enhetsregisteret/fields

List alle datasetthttp://hotell.difi.no/api/json/_all

Klientar til datahotellet

• Java-klient, frå Difihttps://github.com/difi/datahotel-client

• NodeJShttps://www.npmjs.com/package/difi

• Rubyhttps://github.com/VoitMore/difi

Datahotellet: NB

• Ikkje oppetidsgaranti. Datahotellet har ikkje status som nasjonal felleskomponent eller liknande.

• Sjekk alltid informasjon om datasettet på data.norge.no. Viktig info om oppdateringsfrekvens, lisens, forklaring på data, kontaktinfo til datautgjevar etc.

Lisens• Norsk Lisens for Offentlige Data (NLOD)

• Creative Commons Attribution 4.0 (CC-BY 4.0)

• meir kjent internasjonalt. Blir brukt av dei som har mange utanlandske brukarar, t.d. Kartverket og Met.no

• Hugs å lese lisensteksten

• Namngjeving av kjelde

• Skilnad på lisens for data og vilkår for API

Norsk Lisens for Offentlige Data (NLOD)

Vilkår Namngjeving Ikkje anbefaling Ikkje villeie, fordreie eller feilrepresentere data

Med forståing av at Lisensgjevar fråskriv seg ansvar for kvaliteten på data og kva data vert brukt til

Få tilgang på data• Data er gjort tilgjengeleg allereie

• Ikkje tilgjengeleg

• Be om innsyn- sjå korleis andre gjer det på mimesbronn.no

• Lese av informasjon som er ope tilgjengeleg på nettsider. Husk å avtale løyve til webscraping..

Lover og retningslinjer

• PSI-direktivet (2003/2013)

• Offentleglova

• Digitaliseringsrundskrivet

• «Retningslinjer ved tilgjengeliggjøring av offentlige data»

Offentleglova• «Lov om rett til innsyn i dokument i offentleg verksemd

(offentleglova).»

• «§ 9. Rett til å krevje innsyn i ei samanstilling frå databasar Alle kan krevje innsyn i ei samanstilling av opplysningar som er elektronisk lagra i databasane til organet dersom samanstillinga kan gjerast med enkle framgangsmåtar.»

• NB! Offentleglova vert oppdaterast i år, jf. høyring hausten 2014.

Digitaliseringsrundskrivet punkt 1.4:

• Verksemda skal gjere eigna informasjon tilgjengeleg i maskinlesbare format

• Når ein etablerar eller oppgraderar fagsystem eller digitale tenester skal ein legge til rette for at data kan gjerast tilgjengeleg i maskinlesbare format

• Verksemda skal følge «Retningslinjer ved tilgjengeliggjøring av offentlige data»

Digitaliseringsrundskrivet, versjon 2015-11-20: http://bit.ly/2342OvE

Vanlege motargument• Kvaliteten er ikkje god nok

• Fare for mistolking

• Fare for misbruk

• Det er kostbart/ressurskrevjande

• Innteningskrav

Vanlege motargument• Kvaliteten er ikkje god nok

• tenk «twin track»

• er det godt nok til å bruke sjølv, er det godt nok til å publisere

• Fare for mistolking

• erfaring frå met.no tilseier at folk er villige til å setje seg inn i domenet.

• vidarebrukarar er også avhengige av tillit.

• Fare for misbruk

• svært lite av dette.

• feilaktig framstilling er brot på NLOD-lisensen

• Det er kostbart/ressurskrevjande

• gjer det til ein del av vanleg arbeidsprosess. Ikkje tenk for avansert.

• publisering kan avlaste tid brukt på å behandle innsynskrav

• Innteningskrav

• Tek lenger tid. Overordna organ må gjerne fjerne krav og ev. tilføre pengar.

Kultur og endring

Skjermbilete frå artiklar på digi.no http://www.digi.no/juss_og_samfunn/2010/09/10/--dette-gjor-ikke-google-bedre-enn-oss

http://www.digi.no/juss_og_samfunn/2011/03/23/sanntids-trafikkdata-til-alle

Etterlyse datasett

Skjermbilete frå ope tilgjengeleg dokument: http://bit.ly/1OsMPjI

Har du laga noko med opne data?

- døme på bruk av opne data

så andre kan sjå kva du har gjort!

Innhald

• Opne data - kva og kvifor?

• Nokre døme på bruk

• Korleis ta i bruk opne data

• Kva skjer

Difi og opne data• data.norge.no

• datahotellet

• gir råd og brukarstøtte

• pådrivar

• foredrag

• følge opp dataeigarar

• #hack4no

• internasjonalt arbeid

Opne-data-gruppa sin visjon

«At deling av data skal bli ein integrert del av korleis offentleg sektor handsamar informasjon, utviklar løysingar og leverer tenester.»

Frå Twitter-bio: http://twitter.com/opnedata

Statistikk frå data.norge.no pr. 31.03.2016

Døme på datasett publisert 2015–• Husdyrregisteret - data om registrerte storfeindivider (Ldir)

• Produksjonstilskudd jordbruksforetak (Ldir)

• Renholdsvirksomheter godkjent av Arbeidstilsynet

• Postnummer i Norge (Posten)

• Sanntidsdata for Kolumbus (buss i Rogaland)

• Dybdedata, offisielle adresser (Kartverket)

• 3D-bymodell (Trondheim kommune)

• Tilsyn av matsteder, smilefjes-ordningen (Mattilsynet)

• Verkstedregisteret (Statens vegvesen)

• Yrkesklassifiseringer (STYRK) (SSB)

• Budsjett, skuleruter, lokasjonsdata(helsestasjonar, barnehagar, offentlige toalett) (Stavanger kommune)

Komande datasett• Stavanger kommune

• Oslo kommune

• Vegvesenet

• Aksjonærregisteret?

• Med fleire…

For informasjon om aksjonærregisteret, sjå denne diskusjonstråden, og lenkene: https://www.facebook.com/vegard.venli/posts/10156746344640224

Status etter 2015

• 79 nye datasett ført opp på data.norge.no i 2015

• Verksemder som allereie har publisert opne data bidreg med mesteparten av auka (78%)

• Til saman 80 verksemder frå statleg og kommunal sektor som har registrert opne datasett.

Populært på datahotellet 2015

Kjelde: besøksstatistikk for hotell.difi.no (AWStats). Periode: 2015 Datasettet blir snart publisert. Følg med på data.norge.no

Bruk av data.norge.no

Nokre nøkkeltall for 2015:60 000+ besøk 235 000 sidevisninger 12 062 søk 20 000 klikk på eksterne lenker

Skjermbilete tatt 2016-03-30: http://data.norge.no/data/statistisk-sentralbyr%C3%A5/api-mot-datasett-fra-ssbs-statistikkbank

Datakatalogar

• Prosjekt der vi testar nasjonal infrastruktur for innhausting av datakatalogar.

• Standard: DCAT-AP-NO, sjå http://difi.github.io/dcat-ap-no/ (Data catalogue vocabulary, application profile, norsk versjon)

• Skal også beskrive data som ikkje er publisert, inkludert lukka data.

Infrastruktur for felles datakatalog

DCAT-AP-NO datakataloger

1..n

Nasjonalt (meta)datalager

Data.norge.no

Felles datakatalog

Andre tjenester

Registrerings-skjema

EUs dataportal

Tjenester:Nasjonal fellesløsning:

I virksomhetene:

Ny data.norge.no• Sette infrastrukturpiloten i drift

• Tilpasse data.norge til ny infrastruktur

• Tilby innhøsting av datakataloger fra virksomhetene (jf piloten)

• Andre oppgaver:

• Optimalisere brukargrensesnitt og søk

• «Name and shame»: Vise kvem som ikkje publiserer datasett

• Førebels tidsplan: Innan 1. juli

• Noko du skulle ønskje var betre enn i dagens data.norge.no? Ta kontakt!

Global Open Data Index (GODI)

Skjermbilete frå index.okfn.org - 2016-03-31 Open Knowledge Foundation (OKFN).

Internasjonalt arbeid• Prosjekt, «Share-PSI 2.0»

• Nettverk, erfaringsutveksling

• I sluttfasen av å lage Best Practices

• Lenker mellom BPs og lokale guidar

• Synergi med W3C si gruppe, Data on the web (DWBP)

Skjermbilete, 2016-03-31: https://www.w3.org/2013/share-psi/bp/

Komande aktivitetar i Difi• Revidere standarden for datakatalogar, DCAT-AP-

NO, og vegleding til standarden.

• Name and shame — synleggjere kven som har gjort data tilgjengeleg og ikkje.

• Ny data.norge.no

• Revidere «Veileder i tilgjengeliggjøring av offentlige data».

• #hack4no oktober 2016

Spådommar

• Samtykke-basert deling

• Lokale dataportalar — geografiske område/byar, verksemder

• Smart Cities

Å dele data er ikkje det same som at dei vert brukt.- Anne Cathrine Frøstrup, sjef for Kartverket

fishackathon.co/bergen22.-24. april

Espegrend Marine Research Field Station Espelandsvegen, 5258 Blomsterdalen

Direktoratet for forvaltning og IKT

#hack4no 2015. Foto: Statens kartverk

#hack4no 2015. Foto: Statens kartverk

#hack4no 2015. Foto: Statens kartverk

Bilde: http://kartverket.no/om-kartverket/nyheter/Na-kan-du-laste-ned-Norge-i-Minecraft/

“

#hack4no 2015. Foto: Statens kartverk

hack4norden• Nordisk konkurranse, koordinert av Nordic innovation

• Kan kvalifisere seg via to ulike spor

• Generelt

• Kultur

• I Norge via #hack4no

• Registrer e-postadressa di på www.hack4no.no for å få meir info om #hack4no etter kvart som det blir klart.

• data.norge.no finn datasett - registrer kva du har laga

• etterlys datasett : http://bit.ly/1OsMPjI

• Grupper på Facebook og Meetup.com: «Open data Bergen»

• Twitter: @opnedata / #opnedata

• opnedata@difi.no