opne data, blug, bergen - 2016-03-31
TRANSCRIPT
Opne dataLivar Bergheim, Difi
Bergen, BLUG-møte 2016-03-31
Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer
Direktoratet for forvaltning og IKT
Difi – Direktoratet for forvaltning og IKT
• Oppretta 2008
• Underlagt Kommunal- og moderniseringsdepartementet (KMD)
• Om lag 285 tilsette i Leikanger og Oslo
• Mandat:utvikle, forenkle og fornye offentlig sektor
• Har statsforvaltninga som primærmålgruppe
Skjermbilete: http://www.yr.no/artikkel/_-dei-syntes-vi-var-nokre-tullebukkar-1.12542740
Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer
«Åpne data er fritt tilgjengelige for bruk og viderebruk av alle, både mennesker og maskiner. Dataforvaltere kan ikke kreve mer enn å bli oppgitt som kilde.»
Skjermbilete av CSV-datasett, vist i Excel: http://data.norge.no/data/stavanger-kommune/
skoleruter-barne-og-ungdomsskolene-i-stavanger-kommune
Skjermbilete av CSV-datasett, vist i Excel:http://data.norge.no/data/aure-kommune/skolerute-20152016-0
«Åpne data er fritt tilgjengelige for bruk og viderebruk av alle, både mennesker og maskiner. Dataforvaltere kan ikke kreve mer enn å bli oppgitt som kilde.»
Offentlege data• Finansiert av samfunnet.
• Data er forvalta på vegne av samfunnet.
• Nyttig for andre, både i offentleg sektor og elles.
• Offentleg sektor verken kan eller skal gjere alt sjølve. Både kapasitet til å lage/gjere alt, og muleghet til å kome på dei gode idèane.
• Opne data er ein måte å gjere offentleg informasjon tilgjengeleg for vidarebruk.
• Vanlegvis gratis, eller til kostpris — med nokre unntak.
Trafikklyssystemet• Klassifisering av grad av openheit på data
• Raud: Lukka. Datasett som på grunn avheilt spesifikke årsaker, f.eks. tryggleik, sensitive persondata eller immaterielle rettar, må haldast internt, eller potensielt berre delast med dei/det individet det gjeld.
• Gul: Avgrensa. Kan potensielt delast med andre offentlege verksemder, avhengig av lovheimel og formål.
• Grøn: Ope. Kan delast med alle.
Open lisens
Strukturerte data
Ope format
http-URIar
Lenka data
www.5stardata.info
Ulike typar distribusjonarTypar distribusjon : - Filnedlasting - API - Verktøy for å generere uttrekk (t.d. msis.no)
Skjermbilete: http://www.msis.no/
Kvifor opne offentlege data?
• Eit ope og opplyst demokrati
• Næringsutvikling og verdiskaping
• Effektivisering og innovasjon i offentleg sektor
Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer
Eit ope og opplyst demokrati
Demokratisering og gjennomsiktighet
Datajournalistikk
• Datastøtta journalistikk analysere store datamengder for å finne nyhetssaker
• Infografikk / datavisualisering
• Interaktive visualiseringar
Kjelde: Wikipedia - https://en.wikipedia.org/wiki/Data_journalism Illustrasjon: collegehumor.com - http://bit.ly/1POHPJi
Skjermbilete frå sak på BT.no, tatt 2016-03-31: http://www.bt.no/nyheter/lokalt/Vurderer-fortlopende-tiltak-mot-luftforurensing-3524126.html (2016-01-17)
Illustrasjon: Bergens Tidende, frå metoderapport (2013) - http://bit.ly/1NsL0Gz
Bilde av Sankey-diagram frå http://openbudgetoakland.org/2015-17-proposed-budget-flow.html
Døme på Treemap. Skjermbilete henta frå: «Obama’s 2012 Budget Proposal: How $3.7 Trillion is Spent»
http://www.nytimes.com/packages/html/newsgraphics/2011/0119-budget/
Budsjett frå Bergen kommune
Skjermbilete frå datasett frå Bergen kommune http://bit.ly/1jjEm7o
holderdeord.no
Logo: Silje Nyløkken, designbasen.no - http://bit.ly/1lJY1Px
Skjermbilete: https://www.holderdeord.no/issues/47-utvide-til-11-maneders-studiestotte
Oslo kommune
• Byrådet vil:
• At alle etater skal tilgjengeliggjøre verdifulle data for publikum på DIFIs åpne dataplattform, for å bidra til innovasjon
• Gjøre informasjon om saker, forslag og stemmegiving i bystyret enkelt tilgjengelig i form av strukturerte data
Utdrag frå byrådserklæringa okt. 2015 - http://bit.ly/1QIxC1m
Næringsutvikling og verdiskaping
• Datasetta i det nasjonale kartgrunnlaget (N50, N250, N500, N1000, N2000 og N5000 Kartdata og Rasterdata)
• Administrative grenser
• Vegdata med adresser
• Digitale terrengmodellar
• Stadnamndata
• Historiske kart
• Sjødata
• Tur- og friluftsruter
• Offisielle adresser
• Geodetiske datasett
• Postsoner og valgkrinsar
• Illustrasjonskart i små målestokkar
Døme på bruk av cache-tenester for kartfliser frå Kartverket - http://bit.ly/1Ii5uKn
Døme på bruk av Kartverket sine data. Skjermbilete, tatt nov. 2015: http://kartverket.no/Kart/Gratis-kartdata/Smartkart/
Biocaching mottek pris på Slush i Finnland. Foto: Magnus Buer, Nordic innovation
Også forbetring av eksisterande tenester
• Ikkje berre nye appar eller tenester
• Grunnlagsdata
• Finn.no
• Case: registrere kvar hjertestartar-utstyr finst. Kobling til enhetsregisteret.
Video: Skjermopptak som viser type-ahead på Firmanavn.
http://geo.stordahl.org/enhetsregisteret.html
Brønnøysundregistrene
• Enhetsregisteret og underenheter
• 4-10 millionar API-kall i månaden dei siste par åra
• Koble mot eigne system. Kan “vaske” eigne lister over leverandørar/kundar.
Norsk reiseinformasjon (NRI)
• Nasjonal rutedatabase
• Rutedata - planlagte ruter, ikkje trafikkdata (sanntidsinformasjon)
• Inneheld data frå over 200 selskap som tilbyr personstransport, alt frå NSB, SAS, Norwegian, Skyss, hurtigbåtar og små busselskap.
• http://labs.rutebok.no/
Direktoratet for forvaltning og IKTDato
Skjermbilete, tatt nov. 2015: www.norgesruter.no
Direktoratet for forvaltning og IKTDato
Skjermbilete, tatt nov. 2015: www.tidr.no
Effektivisering og innovasjon i offentleg sektor
• Meir effektiv deling av data Døme: Norges vassdrags- og energidirektorat (NVE) og Met.no.
• Innovasjon“Dei smarte hovuda jobbar ikkje hos oss”
Frå videoopptak av foredag, “Tenkning og strategi bak
«Smart Aarhus»”Kultur og naturreise sin konferanse 2015-11-13
http://bit.ly/1TfbA4M
Bergens mest etterspurte datasett
• Masteroppgåve: «Skaping av meirverdi gjennom opne data om kollektivtrafikk»
• Mai 2015
• http://breim.net/livar/
Bruk på tvers i offentleg sektor også viktig!
• “Tradisjonell” opne-data-tankegang:
• Offentleg sektor gjer data tilgjengeleg
• Private lagar apps
• Viktig bruk innad i offentleg sektor
Data er ikkje data
Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer
Kvar startar eg?• Begynne med ein eller fleire:
• Idè
• Datasett
• Organisasjon
• Noko du vil lære deg (programmeringsspråk, verktøy, rammeverk)
• Nysgjerrig
RSS frå data.norge.no
Brukar sjølv IFTTT.com for å få varsel på mobil straks datasett er lagt ut.
http://data.norge.no/aktuelt/rss.xml http://data.norge.no/app/rss.xml http://data.norge.no/data/rss.xml
Datahotellet• Gir data i CSV, JSON, JSONP, XML og YAML
• Teknisk løysing
• Lucene søketeknologi
• CSV + metadata
• Ingen registrering eller API-nøklar
• Open kjeldekode — https://github.com/difi/datahotel
Hente data http://hotell.difi.no/api/json/
brreg/enhetsregisteret
Hent metadata (…/meta) http://hotell.difi.no/api/json/brreg/enhetsregisteret/meta
Hent felt-definisjonar (…/fields) http://hotell.difi.no/api/json/brreg/enhetsregisteret/fields
Klientar til datahotellet
• Java-klient, frå Difihttps://github.com/difi/datahotel-client
• NodeJShttps://www.npmjs.com/package/difi
• Rubyhttps://github.com/VoitMore/difi
Datahotellet: NB
• Ikkje oppetidsgaranti. Datahotellet har ikkje status som nasjonal felleskomponent eller liknande.
• Sjekk alltid informasjon om datasettet på data.norge.no. Viktig info om oppdateringsfrekvens, lisens, forklaring på data, kontaktinfo til datautgjevar etc.
Lisens• Norsk Lisens for Offentlige Data (NLOD)
• Creative Commons Attribution 4.0 (CC-BY 4.0)
• meir kjent internasjonalt. Blir brukt av dei som har mange utanlandske brukarar, t.d. Kartverket og Met.no
• Hugs å lese lisensteksten
• Namngjeving av kjelde
• Skilnad på lisens for data og vilkår for API
Norsk Lisens for Offentlige Data (NLOD)
Vilkår Namngjeving Ikkje anbefaling Ikkje villeie, fordreie eller feilrepresentere data
Med forståing av at Lisensgjevar fråskriv seg ansvar for kvaliteten på data og kva data vert brukt til
Få tilgang på data• Data er gjort tilgjengeleg allereie
• Ikkje tilgjengeleg
• Be om innsyn- sjå korleis andre gjer det på mimesbronn.no
• Lese av informasjon som er ope tilgjengeleg på nettsider. Husk å avtale løyve til webscraping..
Lover og retningslinjer
• PSI-direktivet (2003/2013)
• Offentleglova
• Digitaliseringsrundskrivet
• «Retningslinjer ved tilgjengeliggjøring av offentlige data»
Offentleglova• «Lov om rett til innsyn i dokument i offentleg verksemd
(offentleglova).»
• «§ 9. Rett til å krevje innsyn i ei samanstilling frå databasar Alle kan krevje innsyn i ei samanstilling av opplysningar som er elektronisk lagra i databasane til organet dersom samanstillinga kan gjerast med enkle framgangsmåtar.»
• NB! Offentleglova vert oppdaterast i år, jf. høyring hausten 2014.
Digitaliseringsrundskrivet punkt 1.4:
• Verksemda skal gjere eigna informasjon tilgjengeleg i maskinlesbare format
• Når ein etablerar eller oppgraderar fagsystem eller digitale tenester skal ein legge til rette for at data kan gjerast tilgjengeleg i maskinlesbare format
• Verksemda skal følge «Retningslinjer ved tilgjengeliggjøring av offentlige data»
Digitaliseringsrundskrivet, versjon 2015-11-20: http://bit.ly/2342OvE
Vanlege motargument• Kvaliteten er ikkje god nok
• Fare for mistolking
• Fare for misbruk
• Det er kostbart/ressurskrevjande
• Innteningskrav
Vanlege motargument• Kvaliteten er ikkje god nok
• tenk «twin track»
• er det godt nok til å bruke sjølv, er det godt nok til å publisere
• Fare for mistolking
• erfaring frå met.no tilseier at folk er villige til å setje seg inn i domenet.
• vidarebrukarar er også avhengige av tillit.
• Fare for misbruk
• svært lite av dette.
• feilaktig framstilling er brot på NLOD-lisensen
• Det er kostbart/ressurskrevjande
• gjer det til ein del av vanleg arbeidsprosess. Ikkje tenk for avansert.
• publisering kan avlaste tid brukt på å behandle innsynskrav
• Innteningskrav
• Tek lenger tid. Overordna organ må gjerne fjerne krav og ev. tilføre pengar.
Kultur og endring
Skjermbilete frå artiklar på digi.no http://www.digi.no/juss_og_samfunn/2010/09/10/--dette-gjor-ikke-google-bedre-enn-oss
http://www.digi.no/juss_og_samfunn/2011/03/23/sanntids-trafikkdata-til-alle
Etterlyse datasett
Skjermbilete frå ope tilgjengeleg dokument: http://bit.ly/1OsMPjI
Har du laga noko med opne data?
- døme på bruk av opne data
så andre kan sjå kva du har gjort!
Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer
Difi og opne data• data.norge.no
• datahotellet
• gir råd og brukarstøtte
• pådrivar
• foredrag
• følge opp dataeigarar
• #hack4no
• internasjonalt arbeid
Opne-data-gruppa sin visjon
«At deling av data skal bli ein integrert del av korleis offentleg sektor handsamar informasjon, utviklar løysingar og leverer tenester.»
Frå Twitter-bio: http://twitter.com/opnedata
Døme på datasett publisert 2015–• Husdyrregisteret - data om registrerte storfeindivider (Ldir)
• Produksjonstilskudd jordbruksforetak (Ldir)
• Renholdsvirksomheter godkjent av Arbeidstilsynet
• Postnummer i Norge (Posten)
• Sanntidsdata for Kolumbus (buss i Rogaland)
• Dybdedata, offisielle adresser (Kartverket)
• 3D-bymodell (Trondheim kommune)
• Tilsyn av matsteder, smilefjes-ordningen (Mattilsynet)
• Verkstedregisteret (Statens vegvesen)
• Yrkesklassifiseringer (STYRK) (SSB)
• Budsjett, skuleruter, lokasjonsdata(helsestasjonar, barnehagar, offentlige toalett) (Stavanger kommune)
Komande datasett• Stavanger kommune
• Oslo kommune
• Vegvesenet
• Aksjonærregisteret?
• Med fleire…
For informasjon om aksjonærregisteret, sjå denne diskusjonstråden, og lenkene: https://www.facebook.com/vegard.venli/posts/10156746344640224
Status etter 2015
• 79 nye datasett ført opp på data.norge.no i 2015
• Verksemder som allereie har publisert opne data bidreg med mesteparten av auka (78%)
• Til saman 80 verksemder frå statleg og kommunal sektor som har registrert opne datasett.
Populært på datahotellet 2015
Kjelde: besøksstatistikk for hotell.difi.no (AWStats). Periode: 2015 Datasettet blir snart publisert. Følg med på data.norge.no
Bruk av data.norge.no
Nokre nøkkeltall for 2015:60 000+ besøk 235 000 sidevisninger 12 062 søk 20 000 klikk på eksterne lenker
Skjermbilete tatt 2016-03-30: http://data.norge.no/data/statistisk-sentralbyr%C3%A5/api-mot-datasett-fra-ssbs-statistikkbank
Datakatalogar
• Prosjekt der vi testar nasjonal infrastruktur for innhausting av datakatalogar.
• Standard: DCAT-AP-NO, sjå http://difi.github.io/dcat-ap-no/ (Data catalogue vocabulary, application profile, norsk versjon)
• Skal også beskrive data som ikkje er publisert, inkludert lukka data.
Infrastruktur for felles datakatalog
DCAT-AP-NO datakataloger
1..n
Nasjonalt (meta)datalager
Data.norge.no
Felles datakatalog
Andre tjenester
Registrerings-skjema
EUs dataportal
Tjenester:Nasjonal fellesløsning:
I virksomhetene:
Ny data.norge.no• Sette infrastrukturpiloten i drift
• Tilpasse data.norge til ny infrastruktur
• Tilby innhøsting av datakataloger fra virksomhetene (jf piloten)
• Andre oppgaver:
• Optimalisere brukargrensesnitt og søk
• «Name and shame»: Vise kvem som ikkje publiserer datasett
• Førebels tidsplan: Innan 1. juli
• Noko du skulle ønskje var betre enn i dagens data.norge.no? Ta kontakt!
Global Open Data Index (GODI)
Skjermbilete frå index.okfn.org - 2016-03-31 Open Knowledge Foundation (OKFN).
Internasjonalt arbeid• Prosjekt, «Share-PSI 2.0»
• Nettverk, erfaringsutveksling
• I sluttfasen av å lage Best Practices
• Lenker mellom BPs og lokale guidar
• Synergi med W3C si gruppe, Data on the web (DWBP)
Skjermbilete, 2016-03-31: https://www.w3.org/2013/share-psi/bp/
Komande aktivitetar i Difi• Revidere standarden for datakatalogar, DCAT-AP-
NO, og vegleding til standarden.
• Name and shame — synleggjere kven som har gjort data tilgjengeleg og ikkje.
• Ny data.norge.no
• Revidere «Veileder i tilgjengeliggjøring av offentlige data».
• #hack4no oktober 2016
Spådommar
• Samtykke-basert deling
• Lokale dataportalar — geografiske område/byar, verksemder
• Smart Cities
Å dele data er ikkje det same som at dei vert brukt.- Anne Cathrine Frøstrup, sjef for Kartverket
fishackathon.co/bergen22.-24. april
Espegrend Marine Research Field Station Espelandsvegen, 5258 Blomsterdalen
Direktoratet for forvaltning og IKT
#hack4no 2015. Foto: Statens kartverk
#hack4no 2015. Foto: Statens kartverk
#hack4no 2015. Foto: Statens kartverk
Bilde: http://kartverket.no/om-kartverket/nyheter/Na-kan-du-laste-ned-Norge-i-Minecraft/
“
#hack4no 2015. Foto: Statens kartverk
hack4norden• Nordisk konkurranse, koordinert av Nordic innovation
• Kan kvalifisere seg via to ulike spor
• Generelt
• Kultur
• I Norge via #hack4no
• Registrer e-postadressa di på www.hack4no.no for å få meir info om #hack4no etter kvart som det blir klart.
• data.norge.no finn datasett - registrer kva du har laga
• etterlys datasett : http://bit.ly/1OsMPjI
• Grupper på Facebook og Meetup.com: «Open data Bergen»
• Twitter: @opnedata / #opnedata