bigdata hos hafslund - idgweb.idg.no/app/web/online/event/cioforum/2015/bigdata/...2016/01/07 ·...
TRANSCRIPT
![Page 1: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/1.jpg)
BigData hos Hafslund Steinar Rune Eriksen Senior Rådgiver IKT
![Page 2: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/2.jpg)
Innledning
• Bakgrunn og interne arkitekturbeslutninger i 2014/2015 • Behovet for å håndtere langt større datamengder i årene fremover • Utnyttelse av Microsoft Azure for analyse og skalering • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP
2
![Page 3: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/3.jpg)
Hafslund – Sentrale IT løsninger
• ASA – økonomi, personal og IKT – IFS som økonomisystem
• Hafslund Nett – GIS-system – Målerverdisystem (eksisterende løsning og ny AMS løsning) – IFS som logistikksystem for utrulling
• Hafslund Marked – CAB fra Tieto (Customer and Billing) – Fakturahotell i Microsoft Azure spesialutviklet av CAP – Egen kundeweb
• Hafslund Produksjon og Hafslund Varme – Målersystem og diverse andre løsninger for optimalisering
• Hafslund Hedging – Tradingsystem fra Nasdaq og inhouse løsninger for porteføljestyring og prissikring
3
![Page 4: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/4.jpg)
Prinsippbeslutninger på intern arkitektur
• Eksisterende løsninger via en ESB hadde synkrone avhengigheter som skapte problemer i faser med høy datatrafikk
• Dette spesielt rundt månedsskifter med input fra kunder på målerstander • Datamengdene ved innføring av AMS vil bli langt høyere • Beslutninger i 2014
– Omlegging til fullstendig dekoplet arkitektur, i første omgang hos Hafslund Nett – Asynkron deling av grunndata via en intern hub (gjennomføres som del av AMS prosjekt) – Transaksjonsdata deles via køer med asynkron skriving/skriving – Fremtidig behandling av store datamengder skal utnytte nettskyen for skalering
4
![Page 5: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/5.jpg)
Deling av data mellom interne system
ERP
GIS
MÅLER
SENTRALSYS
KIS
FAKTURERING
PRIS-‐
SIKRING
DATANAV
(ASYNC CACHE)
Kundedata + Anlegg
Anlegg Kundedata
Anlegg
(Behov for prissikring på aggregert nivå)
PRODUKSJON/
VARME
KUNDE WEB
Cache (24/7)
LogisVkksystem for AMS-‐ Utrulling. Kunder/anlegg og fabrikkfil med AMS-‐målere.
• Grunndata deles asynkront mellom forretningsystemene
• Eks. ERP-system abonnerer på endringer i kundedata for å ha oppdatert lokal kopi av adresser og kontaktinfo
Samme system
![Page 6: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/6.jpg)
Transaksjonsdata
• Transaksjonsdata håndteres også asynkront, men i større grad via meldingsbuss • Oppstår i hvert enkelt forretningssystem, eks
– Prisdata i tradingsystemer – Generert gjennom prosesser slik som fakturering – Generert av eksterne komponenter – AMS-målere
• Sterk økning i transaksjonsmengde frem mot 2019 – Knyttet opp mot utrulling av automatiske strømmålere (AMS) – Minste grad av oppløsning i AMS blir innsamlede data hvert 15 min. (nettkunder) – Innføring av ELHUB øker også transaksjonsmengden fra alle strømkunder – Økende krav til sanntidsoppdaterte data på dashboards internt – Mer detaljbehov også innen engros-handel (Hafslund Hedging)
6
![Page 7: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/7.jpg)
Azure og transaksjonsdata fra AMS
7
Quant (Sentralsystem)
SOAP
Event Hub -‐ Azure
Målerverdier
Customer and Billing (CAB)
Azure (Ne_sky)
Azure Storage Tables -‐> Lake
Oppspliang av fil fra Quant Pr måler/kvadrant
DataNav
Målerstander Vl fakturering Lokalt datarom
HES (Head End)
AMS-‐domene
Signal/spennings data
Azure
Data Factory
Kundesider/Web
PowerBI/Dashboard
HDInsight -‐ aggregering
Foreløpig kun eksperimentert på BlobStore data
![Page 8: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/8.jpg)
BI tidslinje hos Hafslund
On premise DWH
«One size fits all»
2011-‐2013 2014
On premise DWH
«One size fits all»
Ekstra data
Ekstra data
Store kuber – men dekker ikke behov
Store kuber – analyVkere får Vlgang Vl andre datakilder i Vllegg
On premise DWH
Azure Table Storage
2015
Bedre kontroll/oppfølging av brukere med behov for adhoc-‐analyser Lagring av data i ne_sky Introduksjon av Power BI
Azure DataLake
On premise DWH
Utny_e DataLake for bedre sikkerhet og ytelse enn Table Storage. Ta Power BI i mer utstrakt bruk.
2016 2017 -‐ 2018
Azure DataLake (inkl Hadoop)
-‐ Strukturerte og ustrukturerte data
Azure DWH Data Marts
Azure DWH Mindre kuber
Azure DWH PolyBase
KPIer
Power BI + Analyser (både strukturerte og ustrukturerte data)
Avanserte standardrapporter
![Page 9: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/9.jpg)
Prosjekt hos Hafslund Hedging
• Besluttet i 2014 å utvikle nytt inhouse system for finansiell handel. – Fokus på skalerbarhet med høyt antall storkunder/porteføljer – Fokus på transparens i forhold til revisjon – Fokus på forenkling av kjerne. Tidligere løsning var 15 år gammel – Alternativ hyllevare dekket ikke behovene
• Paralellkjøre nytt system med gammelt – speiling av kontraktsdata – Benevnes Nye og Gamle TRM (Trading and Risk Management).
• Utvikle kalkulasjonsmotor og rapportering først – Standardrapporter klare innen årsrapport 1/1/2016 – Sanntidsberegninger og andre grensesnitt innen 1/7/2016 – Utfasing av gamle TRM innen høsten 2016
9
![Page 10: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/10.jpg)
Nye TRM –skisse over Azure komponenter
![Page 11: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/11.jpg)
Rapportering fra nytt og gammelt system
Nettsky
Worker Role (Akka actors)
Worker Role (Akka actors)
Worker Role (Akka actors)
Worker Role (Akka actors)
Contract DB
Azure
Redis Cache + Message Queues
Resultatdata (Table Storage)
Web Browser Excel
Power BI
Price DB Azure
On Premise Master Contract DB
(Oracle)
Sync contracts (Signal R)
Gamle TRM Excel
I overgangsfase rapporteres det fra begge versjoner av systemet
![Page 12: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/12.jpg)
Eksempel på rapportering i Excel fra TableStorage
![Page 13: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/13.jpg)
Eksempel på rapportering i Power BI fra TableStorage
![Page 14: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/14.jpg)
PoC for evaluering av Azure DataLake
• Hafslund ønsker å evaluere DataLake-komponentene for å gjøre erfaring med HBase, Hive, Spark etc
• Dette for å lære oss i hvilke sammenhenger vi best kan utnytte denne teknologien • Prosjektet til Hafslund Hedging er godt egnet fordi
– Det er relativt smalt scope med få involverte utviklere – Vi kan skille ut data via en meldingsbuss slik at PoC-prosjektet ikke forstyrrer
resten av TRM-prosjektet – Effekten kan brukes direkte i ny og mer effektiv rapportering – Vi kan evaluere ytelse mot Table Storage som brukes i testfasen av TRM
![Page 15: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/15.jpg)
Scope for Data Lake PoC
Nettsky
Worker Role (Akka actors)
Worker Role (Akka actors)
Worker Role (Akka actors)
Worker Role (Akka actors)
Contract DB
Azure
Redis Cache + Message Queues
Resultatdata (Data Lake)
Web Browser Excel
Power BI
Price DB Azure
On Premise Master Contract DB
(Oracle)
Sync contracts (Signal R)
Gamle TRM Excel
Utny_e DataLake Vl sikrere og mer effekVv rapportering
Resultatdata (Table Storage) MsgBus
Vi antar at DataLake e_er evaulering ersta_er TableStorage
![Page 16: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/16.jpg)
Azure Data Lake
WebHDFS
YARN
U-‐SQL
AnalyVcs Service HDInsight (managed Hadoop Clusters)
Analytics
Store
`
![Page 17: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/17.jpg)
Vi vil se på lagring og lesing med Data Lake
• Se på forskjeller mellom HBase, Hive, Spark for transaksjonsdata • Se på fremtidig potensiale
![Page 18: BigData hos Hafslund - IDGweb.idg.no/app/web/online/Event/CIOforum/2015/BigData/...2016/01/07 · • Beskrivelse av PoC for å evaluere Data Lake i samarbeid med CAP 2 Hafslund –](https://reader036.vdocuments.site/reader036/viewer/2022071301/60a16346bbfc10318c019186/html5/thumbnails/18.jpg)