die kunst der vorhersage: prognose-modelle für den...
TRANSCRIPT
Die Kunst der Vorhersage:Prognose-Modelle für den öffentlichen Sektor
Dipl.-Ing. Jens Kröhnert
Techn. Presales & Innovation
Principal Consultant - ORAYLIS
P-TSP - Microsoft
Agenda
Erstellung von Vorhersagemodellen – Predictive Analytics
Einordnung in Business Intelligence-Lösungen
AzureML – Vorhersagemodelle in der Cloud
Anwendungsbeispiele im öffentlichen Sektor
ORAYLIS Überblick
Spezialist für Big-Data- und Business-Intelligence-Lösungen
Gegründet 1999
70 Mitarbeiter
Full-Service Business Intelligence
Plan -> Build -> Run
ORAYLIS ist Top BI Partner von Microsoft
Outstanding HP and Microsoft Frontline Partner of the Year 2012 (Data Management)
Black Belt Partner
APS Premium Partner
Shortlist Partner Microsoft Consulting Services (MCS)
Hortonworks (Hadoop) System Integrator Partner
Microsoft Business Intelligence und Best Practice / Vorgehensmodell
4 Copyright ORAYLIS GmbH
5
Unsere Kunden
Agenda
Erstellung von Vorhersagemodellen – Predictive Analytics
Einordnung in Business Intelligence-Lösungen
AzureML – Vorhersagemodelle in der Cloud
Anwendungsbeispiele im öffentlichen Sektor
Data Mining gibt es schon so lange – was ist neu an Predictive & Big Data
GPS
Proximity Sensor
Ambient Light Sensor
3-Axis Accelerometer
Magnetometer
Gyroscopic Sensor
Wifi
Camera(s)
UI (senses user interactions)
iBeacon
8
IT Innovation is a major driver for Business InnovationDisruptive Digital Transformation ahead…
Dream for decades… will it ever come true?
Dream for decades… will it ever come true?
Kevin Kelly, founder of Wired Magazine:Singularity is the point at which "all the change in the last million years will be superseded by the change in the next five minutes."
„Every industry is now a software industry where they are building these systems ofintelligence… provide SaaS services that go along with your products.“ - Nadella
Big Data treibt Big Data Mining Use Cases
NoBig Data Problem
13
14
Predictive Analytics
Ableitung von Trends und Verhaltensmuster
Mit Hilfe verschiedener statistischer Methoden und Modellierungstechniken
Erkennung von Mustern in aktuellen und historischen Daten
Erstellung von Modellen für zukünftige Daten
Wichtigste Einflussfaktoren
15
16
Predictive Analytics
Descriptive / Data Discovery (Beschreiben)
Sammlung aller relevanten Daten, die zu einem bestimmten Verhalten führen können, um daraus ein Muster abzuleiten
Diagnostic (Erklären)
Entwicklung eines Modells, um die vergangenen Verhaltensmuster zu begründen
Predictive (Vorhersagen)
Entwicklung eines statistischen Modells, um darüber Vorhersagen für die Zukunft ableiten zu können
Prescriptive (Empfehlen)
Ausarbeitung von Empfehlungen, um bei einem bestimmten Trend das Ergebnis in eine gewünschte Richtung zu beeinflussen
17
Grundziele
1. Drive Smarter Decisions from Data: Government agencies overwhelmed with vastquantities of data transform this challenge to an asset, employing predictive analytics todiscover relationships and patterns hidden to the human eye that serve as actionableinsights to drive smarter decisions.
2. Reduce Fraud, Waste, and Abuse: Recover and prevent improper payments usingpredictive analytics to score potential payments, claims and benefits for errors, fraud, waste, and abuse.
3. Automate Manual Processes: Employ analytics of both structured and unstructureddata (text analytics) in order to streamline approvals of claims and benefits, and find documents of interest (E-discovery).
4. Prioritize Resources and Maximize Productivity: Use predictive analytics to score cases where there are an overwhelming number to quickly process, search, or audit –including payments, hotline tips and complaints, applicants for benefits, cargo shipments, products pending approval or patents, and others – ranking them so that managers, investigators, and auditors are more productive and efficient, spending their time on themost valuable cases.
Quelle: www.predictiveanalyticsworld.com/gov/about.php
Agenda
Erstellung von Vorhersagemodellen – Predictive Analytics
Einordnung in Business Intelligence-Lösungen
AzureML – Vorhersagemodelle in der Cloud
Anwendungsbeispiele im öffentlichen Sektor
19
Einordnung in bestehende Business Intelligence-Lösungen
Present
Past
Future
Traditional BI(Batch)
Monitoring BI(Realtime)
Predictive BI(Machine Learning)
Lambda Architecture
20
Microsoft Machine Learing History & AzureML
The Microsoft Data Platform
22
Einordnung in bestehende Business Intelligence-Lösungen
Quelle: Bitkom
„Früher“ hieß es DataMining – hier die Sicht auf das Excel Plugin für die DataMining Algorithmen des SQL Servers (ab 2005)
Technologischer Key-Enabler for Big Data – HDInsight von Microsoft
24
25
HDInsight Eco-System
HDInsight Ecosystem
HDInsight – „On Premise/Boxed“ or „As a Service“ – How big is your cluster?
27
28
Agenda
Erstellung von Vorhersagemodellen – Predictive Analytics
Einordnung in Business Intelligence-Lösungen
AzureML – Vorhersagemodelle in der Cloud
Anwendungsbeispiele im öffentlichen Sektor
Datamining Prozess
Analyse
Modellierung
Training des Modells
Abfrage des Modells
Validerung/ Backtesting
31
AzureML
Quelle: Microsoft
Beispiel: Decision Tree
32
WettbewerbsfähigkeitProdukt: Befriedigend u. schlechter
70% 30%Gesamter Datenbestand
15% 85%
WettbewerbsfähigkeitProdukt: gut und sehr gut
45% 65%
Anzahl Beschwerden ≥ 3
70% 30%
Anzahl Beschwerden < 3
25% 75%
Anzahl Verträge: > 4
10% 75%
Anzahl Verträge: 2 oder 3
25% 75%
Anzahl Verträge: 1
50% 50%
33
AzureML - Algorithmen
Quelle: Microsoft
Vergleich unterschiedlicher Algorithmen
34
35
36
AzureML – Eigene Algorithmen mit R
Quelle: Microsoft
Microsoft Power BI für Discovery und Visualisierung
37
Agenda
Erstellung von Vorhersagemodellen – Predictive Analytics
Einordnung in Business Intelligence-Lösungen
AzureML – Vorhersagemodelle in der Cloud
Anwendungsbeispiele im öffentlichen Sektor
Precobs
Bildrechte: imago stock&people
Mit Hilfe von Precobs (Pre Crime Observation System) kann die Polizei vorhersagen, wo zukünftig eingebrochen wird und so effektiv die Kriminalität nicht nur aufdecken, sondern verhindern.Entwickelt wurde die Software in Oberhausen und ist bereits in Zürich sowie testweise in München und Nürnberg im Einsatz.
http://www1.wdr.de/themen/politik/precobs100.html
39
Aufteilung der Fläche nach Quadranten, PLZ-Gebieten o.ä.
40
41
Mögliche Messungen pro Gebiet und Tag
Einwohnerdichte / Kaufpreisindex / Verbraucherindex / Grundstückspreise / Anteil Einfamilienhäuser / Arbeitslosenquote / Grünflächen (Anteil) etc.
Bevölkerungszusammensetzungen (Alter, Nationalität)
Stadtfeste, Feiern, Schulferien, Feiertage (evtl. Häufigkeitsverteilung der Zieladressen von Taxifahrten)
Nähe zur Autobahn
Jahreszeit (z.B. Anzahl Nachtstunden), Wetter und Wettervorhersage
Einbrüche in den letzten 3/6/12/48 Wochen
Verkehrsaufkommen, Straßenbeleuchtung, Anzahl Hunde pro 100 Einwohner, Verteilung der Fahrzeugherkunft aus Verkehrsüberwachung
Werte aus benachbarten Quadranten
Seiteneffekte: Polizeipräsenz
Messgrößen
Einbrüche nach Kategorie (Häuser, Wohnungen), Versuchte Einbrüche
42
LKA Deutschland - Einbruchsbekämpfung
Mögliches Vorgehen
43
Analyse der Daten
Abstimmung mit Ermittlungsexperten
Datenquellen anbinden Data Mining
Modell
Absicherung / Verbesserung
Zukünftige Daten für dieVorhersage
Verwendung der Vorhersage für Vermeidung von Einbrüchen
Betrugserkennung mit Big Data-Technologien
44
Kostenersparnis bei Gebäudeinstandhaltung und Strom durch AzureML
45
46
Innovation is a manageable process – Innovation Lab & Consulting
47
Approaching the Modern Data Architecture
Think Big
Start Small
Discover Visual
Scale Fast
48
Go try
Microsoft Azure kostenlos testen:
http://azure.microsoft.com/de-de/pricing/free-trial/
AzureML:
http://azure.microsoft.com/en-us/services/machine-learning/
ORAYLIS Blog: Jens Kröhnert: Data Scientist & Predictive BI
http://blog.oraylis.de/2014/11/innovation-lab-data-scientist-predictive-bi/
Download Power BI Designer (kostenlos): https://www.powerbi.com/dashboards/downloads/
ORAYLIS TV: Jens Kröhnert: Power BI Serie
https://www.youtube.com/user/oraylisbi