In-Memory –Einfluss auf System-und Enterprise-Architektur
Hamburg, 10.7.2015, Tim Lüecke
Public – Company Confidential – Customer Confidential – Sensitive
Eine Minute im Internet…
Copyright © Capgemini 2015. All Rights Reserved
2In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
http://pennystocks.la/internet-in-real-time/
Über mich
Copyright © Capgemini 2015. All Rights Reserved
3In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Tim Lüecke
Senior Solution Architect
Lübecker Straße 128, Hamburg
Phone: +49 40 254491 314
E-Mail: [email protected]
Copyright © Capgemini 2015. All Rights Reserved
4In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Agenda
Motivation
In-Memory im Überblick
Paradigmen im Wandel?
Copyright © Capgemini 2015. All Rights Reserved
5In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Agenda
Motivation
In-Memory im Überblick
Paradigmen im Wandel?
Digitalisierung – einige Fakten
http://wearesocial.sg/blog/2015/01/digital-social-mobile-2015/
https://www.globalwebindex.net/
80% benutzen ein
Smartphone
Mehr als
3 Milliardenaktive Internet-
Nutzer51% der
Welt sind
mobile
Internet-Nutzer
29% der
Welt ist bei
einem Social
Media Dienst
aktiv
Monatlicher
mobiler
Daten-
verbrauch liegt bei
3 Mill. GB
Big
Data
Inte
rne
t o
fP
eo
ple
Inte
rnet
of
Th
ing
sDigitalisierung und Big Data
Data Processing, Management
+ Analysis
BusinessInsights
...
Sensor-Alarm
Ad-Selling
Viren-Alarm
Betrugs-ermittlung
Copyright © Capgemini 2015. All Rights Reserved
8In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Agenda
Motivation
In-Memory im Überblick
Paradigmen im Wandel?
In-Memory DBMS als mögliche Lösung
In-Memory
DBMS
64-bitArchitektur
SpeicherPyramide
KostenEntwicklung
Copyright © Capgemini 2015. All Rights Reserved
9In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Kosten / Latenz
Performance
Register
CPU Caches
Main Memory
SSD / Flash
Hard Drives
0,001
0,01
0,1
1
10
100
1000
1985 1995 2005 2015
$/MByte Speicher
In-Memory Techniken
Daten-haltung
Daten-kompression
MVCC(Insert-only)
ParalleleVerarbeitung
Data Skipping
In-MemoryZugriff
Copyright © Capgemini 2015. All Rights Reserved
10In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
In-Memory Angebote der „Big Player“
Copyright © Capgemini 2015. All Rights Reserved
13In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Microsoft SQL Server 2014 IBM DB2 BLU Acceleration Oracle 12c w/ In-Memory
Fokussierung OLTP (OLAP) OLAP OLAP (OLTP)
Datenhaltung
Zeilen (In-Memory Organized Tables)
Spalten(Columnstore indices)
Spalten
(Column-organized tables)
Beides simultan
(Buffer Cache für Zeilen)
Daten Kompression
• Dictionary encoding
• Value encoding
• Run-length encoding
• Bit-packing
• Dictionary encoding
• Frequency compression
• Page compression
• Dictionary encoding
• Run-length encoding
• Bit-packing
Data Skipping Ja Ja
MVCC Ja Ja (Optimiert für Batch-Insert)
Parallele Verarbeitung
• SIMD processing
• Multi-core processing
• SIMD Processing
• RAC (Shared nothing)
Besonderheiten • DLL für DML Anfragen (kein ALTER TABLE)
• Flexible Ablage auf “heap”
• Compiled Stored Procedures
• Shadow Tables für OLTP Systeme (über Data Replication)
• Disk bleibt führendes Speichermdedium
„NewSQL“-Anbieter (eine Auswahl…)
Copyright © Capgemini 2015. All Rights Reserved
16In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
VoltDB MemSQL SAP HANA
FokussierungOLTP mit hohem Durchsatz inkl. Kontext-Evaluierung
OLTP mit hohem Durchsatz bei gleichzeitigem Zugriff
OLTP + OLAP in einem System
Datenhaltung Zeilen (?) Zeilen Beides (Spalten präferiert)
Daten Kompression
N/A N/A • Dictionary encoding
• Run-Length encoding
• Cluster encoding
Data Skipping N/A N/A
MVCC Ja Ja Ja
Parallele Verarbeitung
• Single ThreadedTransactions
• Parallelverarbeitung im Cluster (Shared Nothing)
Parallelverarbeitung im Cluster (Shared nothing)
Parallelverarbeitung im Cluster (Shared nothing)
Besonderheiten • Zugriff über kompilierte Stored Procedures
• DB komplett In-Memory
• SQL Runtime Code Generation (C++)
• Keine Locks auf Datenstrukturen (z.B. skip lists)
• DB komplett In-Memory
• Plattform für Anwendungs-Entwicklung
SAP HANA Proof-of-Concept
Copyright © Capgemini 2015. All Rights Reserved
17In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Client
Applikations-Server
DatenbankSAP HANA
Vorgehen
Migration der produktiven Daten nach HANA
Daten werden komplett in Spalten abgelegt
Keinerlei weitere Performance-Optimierung (!)
Anwendung bleibt komplett unberührt
Benchmark:
Erstelle SQL Trace aus produktivem Betrieb
Trace auf SAP HANA erneut ablaufen lassen
UNLIMITED
by Capgemini
powered by HANA
Ziele
Technische Machbarkeit
Performance-Vergleich
https://www.de.capgemini.com/customer-experience-management/realtime-applications
Kompabilität
Performance
Bisherige Ergebnisse
Daten
Erfolgreicher, automatischer Import der Daten ohne Verlust
Datenbank-Größe um bis zu 65% reduziert
Großteil der Queries (fast) kompatibel
DB-spezifische Queries benötigen Bearbeitung
Generell: schneller im Vergleich zur Produktion
Für Komplexe Ad-hoc Queries signifikant schneller
Copyright © Capgemini 2015. All Rights Reserved
18In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Ergebnisse
Projektbeispiele
Enterprise Anwendung mit komplexen Ad-hoc Abfragen für Super-User
Medienarchiv mit integrierter Volltext-Suche
Copyright © Capgemini 2015. All Rights Reserved
21In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Agenda
Motivation
In-Memory im Überblick
Paradigmen im Wandel?
Code-to-data
3-Schichten-Architektur
Paradigmen im Wandel?
Paradigma
System-Architektur
Trennung von OLTP und OLAP
vs. Fragmentierung der Data Management SystemeEnterprise-Architektur
Copyright © Capgemini 2015. All Rights Reserved
22In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Code-to-data vs. 3-Schichten-Architektur
Copyright © Capgemini 2015. All Rights Reserved
23In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Client
ApplicationServer
Database
Client
Database
ApplicationServer
Trennung zwischen OLTP und OLAP Systemen
OLAP vs. OLTP Nachteile
Copyright © Capgemini 2015. All Rights Reserved
24In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Trennung bzgl. Arbeitslast
Optimiert für die jeweilige Arbeitslast
ETL Prozesse benötigt, um Daten zu portieren
Real-time Analyse stark erschwert
OLAP meist eingeschränkt bzgl. Fragestellungen
ETL Kosten
Hohe Redundanz
Einheitliche Datenhaltung sowohl für OLTP als auch für OLAP
Abfragen direkt auf Produktionsdaten
„Googling for Data Insights“
OLTP OLAPETL
Mögliche Vision
OLTP / OLAP Charakteristiken neu bewertet
Copyright © Capgemini 2015. All Rights Reserved
25In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Charakteristik OLTP OLAP Bewertung
Performance Kritisch Entspannter• Trennung eher gezwungene Notwendigkeit
• keine inhärente Anforderung
Zugriffsmenge Klein Groß• OLTP Untermenge von OLAP
• Falls effizient, kein Argument für eine Trennung
Zugriffsart CRUDRead-only
Batch UpdateOLAP Untermenge von OLTP
Redundanz Nein Ja Wird nicht mehr benötigt, Aggregation im Speicher
Datenmenge Klein GroßWenn parallelisierbar können auch große Datenmengen im Hauptspeicher eines Clusters gehalten werden
Anzahl User Groß Klein Ebenfalls eine Frage der Parallelisierbarkeit
Verwendung Produktion Analyse Letztlich nur die Frage welcher Client das System nutzt
Orientierung Applikation Domäne• Datenintegration/–Konsolidierung weiterhin benötigt
• Valides Argument für zentralisierte Data Warehouses
Datenhistorie Nein Ja• Valider Grund um OLTP nicht aufzublähen
• Insert-Only könnte Alternative darstellen
Mission Critical Ja Nein Valider Grund zur Risikominimierung
Zusammenfassung
Digitalisierung und Big Data benötigen neue technologische Antworten
In-Memory ist eine mögliche Antwort und geht einher mit einer Sammlung von dazugehörigen Techniken
Alle namhaften und zahlreichen neue Anbieter drängen auf den Markt
Alte Paradigmen sollten im Zeitalter von In-Memory zumindest hinterfragt werden
Copyright © Capgemini 2015. All Rights Reserved
26In-Memory-Einfluss_auf_System_und_Enterprise_Architektur.pptx
Über CapgeminiMit mehr als 140.000 Mitarbeitern in über 40 Ländern ist
Capgemini einer der weltweit führenden Anbieter von
Management- und IT-Beratung, Technologie-Services sowie
Outsourcing-Dienstleistungen. Im Jahr 2013 betrug der Umsatz
der Capgemini-Gruppe 10,1 Milliarden Euro.
Gemeinsam mit seinen Kunden erstellt Capgemini Geschäfts- wie
auch Technologielösungen, die passgenau auf die individuellen
Anforderungen zugeschnitten sind. Auf der Grundlage seines
weltweiten Liefermodells Rightshore® zeichnet sich Capgemini
als multinationale Organisation durch seine besondere Art der
Zusammenarbeit aus – die Collaborative Business ExperienceTM.
Rightshore® ist eine eingetragene Marke von Capgemini
Die in der Präsentation enthaltenen Informationen sind Eigentum.
Copyright © 2015 Capgemini. Alle Rechte vorbehalten.
www.de.capgemini.com