kit – university of the state of baden-wuerttemberg and national research center of the helmholtz...
TRANSCRIPT
KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association
SOFTWARE DESIGN AND QUALITY GROUP INSTITUTE FOR PROGRAM STRUCTURES AND DATA ORGANIZATION, FACULTY OF INFORMATICS
www.kit.edu
Datenbankframeworks in der Cloud
Seminar “Datenbankanwendungen im Cloud Computing”Referent: Markus OelsnerDatum: 29.06.2010Betreuerin: Jutta Mülle
Software Design and Quality GroupInstitute for Program Structures and Data Organization
2 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Motivation
Datenmenge drastisch gestiegen
Probleme bei traditionellen Datenbanken
Anforderungen:Starke Flexibilität
Hohe Anwendbarkeit
Hohe Leistungsfähigkeit
Skalierbarkeit
Hohe Verfügbarkeit
Lösung: verteilte Datenbanksysteme
Software Design and Quality GroupInstitute for Program Structures and Data Organization
3 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Datenbankframeworks in der Cloud
1. Google BigTable
2. Amazon (3 Angebote)
3. Apache Hadoop HBase
Software Design and Quality GroupInstitute for Program Structures and Data Organization
4 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Software Design and Quality GroupInstitute for Program Structures and Data Organization
5 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Verteiltes Datenbanksystem für sehr große Datenmengen (Petabytes)
Kein offizielles Cloud Service Angebot
Nutzung:
Software Design and Quality GroupInstitute for Program Structures and Data Organization
6 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
„A Bigtable is a sparse, distributed, persistent, multi-dimensional sorted map“
Daten werden über Zeilen- und Spaltenindizes abgelegt
Bigtable: A Distributed Storage System for Structured DataFay Chang, Jeffrey Dean, Sanjay Gehmawat, usw
Software Design and Quality GroupInstitute for Program Structures and Data Organization
7 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Zeilen:Strings mit maximaler Länge von 64 kB
Lexikographische Sortierung
Dynamische Unterteilen der Tabelle in Bereiche -> Tablets
Software Design and Quality GroupInstitute for Program Structures and Data Organization
8 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Spalten:Gruppierung in Spaltenfamilie family:qualifier (beide strings)
Zugangskontrolle und Speicherung als Spaltenfamilien
Software Design and Quality GroupInstitute for Program Structures and Data Organization
9 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Zeitstempel:Verschiedene Versionen der Zellen
64 Bit Integer
Einzigartigkeit
Automatisches Löschen der Versionen
Software Design and Quality GroupInstitute for Program Structures and Data Organization
10 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Tabletsenthalten zusammenhängende Bereiche
ca. 100 MB pro Tablet
ca. 100 Tablets pro Server-> Lastbalancierung
-> schnelle Recovery-Durchführung
Software Design and Quality GroupInstitute for Program Structures and Data Organization
11 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Tablet-VerhaltenWird in GFS gespeichert
Dateiformat SSTableÄnderungen werden in Memtable gespeichert
Ältere Updates in SSTable
Minor CompactionMemtable SSTable
Major Compactionalle SSTables + Memtable eine SSTable
Software Design and Quality GroupInstitute for Program Structures and Data Organization
12 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
ImplementierungEin Master-Server und viele Tablet-Server
Master-ServerZuweisung von Tablets zu Tablet-Servern
Load-Balancing
Steuert Erzeugung und Änderung der Tabellen und Spalten
Tablet-ServerVerwaltet Menge von Tablets
Dynamisches Hinzufügen oder Entfernen im Cluster
verarbeitet Lese- und Schreibanfragen
Splittet Tablets
Software Design and Quality GroupInstitute for Program Structures and Data Organization
13 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
3-Stufen-HierarchieWurzel Tablett
Verweis auf Metadaten Tablets
In Chubby File
Nicht teilbar
Metadaten TabletVerweis auf BenutzerTablets
User Tablets
Software Design and Quality GroupInstitute for Program Structures and Data Organization
14 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
1. Google BigTable
Funktionen und Schnittstellen:Unterstützt keine gewöhnliche SQL Sprache
Bietet Funktionen zum Erstellen, Ändern und Löschen von Tabellen, Spaltenfamilien und Metadaten
Noch weitere komplexe Features
Abfrage für App Engine:GQL Query Class
Query Class
Software Design and Quality GroupInstitute for Program Structures and Data Organization
15 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Software Design and Quality GroupInstitute for Program Structures and Data Organization
16 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
2. Amazon
Software Design and Quality GroupInstitute for Program Structures and Data Organization
17 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
2. Amazon
Verschiedene Angebote um Datenbank bei Amazon zu betreiben1. Amazon Simple DB
2. Amazon RDS
3. Relationale Datenbank in Amazon EC2
Software Design and Quality GroupInstitute for Program Structures and Data Organization
18 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
2. Amazon
3.1. Amazon Simple DBEinfach strukturiert
Hoch zuverlässig
Keine relationale Datenbank
Skalierbar
Schnell
Flexibel
Kompatibel mit anderen AWS
Für Speicherung kleiner Datenmengen
Erschwinglich
Software Design and Quality GroupInstitute for Program Structures and Data Organization
19 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
2. Amazon
3.2. Amazon RDSEinfach bereitzustellen
Relationale Datenbank
Bietet Zugriff auf MySQL Schnittstelle
Skalierbar
Zuverlässig
Kompatibel mit anderen AWS
erschwinglich
Software Design and Quality GroupInstitute for Program Structures and Data Organization
20 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
2. Amazon
3.3. Relationale Datenbank in Amazon EC2 Eigene Relationale Datenbank für eigene Anforderungen
Wird auf Amazon EC2 ausgeführt und auf Amazon EBS gespeichert
Vollen Zugriff auf verschiedene APIs wie MySQL, Oracle, Postgre SQL, Sybase, MicrosoftSQL, IBM DB2
Software Design and Quality GroupInstitute for Program Structures and Data Organization
21 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Software Design and Quality GroupInstitute for Program Structures and Data Organization
22 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
3. Apache Hadoop HBase
Open Source-Plattform
Programmiersprache: Java
Eigenschaften, Architektur und Implementierung sehr ähnlich zu BigTable
Software Design and Quality GroupInstitute for Program Structures and Data Organization
23 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
3. Apache Hadoop HBase
Unterschiede zu BigTable:Andere Terminologien
verwendet kein Chubby Lock Service
HDFS Speicherung anstatt GFS
Speicherung der Tablets/Regions anders
Mehrere Schnittstellen:Java API, Thrift Server, REST Server, C++ Bibliothek, HBase Shell
Keine Zugriffskontrollen für Spaltenfamilien
Größere Tablets/Regionen
Software Design and Quality GroupInstitute for Program Structures and Data Organization
24 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Zusammenfassung
Es gibt viele verschiedene Angebote, man muss Sie nur nach seinen derzeitigen und
seinen künftigen Anforderungen auswählen.
Software Design and Quality GroupInstitute for Program Structures and Data Organization
25 04/11/23 Markus Oelsner – Datenbankframeworks in der Cloud
Vielen Dank für Ihre Aufmerksamkeit!