une base de donnéesuniverselle çan’existepas... · 2019-04-03 · service de base de données...
TRANSCRIPT
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Une base de données universelleça n’existe pas !
D A T 2 0 1
Abass SafouatouSolution ArchitectAmazon Web Services
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
1970 1980 1990 2000
Oracle DB2
SQL Server
MySQL
PostgreSQL
DynamoDBRedis
MongoDB
Elasticsearch
NeptuneCassandraAccess
Aurora
2010
Timestream
QLDB
DocumentDB
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Les applications modernes ont des exigences modernes
Utilisateurs: + 1 millionVolume de données: TB – PB – EBLocalité: GlobalPerformance: millisecondes –
microsecondesTaux de demande: Millions par secondeAccès: Web, mobile, IoT,
appareils connectésScalabilité: Verticale, HorizontaleCout: Payez pour ce que
vous utilisezAccès développeur: Aucun assemblage
requis
Réseaux SociauxVTC apps Streaming Media Site de rencontre
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Types de données et cas d’usages
Relationelle
Intégrité référentielle, transactions
ACID, schémas en écriture
Lift and shift, ERP, CRM, finance
Clé-valeur
Haut débit, lectures et
lecture à faible latence,
scalability sans fin
Enchères en temps réel, panier d'achat,
réseaux sociaux, catalogue de
produits, préférences des
clients
Document
Stocker des documents et
requêter rapidement
n'importe quel attribut
Gestion de contenu,
personnalisation, mobile
En mémoire
Requête par clé avec une
latence en microsecondes
Classements, analyses en temps réel, mise en cache
Graph
Créez facilement et rapidement,
naviguez dans les relations
entre les données
Détection de fraude, réseaux
sociaux, moteur de recommandation
Time-series
Collecter, stocker et traiter les données
séquencées par le temps
Applications IoT, suivi des
événements
Ledger
Historique complet, immuable et vérifiable
de toutes les modifications apportées aux
données applicatives
Systèmes d'enregistrement,
chaîne d'approvisionnement, soins de santé,
inscriptions, finances
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
AWS: Bases de données spécialement conçues pour
Relationelle Cle-valeur Document En-Mémoire Graph Recherche
Amazon DynamoDB
Amazon Neptune
Amazon RDS
Aurora CommercialCommunity
Amazon ElastiCache
Amazon Elasticsearch
Service
Amazon DocumentDB
Time-series Ledger
Amazon Timestream
Amazon Quantum
Ledger DatabaseMemcachedRedis
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Relational Database Service (RDS)Service de base de données relationnelle managé avec un choix de six moteurs populaires
Facile à administrer Disponible et durable Très scalable Rapide et sécurisé
Nul besoin de gérer l’infrastructure ni d’installer ou
de maintenir le logiciel de la BdD
Réplication automatique des données en Multi-AZ; sauvegarde
et bascule automatisée,,
Augmentez votre capacité de calcul et de stockage en quelques
clics et sans interruption
Stockage SSD et niveau E/S garanties; chiffrement des
données au repos et en transit
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Traditional SQL• Protocole basé sur TCP• Bien connu, beaucoup d'utilisations• Pilotes communs (JDBC)• Fréquemment utilisé avec les ORM• Augmentation de la taille des
instances• Capacité de lecture accrue avec les
répliquats• Partitionnement au niveau de
l'application• Jointures
INSERT INTO table1(id, first_name, last_name)
VALUES (1, Abass’, Safouatou’);
SELECT col1, col2, col3FROM table1WHERE col4 = 1 AND col5 = 2 GROUP BY col1HAVING count(*) > 1ORDER BY col2
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon AuroraUne base de données relationnelle compatible MySQL et PostgreSQL conçue pour le cloudLes performances et la disponibilité d’une base de données commerciale au 10ème du coût
Performanteet scalable
Disponible et durable Très sécurisé Complètement
managé
5 fois le débit de MySQL standard et 3 fois celui de
PostgreSQL standard; extension jusqu'à 15 répliquat en lecture
Tolérant aux pannes, stockage self-healing; données copiées six fois
au travers de 3 Zones de disponibilité; sauvegarde en
continue vers Amazon S3
Isolement du réseau, chiffrement au repos et
en transit
Via RDS: Pas de provision de matériel, de correctifs logiciels, d'installation,
de configuration ou de sauvegardes
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
SQL vs NoSQL
Optimisé pour le stockage Optimisé pour le calcul
Normalisé / relationnel Dénormalisé / hiérarchique
Requêtes ad hoc Vues instanciées
Mise à l'échelle verticale Mise à l'échelle horizontale
Bon pour l’OLAP Construit pour l’OLTP à l'échelle
SQL NoSQL
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon DynamoDBService de base de données clés valeurs rapide et flexible pour toutes les échelles
Sécurité complète
chiffre toutes les données par défaut et s'intègre
pleinement à AWS Identityand Access Management
pour une sécurité renforcée
Performance à l'échelle
Temps de réponse uniformes, à un chiffre, en millisecondes, à
n'importe quelle échelle; construire des applications avec un débit virtuellement illimité
Base de données globale pour des
utilisateurs mondiaux et des applications
Construisez des applications globales avec un accès rapide aux
données locales en répliquant facilement les tables sur plusieurs
régions AWS.
Serverless
Pas de provision de serveur, de correctifs logiciels ou de mises
à niveau; Mise à l’échelle montante ou descendante
automatique; sauvegarde en permanence de vos données
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon DynamoDB Structure de donnéesTable
entités
Attributs
Clé de Partition
Clé de tri
ObligatoireModèle d'accès clé-valeurDétermine la distribution des données
OptionnelModèle de relations 1: NPermet des fonctionnalités de requêtage riches
Pour toutes les entités de la clé==, <, >, >=, <=“begins with”“between”“contains”“in”sorted resultscountstop/bottom N values
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Schéma et requête sur DynamoDB• Se connecte via HTTP• Index secondaires globaux et index
secondaires locaux• Accélérer les requêtes avec DAX• Tables globales (multi-régions-multi-
maîtres)• Transactions sur plusieurs tables• Flux de changement• Langage d'interrogation riche avec des
expressions• Mise à disposition de capacités de
lecture et d'écriture séparément avec ou sans mise à l'échelle automatique
• Support le modèle de paiement à la requête
import boto3votes_table = boto3.resource('dynamodb').Table('votes')resp = votes_table.update_item(
Key={'name': editor},UpdateExpression="ADD votes :incr",ExpressionAttributeValues={":incr": 1},ReturnValues="ALL_NEW"
)
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
DynamoDBAvancés au cours des 22 derniers mois
VPCendpoints
Avril 2017
Autoscaling
Juin 2017
DynamoDBAccelerator (DAX)
Avril 2017
Time ToLive (TTL)
Février 2017
Tables Global Sauvegarde à la demande Chiffrement au
repos
Novembre 2017 Novembre 2017 Novembre 2017
Restauration Point-in-time
Mars 2018
SLA
Juin 2018
99.999% SLA
Aout 2018
Adaptive capacity ACID
Novembre 2018
Transactions
Novembre 2018
On-demand
Amazon DocumentDB: Architecture cloud native et moderne
Découpler le calcul et le stockage
Distribuer des données dans des
partitions plus petites
Augmenter la réplication des données (6x)
Que feriez-vous pour améliorer la mise à l’échelle et la disponibilité?
1 2 3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon DocumentDBService de base de données compatible MongoDB rapide, évolutif et entièrement géré
Rapide Mise à l’échelle Entièrement géré
Compatible MongoDB
Millions de requêtes par seconde avec une latence en milliseconds et deux fois le
débit de MongoDB
La séparation des calculs et du stockage permet aux
deux couches de se mettre à l’échelle indépendamment.
deployer jusqu'à 15 répliques en lecture en
quelques minutes
Géré par AWS: pas d'approvisionnement matériel; correction
automatique, configuration rapide, sauvegardes
sécurisées et automatiques
Compatible with MongoDB 3.6; Utilisez le même SDKs, outils, et applications avec Amazon
DocumentDB
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Bases de données documents• Les données sont stockées
dans des documents de type JSON
• Des documents proches de la modélisation humaine
• Schéma flexible et indexation
• Langage de requête conçu pour les documents (requêtes et agrégations ad hoc)
Les documents JSON sont des objets de première classe de la base de données.
{id: 1,name: "sue",age: 26,email: "[email protected]",promotions: ["new user", "5%", "dog lover"],memberDate: 2018-2-22,shoppingCart: [
{product:"abc", quantity:2, cost:19.99},{product:"edf", quantity:3, cost: 2.99}
]}
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon ElastiCacheCompatible avec Redis et Memcached, stockage de données et cache en mémoire
Securisé et fiable
Isolation réseau, chiffrement au repos et en transit,, PCI DSS, multi AZ et bascule automatique
Compatible Redis & Memcached
Complètement compatible avec les solutions open source Redis
et Memcached
Mise à l’echelle facile
Mise à l’échelle en écriture et lecture avec sharding et
répliquats
PerformanceExtreme
Stockage de données et cache en mémoire pour des temps
de réponse à la microseconde
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Redis
• Protocole de sérialisation Redis sur TCP (RESP)
• Prise en charge des chaînes, des hachages, des listes, des ensembles et des ensembles triés
• Commandes simples pour manipuler des structures de données en mémoire
• Fonctionnalité Pub / Sub
• Prend en charge la mise en cluster via des partitions
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Memcached
• Protocoles texte et binaires sur TCP
• Petit nombre de commandes: définir, ajouter, remplacer, supprimer, prepend, inc.decr
• Partitionnement basé sur le client / l’application
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Les relations permettent de nouvelles applications
Détection de fraudeRecommendations restaurantRéseaux sociaux
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Cas d'utilisation de données hautement connectées
Réseaux sociaux
Sciences de la vie
Opérations réseau et informatiqueDétection de fraude
Recommendations Graphes de connaissances
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Différentes approches pour des données hautement connectées
Conçu pour un processus métier Conçu pour répondre aux questions sur les relations
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon NeptuneBase de données graph entièrement gérée
Facile
Construisez facilement des requêtes puissantes avec
Gremlin et SPARQL
Rapide
Interrogez des milliards de relations avec une latence en
millisecondes
Ouverte
Prend en charge les modèles de graphes Apache TinkerPop &
W3C RDF
Fiable
Six répliquâts de vos données sur trois zones de disponibilité
avec sauvegarde et restauration complètes
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Open Source Apache TinkerPop™ Gremlin Traversal Language
W3C StandardSPARQL Query Language
R E S O U R C E D E S C R I P T I O N F R A M E W O R K ( R D F )
P R O P E R T Y G R A P H
PRINCIPAUX MODÈLES ET FRAMEWORKS
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Architecture Amazon Neptune (haut niveau)
Bulk load from S3
Database Mgmt.
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Gremlin
g.addV('person').property(id, 1).property('name', ‘Abass')
g.V('1').property(single, 'age', 27)
g.addV('person').property(id, 2).property('name', 'markus')
g.addE('knows').from(g.V('1')).to(g.V('2')).property('weight', 1.0)
g.V().hasLabel('person')
g.V().has('name', ‘Abass').out('knows').valueMap()
http://tinkerpop.apache.org/docs/current/reference/#graph-traversal-steps
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Timestream (inscrivez-vous à la preview) Base de données time-series rapide, évolutive et entièrement gérée
1 000 fois plus rapide au 10ème du coût des bases de
données relationnelles
Recueillir des données à raison de millions d'inserts
par seconde (10 M / seconde)
Des milliards d'événements
quotidiens
Le moteur de traitement de requête adaptatif maintient
des performances stables et prévisibles
Analyse de Time-series
Fonctions intégrées pour l'interpolation, le lissage et
l'approximation
Serverless
Configuration, mise en service du serveur, correction de
logiciel automatisée
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Amazon Quantum Ledger Database (QLDB) (Preview)Base de données ledger entièrement géréeSuivre et vérifier l’historique de toutes les modifications apportées aux données de votre application
Immuable
Conserve un enregistrement séquencé de toutes les modifications apportées à vos données, qui ne peuvent être ni supprimées ni modifiées; vous avez la possibilité d'interroger et d'analyser
l'historique complet
Cryptographiquement vérifiable
Utilise la cryptographie pour générer un fichier
de sortie sécurisé de l’historique de vos
données
Facile d’utilisation
Facile à utiliser, vous permettant d'utiliser des
fonctionnalités de base de données familières telles que les API SQL pour requêter les
données
Très scalable
Exécute 2 à 3 fois plus de transactions que les ledgers des frameworks blockchain
communs
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
AWS Database Migration Service (AWS DMS)
M I G R A T I O N D E S B A S E S D E D O N N É E S S U R A W S
Migrer entre sur vos centres de données et AWS
Migrer entre les bases de données
Conversion de schéma automatisée
Réplication de données pour la migration sans interruption de service
+ de 100,000Bases de données migrées
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
CustomerPremises, EC2, RDS
Utilisateurs de l'application
AuroraPostgreSQLVPN/Network
AWS DMS—Réplication logique
Démarrer une instance de réplication
Se connecter aux bases de données source et cible
Sélectionner des tables, des schémas ou des bases de données
Laissez le service de migration de base de données AWS créer des tables et charger des donnéesUtilise la capture de données modifiées pour les synchroniserBasculez les applications sur la cible à votre convenance
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Les clients migrent les bases de données sur AWSAvec Amazon Redshift, leboncoin dispose d'un service d'entrepôt de données rapide, entièrement géréet doté d'une capacité de plusieurs pétaoctets, auquel se combine le service Amazon Relational Database Service (Amazon RDS).
Wappa a migré de sa base de données Oracle vers Amazon Aurora et a amélioré de 75% le temps de reporting par utilisateur.
Trimble a migré ses bases de données Oracle vers Amazon RDS et prévoit de payer environ un quart de ce qu'il a payé pour gérer son infrastructure privée.
Intuit a migré de Microsoft SQL Server vers Amazon Redshift afin de réduire les délais de traitement des données et de fournir des informations plus rapidement et plus fréquemment aux décideurs.
Equinox Fitness a migré son entrepôt de données Teradata sur site vers Amazon Redshift. Ils sont passés de rapports statiques à un lac de données moderne fournissant des rapports dynamiques.
Eventbrite est passé de Cloudera à Amazon EMR et a été en mesure de réduire considérablement les coûts, en basculant les grappes à la demande et en utilisant Spot (économie> 80%) et les instances réservées.
En décembre 2018, Amazon.com a migré 88% de ses bases de données Oracle (et 97% des bases de données système critiques) vers Amazon Aurora et Amazon DynamoDB. Ils ont également migré leurs entrepôts de données Oracle 50 PB vers AWS (Amazon S3, Amazon Redshift et Amazon EMR).
Samsung Electronics a migré ses clusters Cassandra vers Amazon DynamoDB pour leur charge de travail Samsung Cloud avec une économie de coûts de 70%.
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Les clients entreprise utilisent des bases de données dans le cloud
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Les clients startup utilisent des bases de données dans le cloud
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Pour Aller plus loin
Bases de données sur AWS.https://aws.amazon.com/fr/products/databases/
Preview Amazon Timestreamhttps://aws.amazon.com/fr/timestream/
Preview Amazon Quantum Ledger Database (QLDB)https://aws.amazon.com/fr/qldb/
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T
Thank you!
S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.