aws cloud roadshow 2016 今こそクラウド、あなたの都市で。...
Post on 06-Sep-2019
0 Views
Preview:
TRANSCRIPT
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
使ってみよう!データベースとストレージ
Getting Started withAWS Database and Storage Services
アマゾンウェブサービスジャパン株式会社
技術本部 ソリューションアーキテクト
柴田竜典
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
自己紹介柴田竜典(しばたたつのり / シバタツ)
◦データベースソリューションアーキテクト
◦ データベース関係の相談ごと何でも担当
◦好きなAWSのサービス:RDS
◦ @rewse
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
リージョン/アベイラビリティゾーン
東京リージョン
Availability
Zone A
AvailabilityZone B
・リージョンとはクラウドの拠点が存在する地域・アベイラビリティゾーンとはリージョン内にある物理的に離れたデータセンター
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
データベース運用どうしてますか?データベースの運用は大変◦ めったに止められない
◦何かあると広範囲のサービス影響しやすい
◦バックアップやらチューニングやら覚えることが多い
◦などなど……
DBAのみなさんは胃の痛い思いをしている
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
DBAの役割DBA (Database Administrator) の仕事◦ スキーマやクエリーのチューニング◦ DBの構造を理解した上での、適切な改善
◦ DBサーバー、クラスターの管理◦ 構築、キャパシティ、パフォーマンス、障害対応
現在、どちらに費やしている時間が多いでしょうか?
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
完全マネージド型で、セットアップ、運用、拡張が容易なリレーショナル・データベースサービス
RDS
DynamoDB
完全マネージド型で、高速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス
Redshift
高速で管理も万全なペタバイト規模のデータウェアハウスサービス
ElastiCache
完全マネージド型で、セットアップ、運用、拡張が容易なキャッシュサービス
DMS
完全マネージド型で、異機種間のデータベース移行も可能なデータベース移行支援サービス
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
完全マネージド型で、セットアップ、運用、拡張が容易なリレーショナル・データベースサービス
RDS
DynamoDB
完全マネージド型で、高速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス
Redshift
高速で管理も万全なペタバイト規模のデータウェアハウスサービス
ElastiCache
完全マネージド型で、セットアップ、運用、拡張が容易なキャッシュサービス
DMS
完全マネージド型で、異機種間のデータベース移行も可能なデータベース移行支援サービス
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
データベース管理を簡単にデータベースを数分で作成可能
障害の自動検知と自動フェールオーバー
自動でパッチの適用
数クリックでスケールアウト可能
S3への継続的なバックアップ
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon AuroraAmazonがクラウド時代のRDBMSアーキテクチャを1から考え直して構築したDBエンジン◦ 1970年代の方法で実装はしない
◦ AWSサービスを活かすことができ、スケールアウトが簡単で、セルフヒーリングができるようなデータベースを作りたいと考えた
結果として、エンタープライズグレードの可用性とOSSレベルのコストを両立
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
数クリックで完了する構築
◦ DBエンジン
◦ インスタンスクラス
◦ ディスクの種類とサイズ
◦などを選ぶだけ
◦数分で起動しデータベースとして動き始める
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
耐障害性
フェイルオーバーなどの耐障害性を高めるための機能を
構築するのは手間がかかる
◦ クラスターウェアの謎の障害に苦しんだ経験は?
◦ データセンター障害に対応する必要性は感じるが、面倒で何もやっていないシステムは?
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
耐障害性:クラスターエンドポイント
一般的にデータセンターレベルの冗長化を実現するのは大変
高い技術力を持つDBAが行っていた設計をそのままサービス化
Aurora Writer Aurora Reader
クラスタエンドポイント
Write
Multi-AZ
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
耐障害性:フェイルオーバー発生時
フェイルオーバー発生時はAuroraノードの昇格が行われ、クラスターエンドポイントの指し先が変わる
Aurora Writer Aurora Writer
クラスタエンドポイント
Write
Multi-AZ
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
耐障害性:キャッシュレイヤーの分離
SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
キャッシュプロセスをDBプロセス外におくことでDBプロセスの再起動でも
キャッシュが残る
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
AuroraのストレージSSDを利用したシームレスにスケールするストレージ
標準でHighly availableを実現◦ 3AZに6つのデータのコピーを作成
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Auroraのストレージ2つのディスクが利用不能でも読み書き可能
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Auroraのストレージ3つのディスクが 利用不能の場合は読み込みのみ可能
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
運用:メンテナンス(パッチ適用等)DBAがパッチ当てを行う場合、最新の注意を払って影響範囲の調査や適用方法の作業計画を立てて行う必要があった
AWS側でメンテナンスウインドウで指定した曜日・時間帯に自動実施
メンテナンス内容◦ セキュリティ、機能追加等に関わるソフトウェアパッチを自動適用
メンテナンスは数ヶ月に一度の頻度で発生(毎週必ずではない)
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
バックアップ:Streaming snapshotとPITRAmazon Auroraでは各セグメント毎にAmazon S3へ継続的に増分バックアップを取得
Amazon Auroraが使用しているディスクの仕組みによりパフォーマンスへ影響を与えない
Aurora Writer
常にストリーミングでバック
アップデータを送り続けている
Amazon S3
5分前まで戻れるバックアップが常に取られて
いる状態
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon Simple Storage Service (S3)容量無制限◦ 1ファイル最大5TBまで
高い堅牢性◦ 99.999999999%
安価なストレージ◦月額1GB / 約1〜4円※
スケーラブルで安定した性能◦ データ容量に依存しない性能
※ 2016.9.28時点
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon S3の構成
データセンタ A
データセンタ B
データセンタ C
東京リージョン
AWSリージョンを指定可能
3箇所以上で自動複製高い堅牢性を実現
ネットワーク越しにファイルを格納
データ
バケット
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
S3
Glacier
StorageGateway
EBS
安価かつ高い耐久性を持つオンラインストレージサービス
超安価かつ高い耐久性を持つアーカイブストレージサービス
オンプレミス環境と連携したバックアップ&大容量
ストレージサービス
仮想サーバ(Amazon EC2)にマウントできるディスク
サービス
EFS
複数の仮想サーバ(Amazon EC2)から同時マウントできる
共有ストレージサービス
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
AWS Data Migration Service (DMS)異環境、異機種間データベースの移行は大変だった◦ レプリケーションインスタンスをセットアップすると、ソースDB/ターゲットDB間のデータ移動を実行
◦異なるRDBMS間のデータ移動をサポートしているので、商用RDBMSからAurora等への移行も実現
◦一括移行(フルロード)、継続同期(レプリケーション)など様々な移行方法
DMS
オンプレRDB
RDS
RDB on EC2
オンプレRDB
RDS
RDB on EC2
※オンプレ to オンプレは非サポート
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
データベースマイグレーション例オンプレデータベースからAmazon RDSへのマイグレーション
オンプレRDB
RDB on EC2
DMSインスタンス
Aurora for RDS
VPN/専用線経由でレプリケーションを張りクラウド
側へ継続同期
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
ビッグデータ移行
データウェアハウスなどの非常に大きなサイズのデータベースをオンプレから移行したい場合など、ペタバイトクラスのデータをどう移行すればいい?
インターネット経由のコピーでは数カ月、専用線接続でも数週間はかかることもある
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
E-ink 送り状
“8.5Gまでの耐衝撃性”を担保するパッケージ
エンドツーエンドのデータ暗号化50TB/ 80TB
10Gb ネットワーク
耐水&耐ダスト設計
タンパープルーフケース&回路
アプライアンスによるペタバイト規模のデータ転送ソリューションデータのImport/Exportに対応
AWS Import/Export Snowball
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
データストアの特性による使い分け
Amazon DynamoDB
Amazon RDS
Amazon ElastiCache
Amazon Redshift
SQL
NoSQL• 低レンテンシ• インメモリ
• 3拠点間でのレプリケーション
• SSDに永続化
• トランザクション処理
• 汎用用途
• 集計・分析処理• 大容量データ• DWH
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon RDSRDBをマネージドで提供するサービス◦様々なデータベースエンジンが使用可◦高可用性◦ フェイルオーバー、バックアップ
◦ Aurora等の先進的な試み
ユースケース◦ 殆どのユースケースにマッチ◦ 課金系(トランザクション)
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon Redshiftクラウド上のマネージドDW
◦ 最大128ノードの並列処理
◦ 160GBから最大1.6PBまで拡張可能
◦ PostgreSQL互換のSQL
ユースケース
◦ ユーザー行動解析
◦ ログ分析
◦ 業務分析
大規模分散処理で分析SQLを高速実行
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon ElastiCacheインメモリキャッシュをマネージドで提供するサービス
◦ キャッシュクラスタを数クリックで起動
◦ 2種類のエンジン(Memcached, Redis)をサポート
ユースケース
◦ アプリケーションキャッシュ
◦ セッションキャッシュ
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
Amazon DynamoDB完全マネージド型の NoSQL データベースサービス◦ ハイスケーラブル、低レイテンシー◦ 高可用性◦ ストレージの容量制限がない◦ プロビジョンドスループット
ユースケース◦ ゲーム◦ 広告配信◦ DMP◦ センサーデータ◦ モバイルアプリケーションのバックエンド
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
クラウドアーキテクチャ
自動バックアップスナップショット(自動/手動)
データ同期
非同期レプリケーション
自動フェイルオーバー
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存
Binlog
S3 Availability Zone A Availability Zone B
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
既存のアーキテクチャ(例)
自動バックアップフルバックアップ(手動)
データ同期実装
非同期レプリケーション
フェイルオーバ実装
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存(手
動)
Binlog
ストレージサーバ データセンタA データセンタB
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
既存のアーキテクチャ(例)
自動バックアップフルバックアップ(手動)
データ同期実装
非同期レプリケーション
フェイルオーバ実装
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存(手
動)
Binlog
ストレージサーバ データセンタA データセンタB
データセンタAが失われるとバックアップも失われて
本末転倒
太い専用線を引く
サーバ発注/サーバ構築/ラッキング/NW配線など
など
レプリを貼る作業を行う
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
クラウドアーキテクチャ
自動バックアップスナップショット(自動/手動)
データ同期
非同期レプリケーション
自動フェイルオーバー
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存
Binlog
S3 Availability Zone A Availability Zone B
AWS Cloud Roadshow 2016今こそクラウド、あなたの都市で。
まとめクラウドでしか実現できない事を実現するためのピースとしてのストレージやデータベースサービスの紹介
AWSの提供する各種サービスを上手く選択する事で少ない労力でサービスの開発スピードの最大化、運用負荷の最小化も可能となる
ユースケースによって適切なサービスを使い分けることが大事
top related