re:Invent報告2013.11.29

金春 利幸（R3 institute）

Introduction

金春 利幸（こんぱる としゆき） アールスリーインスティテュート マネージャー＆ソリューションアーキテクト FB: t.konparu twitter: t_konparu

2

re:Invent 初参加してきました

今回はそのご報告です

AAの機内食はエサ感満載

AAの機内食はエサ感満載

THE 炭水化物

以上、報告でした

システム開発会社の 人間としての感想は

きた！

AWSはもはや 「インフラ」ではない

いい色の絵の具をみたら絵を描きたくなるように 新しい音色を聞いたら曲のイメージが湧くように 新しいスニーカーを買ったら走りたくなるように

今回の新サービスで 想像力をかきたてましょう

Amazon Kinesis

記事とか読んだけど ピンとこない人？

Amazon Kinesisは リアルタイム分析 プラットフォーム

です

は？

想像してください

あなたはTwitter関連サービスの開発者です

ある日上司に言われました !

「ハッシュタグの登場回数カウントして！」

「あっ、バッチじゃダメだよリアルタイムね」

は？(゜_゜)

膨大なデータくるよな・・・ ちゃんと受け取るには・・・

ハッシュタグで分類するには・・・ カウントの負荷読めないよな・・・

そんなあなたに Amazon Kinesis

リアルタイムに 不規則に

発生するデータを 漏らすことなく

スマートに処理するための仕組み

Amazon Kinesis

データ 発生元

Shard

Shard

Shard

Shard

App

App

App

App

S3 RDS

DynamoDB RedShift Kinesis

#jawsug っていいよね

#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

Amazon Kinesis

Shard

Shard

Amazon Kinesis

Shard

Shard

#jawsug っていいよね

#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

Amazon Kinesis

Shard

Shard

#jawsug っていいよね

#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

GetNextRecord

Kinesis App

Kinesis App

Amazon Kinesis

Shard

Shard

#jawsug っていいよね

#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

Partion Key

12

3

4

56

GetNextRecord

GetNextRecord

Kinesis App

Kinesis App

Amazon Kinesis

Shard

Shard

#jawsug っていいよね#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

Partion Key

12

3

4

56

GetNextRecord

GetNextRecord

Kinesis App

Kinesis App

Amazon Kinesis

Shard

Shard

#jawsug っていいよね#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

Partion Key

12

3

4

56

GetNextRecord

DynamoDB

Kinesis App

Kinesis App

#jawsug: 3

#awsサンタ: 2

#iegg: 1

できた！

Twitterのストリームなんか処理することないし・・・

#jawsug っていいよね

#jawsug すごいよね

#jawsug 大阪熱いよね

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

レタス

はくさい

はくさい

キャベツ

キャベツ

レタス

POSから送られるデータからリアルタイムで売れてる

商品を探せ

あっ！ ってなった人？

もうあなたは Kinesis使えます

Kinesis Client Library（KCL）Kinesis Appを作りやすくする便利ライブラリ

APIを直接使わなくても簡単に使える データを処理するWorkerの生成 各Shardに対してWorkerがちゃんとつくように制御 Shard増減時のWorkerの増減 処理中にWorkerが死んだときの再処理制御 AutoScaling時にWorkerとShardの割当を自動的に調整

Limited Previewの申込はこちら

http://aws.amazon.com/jp/kinesis/

RDS for PostgreSQL

やっとか・・・

Keynoteでの発表時に会場から 「Yeah!!!!!!!!!!!!!」 の声が上がりました

海外ではMySQLがOracleに買収されてからOracleがオープンソースに素っ気ないので、PostgreSQLに乗

り換える動きが出ています

日本は、元々なぜかPostgreSQLの人気が高く利用者も多いです

日本のAWS界隈でも RDSが出た当初から 「ぽすぐれを・・・」 と声が上がっていました

やっとか・・・

基本、全部入りですDB Snapshot Multi-AZ

Automated Backup Point-in-time Recovery Provisioned IOPS

PostgreSQL独自機能もサポート

PostGIS PL/PGSQL など

１つだけ・・・

リードレプリカ がありません

そのうちできるようになると思います

PostgreSQLのバージョンは9.3.1

バージョン8などを使っている人をちゃんと検証を！

PostgreSQLはバージョン上げると 「SQLが通らなくなったり」 「通るんだけど結果が違う」

とかあります （実話です）

注意

RDS Cross-Region Read Replica

リードレプリカを リージョンを またいで作る

出典：http://aws.typepad.com/aws_japan/2013/11/cross-region-read-replicas-for-amazon-rds-for-mysql.html

書き込みは Masterへ

読み込みは Replicaで分散

レプリケーションの速度は CloudWatchで監視

Thank You! Join Us

http://www.r3it.com/