オンプレミスから aws への劇的ビフォーアフター
DESCRIPTION
2014/7/5 に行われた「夏の JAWS-UG 三都物語 2014」のスライドです。 http://santo2014.jaws-ug.jp/TRANSCRIPT
![Page 1: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/1.jpg)
オンプレミスから AWSへの 劇的ビフォーアフター
シナジーマーケティング株式会社 坂井 学2014/7/5 夏のJAWS-UG 三都物語 2014
![Page 2: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/2.jpg)
テクニカルトラックですが技術の話はあまりしません
![Page 3: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/3.jpg)
なお劇的は当社比です
![Page 4: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/4.jpg)
自己紹介‣ 坂井 学 / @manabusakai
‣ シナジーマーケティング株式会社iNSIGHTBOX事業推進室 所属
‣ 開発からインフラ構築、運用までひと通り
‣ 好きなサービスはAmazon EMR
![Page 5: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/5.jpg)
![Page 6: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/6.jpg)
グーグルも認めた はったりエンジニアです
![Page 7: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/7.jpg)
シナジーマーケティングについて‣ CRMを中心としたマーケティング支援を行っている会社です
‣ CRM市場における売上高調査シェアNo.1
‣
‣ 大阪に本社を構え、社員数は約210名
![Page 8: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/8.jpg)
本題に入る前に今日お話しするのは当社が提供するクラウドサービスの1つ ”iNSIGHTBOX” をAWSに移行した話です。
![Page 9: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/9.jpg)
今日の話‣ iNSIGHTBOXについて
‣ オンプレミスを捨ててAWSへ
‣ 守りから攻めのチームへ
![Page 10: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/10.jpg)
今日の話‣ iNSIGHTBOXについて
‣ オンプレミスを捨ててAWSへ
‣ 守りから攻めのチームへ
![Page 11: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/11.jpg)
![Page 12: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/12.jpg)
iNSIGHTBOXとは購買履歴やクリック履歴などのビッグデータをもとに、刺さりそうな顧客やキーワードを教えてくれるマーケティング支援のクラウドサービス。
性別や年代といった単純な属性情報ではなく、人の価値観に注目しているのが大きな特徴。
![Page 13: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/13.jpg)
WBSでも取り上げられました
2013/7/22 放送「WBS 価値観マーケティング」で検索!
![Page 14: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/14.jpg)
開発スタイル‣ 言語 : Scala
‣ フレームワーク : Play Framework
‣ データベース : PostgreSQL + HBase
‣ その他 : スクラム開発
![Page 15: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/15.jpg)
今日の話‣ iNSIGHTBOXについて
‣ オンプレミスを捨ててAWSへ
‣ 守りから攻めのチームへ
![Page 16: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/16.jpg)
オンプレミスを捨ててAWSへ‣ オンプレミスに依存するものは1つ残らず排除
‣ 実は移行したのは6月末
![Page 17: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/17.jpg)
Full AWS, No on-premises
‣ VPC
‣ EC2
‣ ELB
‣ RDS (PostgreSQL)
‣ EMR (HBase)
‣ SES
‣ Route 53
‣ S3 + Glacier
‣ CloudWatch
![Page 18: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/18.jpg)
移行した理由‣ データ量の増加にインフラ構築が追いつけない
![Page 19: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/19.jpg)
移行した理由‣ データ量の増加にインフラ構築が追いつけない
‣ 安心してビッグデータを入れられない
![Page 20: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/20.jpg)
移行した理由‣ データ量の増加にインフラ構築が追いつけない
‣ 安心してビッグデータを入れられない
‣ 営業が安心して売れない、売りたがらない
![Page 21: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/21.jpg)
移行した理由‣ データ量の増加にインフラ構築が追いつけない
‣ 安心してビッグデータを入れられない
‣ 営業が安心して売れない、売りたがらない
プロダクトが失敗してしまう!
![Page 22: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/22.jpg)
プロダクトの成長を インフラ要因で止めない
![Page 23: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/23.jpg)
ボトルネックはHBase‣ HBaseを支えるHadoopクラスタ
‣ ディストリビューションはCDH 3
‣ スレーブノードは物理サーバ
‣ スレーブノード8台構成
![Page 24: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/24.jpg)
ボトルネックはHBase‣ HBaseを支えるHadoopクラスタ
‣ ディストリビューションはCDH 3
‣ スレーブノードは物理サーバ
‣ スレーブノード8台構成データ量に対して
ノード数が足りない!
![Page 25: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/25.jpg)
オンプレミスでの見積もり‣ スレーブノードを8台から10台に増強
‣ 見積もり工数 2人月
‣ サーバの発注、DCへの設置、OSやミドルウェアのセットアップなど
![Page 26: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/26.jpg)
増強のたびに2ヶ月も待ってられない!
![Page 27: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/27.jpg)
移行するなら絶好のタイミング!
![Page 28: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/28.jpg)
AWS移行スケジュール
3月 5月 7月 9月
シーズン2 7月以降
データ移行検証 5~6月
AWS検証 2~5月
‣ 性能検証やデータ移行検証を入念に
‣ AWSだからできる新しいことにも挑戦(後述)
![Page 29: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/29.jpg)
劇的ビフォーアフター‣ 先ほどのHBaseを例に挙げるとEMRに移行したことで…
‣ Management Consoleで数クリック
‣ ものの1分あればスケールアウトできる
![Page 30: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/30.jpg)
オンプレミス AWS
![Page 31: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/31.jpg)
21120分かかる作業が わずか1分に!
![Page 32: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/32.jpg)
「ほんまかいな?」
![Page 33: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/33.jpg)
Demo
![Page 34: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/34.jpg)
今日の話‣ iNSIGHTBOXについて
‣ オンプレミスを捨ててAWSへ
‣ 守りから攻めのチームへ
![Page 35: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/35.jpg)
これまでの運用(1)‣ オンプレミスでは開発と運用が別グループ
‣ ちょっとしたことでも作業依頼が必要
![Page 36: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/36.jpg)
これまでの運用(1)‣ オンプレミスでは開発と運用が別グループ
‣ ちょっとしたことでも作業依頼が必要
スクラム開発にスピード感が合わない
![Page 37: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/37.jpg)
これまでの運用(2)‣ インフラ構成を理解しているのは一部の人だけ
‣ アラートメールが飛んでも運用が対応できない
![Page 38: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/38.jpg)
これまでの運用(2)‣ インフラ構成を理解しているのは一部の人だけ
‣ アラートメールが飛んでも運用が対応できない
開発者が対応したほうが結果的に良い
![Page 39: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/39.jpg)
AWSに移行したのに運用はそのまま?
![Page 40: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/40.jpg)
全員がDevOps‣ iNSIGHTBOXの開発メンバーは4人
‣ インフラエンジニア経験者は自分だけ
‣ 開発から運用まですべての面倒を見る
‣ アラートメールも開発者自身が受ける
![Page 41: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/41.jpg)
工夫した3つのこと1. わざと障害を起こす
2. 使い捨てにできるサーバ
3. シンプルなインフラ構成
![Page 42: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/42.jpg)
1. わざと障害を起こす‣ NetflixのChaos Monkeyを参考
‣ 誰かが意図的に障害を起こして、他のメンバーがリカバリさせる
‣ 得た知見を障害対応フローにまとめる
![Page 43: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/43.jpg)
障害を非日常にしない
![Page 44: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/44.jpg)
2. 使い捨てにできるサーバ‣ いわゆるImmutable Infrastructure
‣ コマンド一発で必要なサーバが立ち上がる
‣ アプリのデプロイはCloudInitを活用
‣ ログはS3へ同期
![Page 45: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/45.jpg)
障害時は潔く新しいサーバを立ち上げる
![Page 46: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/46.jpg)
3. シンプルなインフラ構成‣ 複雑さは暗黙知を生み出すので極力シンプルに
‣ AWSに任せられることは任せてしまう
‣ DBのバックアップ、メール配信、ログの保管
‣ 特定の人しかわからない構成にはしない
![Page 47: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/47.jpg)
いつでも作り直せる安心感
![Page 48: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/48.jpg)
考え方が変わってきた‣ たとえばメモリを大量に使うバッチ処理
‣ オンプレミスだと、いかにメモリ消費を抑えるかに頭を使ってた
‣ でも、それって本質的じゃない
‣ これがAWSなら…
![Page 49: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/49.jpg)
バーンと立ち上げて ガーッとやって
スパッと落とせばいい!
![Page 50: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/50.jpg)
今後の課題‣ 立ち上げっぱなしのサーバを減らしたい
‣ 1クリックで本番環境のクローンを作りたい
‣ CloudFormationはEMRに未対応><
![Page 51: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/51.jpg)
ビフォーアフターのまとめ‣ オンプレミスと比べて圧倒的に短期間で、しかも簡単にスケールアウトできる
‣ インフラの制約がなくなったことで、開発者が主体になって攻めていける
‣ 結果的にチームも変わってきた
![Page 52: オンプレミスから AWS への劇的ビフォーアフター](https://reader034.vdocuments.site/reader034/viewer/2022052507/55814787d8b42a9b098b54ab/html5/thumbnails/52.jpg)
Q&A