AWS Summit New York 2017Keynote Recap

2017年8⽉ 篠原 英治 @shinodogg

AWS Summit New York 2017§様々なアナウンスがされました！

https://aws.amazon.com/jp/blogs/news/aws-summit-new-york-summary-of-announcements/

AWS Summit New York 2017§KeynoteはYouTubeで公開されています！

https://www.youtube.com/watch?v=HzEW-cP8MD4

AWS Summit New York 2017§本スライドはKeynoteの様⼦を⽇本語で解説したものになります

個⼈的にまとめたものになりますので勤務先との関係はございません(免責)§Keynoteスピーカー

Adrian Cockcroft, Vice President Cloud Architecture StrategyDr. Matt Wood, GM, Artificial Intelligence

AWS Summit New York 2017§ゲスト登壇企業

HULU - https://www.hulu.com/FICO - http://www.fico.com/Zocdoc - https://www.zocdoc.com/

Adrian Cockroft – VP, Cloud Architecture Strategy

AWSのビジネス規模§$16B+revenue runrate, 42% YoY growth

AWS Marketplace

AWS Pace of Innovation§New Capabilities Daily

Compute Resources§シンプルなVPSから、テラバイト級のメモリを搭載したインスタンスや、FPGAによるハードウェアアクセラレーションが可能なインスタンスまで様々なコンピュートリソースを取り揃えている

Rafael Soltanovich – VP of Software Development, HULU

§HULUの事例紹介

§Tech Companyとして全てをスクラッチから⾃分たちで作っていた§テレビをre-defineするための新しいHULU体験に向けたジャーニー

HULUの事例

§Videoオンデマンドのサブスクリプション, ライブ, DVR, プレミアコンテンツがブレンドされた⼀つのシームレスでエレガントなユーザー体験の提供は未だなされていない

§それを実現するために全てのTech Stackを再構築することに！§やりきったメンバー達を誇りに思っている！詳細はre:Invent 2017で

HULUの事例

§どのくらいのトラフィックが発⽣するか、それはどのようなパターンでのスパイクなのか予想が難しい中、クラウドに⼤規模なデプロイメント

HULUの事例

§ベンダーから⼊ってくる動画をre-packageしHLSおよびDASH live⽤にノーマライズを⾏った後、DRM処理を施しon the flyにManifestを⽣成

Hulu Liveのアーキテクチャ

§ラッキーだったのか、準備が⾏き届いていたのか、恐らく両⽅であるが、ローンチは⾮常にスムーズだった

§⼤きかったのAWSとのパートナーシップ§ オペレーション視点での準備とパフォーマンス・チューニング

Hulu Liveのローンチ

§Side-By-Side and Continue to work closely§ Pre-Warming ELBs, Monitoring Traffic, and Make sure whatever it takes

Hulu Liveのローンチ

Hulu Innovations in the Cloud!

Old World Databases

Moving to Open Database Engines

Migrating Databases to AWS§34,000以上のデータベースがData Migration ServiceでAWSへ

Amazon Aurora§Highly Available, High Performance

§ Fastest growing AWS service ever

Amazon Aurora§Amazon Aurora PostgreSQL-Compatible edition

§ スキーマやクエリモデルがOracleと近い§ re:Invent 2016で発表。現在はオープンプレビュー

Amazon Aurora 事例§Expediaでは1⽇3億writes。ピークでは秒間に約1万7000writes

Migration is a Journey§ Journeyを経験したお客様の紹介

Claus Moldt - CIO, FICO

§ FICO Score is used by 90 of the top 100 largest US lending institutions for their risk assessment needs

Deliver in the Public Cloud§Highly Regulated Industries向けにSoftwareをデリバー§⾦融業界や保険業界がPublic Cloud上のサービスに⽬を向けている

なぜPublic Cloud、そしてAWS？§コスト、スケール、ベロシティ、グローバルなプレゼンス、そしてセキュリティ＆コンプライアンス

マイグレーションのアプローチ§創業から61年の歴史を持つ会社。オンプレミスには様々なソフトウェア§AWSに移⾏するにあたりMicroservices化を実現§AWSのフレームワークを活⽤してSignificantな量の⾃動化に取り組みデリバリーのスピードを加速

マイグレーション§Databases, And Servers, And Applications, Oh My!

AWS Migration Hub§Generally Available!

AWS Migration Hub§Discover -> Migrate -> Track

AWS Migration Hub§Track progress from a single location

AWS Migration Hub§全てのリージョンで利⽤可能

§ Migration Hubそのものはus-west-2にホストされている

Dr. Matt Wood – GM, ARTIFICIAL INTELLIGENCE

Petabyte-scale Analytics§ F1のカーエンジニアはスイスアーミーナイフでFIXしようとしない

§ ツールは適材適所で使い分けるべき§我々のアプローチはお客様が⾏いたい分析にフィットするツールの提供

Amazon Athena§インタラクティブなクエリサービス

§ S3上にある様々なデータ(CSVやParquet等)を標準SQLでアドホックにクエリ

Amazon Athena§ For anybody inside your organization!

§ SQLを知っている⼈なら誰でもS3上の巨⼤なデータセットにクエリを投げられる§ Developer§ Excel Jockey

§Entirely Serverless§ クラスタ管理不要§ 本当にSQLを投げるだけ§ Pay for the queries you run

Amazon EMR§Run more sophisticated custom big-data applications

§ Spark, Presto, HBaseのようなラージスケールなエンジンを活⽤§ EMR上でオープンソースのプロジェクトの最新のバージョンを選択可能§ マネージメントコンソール上で数クリックするだけでいい

Amazon Redshift§Data Warehousing Service

§ アグリゲートされた⼤規模なデータセットに複雑なクエリを⾛らせることが可能§ TPC(標準的なベンチーマーキングツール)で⾏ったベンチマークの結果において

も⾮常に良い結果が出ている

Amazon Redshift Spectrum§データウェアハウスの中だけでなく、S3の中のデータもクエリの対象に

§ RedshiftからS3のデータに直接クエリを投げることも、Redshift内のデータとS3のデータをジョインすることもできる

Extract, Transform, Load§データサイエンティストやデータウェアハウスマネージャーは75%もの時間をデータを解析できる状態にすることに使っていると⾔われている

AWS Glue§Generally Available!

§ Fully Managed Data Catalog and ETL service

AWS Glue§Entirely Serverless

§ Catalog the data automatically(スケジュールorデータ変更)、カスタマイズ可能なデータ変換コード(Python)の⽣成、ETLジョブのスケジューリング

AWS Glue§Three things to do to get started

1. Build your data Catalog

AWS Glue§Three things to do to get started

2. Generate and edit transformations

AWS Glue§Three things to do to get started

3. Schedule and run your jobs

AWS Glue§ Private Beta Customersの事例

§ IoT、Clickストリーム、医療といった様々な⽤途で既にGlueが利⽤されている

Machine Learning§現在は機械学習ルネサンスであると⾔える。そこではスケールが鍵

§ WebやモバイルのアプリケーションだけでなくEdge(デバイス等)も対象

Machine Learning§Volta: 次世代のgeneral-purpose GPUインスタンス

§ 2017年のlaterに利⽤可能§Greengrass: Lambdaファンクションをデバイス上で稼働

Machine Learning on AWS

Machine Learning§We make available GPUs an CPUs

§ Optimize wide variety of “Deep Learning” engines§ MXNet, TensorFlow, Cafe2, PyTorch, CNTK 等

Early detection of diabetic complications at Stanford§糖尿病による失明は、アメリカの21〜46歳までの男性の間では失明の⼀番の理由§ 早期に発⾒できれば失明を防ぐことができる§ Highly Trainedな⼈間が⾮常に細かな⽬の奥の⾎管を診察する必要があった§ 健康もの、不健康なもの、それぞれの写真を元にDeep Learningモデルを構築§ 90%のケースにおいて発⾒が可能に！

ARTERYS§ FDA(Food and Drug Administration)が承認した医療画像のNeural Networks§ スライドの画像はMRIに映る腫瘍

STITCH FIX§機械学習で顧客のスタイルを推測

§ Generate new styles and new products§ Deep LearningエンジンのChainerを活⽤

WalframAlpha§Computational knowledge engine

§ Q&Aシステム on AWS§ You can ask pretty much anything§ Q. “Pet Sounds”は誰のアルバム？⇒ A. “The Beach Boys”

Instacart§Online grocery delivery service

§ Deep LearningのフレームワークであるKerasを活⽤§ スーパーで⾷材を集める際に、どこに何があるか分かっていて、そこに機械学習

技術を⽤いて最短のルートを導き出す§ Right objects in the right order -> デリバリーの時間短縮

Pinterest§ Pinterest Lens モバイルアプリ

§ TensorFlowを活⽤して撮影した写真に関連する画像をユーザーに§ Visually similarなピンを取得するVisual Searchケーパビリティ

TuSimple§MXNet on AWSで学習したモデルを活⽤した⾃動運転技術

§ サンフランシスコと北京を拠点にするStartup§ World's best performing autonomous driving

TuSimple§MXNet on AWSで学習したモデルを活⽤した⾃動運転技術

§ どこが道か、道ではないかも正確に抽出する§ ⾞、道、標識といった様々な情報を”SLAM”というシステムに集約§ 3D空間の中でCM単位での正確性

Serkan Kutan - CTO, ZOCDOC

§ZOCDOCはNY basedなスタートアップ§ 毎⽉6百万⼈の患者が、医者のアポイントメントの予約にZOCDOCを使っている

アメリカにおける診療の現状§平均24⽇待ち。30%は予約の不備やキャンセル、リスケジュール等

§ その結果、ERに⾏くような事態を招き、医療費が⾼騰

ZOCDOCはヘルスケアに市場の効率性をもたらす§アナロジーとしては、KAYAK、OpenTable、Hotels.comといったプレーヤーがそれぞれのインダストリに持ち込んだ効率性§ ZOCDOCはそれをヘルスケア業界に

§今まで24⽇待たされていたものが24時間になったような事例も

2007年からオンプレミスで稼働§As gained critical mass

§ より⼤きなシステムの必要性

Zocdoc 2.0 - New Technical Strategy§Solve the business transformation needs as well as innovate faster

Zocdoc 2.0 - New Technical Strategy§100% in AWS in less than 12 month

Choosing the right partner§Customer Obsession and Rapid Innovation§Ramp up on concepts

§ Infrastructure as Code, DevOps, Compliance and Security

from .net Monolith to Microservices§Standardized on 3 Tech Stacks: Scala, Node.js, C#

§ All running on Linux. C#もLinux上で稼働§Zocdocをはじめた10年前には今のような便利なサービスはなかった

§ モニタリング、A/Bテスト等。解決したいのは患者が抱える予約の課題なのにUndifferentiated Heavy Lifting強いられる状況だった

A Robust Data Foundation on AWS§ from pretty much base level to the top

§ データサイエンティスト達が⾃ら必要な環境を構築するようになった

プロダクションで稼働している機械学習§ Patient-Powered Search

§ Clinical Terminology(医療の専⾨⽤語)を患者が理解するのは難しい§ 例えば”blurry eyes”な症状で眼科を探す時にスペリングすら困難

§ SerkanさんもESL(English as a Second Language)§ 3つの機械学習モデル: semantic, multi-armed bandit, relevancy

Deep Learning at ZOCDOC§Deep Learning used to be hard but Not Anymore!

§ GPU basedであるp2インスタンスでDeep Learning AMIを活⽤§ 学習をはじめて1⽇でニューラルネットワークを構築

§ 今はもうデータセンター環境でソフトウェアもハードウェアも整備するなんて考えたくもない

Innovate Faster with AWS§エンジニアチームのスピードは以前と⽐べて3倍以上早くなった

§ エンジニアキャパシティをインフラ整備からプロダクトエンジニアリングへ

Machine Learning in Amazon§Amazonの様々なサービスやプロダクトで機械学習技術が使われている

Securing Sensitive Data is Job Zero§Security is Job Zero

センシティブなデータの保護§ Identifying and Protecting sensitive data

§ That can be challenging and time-consuming§⼤概はマニュアルなプロセスで、専⾨チームを作ってセキュアなデータを分類している§ 時間がかかり、正確でなく、⼈⼿が必要なためコストが⾼く、スケールが困難

Amazon Macie§Automatically discover, classify, and protect sensitive data

Amazon Macie§S3に保存されているデータに対して⾃然⾔語処理を⾏い、その情報のコンテキストを元に分類

§どこにセンシティブなデータがあるか判別§800種類以上のファイルタイプから70種類以上の異なるクラスに分類し、それぞれlow, medium, highといった形でリスクのレベルを関連付ける§ Eメールアドレス、社会保障番号、運転免許、クレジットカードといった個⼈情報

からAPIの鍵など

Amazon Macie§Macieはセンシティブなデータに対するアクセスパターンを学習し、通常のパターンと異なるアクセスを検知する

§例えば、HRの部署のメンバーが⼈事関連の⽂書にアクセスするのは⽇常的なことであり、Macieはそのアクセスパターンを学習する

§そのHR担当者が、⽇頃の業務と関連が無い、システム関連のデータや鍵ファイルなどにアクセスしだした場合に、Macieはアクセスパターンの変化から即座にそれを検知し、アラートを上げる

Amazon Macie§Webサイトとして公開しているデータにセンシティブな情報が含まれる場合の例

Amazon Macie§アクセスパターンを可視化

§ この例では時系列データに対するslice and diceな解析処理のアクセス

Amazon Macie§監査基準やコンプライアンス要件などにおいてもあなたを助けます

§ 2017年8⽉現在の対応リージョン§ US East (Northern Virginia) § US West (Oregon)

Amazon Macie§利⽤事例

§ Edmunds, NETFLIX, AUTODESK

Protecting Your Customers and Business§ “Security by design” and “Automation is key”

Cloud Security Tools§Networking, Identity, Encryption, Compliance

Encryption on AWS§Encrypt Amazon EFS data at rest

Encryption Key Management§AWS CloudHSMはあまりCloudyでないところもあった

AWS CloudHSM§Complete Rewrite -> Fully Managed by AWS

Compliance on AWS§AWS Service Catalog, AWS CloudTrail, AWS Config

CloudTrail Event History by Default§過去7⽇間のアカウント活動の可視性を提供、全てのお客様が無料で利⽤可能。必要なマニュアル設定などは不要

AWS Config§S3のパーミッションに新しいルール

Capital One§AWS as a central part of technology strategy

§ Move Fast and Stay Secure

Startups§どの業界においても新しい旋⾵を巻き起こしている

Enterprises§デジタルトランスフォーメーションが⽣き残るための鍵

§ GEはkeep reinventingし続けることでサバイブし続けている唯⼀のオリジナルS&P 500

One more thing... re:Invent 2017§2017年11⽉27⽇から12⽉1⽇ @ Las Vegas

Twitch - https://www.twitch.tv/aws

§Special Events | Live from the AWS Summit in NYC§ https://www.twitch.tv/videos/166917418§ エバンジェリストによるKeynoteのRecapやサービス開発チームによる解説

デバンジャンによるGlueの解説 クリスによるSAM Localのデモ