⼗分にデータを活⽤出来ていますか︖ 様々なビジネス分析を...

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

⼗分にデータを活⽤出来ていますか︖様々なビジネス分析を実現するAWS のクラウド分析基盤の構成パターンのご紹介

丹⽻勝久アマゾンウェブサービスジャパン技術統括本部ソリューションアーキテクト

Twitterハッシュタグ #AWSInnovate


本セッションについてセッションの対象者

• AWSの基本的なサービスの知識をお持ちの⽅• データ分析に対して興味、課題をお持ちの⽅、分析基盤の導⼊を予定している⽅

セッションのゴール• AWSのサービスを使った分析基盤の代表的な構成パターンを理解する• 各構成パターンのユースケースを理解する

今回扱う課題リスト• データ分析をどのように開始したら良いか迷っている• コスト⾯で⾼価な分析基盤の導⼊が難しい

【ご連絡事項】本セッション内容について確認するためのクイズおよび簡単なアンケートがセッションの最後にあります。なおクイズの回答はアンケートとあわせて表⽰されます。


アジェンダ

• なぜデータ分析したいのでしょうか︖

• 過去のデータを可視化する分析基盤の構成パターン

• 未来の予測、アクションを決める分析の構成パターン

• まとめ

• クイズ


なぜデータ分析したいのでしょうか︖

そもそも「データ分析」とは何でしょうか︖• Data Analytics (https://en.wikipedia.org/wiki/Data_analysis) ※部分意訳

ü データ分析とは、データを収集、調査、クレンジング、変換、モデリングするプロセスØ 「データ可視化」、「データ配布」に密接にリンク

ü データ分析の⽬的︓有益な情報の発⾒、結論への到達、意思決定⽀援ü データ分析の種類Ø Business Intelligence（BI）︓ビジネス情報の集計処理がメインØ Data Mining︓予測分析のための統計モデルと知識発⾒（Knowledge Discovery）

https://en.wikipedia.org/wiki/Data_analysis


分析のステージ

何が起こったのか︖

何故起こったのか︖

何が起こるのか︖

それを実現させるには︖

記述的分析（Descriptive Analytics）

診断的分析（Diagnostic Analytics）

予測分析（Predictive Analytics）

処⽅的分析（Prescriptive Analytics）

難易度

⾼


各分析ステージの概要記述的分析（Descriptive Analytics）

ü 「過去に何が起こったのか」を分析︓基本的にデータを加⼯＋可視化することにより、その事実を確認するØ そこから何が⾔えるか（insight）は⼈間が判断する

ü 例）⼩売業の売上の⽇次／週次集計、製造業の⼯作機械の平均停⽌時間の⽉次集計

診断的分析（Diagnostic Analytics）ü 「過去に何故それが起こったのか」を分析︓記述的分析をさらに⼀歩深く掘り下げた

分析で、蓄積されている異なる履歴データ間の因果関係などを可視化するØ そこから何が⾔えるか（insight）は⼈間が判断するØ 利⽤する⼿法︓ドリルダウン、相関関係、確率、パターン認識

ü 例）異なる地域の顧客の反応を元にプロモーションキャンペーンの効果判定、昨年対⽐の売上変動要因分析

http://www.ithappens.nu/levels-of-data-analytics/



各分析ステージの概要予測分析（Predictive Analytics）

ü 「（⽐較的近い）未来に何が起こりそうか」を分析︓過去の履歴データを元に統計的、機械学習的⼿法などを利⽤し、固有のイベントの発⽣確率を予測するØ ⼈が判断、予測出来ない領域に期待

ü 例）需要予測に基づく在庫の最適化、売上予測など

処⽅的分析（Prescriptive Analytics）ü 「どのようなアクション取ることで将来の優位性を⾼められるか、リスクを最⼩化できるか」

を分析︓ある特定の望ましい成果、結果を導くために必要となるアクションを提⽰し、提⽰したアクションと実際の結果の関連を学習、改善するフィードバックを活⽤するØ ⼈が判断、予測出来ない領域に期待

ü 例）個⼈の特性／嗜好に合わせたレコメンデーション、⼤型機器／部品等の予兆保全など




再掲）分析のステージ








処⽅的分析（Prescriptive Analytics）

難易度

⾼


現在のビジネスの状況から有益な情報の発⾒、結論への到達、意思決定⽀援をすることで現在のビジネス、未来のビジネスへ改善のためのアクションを取るため

なぜデータ分析したいのでしょうか︖



過去情報の可視化がメイン• Business Intelligence（BI）• SQL








処⽅的分析（Prescriptive Analytics）未来の予測／処⽅的分析• 機械学習／統計モデル


様々な記述的／診断的分析シーン• 定期的に送付されるCSV/TSVをExcelで編集

ü 社内で配布される主要業務データ（取引データ etc.）

ü 外部のデータ取込み（経済指標、株価 etc.）

• 部⾨内のシステムの帳票（OLTPシステム）

• 複数システム間のデータ分析（データウェアハウス／データマート）ü 事業部レベルのビジネス分析（予実管理、損益管理）

ü 企業全体のビジネス状況把握（経営分析）

• デバイス、アプリケーションから送付されるデータ、ログ分析


⽐較的⼩規模なファイルを分析 ※現状の課題

• 各⾃ Excel で可視化の問題ü 個⼈のスキルに依存ü バージョン管理などの仕組みが必要ü データのばらつき、ヌケ、モレü 似たようなグラフ、分析が乱⽴（ムダ）ü ⼤容量のデータ処理が苦⼿


⽐較的⼩規模なファイルを分析 QuickSight

SPICE

QuickSight


⽐較的⼩規模なファイルを分析 QuickSight＋S3S3へ構造データのアップロード

SPICE

QuickSight

Amazon S3


発展系）⽐較的中規模データ分析︓QuickSight＋S3＋Athena

QuickSight

Amazon S3 Amazon Athena


VPC

部⾨内システム（OLTP）を直接分析 QuickSight

QuickSight

オンプレミス SPICE

※VPCのプライベート接続はAmazon QuickSight Enterprise Editionのみ


Amazon QuickSight


⼤規模で複数のシステムからデータ収集 Glue + Redshift⼤量データの効率的な取込み（Glue）とクラウド型データウェアハウス（Redshift）

AWS Cloud

RedshiftGlue

Amazon S3 Crawler

オンプレミス

QuickSight

ETL処理 DWH


⼤規模で複数のシステムからデータ収集 Glue + Redshift⼤量データの効率的な取込み（Glue）とクラウド型データウェアハウス（Redshift + Spectrum）

AWS Cloud

RedshiftGlue

S3 Crawler

QuickSight• データ量が⾮常に多い

ü Spectrum を使ったコスト削減

ETL処理

S3

Redshiftの表の⼀部としてS3データを検索可能

データの洗い替え

DWH


ラムダ・アーキテクチャ

S3

DynamoDB

Devices

Sensors

AWS IoT

Kinesis Data Streams

AWS Greengrass

Kinesis Data Firehose

Kinesis Data Analytics

Kinesis Data Streams

データレイク

Glue

EMR Redshift Athena

Amazon QuickSight

or

Elasticsearch Service

スピードレイヤ

バッチレイヤ





過去情報の可視化がメイン• Business Intelligence（BI）• SQL






処⽅的分析（Prescriptive Analytics）未来の予測／処⽅的分析• 機械学習／統計モデル


様々な予測／処⽅的分析シーン• 変動する需要に対して供給量の⾒積もりを⾏う

ü 今期の商品プロモーション計画に対する売上効果試算ü 季節／気候変動性の⾼いものの⽣産量、在庫量を予測ü 世界情勢などから資源取引価格の値動きを予測

• 個々の顧客に対して効果の⾼いプロモーション、提案を⾏うü 顧客のプロフィール、購買／閲覧履歴などから適切なレコメンデーションü 契約者の解約防⽌のために適切なタイミング（またはリアルタイム）に最適なオファー提⽰

• リスクや不正などを最⼩化するための処置をガイドするü （⽐較的⼤型、⾼価な）部品や機器の故障時期を予測し、適切な時期の交換、保全をガイドü 多数のユーザーの中から不正な⾏動、取引を検知して、警告／サービス制限する






処⽅的分析︓レコメンデーション、予兆保全、不正検知


機械学習モデルにて未来の予測分析を⾏う変動する需要に対する供給量／価格予測

EMR SageMaker

機械学習Spark/Hadoop

データプリパレーション（前処理）

Forecast

AutoML

QuickSight

MLインサイト


プライベートな予測 API

Amazon Forecast

使⽤開始はコンソールまたは API S3 に保存したデータを

Amazon Forecast から指定

カスタム ML モデルを⾃動でトレーニングAutoML で Amazon Forecast が

ベストなアルゴリズムを⾃動選択

正確な予測を⽣成コンソール or プライベート API

を使⽤して予測を取得

履歴データ

関連データ

売上, 電話問い合わせ件数, 在庫, リソース需要

価格, プロモーション, 気象データ, カスタムイベント

アイテムメタデータ色, 都市, 国, カテゴリー,

著者, アルバム名

組み込みデータセット(休日, 週末)

Amazon Forecast︓AutoMLによる値の予測予測分析（Predictive Analytics）


QuickSight MLインサイト︓予測分析機能売上の予測（Forecast）とインタラクティブな予測シミュレーション（What-if 分析）

売上予測値表⽰(Forecast)

※QuickSightのMLインサイト機能はEnterprise Editionで提供されています。


Amazon QuickSight と Amazon SageMakerの連携（Preview）

わずかな時間で、予測ダッシュボードを構築

全てのビジネス分析上でMLモデルを利⽤可能にする

可視化とインサイトを⾼速化

ポイント＆クリックで連携︓コーディング不要

付加価値を産まない作業を取り除き、ビジネスに集中Amazon

SageMaker

Amazon QuickSight

データソース

予測ダッシュボード






予測分析︓変動する需要に対する供給量／価格予測


機械学習モデルにて未来の処⽅的分析を⾏う変動する需要に対する供給量／価格予測

EMR SageMaker

機械学習Spark/Hadoop

データプリパレーション（前処理）

AutoML

Personalize

AutoML

Fraud Detector

（Preview）


アイテム素性(Articles, products,

videos, etc.)

ユーザー素性(Age, location, etc.)

Amazon Personalize

カスタマイズされたrecommendation API

ユーザー⾏動(Views, signups, conversion, etc.)

Amazon Personalize: AutoMLによるレコメンデーション処⽅的分析（Prescriptive Analytics）

リアルタイムどんな商品・

コンテキストでも使える

K E Y F E A T U R E S

ユーザーの意図の変化に対応 AutoML

Amazon SageMaker から既存アルゴリズムの持ち込み

質の⾼い推薦が可能

深層学習アルゴリズム

簡単に使える


発展系）分析の全ステージを統合するためのサービス／機能データレイク基盤（Amazon S3 + AWS Glue＋各種分析サービス）

Devices

Sensors

外部ソースオープンデータ

EMRRedshift Athena SageMakerクローラ

機械学習Spark/HadoopDWH

アドホッククエリ

記述的／診断的分析

Personalize Forecast

AutoML予測／処⽅的分析


特徴 ( https://aws.amazon.com/jp/lake-formation/ )

❏ Amazon S3 バケットからのデータ認識・取込・クレンジング・カタログ化・変換が容易に可能

❏ Blueprint による容易なデータロード設定❖ データベースデータのロード

• スナップショットデータをロードするバルクロード• 更新データを継続的にロードするインクリメンタルロード

❖ CLB/ALB/CloudTrail ログのロード❏ 機械学習による変換で容易に重複データを排除❏ データレイクにアクセスする複数サービスに対し、

横断的にセキュリティポリシーを適⽤❏ テーブル、および、カラム粒度の権限付与が可能❏ セルフサービスアクセス化を加速するカタログ管理機能❏ リアルタイム監査とモニタリング

価格体系❏ Lake Formation ⾃体の利⽤は無償❏ Lake Formation で利⽤されるサービスにかかる費⽤

のみのお⽀払い

新しいインサイトの獲得と管理

複数サービス横断セキュリティポリシー適⽤

データの認識、取込、クレンジング、変換

AWS Lake Formationセキュアなデータレイクを数⽇で構築

https://aws.amazon.com/jp/lake-formation/


まとめ


まとめ• 分析のステージを意識した基盤の代表的な構築パターン

ü 「記述的分析」、「診断的分析」による質の⾼い過去履歴データを揃えることが質の⾼い「予測分析」、「処⽅的分析」を実現する

• まずは簡単な分析をスタートするために Amazon QuickSight

• 様々なデータを統合的に蓄積、管理するデータレイク基盤ü Amazon S3, AWS Glue, AWS Lake Formation

• 機械学習を活⽤した「予測分析」、「処⽅的分析」のためにü Amazon SageMakerü AutoML: Amazon Personalize, Amazon Forecast, Amazon Fraud Detector

→ 機械学習を効率的に活⽤するためにも AutoML 利⽤検討ü Amazon QuickSight の MLインサイト︓ Forecast / What-if 分析


お役⽴ちリンクAmazon QuickSight

ドキュメント ︓ https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/welcome.html

Black Belt セミナー︓ https://aws.amazon.com/jp/blogs/news/webinar-bb-amazon-quicksight-update-2020/

AWS Glueドキュメント ︓ https://docs.aws.amazon.com/ja_jp/glue/latest/dg/what-is-glue.html

Black Belt セミナー︓ https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-glue-2019/

Amazon Redshiftドキュメント ︓ https://docs.aws.amazon.com/ja_jp/redshift/?id=docs_gateway

Amazon SageMakerドキュメント ︓ https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/whatis.html

Amazon Forecastドキュメント ︓ https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/what-is-forecast.html

Amazon Personalizeドキュメント ︓ https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/what-is-personalize.html

https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/welcome.html

https://aws.amazon.com/jp/blogs/news/webinar-bb-amazon-quicksight-update-2020/

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/what-is-glue.html

https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-glue-2019/

https://docs.aws.amazon.com/ja_jp/redshift/%3Fid=docs_gateway

https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/whatis.html

https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/what-is-forecast.html

https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/what-is-personalize.html


クイズ

機械学習ベースで時系列データを予測する分析基盤を構築する場合、どのようなAWSのサービスの選択肢があるかを列挙してください。

本セッションで紹介したもの、紹介していないものでも思いつくものをリストしてください。

Thank you!


⼗分にデータを活⽤出来ていますか︖ 様々なビジネス分析を...

Documents