amazon...
TRANSCRIPT
![Page 1: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/1.jpg)
![Page 2: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/2.jpg)
JAWS DAYS 2016 The Next Cloud#jd2016_nextclouds
![Page 3: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/3.jpg)
Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね s
![Page 4: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/4.jpg)
自己紹介Mr. T大学で、文学、心理学、哲学をやってるうちにコンピュータの思考に興味。
夢はインターネット上の言葉を覚えさせておしゃべりすること。
好きな AWS: SimpleDB
はじめまして
![Page 5: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/5.jpg)
QAmazon ML 触ったことは?何かしらソリューションにしたチュートリアルやった
マネジメントコンソールを開いたCLIで aws mach[TAB]と打った
何もしていない
![Page 6: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/6.jpg)
GOAL触ったことはある。もしくは全く触ったことがない。そんな人が、これなら自分にも出来る。けど、今日はビールが待ってるから、出来ないけど明日から本気出すと思ってくれる事。
実際にはここにいる 40%くらいがやってくれれば十分です。
10%before
40%after
このセッションの目的
![Page 7: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/7.jpg)
Amazon
MachineLearning
Amazon Machine Learning は、どのスキルレベルの開発者でも、機械学習テクノロジーを簡単に使用できるようになるサービス
Amazon Machine Learning をちゃんと知るAbout Amazon Machine Learning
![Page 8: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/8.jpg)
Amazon ML 4つの概念About Amazon Machine Learning
ML ModelsDatasourcesのデータを使って、機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。S3、 RedShift、 (RDS)に入っている必要がある。このデータは学習にも検証にも使われる。
Evaluations
Datasourcesのデータを利用して、モデルの精度を検証する。
Prediction作成されたML Modelを利用して
予測を行う。バッチと APIでのリアルタイムの 2
種類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。ML Modelの作成: Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
![Page 9: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/9.jpg)
Datasource
S3
from
Redshift
from
RDSfrom
DatasourceS3,Redshift,RDSに格納されているデータに、 MLとしての型 (Type)を付ける事と予測の対象 (Target)を
指定することで、MLで使える形とする。
From RDSRDSからクエリで取り出す(Management Consoleには無い )
From RedshiftRedshiftからクエリで取り出す。
From S3S3にあるデータを利用する。
Datasourceの作成About Amazon Machine Learning
![Page 10: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/10.jpg)
Datasource 4つのColumn TypeAbout Amazon Machine Learning
Categorical数値や文字列のように、不特定多数の値ではなく、特定多数 (少数 )の値が入ってくる。型は文字列でも数値でも可。
Text文字列のデータ予測の対象 (Target)には使えない。
Binary2種類のみ許される。(Yes or No)
Numeric数値型のデータ
![Page 11: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/11.jpg)
ML model typeAmazon Machine Learningでは3種類の予測モデルを作成出来る。
1. Regression(Numeric)2. Multiclass
Classification(Categorical)3. Binaryclass Classificatoion (Binary)
Datasourceの Targetの Typeによって自動で変わる。
ML Modelの作成About Amazon Machine Learning
![Page 12: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/12.jpg)
ML ModelAbout Amazon Machine LearningRegression
数値型の予測Targetが Numericの時に作られるモデル。
use caseビールの売上予測
判断基準
売上
湿度
Aug 9 - 2015
Aug 30 - 2015
TO DONE
![Page 13: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/13.jpg)
[ Binary | Multiclass ] Classifier
ML ModelAbout Amazon Machine Learning
![Page 14: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/14.jpg)
正解データ
予測値1
予測値2
モデルの検証正解のデータを利用して、予測値と正解の値を比較。
Evaluation ModelAbout Amazon Machine Learning
![Page 15: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/15.jpg)
RMSE
Regression の検証About Amazon Machine Learning - Evaluation
![Page 16: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/16.jpg)
Macro average F1 score
Mulcticlass Clasification の検証About Amazon Machine Learning - Evaluation
![Page 17: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/17.jpg)
Binaryclass Classification の検証About Amazon Machine Learning - Evaluation
![Page 18: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/18.jpg)
Amazon ML 4つの概念About Amazon Machine Learning
ML ModelsDatasourcesのデータを使って、機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。S3、 RedShift、 (RDS)に入っている必要がある。このデータは学習にも検証にも使われる。
Evaluations
Datasourcesのデータを利用して、モデルの精度を検証する。
Prediction作成されたML Modelを利用して
予測を行う。バッチと APIでのリアルタイムの 2
種類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。ML Modelの作成: Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
![Page 19: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/19.jpg)
ML Modelのチューニング
![Page 20: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/20.jpg)
Maximum number of data passesRegularization [type | ammount ]Recipe
チューニング方法チューニングの方法About Amazon Machine Learning - tuning
Amazon ML でのチューニング
![Page 21: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/21.jpg)
特徴を検出する回数モデルを作成するにあたり、何回もこの関連性が強いかな ?どうかな ?みたいな事をする。基本多い方が正確に
1
収束したらそこで終了あるところで、あ、これだみたいなしっくり来るところがある。それを検知した場合自動で終了
2
Maximum number of data passes Amazon Machine Learning
![Page 22: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/22.jpg)
L1
None 正則化複雑すぎるモデルを使うと、訓練用のデータの癖に影響を受けやすい。それをさらっといい感じにする。
L2
Regularization Type | AmmountAbout Amazon Machine Learning
![Page 23: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/23.jpg)
Recipeを制する者はAmazon Machine Learningを制す
RecipeAmazon Machine Learning
日本初
![Page 24: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/24.jpg)
JSON形式で指定
RecipeのフォーマットAmazon Machine Learning {
groups:{},
assignments:{},
outputs:{}}
![Page 25: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/25.jpg)
groups:
RecipeのフォーマットAmazon Machine Learning
groups:{ “group1”: ”group(var1,var2)”}
ALL_TEXT, ALL_NUMERIC,ALL_CATEGORICAL,ALL_BINARY
![Page 26: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/26.jpg)
groups:
RecipeのフォーマットAmazon Machine Learning groups:{
“group2”: ”group(ALL_CATEGORICAL,ALL_BINARY)”, “group3”: “group_remove(ALL_CATEGORICAL,title,subject)"}
![Page 27: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/27.jpg)
assignments:
RecipeのフォーマットAmazon Machine Learning "assignments": {
"binned_age": "quantile_bin(age,30)", "c_g_interaction": "cartesian(country, gender)"
![Page 28: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/28.jpg)
Data Transformations
RecipeのフォーマットAmazon Machine Learning ngram(var1, 3)
osb(var1, 5)lowercase(var1)no_punct(var1)normalize(ALL_NUMERIC)
![Page 29: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/29.jpg)
outputs:
RecipeのフォーマットAmazon Machine Learning "outputs": [
"ALL_NUMERIC" , “group1”, “lowercase(var2), var3
]
![Page 30: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/30.jpg)
recipe
RecipeのフォーマットAmazon Machine Learning
{ "groups": { "NUMERIC_VARS_QB_100": "group('RecordID')", "NUMERIC_VARS_QB_20": "group('CostBeforeTax', 'UsageQuantity','TotalCost','BlendedRate','TaxAmount')", "NUMERIC_VARS_QB_10": "group('RateId')" },
"assignments": {},
"outputs": [ "ALL_CATEGORICAL", "quantile_bin(NUMERIC_VARS_QB_100,100)", "quantile_bin(NUMERIC_VARS_QB_20,20)", "quantile_bin(NUMERIC_VARS_QB_10,10)", "ALL_TEXT” ]}
![Page 31: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/31.jpg)
Amazon ML 4つの概念About Amazon Machine Learning
ML ModelsDatasourcesのデータを使って、機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。S3、 RedShift、 (RDS)に入っている必要がある。このデータは学習にも検証にも使われる。
Evaluations
Datasourcesのデータを利用して、モデルの精度を検証する。
Prediction作成されたML Modelを利用して
予測を行う。バッチと APIでのリアルタイムの 2
種類が行える。
Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。ML Modelの作成: Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ
![Page 32: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/32.jpg)
REAL TIME PREDICTION
API経由でのその場での Prediction実行1BATCH PREDICTION
S3においてあるファイルからのバッチ実行日次などで一気に予測したい場合に有用
![Page 33: Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね](https://reader035.vdocuments.site/reader035/viewer/2022062316/58a603851a28abf6198b62a9/html5/thumbnails/33.jpg)
THANK YOU FOR YOUR ATTENTION