#azurejp

https://www.facebook.com/dahatake/

https://twitter.com/dahatake/

https://github.com/dahatake/

https://daiyuhatakeyama.wordpress.com/

https://www.slideshare.net/dahatake/

ハイパースケールのエンタープライズグレードのインフラストラクチャ

開発者用ツールおよびサービス

データ サイエンスのためのオープン プラットフォーム

ハードウェア

ストレージ管理

ソフトウェア

AI アプリケーション (ファーストおよびサード パーティ) Cognitive

Services Bot Framework

Spark AI Batch Training DS VM SQL Server ACS

BLOB Cosmos DB SQL DB/DW ADLS

CPU FPGA GPU IoT

Azure Machine Learning

モデルのデプロイおよび管理

機械学習ツールキット

実験の管理、データの準備、コラボレーション

CNTK

TensorFlow

Chainer

Scikit-Learn

その他のライブラリ

PROSE

Docker

クラウド - Spark、SQL、その他のエンジン

ML Server - Spark、SQL、VM

エッジ

構成済みの環境

データサイエンス &モデリング、開発、展開

データサイエンス仮想マシン(DSVM)

ResNet

ImageNet

GoogleNet

ImageNet

2000h Speech

LSTM Model

Neural

Translational Model

130 時間

570時間

1,100時間

2,000時間

Imagenet: 1M Images, 1K Classes

K40 x 8 K40 K40 K40

NC6 NC12 NC24 NC24r

Cores 6 12 24 24

GPU

1 K80 GPU

(1/2 Physical

Card)

2 K80 GPUs

(1 Physical Card)

4 K80 GPUs

(2 Physical

Cards)

4 K80 GPUs

(2 Physical

Cards)

Memory 56 GB 112 GB 224 GB 224 GB

Disk ~380 GB SSD ~680 GB SSD ~1.5 TB SSD ~1.5 TB SSD

Network Azure Network Azure Network Azure Network InfiniBand

NC6s_v2 NC12s_v2 NC24s_v2 NC24rs_v2

Cores 6 12 24 24

GPU 1 x P100 GPU 2 x P100 GPU 4 x P100 GPU 4 x P100 GPU

Memory 112 GB 224 GB 448 GB 448 GB

Disk ~700 GB SSD ~1.4 TB SSD ~3 TB SSD ~3 TB SSD

Network Azure Network Azure Network Azure Network InfiniBand

ND6s ND12s ND24s ND24rs

Cores 6 12 24 24

GPU 1 x P40 2 x P40 4 x P40 4 x P40

Memory 112 GB 224 GB 448 GB 448 GB

Disk ~700 GB SSD ~1.4 TB SSD ~3 TB SSD ~3 TB SSD

Network Azure Network Azure Network Azure Network InfiniBand

-

1,000

2,000

3,000

4,000

1 2 3 4 5 6 7 8

Thro

ugh

pu

t (i

mag

es/

seco

nd

)

Batch Size

Series2

Series1

21x Speedup

GPU: Ubuntu 14.04.5, Tensor RT 2.1, CUDA 8.0.42, cuDNN 6.0.5; precision FP32 (K80), INT8 (P40 GPU).

ResNet-50

Optimize performance with TensorRT and reduced precision

ハイパースケールのエンタープライズグレードのインフラストラクチャ

開発者用ツールおよびサービス

データ サイエンスのためのオープン プラットフォーム

ハードウェア

ストレージ管理

ソフトウェア

AI アプリケーション (ファーストおよびサード パーティ) Cognitive

Services Bot Framework

Spark AI Batch Training DS VM SQL Server ACS

BLOB Cosmos DB SQL DB/DW ADLS

CPU FPGA GPU IoT

Azure Machine Learning

モデルのデプロイおよび管理

機械学習ツールキット

実験の管理、データの準備、コラボレーション

CNTK

TensorFlow

Chainer

Scikit-Learn

その他のライブラリ

PROSE

Docker

クラウド - Spark、SQL、その他のエンジン

ML Server - Spark、SQL、VM

エッジ

開発者による AI の採用促進 (API化)

ハイブリッドトレーニングとスコアリングシナリオの台頭

イベント発生場所でのスコアリング/推論の実施(エッジ、クラウド、オンプレミス)

一部の開発者がData Scientist /AI Developer を目指す

多様なハードウェアの進化(CPU/GPU/FPGA/ASIC/デバイス)

データ準備

モデルの展開と管理

モデル系統と監査

モデルについての説明責任

課 題主 要 動 向

NotebooksIDEs

Azure Machine Learning Workbench

VS Code Tools for AI

実験およびモデル管理サービス

AZURE MACHINE LEARNING SERVICES

Spark

SQL Server

Virtual machines

GPUs

Container services

SQL Server

Machine Learning Server

ON-PREMISES

EDGEAzure IoT Edge

TRAIN & DEPLOY OPTIONS

A ZURE

GUIでのドラッグアンドドロップ コードファースト

好みの IDE を使用

あらゆる種類のデータを活用

使い慣れた環境

任意のツール

任意のフレームワークまたはライブラリ

D O C K E R

単一ノードのデプロイ (クラウド/オンプレミス)

Azure Container Service

Azure IoT Edge

Spark クラスター

運用データの準備 ビルドモデル

https://aka.ms/azureml-docs

https://aka.ms/azureml-wb-msi

https://aka.ms/azureml-wb-dmg

https://aka.ms/mmlspark

https://aka.ms/vscodetool-ai

© 2016 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a

commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.

MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.