Driving Transformation

Microsoft

Azure

4

米国中部Iowa

米国西部California

北ヨーロッパIreland

米国東部Virginia

米国東部２Virginia米国政府

Virginia

米国中北部Illinois

米国政府Iowa

米国中南部Texas

南ブラジルSao Paulo

西ヨーロッパNetherlands

北中国 *Beijing

南中国 *Shanghai

東日本Saitama

西日本Osaka

南インドChennai

東アジアHong Kong

東南アジアSingapore

東南オーストラリアVictoria

東オーストラリアNew South Wales

中央インドPune

カナダ東部Quebec City

カナダ中部Toronto

西インドMumbai

(2015年 10月現在)

稼働中 構築中 * Operated by 21Vianet

100カ所以上のデータセンター ネットワーク網が全世界でトップスリーの一つ AWS の2倍、Google 6倍の地域サポート G Series – 最大 VM 提供開始 – 32 コア, 448GB RAM, SSD…

22 の地域でサービス中、24の地域まで拡大予定

世界最大のインフラストラクチャー

5

Microsoft Azure アップデート

•仮想マシン• SSD を利用した DS シリーズ

• 32 CPU / 448 GB の G シリーズ

•ネットワーク• Express Route（専用線接続）

•新サービス

• Azure Site Recovery

• Machine Learning（機械学習）

• Stream Analytics （リアルタイム分析）

• DocumentDB（非構造化DB）

• Azure Search（検索）

• Data Factory（ETL）

• Data Lake（Hadoop）

•ストレージ• プレミアムストレージ (SSD-based)

西日本に続き、東日本でも GA

• Azure Files の機能拡張• SMB 3.0対応

• SQL データベース• アクティブジオレプリケーション

• SQL Server DWH on Azure (A9) 開始

• Elastic Scale

•その他

• Azure Remote Apps

• StorSimple 8000 シリーズ

6

• 米国マイクロソフト本社に本部を構え、世界 5 都市にサテライトセンターを有する• マルウェア、ボットネット、知的財産 (IP) の窃取、児童ポルノなどに関連するサイバー犯罪の全般に対応する専門チーム

• 最新データをモニタリングし、マルウェアの情報/状況を解析• 一日に5億件以上のトランザクションをトラックし分析

• IPアドレスレベルで攻撃元を特定する仕組みも有する

• 全世界のサイバーセキュリティの攻撃状況を分析、情報をセキュリティ関連団体および連邦政府と連携し撲滅

• 最新の状況を分析し、すぐに製品に反映し安全を確保• クラウドサービスは即時対応。オンプレミス製品は月に一回のセキュリティアップデートで対応 ※緊急は即時

サイバー クライム センター

世界トップクラスのセキュリティ

7

世界規模のクラウド基盤サーバー/ ネットワーク/ データセンター

高度な自動化

統合リソース管理

柔軟性

従量課金

ネットワーク

仮想ネットワーク

トラフィックマネージャー

コンピューティング

仮想マシン

クラウドサービス

Webサイト

モバイルサービス

開発言語

キャッシュ メディア CDN Visual StudioHPC BizTalkID サービスバス

アプリケー

ション

バックアップ

データサービス

SQL

Database

/ DW Service

Hadoopテーブル BLOB

キューStorSimple

Document

DBExpress

Route

多要素認証

管理API 通知ハブ スケジューラ オートメーション

Data

Factory

Stream

AnalyticsMachine

Learning

Azure Cloud Platform 全体観

Event

HubsSearch

Microsoft Azure IoT 関連サービス8

デバイス コネクティビティ ストレージ 分析 可視化・アクション

Event Hubs SQL DatabaseMachine

LearningApp Service

Service BusTable / Blob

Storage

Stream

Analytics

Notification

Hubs

Windows

10 IoT

IoT Hub

(IoT Suite)DocumentDB HDInsight

Mobile

Services

Data Lake Data FactoryBizTalk

Services

Power BI

{ }

Event Hubs

• Azure 上でスケーラブルなイベントの受信･送信を行うサービス• AMQP / HTTP(S) のサポート（MQTT サポート予定）

• イベントデータの保有期間：1日～7日間

•性能• 毎秒数百万イベントの受信能力

• 超低レイテンシー（10ms 以下, 毎秒 GB）

•共有アクセス署名 (SAS) による認証• デバイス単位にユニークなトークン

パブリッシャー（送信）

• センサー• IoT ゲートウェイ

• Web API

コンシューマ（受信）

• Stream Analytics

• Power BI• カスタムアプリ

HTTPS

AMQP AMQP

Stream Analytics ジョブ

Stream Analytics

• Azure 上でのストリームデータのリアルタイム処理を行うサービス• デバイス、マシーン、アプリケーションと接続した Event Hubs から数百万のリアルタイムイベントを取得して解析

• リアルタイム分析ソリューションを低コストで実装し、保守できるように最適化

• 一連のタスク（入力 → クエリ → 出力）をジョブといい、開始・停止が可能

入力 x N

•イベントハブ• BLOB ストレージ

クエリ

• SELECT

• WHERE

• JOIN / UNION

• GROUP BY

• Windowing,…

出力 x N

• SQL データベース• BLOB ストレージ• TABLE ストレージ•イベントハブ

• Power BI

Power BI Dashboard

• Azure から提供される新たな Business Intelligence SaaS 型サービス

Microsoft IoT ソリューション12

App

Service

Cloud

Gateway

BLOB

CSV ファイル

HDInsight

ビッグデータ基盤Machine

Learning

Web サービスとして公開

Event

Hubs

センサーデータの一時保存

Stream

Analytics

生データ保存

」

SQL

Database

マスターデータ集計済みデータ

Machine

Learning

相関関係の分析予測モデル作成

Power BI Dashboard

Things

HTTPS

HTTPS

AMQP

デプロイ

IoT

Gateway

Field

Gateway

MQTT

Serial

Bluetooth LE

LAN/ Wi-Fi

Event

Hubs

アラート

Stream

Analytics

閾値監視

」

Stream

Analytics

集約データ保存

AMQP

ユニバーサルアプリケーションマスターデータ

リアルタイムデータ

アラート

デバイス制御

デバイス制御

ML API 呼び出し

HTTPS / AMQP

分析スペクトラム14

Descriptive 記述 Diagnostic 診断 Prescriptive 規範Predictive予測

何が起こっている？ なぜそうなった？ これからどうなる？ どうすべきなのか？

Traditional BI : データの可視化 Deployed ML : 将来の予測

IT Professionals

セルフサービス BI

（Power BI, SSAS）

Information Worker

定型レポート（SSRS）

Data Scientists

マシーンラーニング（Azure ML, R）

Azure Machine Learning：概要

•クラウドで機械学習を提供するサービス• 最新の高品質な機械学習アルゴリズムが非常に安価な時間課金で提供• データの抽出からクリーニング、前処理、トレーニングなどすべてブラウザから操作

•予測を行うための Web Service API の作成と配置• トレーニングされたモデルを Module 化し、これを利用して入力値から予測結果を返す Web Service API を作成

• 作成した API はアプリから利用

• OSS（R 言語や Python）も活用可能• R 言語や Python を実行するための Module (R は 350 以上) が提供• 既存の R や Python のパッケージをインポートすることも可能

•費用はベース＋利用量課金• ハードウェアやライセンスを購入不要• 固定費を削除して必要な時に必要なだけ利用

15

Azure Machine Learning でのフロー16

1. 目的の定義• 何の目的で何を分析・予測したいのか

2. トレーニングデータの準備• 結果を含むトレーニングデータを用意

• クレンジング、Feature 選択、スプリット

3. モデル開発と学習• 分析フォローの作成

4. モデルの評価• 最適なアルゴリズムの選択

• パラメータの調整（Sweeping）

5. モデルの配置・API の公開• Web サービスのテスト

• 公開・配置

Business

Insights

1

2

34

5

Machine Learning：ML Studio17

キャンパスにフロー部品を配置して接続

部品ごとの設定はプロパティペインで

フロー部品

実行ボタン（課金対象）

モデルを Web サービスへ配置

Machine Learning：モデリングモジュール

•クラス分類（クラス確率推定）• 母集団に属する要素が、ある基準で分けたどの集合に分類されるかを予測する

• どの設備が故障するか？

• 故障予兆が「ある」「ない」に分類

• 既存顧客の中でキャンペーンのオファーに反応するのは誰か？

• 「反応する」「反応しない」に分類

•回帰• 個々のデータに対して、未知の変数（属性）の数値を予測あるいは推定する

• オファーに反応する顧客 A はいくら購入してくれるか？

• クラスタリング• 特定の分類基準を与えず、データを基に類似性を見つけて母集団をグルーピング

• どのターゲット顧客グループにどのような製品を開発・提供するべきか？

• 販売チームをどのように組織するべきか？

• 異常値検出• 定常状態とは異なる状態を発見する

• ネットワーク攻撃を受けているのかどうか

• 詐欺による取引かどうか

18

Azure ML Studio における予測モデルの開発方法19

Train

Model

Score

Model

検証用データ

トレーニングデータ

Evaluate

Model

機械学習アルゴリズム

予測モデルの評価予測モデルの見直し• アルゴリズムの変更

• パラメータの見直し

基本的な予測モデルの作成例20

トレーニングデータの読込み

データクレンジング・メタデータ設定

読み込んだデータを「トレーニングデータ」と「評価用

データ」に分割

予測モデルの作成に使用するアルゴリズム

予測モデルの作成（トレーニング）

左インプット：利用するアルゴリズム右インプット：トレーニングデータ

作成した予測モデルを評価する為に、評価用データで予測を実行

予測結果の評価と可視化

予測モデルの評価指標21

ML Studio : Experiments > Evaluate Model > Evaluation Result

• True Positive

• False Positive

• True Negative

• False Negative

• Accuracy

• Precision

• Recall

• F1 Score

• Threshold

• AUC

AUC 0.9 - 1.0 High accuracy AUC 0.9 - 0.7 Moderate accuracy AUC 0.5 - 0.7 Low accuracy

予測モデルの評価（予測モデルの比較）22

異なる条件で作成した予測モデルを、簡単に比較・評価する事が可能

IoTによる次世代設備統合管理基盤

Confidence

Flexibility

Cost

Insight

高齢化する設備管理者

共有が難しい経験に依存したオペレーション

結果に対する制御の限界（センサーデータ＝制御）

人流外部環境内部環境動力（空調など）時間 フィードバック

経験による制御からAI による制御へ

Project Oxford25

画像認識、音声認識、テキスト認識など、ディープラーニング手法による大きなコンピューティングパワーを必要とする処理を Azure の API Service として提供

https://www.projectoxford.ai/

女子高生人工知能「りんな」（LINE アプリ）

• Bing 検索エンジンで培ったディープラーニング技術＋機械学習のクラウドサービス「Azure Machine Learning」を組み合わせた人工知能• Bing チームによる開発（技術開発には Microsoft Research も参画）

• 発表以前のテストリリース後、口コミだけで１週間で 35万ユーザーを獲得

26

Cortana Analytics Suite27

Capabilities Products

Preconfigured solutions • Business scenarios • Recommendations, forecasting, churn, etc.

Personal digital assistant • Personal digital assistant • Cortana

Perceptual intelligence • Recognition of human interactions and intent • Face, Vision, Speech and Text Analytics

Dashboards and visualizations • Dashboards and visualizations • Power BI

Machine learning & analytics

• Machine learning

• Hadoop

• Complex event processing

• Azure Machine Learning

• Azure HDInsight (Hadoop)

• Azure Stream Analytics

Big Data stores• Big Data repository

• Elastic data warehouse

• Azure Data Lake

• Azure SQL Data Warehouse

Information management

• Data orchestration

• Data catalog

• Event ingestion

• Azure Data Factory

• Azure Data Catalog

• Azure Event Hubs

Event Hubs：パーティション

• Event Hubs における負荷分散（データ編成の概念）• 各パーティションは構成された保有期間にわたりデータを保持

• イベントデータは明示的に削除することができない

• 各パーティションは独立しており、独自のデータシーケンスを含む

• 事前設定された数のパーティションを持つ（ 8 ～ 32, ※申請により上限解除）

• すべてのイベントは、パーティションキーを持ち、パーティションキーはハッシュされて１つのパーティションに格納される

31

Partition 0

Partition 1

Partition N

Event

PartitionKey=ASensorID=24468

Temperature=18.5

Event

PartitionKey=BSensorID=13579

Temperature=23.4

f(A)

f(B)

Event Hubs：スループットユニット

•イベントハブスループットユニット

• Event Hubs の容量の概念

• Service Bus 名前空間に対して最大 20 （申請により無制限）

• 1 スループットユニットあたり（※課金に影響）

• ストレージ：84GB• 許容値を超えた分のサイズには通常の Azure Blob ストレージ料金（LRS）が課金

• 受信：最大で 1 秒あたり 1 MB または 1 秒あたり 1000 イベント

• スロットリングあり

• 送信：1 秒あたり 2 MB

32

34

Stream Analytics：ストリーミングユニット

• Stream Analytics のジョブの処理に使用できるリソース• １ストリーミングユニットは最大 1 MB/秒のスループットを提供

• クエリのステップ数と各ステップのパーティション数によって異なる

• 管理ポータルを使用してジョブのスループット

(イベント数/秒) を追跡

Query Result 1

Query Result 2

Query Result 3

Event Hub

Stream Analytics：Query Language

•クエリのテスト• JSON 形式のローカルファイルを使ってクエリの検証が可能

35

データ操作（DML）• SELECT

• FROM

• WHERE

• GROUP BY

• HAVING

• CASE WHEN THEN ELSE

• INNER/LEFT OUTER JOIN

• UNION

• CROSS/OUTER APPLY

• CAST

• INTO

• ORDER BY ASC, DSC

Scaling Extensions• WITH

• PARTITION BY

• OVER

日付関数• DateName

• DatePart

• Day

• Month

• Year

• DateTimeFromParts

• DateDiff

• DateAdd

ウィンドウ処理• TumblingWindow

• HoppingWindow

• SlidingWindow

集計関数• Sum

• Count

• Avg

• Min

• Max

• StDev

• StDevP

• Var

• VarP文字列関数• Len

• Concat

• CharIndex

• Substring

• PatIndex

Temporal 関数• Lag, IsFirst

• CollectTop

重要な３つの Windowing36

• Tumbling Window

• Hopping Window

• Sliding Window

37

Stream Analytics：Future

• "Azure Stream Analytics can bind custom function names to such web

endpoints." LIMITED PREVIEW• Stream Analytics で web API のエンドポイントや API Key を定義することでクエリの中でその API

が呼び出せる

• Azure Machine Leering との連携などが可能に

SELECT text, sentiment(text) AS scoreFROM myStream

39

クラスター化列ストアインデックス

•インデックスチューニング不要な列指向型テーブル

• 列単位でのデータ格納と高い圧縮率により IO 量の削減

• これまでの行型のテーブルと比べて 10～100 倍高速な集計処理

• 既存テーブルのインデックスを付け替えるだけで OK

• SQL Server 2014 からデータの更新が可能

列ストア

AAA BBB CCC DDD

22 33 44 55

F M M F

行ストア

AAA 22 F

BBB 33 M

CCC 44 M

DDD 55 F

40

インメモリ OLTP（インメモリ最適化）

•テーブルとストアドプロシージャをメモリに配置させることで高速化

•新規および既存の SQL Server システムにおいて平均 10 倍高速化

•複数ユーザーでの追加・更新・削除操作など同時実行性が極めて高い

•アプリケーションには透過的• インメモリ OLTP 固有のエラーがあるのでエラー処理部分は見直しが必要

•メモリ最適化アドバイザー• 既存のテーブルをメモリ最適化テーブルへ移行させるためのウィザード

41

AlwaysOn 可用性グループ with Azure

• 数秒程度の高速フェールオーバー とページ自動修復機能を提供• 高価な共有ディスクは使わず、安価になった PCIe Flash Disk で構成可能

• 最大９台で構成可能、その内、同期レプリカは最大３台で構成

• データベースのレプリカを Azure VM に容易に展開可能（クラウド DR）

クラウドWindows Azure

VM

プライマリレプリカ

同期セカンダリレプリカ

同期セカンダリレプリカ

非同期セカンダリレプリカ

Read-WriteRead-OnlyRead-Only

Read-Only Routing

圧縮トランザクションログ

Backup

自動フェールオーバー

Power BI Dashboard

•クラウドベースのダッシュボード＆レポート分析• プッシュ型のリアルタイム表示が可能

• Stream Analytics からの出力先に対応

43

Power BI Designer

無償のレポート作成ツール

使い方は Excel Power

View と同じで作成したレポートをダッシュボードにピン止めする

構成

• ダッシュボード

• レポート

• データセット

Power BI Dashboardビジュアルコンポーネント44

45

DATAZEN 買収

•今後、レポート系の UI のバリエーションが拡充される

Window 10 IoT for Industry Specific Devices46

Windows 10 IoT for industry devicesDesktop Shell, Win32 apps, Universal Apps and Drivers

1 GB RAM, 16 GB Storage, X86

Windows 10 IoT for mobile devicesModern Shell, Universal Apps and Drivers

512 MB RAM, 4 GB storage, ARM

Windows 10 IoT CoreNo Shell, Universal Apps and Drivers

256MB RAM, 2GB storage, X86 or ARM

Windows 10 IoT Core

•小型デバイスや組み込みデバイスをターゲットにした Windows の新しいエディション• 無償ダウンロード

• Raspberry Pi 2 と MinnowBoard Max 向け

• ユーザーが開発したユニバーサル Windows アプリをこれらデバイスで動作させる事を目的としている

• 開発環境は Windows 10 正式版と Visual Studio 2015 が必要

47