microsoft intelligent data platform -データ活用のための最新技術-

39
#azurejp https://www.facebook.com/dahatake/ https://twitter.com/dahatake/ https://github.com/dahatake/ https://daiyuhatakeyama.wordpress.com/ https://www.slideshare.net/dahatake/

Upload: daiyu-hatakeyama

Post on 22-Jan-2018

74 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: Microsoft Intelligent Data Platform -データ活用のための最新技術-

#azurejp

https://www.facebook.com/dahatake/

https://twitter.com/dahatake/

https://github.com/dahatake/

https://daiyuhatakeyama.wordpress.com/

https://www.slideshare.net/dahatake/

Page 2: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 3: Microsoft Intelligent Data Platform -データ活用のための最新技術-

製造設備

原材料、プロダクト

予防保全

顧客中心主義迅速に革新し、より機敏になる

スマートプロダクト

サービス・エコシステム

コネクテッド・コンシューマ

顧客

サプライチェーン

設計開発

製造

マーケティング 販売

サービス

Page 4: Microsoft Intelligent Data Platform -データ活用のための最新技術-

完全自動運転で100%無事故を実現しようとすると最低でも

88億マイルを

テストしなければならない。1

2020年、自動運転車は1日に約4,000ギガバイトのデータを生成し、消費する。2

Paris Auto Show Automobility Los Angeles Gartner TechRadar EarthdataAutomobility Los Angeles

2020年、204億のモノがつながる。3

90分のアニメーション映像を製作す

るために、6,500万時間分の

画像レンダリングが必要となる。4

2020年、飛行機から1日に

40テラバイト

NASAの地球観測システムおよび情報システム(EODSIS)は、

1日に約28テラバイトのデータを配信している。5

Page 5: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Lift and Shift

Cloud Optimized

App Modernized

Page 6: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Intelligent Edge + Intelligent Cloud

Mobile

Containers

DevOps

Data

AI

App Modernized

Page 7: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Services

Infrastructure

Tools

Page 8: Microsoft Intelligent Data Platform -データ活用のための最新技術-

#azurejp

2012

深層学習

Google Brain が、YouTube で

猫を75% の精度で識

機械学習

学習させ続ける事で自律的に改善し続けるプログラム

AIコンピュータが、

人間が通常行っている事を行う

AI

ニューラルネットワーク

機械学習深層学習

(ニューラルネットワークの進化)

1956

用語“人工知能”

が使用される

最初の「AIの冬」

2回目の「AIの冬」

1974-1980 1987-1993 2006

深層学習の台頭

2015

グーグルDeepMind の

AlphaGo が囲碁でLee Sedol を破る

2016

マイクロソフトが、

会話の音声認識で

人間と同じ精度を実現

マイクロソフトが、

画像認識で人間と同じ精度

を実現

Page 9: Microsoft Intelligent Data Platform -データ活用のための最新技術-

だから何なの?

Page 10: Microsoft Intelligent Data Platform -データ活用のための最新技術-

• 雑草

農薬にお金

コンバイン x AI

大幅

応用

Page 11: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Pre-built AI

Page 12: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Cognitive Services Labs

Page 13: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Video Indexer

Cognitive Services Labs

Custom Custom Custom Custom Custom

Page 14: Microsoft Intelligent Data Platform -データ活用のための最新技術-

John F. Kennedy (JFK)November 22, 1963

http://aka.ms/jfkfiles

Page 15: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 16: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 17: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Positive

Text Analytics

Page 18: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Entities Identified

Positive

Text Analytics

Entity Linking Intelligent Service

Page 19: Microsoft Intelligent Data Platform -データ活用のための最新技術-

"entityTypeHints": [ "Person" ],

"entityTypeDisplayHint": "Explorer"

"entityTypeHints": [ "Drug"

"entityTypeHints": [

"Place"

Positive

Entities Identified

Text Analytics

Entity Linking Intelligent Service

Entities TypeBing Entity Search API

Page 20: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Web App(azsearch.js)

BlobStorage

Azure Function

Skills:Computer VisionOCR + HandwritingEntity LinkingCIA Cryptonyms Azure Search

Cosmos DBAzure MachineLearning

CognitiveSkill Set

JFK FILESCOGNITIVE SEARCHARCHITECTURE

Skill: Topics

Page 22: Microsoft Intelligent Data Platform -データ活用のための最新技術-

AI

Page 23: Microsoft Intelligent Data Platform -データ活用のための最新技術-

1. 顔の解析

2. 画像へのタグ付け

3. 顔の感情分析

4. OCR

1. テキストからの重要語句の抽出

2. テキストの感情分析

Azure Data Lake の 6つの Cognitive 機能

Page 24: Microsoft Intelligent Data Platform -データ活用のための最新技術-

• オブジェクト認識 (タグ)

• 顔認識、感情認識

• JOIN処理 –幸せな人は誰なのか?

REFERENCE ASSEMBLY ImageCommon;REFERENCE ASSEMBLY FaceSdk;REFERENCE ASSEMBLY ImageEmotion;REFERENCE ASSEMBLY ImageTagging;

@objects =PROCESS MegaFaceViewPRODUCE FileName, NumObjects int, Tags stringREADONLY FileNameUSING new

Cognition.Vision.ImageTagger();

@tags =SELECT FileName, T.Tag

FROM @objectsCROSS APPLY

EXPLODE(SqlArray.Create(Tags.Split(';'))) AS T(Tag)

WHERE T.Tag.ToString().Contains("dog") ORT.Tag.ToString().Contains("cat");

@emotion_raw =

PROCESS MegaFaceViewPRODUCE FileName string, NumFaces int, Emotion stringREADONLY FileName

USING new Cognition.Vision.EmotionAnalyzer();

@emotion =SELECT FileName, T.Emotion

FROM @emotion_rawCROSS APPLY

EXPLODE(SqlArray.Create(Emotion.Split(';'))) AS T(Emotion);

@correlation =SELECT T.FileName, Emotion, Tag

FROM @emotion AS E

INNER JOIN@tags AS T

ON E.FileName == T.FileName;

Images

Objects Emotions

filter

join

aggregate

Page 25: Microsoft Intelligent Data Platform -データ活用のための最新技術-

万能なものは無い

Page 26: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 27: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 28: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Own AI

Page 29: Microsoft Intelligent Data Platform -データ活用のための最新技術-

運用データの準備 ビルドモデル

Azure Machine Learning

Experimentation Service

Azure Machine Learning

Model Management

Service

Page 30: Microsoft Intelligent Data Platform -データ活用のための最新技術-

Spark

SQL Server

GPU インスタンス

コンテナー サービス

Azure Machine Learning Workbench /

AI Tools for VS

SQL Server

Machine Learning Server

オンプレミス

エッジ コンピューティング

Azure IoT Edge

実験およびモデル管理

Azure Machine Learning Ser vice

トレーニングとデプロイ

Azure

Page 31: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 32: Microsoft Intelligent Data Platform -データ活用のための最新技術-

開発の現場への機械学習のインパクト

Page 33: Microsoft Intelligent Data Platform -データ活用のための最新技術-

アルゴリズムとして実装

Page 34: Microsoft Intelligent Data Platform -データ活用のための最新技術-

機械学習によるモデル化

アルゴリズムの実装ではなく、適切なデータの選択とクレンジング、学習アルゴリズムの選択とチューニング、そして試行錯誤

Page 35: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 36: Microsoft Intelligent Data Platform -データ活用のための最新技術-

#azurejp

Big Data / AIYour App

IntelligentApp

Page 37: Microsoft Intelligent Data Platform -データ活用のための最新技術-

#azurejp

Page 38: Microsoft Intelligent Data Platform -データ活用のための最新技術-
Page 39: Microsoft Intelligent Data Platform -データ活用のための最新技術-

© 2016 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.

The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a

commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.

MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.