[azureビッグデータ関連サービスとhortonworks勉強会]...
TRANSCRIPT
![Page 1: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/1.jpg)
![Page 2: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/2.jpg)
Azure
![Page 3: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/3.jpg)
AZURE REGIONS
![Page 4: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/4.jpg)
+
Applications
Management
App Frameworks
Databases & Middleware
Infrastructure
Linux
![Page 5: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/5.jpg)
+
Azure
![Page 6: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/6.jpg)
>85%of Fortune 500 use
Microsoft Cloud
![Page 7: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/7.jpg)
Azure momentum
%
k Million
MillionMillion
Trillion
NEW AZURE CUSTOMER SUBSCRIPTIONS/MONTH
MESSAGES PER WEEKPROCESSED BY AZURE IOT
ORGANIZATIONS USING AZURE ACTIVE DIRECTORY
DEVELOPER REGISTERED WITH VISUAL STUDIO TEAM SERVICES
REVENUE FROM START-UPS AND ISVS
SQL DATABASES IN AZURE
![Page 8: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/8.jpg)
CORE INFRASTRUCTURE
Compute Storage Networking Security
ADVANCED WORKLOADS
Web + Mobile
Internet of Things
Microservices
Data + Analytics
Identity Management
Media Streaming
High Performance Compute
Cognitive Services
TOOLS
Visual Studio + Visual Studio Code + Visual Studio Team Services + Xamarin
![Page 9: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/9.jpg)
![Page 10: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/10.jpg)
価値
![Page 11: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/11.jpg)
医療機器/電子カルテのデータを収集(血圧計、パルスオキシメーター、Microsoft Band など)・ 予測分析から治療計画を調整
![Page 12: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/12.jpg)
DEMO
Cortana Intelligence Suiteユース ケース
![Page 13: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/13.jpg)
![Page 14: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/14.jpg)
MachineLearning
Stream Analytics
SQL DataWarehouse
Event Hub
各種デバイス
Data Factory
Data Lake StoreBlob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive Services
Data Catalog
Bot Framework
![Page 15: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/15.jpg)
MachineLearning
Stream Analytics
SQL DataWarehouse
Event Hub
各種デバイス
Data Factory
Data Lake StoreBlob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive Services
Data Catalog
Bot Framework
![Page 16: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/16.jpg)
![Page 17: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/17.jpg)
![Page 18: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/18.jpg)
(Speech APIs)
Pepper による顔認識(Face APIs)
http://www.headwaters.co.jp/news/pepper/SynApps.html
http://www.asahiinryo.co.jp/company/newsrelease/2015/pick_1221_3.html
![Page 19: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/19.jpg)
MachineLearning
Stream Analytics
SQL DataWarehouse
Event Hub
各種デバイス
Data Factory
Data Lake StoreBlob Storage
Data Lake Analytics
Power BI
HDInsight
Cognitive Services
Data Catalog
Bot Framework
![Page 20: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/20.jpg)
![Page 21: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/21.jpg)
具体的な業務シナリオに基づく実装テンプレート
- 自動車テレマティクス分析- 航空機の予防保守- 電力の需要予測https://gallery.cortanaintelligence.com/solutionTemplates
![Page 22: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/22.jpg)
![Page 23: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/23.jpg)
![Page 24: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/24.jpg)
データソース
業務システム
デバイス/センサー
ニア
リアル
タイム
バッチ
![Page 25: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/25.jpg)
データソース
業務システム
デバイス/センサー
バッチ
![Page 26: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/26.jpg)
![Page 27: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/27.jpg)
![Page 28: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/28.jpg)
企業内データを定期的に Azure データストアに
Azure Data Factory
![Page 29: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/29.jpg)
Azure Data Factory
![Page 30: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/30.jpg)
Azure Data Factory で各種データソース間を接続
![Page 31: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/31.jpg)
Azure Data Factory の接続可能なデータソース
Blob Storage, Table StorageSQL Database, SQL Data WarehouseData Lake Store, DocumentDB
Oracle, DB2, MySQL, PostgreSQL, Teradata, SybaseHDFS, OData, ODBC, HTTP (Web)
![Page 32: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/32.jpg)
Azure Data Factory でオンプレミスと接続
![Page 33: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/33.jpg)
Azure Data Factory でオンプレミスと接続
![Page 34: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/34.jpg)
Azure Data Factory の使いどころ
![Page 35: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/35.jpg)
![Page 36: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/36.jpg)
TB, PB データをバッチ処理でクレンジング (前処理)
Azure Data Lake Analytics
![Page 37: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/37.jpg)
Azure Data Lake Analytics
![Page 38: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/38.jpg)
Azure Data Lake Analytics
![Page 39: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/39.jpg)
Azure Data Lake Analytics の使いどころ
![Page 40: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/40.jpg)
Azure Data Factory⇒Azure Data Lake Analytics の流れ
![Page 41: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/41.jpg)
![Page 42: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/42.jpg)
即時スケールアウトが可能なデータウェアハウス
Azure SQL Data Warehouse
![Page 43: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/43.jpg)
即時スケールアウトが可能なデータウェアハウス
![Page 44: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/44.jpg)
Azure Storage Blob 上のファイル
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60
D2D1 D3 D4 D5 D6 D8D7 D9 D10
![Page 45: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/45.jpg)
Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60
![Page 46: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/46.jpg)
Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60
![Page 47: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/47.jpg)
Azure Storage Blob 上のファイル
D2D1 D3 D4 D5 D6 D8D7 D9 D10
D12D11 D13 D14 D15 D16 D18D17 D19 D20
D22D21 D23 D24 D25 D26 D28D27 D29 D30
D32D31 D33 D34 D35 D36 D38D37 D39 D40
D42D41 D43 D44 D45 D46 D48D47 D49 D50
D52D51 D53 D54 D55 D56 D58D57 D59 D60
![Page 48: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/48.jpg)
ブラウザで使えるインタラクティブ ダッシュボード
Power BI Service
![Page 49: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/49.jpg)
Power BI - Custom Visuals Gallery
![Page 50: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/50.jpg)
データソース
業務システム
デバイス/センサー
バッチ
![Page 51: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/51.jpg)
データソース
業務システム
デバイス/センサー
ニア
リアル
タイム
![Page 52: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/52.jpg)
![Page 53: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/53.jpg)
![Page 54: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/54.jpg)
スケールアウト可能なイベントストリーミング
Azure Stream Analytics
![Page 55: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/55.jpg)
スケールアウト可能なイベントストリーミング
![Page 56: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/56.jpg)
![Page 57: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/57.jpg)
機械学習処理サービス
Azure Machine Learning
![Page 58: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/58.jpg)
機械学習処理サービスNo. シナリオ種類 具体例
1. 予測 ・翌日の売上予測
・仕入個数予測
2. クラス分類、クラスタリング ・顧客ステージの分類
・自動判別 (フォルダ分け、タグ付け等)
3. レコメンデーション ・併売商品の提案
・顧客属性や履歴に基づくユニキャストDM
4. 異常検知 ・故障時期の推定
・システム(サーバーリソース) 異常の事前検出
・不正検知 (クレジットカードやセキュリティ等)
5. レコメンデーション ・併売商品の提案
・顧客属性や履歴に基づくユニキャストDM
6. その他 ・文字認識、画像認識、最適化
![Page 59: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/59.jpg)
機械学習処理サービス
25 個の標準アルゴリズム
![Page 60: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/60.jpg)
データソース
業務システム
デバイス/センサー
ニア
リアル
タイム
バッチ
![Page 61: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/61.jpg)
Cognitive Services
![Page 62: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/62.jpg)
Bot Framework
Bot Framework で構築した Bot
Bot Connector Bot DirectoryBot Builder SDKs作成した Bot を
各種サービスに接続
- テキスト, SMS- Office 365 メール, Skype- Slack, Twitter など
Node.js, C# による
ダイアログ開発
COMING SOON
世界最大級のBot 公開ディレクトリ
• Bot ダッシュボードでのBot 登録、接続、公開、管理
• メッセージ ルーティング
• 30 を超える言語への自動翻訳
• ユーザーや状態の管理
• Web チャットコントロールへの組み込み
• デバッグ用ツール
• GitHub で OSS として公開
• シンプルなプロンプトやコマンドダイアログから洗練されたフォームまで
• 適切な話し手になるためのライブラリとサンプル
• チャット エミュレーター
• Cognitive Services に含まれる関連サービスとの連携
• Bot 登録の公開ディレクトリと認定
• Web チャットコントロール経由で登録された Bot を利用可能
• Bot の提供チャネルとして構成可能、検索も可能
![Page 63: [Azureビッグデータ関連サービスとHortonworks勉強会] Azureビッグデータ関連サービス最新情報](https://reader031.vdocuments.site/reader031/viewer/2022021815/586fd4951a28ab18428b48b1/html5/thumbnails/63.jpg)
データソース
業務システム
デバイス/センサー
ニア
リアル
タイム
バッチ