2016/4/16 softlayer bluemix community festa 2016講演資料

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ

Bluemixと Apache SparkでできるIoTデータの収集と分析

2016.4.16クリエーションライン (株 ) 木内

4/16 Softlayer Bluemix Community Festa 2016講演資料


Powered by

http://www.irasutoya.com/2


こんにちは。

3


自己紹介

木内満歳（きうちみつとし）

クリエーションライン株式会社シニアコンサルタント

Slideshare: http://www.slideshare.net/mkiuchi4

gihyo.jp記事“ Mesosphere DCOSでつくる

”クラウドアプリケーションhttp://gihyo.jp/admin/serial/01/dcos

専門分野： Apache Mesos, Apache Spark, 分散コンピューティング , クラウドコンピューティング , NoSQL DB, グラフ DB

O’reilley Certified Developer on Apache Spark

4

4

http://www.slideshare.net/mkiuchi4

http://www.slideshare.net/mkiuchi4

http://gihyo.jp/admin/serial/01/dcos


会社紹介

5

Copyright 2016 CREATIONLINE, INC. All Rights Reservedⓒ 6

クリエーションライン株式会社 2006年 1月設立


所在地


エヌ・ティ・ティ・コミュニケーションズ株式会社ビッグローブ株式会社株式会社エヌ・ティ・ティ・データ株式会社オージス総研KDDI株式会社シトリックス・システムズ・ジャパン株式会社株式会社スクウェア・エニックスソフトバンクテレコム株式会社ソフトバンク・テクノロジー株式会社株式会社電通国際情報サービス独立行政法人情報処理推進機構 (IPA)西日本電信電話株式会社 (NTT西日本 )日商エレクトロニクス株式会社日本アイ・ビー・エム株式会社日本電気株式会社株式会社ブロードバンドタワーネットワンシステムズ株式会社三菱電機情報ネットワーク株式会社三菱電機ビルテクノサービス株式会社(五十音順 )

主要取引先主要取引先


主たる事業

9

主たる事業

１．クラウド基盤のコンサルティング／アプリケーション開発・サポート

２．各クラウドプラットフォームに対応した設計、構築、運用支援サービス

３． IoT／ビッグデータ基盤構築、データ分析サービス

１．クラウド基盤のコンサルティング／アプリケーション開発・サポート

２．各クラウドプラットフォームに対応した設計、構築、運用支援サービス

３． IoT／ビッグデータ基盤構築、データ分析サービス


主な取扱い製品

1010

IaaS基盤

構成管理・ DevOpsMSP

PaaS・データ分析基盤


来たれ若人

• クラウドの基盤に興味がある、作りたい

• データ分析とかしたい、データサイエンティストになりたい

• イケてる方の ITやりたい

こんな人に向いています

バイト、インターン可（できれば週３日以上）卒業後正社員登用の可能性あり実務『虎の穴』でもりもりスキルアップします

11


たのしい職場ですいっしょにがんばりましょう

12


さて、本題。

13


IBM Bluemix

1414


割愛

16


要するにこういうことです

• IBMが作りました

• めっちゃ早くソフトウェアやサービスを作ることができます

• ソフトウェアの中身をあまり勉強しなくても使えるし、わりかしいい感じに動きます

• チューニングとか安定性とかはIBMが頑張ってくれます

17


BARTBay Area Rapid Transit, CaliforniaOperation Monitoring, 15 days to install18


Le Tour de FranceRealtime Monitoring, Winner Prediction

19


Poseidon Project, IBM ResearchWater Preservation, IoT

20


BluemixInternet of Things

21


Internet of Things

22


“データフロー・オーケストレーション (ツール )”

23


{“name”:

“kiuchi”,

“company”:

“creationline”

}

{“name”: “y

arai”,

“company”:

“creationline”

}

24


{ “MyID”: “1234567890987654321”, “time”: “2016/4/16 12:34:56 +0900”, “data” : [ “temp”: “26” ]}

“JSON ”データ（ JSONドキュメント）

25


{“name”:

“kiuchi”,

“company”:

“creationline”

}

{“name”: “y

arai”,

“company”:

“creationline”

}

“(ドキュメント型 )NoSQL ”データベース

26


IoT Sensorエミュレータ (ブラウザで動作 )

https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/

27

https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/


Internet of Things

MQTT

28


Internet of Things

MQTT

センサーがMQTTに対応していない場合

フィールドゲートウェイ(Local -> MQTT)

29


● 統計解析

● 機械学習

● ストリームデータ処理

● SQL

30


BluemixInternet of Things

https://console.ng.bluemix.net/

31

https://console.ng.bluemix.net/


ライブデモ

32


デモの構成

JSON

MQ

TT

x8 sensors

33


Apache Sparkにおけるプラグインのしくみ

SparkSQL

HiveQL互換

JDBC/ODBC互換

Parquet

JSON

CSV

Hive DB

RDB

プラグイン MongoDBなど

34


Spark Packages

http://spark-packages.org/ 35

http://spark-packages.org/


Sparkにおける Cloudant

add-onパッケージとして提供されているhttps://github.com/cloudant-labs/spark-cloudant

36

https://github.com/cloudant-labs/spark-cloudant


コードの差分

motoDF = sqlContext.read.json("cloudant.json")motoDF.registerTempTable("motoTable")sDatDF = sqlContext.sql("SELECT doc.d.temp, doc.d.objectTemp FROM motoTable")

conf.set("cloudant.host", "fefa3728-43cc-41c1-b287-b0392358477d-bluemix.cloudant.com")conf.set("cloudant.username","fefa3728-43cc-41c1-b287-b0392358477d-bluemix")conf.set("cloudant.password", "893ba581ee90dcdbbeaa922cb6cd00a5b795fb0fb383d20d98f1ee45d9")sc = SparkContext("local", conf=conf)sqlContext = SQLContext(sc)motoDF = sqlContext.load("mktestdb", "com.cloudant.spark")motoDF.registerTempTable("motoTable")sDatDF = sqlContext.sql("SELECT d.temp, d.objectTemp FROM motoTable")

ローカルファイルを読む場合

Cloudant DBを読む場合

以降のコードは全くいっしょ37

2016/4/16 softlayer bluemix community festa 2016講演資料

Technology