jubatusから 未来の分散インテリジェンスへ ·...
TRANSCRIPT
Jubatusから未来の分散インテリジェンスへ
株式会社Preferred Infrastructure
比戸 将平
自己紹介 比戸将平（HIDO Shohei） Twitter sla 専門データマイニング機械学習 経歴
2002 IPA未踏ユース第一期 2006-2012 IBM東京基礎研究所データ解析グループ
機械学習のアルゴリズム研究開発 お客様案件で数多くの異異常検知プロジェクトに従事
2012- 株式会社プリファードインフラストラクチャー 大規模オンライン分散機械学習基盤Jubatusチームリーダー
2013- Preferred Infrastructure America Inc 取締役Chief Research Officer
2
Preferred Infrastructure Inc (PFI) 設立立 2006年年3月 場所 東京都文京区本郷 正社員数 30 ミッション
ミッションを達成するための我々のポリシー
ベンチャーキャピタルなどの投資を受けない IPOがゴールではない 長期的な視点でイノベーションを生み出すことにフォーカスする 多様性を重視する
今年年3月に別会社Preferred Networksを設立立（後述）
Bring cutting-‐‑‒edge research advances to the real world
3
保有する技術と製品群
Sedue エンタープライズ向け検索索レコメンドエンジン SFBD 非構造化データ検索索分析基盤 Jubatus 大規模リアルタイム機械学習プラットホーム
分散コンピューティング
自然言語処理理 機械学習
情報検索索
4
メンバーの特徵各分野で尖った人材を集めています 正社員26人中22人がエンジニア研究者
自然言語処理理機械学習計算量量理理論論データマイニングの博士 Ex-‐‑‒ Sony IBM基礎研 Yahoo Sun アクセンチュア mixi GREE IPA未踏プロジェクト採択者 5名 ICPC世界大会日本代表7名ICFPコンテスト優勝者 TopCoder RedCoder 3名 (日本人25名)
コミュニティ活動や著書訳書 日本Hadoopユーザー会立立ち上げ 自然言語処理理若若手の会委員長 Hadoop本日本語入力力本 Haskell本 高速文字列列解析本
各種表彰 東大総長賞京大総長賞未踏スーパークリエータ（2名） 情報処理理学会ソフトウェアジャパンアワード2013（代表西川）
5
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
自己紹介 比戸将平（HIDO Shohei） Twitter sla 専門データマイニング機械学習 経歴
2002 IPA未踏ユース第一期 2006-2012 IBM東京基礎研究所データ解析グループ
機械学習のアルゴリズム研究開発 お客様案件で数多くの異異常検知プロジェクトに従事
2012- 株式会社プリファードインフラストラクチャー 大規模オンライン分散機械学習基盤Jubatusチームリーダー
2013- Preferred Infrastructure America Inc 取締役Chief Research Officer
2
Preferred Infrastructure Inc (PFI) 設立立 2006年年3月 場所 東京都文京区本郷 正社員数 30 ミッション
ミッションを達成するための我々のポリシー
ベンチャーキャピタルなどの投資を受けない IPOがゴールではない 長期的な視点でイノベーションを生み出すことにフォーカスする 多様性を重視する
今年年3月に別会社Preferred Networksを設立立（後述）
Bring cutting-‐‑‒edge research advances to the real world
3
保有する技術と製品群
Sedue エンタープライズ向け検索索レコメンドエンジン SFBD 非構造化データ検索索分析基盤 Jubatus 大規模リアルタイム機械学習プラットホーム
分散コンピューティング
自然言語処理理 機械学習
情報検索索
4
メンバーの特徵各分野で尖った人材を集めています 正社員26人中22人がエンジニア研究者
自然言語処理理機械学習計算量量理理論論データマイニングの博士 Ex-‐‑‒ Sony IBM基礎研 Yahoo Sun アクセンチュア mixi GREE IPA未踏プロジェクト採択者 5名 ICPC世界大会日本代表7名ICFPコンテスト優勝者 TopCoder RedCoder 3名 (日本人25名)
コミュニティ活動や著書訳書 日本Hadoopユーザー会立立ち上げ 自然言語処理理若若手の会委員長 Hadoop本日本語入力力本 Haskell本 高速文字列列解析本
各種表彰 東大総長賞京大総長賞未踏スーパークリエータ（2名） 情報処理理学会ソフトウェアジャパンアワード2013（代表西川）
5
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Preferred Infrastructure Inc (PFI) 設立立 2006年年3月 場所 東京都文京区本郷 正社員数 30 ミッション
ミッションを達成するための我々のポリシー
ベンチャーキャピタルなどの投資を受けない IPOがゴールではない 長期的な視点でイノベーションを生み出すことにフォーカスする 多様性を重視する
今年年3月に別会社Preferred Networksを設立立（後述）
Bring cutting-‐‑‒edge research advances to the real world
3
保有する技術と製品群
Sedue エンタープライズ向け検索索レコメンドエンジン SFBD 非構造化データ検索索分析基盤 Jubatus 大規模リアルタイム機械学習プラットホーム
分散コンピューティング
自然言語処理理 機械学習
情報検索索
4
メンバーの特徵各分野で尖った人材を集めています 正社員26人中22人がエンジニア研究者
自然言語処理理機械学習計算量量理理論論データマイニングの博士 Ex-‐‑‒ Sony IBM基礎研 Yahoo Sun アクセンチュア mixi GREE IPA未踏プロジェクト採択者 5名 ICPC世界大会日本代表7名ICFPコンテスト優勝者 TopCoder RedCoder 3名 (日本人25名)
コミュニティ活動や著書訳書 日本Hadoopユーザー会立立ち上げ 自然言語処理理若若手の会委員長 Hadoop本日本語入力力本 Haskell本 高速文字列列解析本
各種表彰 東大総長賞京大総長賞未踏スーパークリエータ（2名） 情報処理理学会ソフトウェアジャパンアワード2013（代表西川）
5
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
保有する技術と製品群
Sedue エンタープライズ向け検索索レコメンドエンジン SFBD 非構造化データ検索索分析基盤 Jubatus 大規模リアルタイム機械学習プラットホーム
分散コンピューティング
自然言語処理理 機械学習
情報検索索
4
メンバーの特徵各分野で尖った人材を集めています 正社員26人中22人がエンジニア研究者
自然言語処理理機械学習計算量量理理論論データマイニングの博士 Ex-‐‑‒ Sony IBM基礎研 Yahoo Sun アクセンチュア mixi GREE IPA未踏プロジェクト採択者 5名 ICPC世界大会日本代表7名ICFPコンテスト優勝者 TopCoder RedCoder 3名 (日本人25名)
コミュニティ活動や著書訳書 日本Hadoopユーザー会立立ち上げ 自然言語処理理若若手の会委員長 Hadoop本日本語入力力本 Haskell本 高速文字列列解析本
各種表彰 東大総長賞京大総長賞未踏スーパークリエータ（2名） 情報処理理学会ソフトウェアジャパンアワード2013（代表西川）
5
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
メンバーの特徵各分野で尖った人材を集めています 正社員26人中22人がエンジニア研究者
自然言語処理理機械学習計算量量理理論論データマイニングの博士 Ex-‐‑‒ Sony IBM基礎研 Yahoo Sun アクセンチュア mixi GREE IPA未踏プロジェクト採択者 5名 ICPC世界大会日本代表7名ICFPコンテスト優勝者 TopCoder RedCoder 3名 (日本人25名)
コミュニティ活動や著書訳書 日本Hadoopユーザー会立立ち上げ 自然言語処理理若若手の会委員長 Hadoop本日本語入力力本 Haskell本 高速文字列列解析本
各種表彰 東大総長賞京大総長賞未踏スーパークリエータ（2名） 情報処理理学会ソフトウェアジャパンアワード2013（代表西川）
5
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
皆さんが知っているPFI 朝日新聞やNHKニュース
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
本セミナーでお話すること
PFIのビッグデータ戦略略とJubatusについておさらい
最近再び注目を集めるIoTM2Mに関する動向
その未来像として考えているコンピューティングの未来
PFIが1年年以上力力を入れてきた画像解析技術の紹介
7
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
NTT SICとPreferred Infrastructureによる共同開発 2011年年10月よりOSSで公開 httpjubatus
Jubatus
9
分散並列列 リアルタイム 深い解析 NTT研究所ソフトウェアイノベーションセンタ
2011年年4月構想
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
これからのビッグデータ解析技術3つのキー要素
1 機械学習などの深い解析技術 決まりきったレポーティングやルール処理理では不不十分 因果関係分析や状況に応じた予測判断が重要
2 大規模データへの対応 DBに保存して貯めることが難しいデータ量量 DBから再度度読み込んで処理理することが難しいデータ量量
3 リアルタイムオンライン処理理 迅速な分析と対応が必要なアプリケーションの出現 データ取得時点でストリーム処理理することが必要
10
深い解析 大規模化 リアルタイムオンライン
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの位置づけ
RDBMSDWH
❶大規模化
❸深い分析
❷リアルタイム性Yahoo S4Twitter Storm
Complex Event Processing
Structured Perception [Collins]Passive Aggressive MIRAOll online-‐‑‒learning library [PFI]
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
12
WEKAemsp emsp 1993-‐‑‒SVM light 1998-‐‑‒
Mahout 2006-‐‑‒
Jubatusの先進性と差別化要因 大規模分散並列列かつオンラインリアルタイム
バッチ
小規模単体
大規模分散並列列
2011年年現在存在しなかったこの分野にフォーカス
bull Structured Perceptron[Collins EMNLP 2002]bull Passive Aggressive MIRA 2004〜～bull online-‐‑‒learning libraryemsp [岡野原 2008]
オンライン（リアルタイム）
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
機械学習の概要
機械学習研究の定義 「経験（データ）によって 賢くなるアルゴリズムの研究」
古典的な統計手法に比べた特徵 確率率率分布の仮定などの制限が少ない 大規模高次元データにも有効
主な問題設定 カテゴリ分類回帰 クラスタリング（グルーピング） レコメンド異異常検知
近傍探索索ベース
学習データ
分類モデル
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusが現在サポートする機械学習アルゴリズム
分類(＋マルチクラス対応)
Perceptron PA CW AROW NHERD
回帰
PA-based regression
近傍探索索
LSH MinHash Euclid LSH Inverted Index
レコメンデーション
近傍探索索ベース
外れ値検知
LOFアルゴリズム
クラスタリング
k-means GMM
グラフ解析
最短路路 中心性(PageRank) 1413
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
クラス分類と回帰
入力力xに対し出力力yを推定する 正解データ(x y)を利利用しxからyの関数を学習
1513
タスク 入力力x 出力力y
メール分類 メール スパム or 普通 or 重要等
Twitterのユーザー分析 Tweet ユーザーの性別職業年年齢など
電気使用料料需要の予測 パケット 各サーバーの予測使用量量（連続値）
広告のコンバージョン予測 アクセス履履歴広告
クリックコンバージョンするか
監視カメラ解析 監視カメラ画像
部屋の状態（明かりがついている人がいるかなど）
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
レコメンド
1613
レコメンデーションを実現する技術 近傍探索索ベース特徵ベクトルが似ている人を探す 協調フィルタリングベース2部グラフ上で近い人を探す
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
外れ値検出
-5
-4
-3
-2
-1
0
1
2
3
4
5
-5 -3 -1 1 3 5
1713
Outlier 外れ値
Noise ノイズ
Novelty 新規
Deviation 変動
Intrusion 侵入
Error エラー
Rare レアイベント
Fraud 不不正
Fault 不不適切切動作
Defect 故障
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
機械学習における「モデル」の定義 計算式とパラメータの集合
その表現方法はタスクやアルゴリズムによって千差万別 例例線形分類モデル y = a x + b
学習教師データ（正解が分かっているもの）を加えると賢くなる 計算式は固定だがパラメータを調整する 学習の例例 (y =+1 x=+2)という教師データを入力力
rarr a x + b = 2a + b が y gt 0 となるように aとbを更更新
予測テストデータ（正解が判らないもの）を与えると結果を返す 予測の例例(x = -5)というテストデータを入力力
rarr yrsquo = a x + b = -5a + b を予測値として出力力
18
Model
学習 テスト
データx
正解yModelデータx
予測yrsquo
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
19
分散リアルタイム機械学習は自明でない
頻繁な モデル更更新 同期操作
オンライン機械学習に必須
分散アルゴリズムに必須
相反
LLLL
LLLL
L
Update
LLL
Update
Update
Update
time
オンラインでモデル更更新=頻繁な同期操作
サーバー1
サーバー2
サーバー3
分散処理理とオンライン 学習のナイーブに組み合わせ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
分散オンライン機械学習を実現するコア技術緩やかなモデル情報の共有 Jubatusは各サーバーのモデル情報を「緩やか」に共有する データ自体は共有せずモデルのみ共有する
既存システムと違う割り切切り 全サーバー間で同時刻に同じモデルが存在することは保証しない
サーバー毎に解析が（実用上問題が無い程度度に）異異なることを許容 時間が経つにつれモデル間の情報は共有されていく
20
モデルモデルモデル 統合 モデル
統合 モデル
統合 モデル
MIXモデルのみ共有
UPDATEデータを分散して学習
ANALYZE分散して処理理
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Uniqueness of Jubatus
Distributed prediction Prediction should also be distributed for high-throughput processing Prediction server can be selected by consistent hash table
The models can be different when making predictions For faster adaption to current For personalization
2113
ModelModelModel
ANALYZEDistributed prediction
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusrsquo baseline architecture Iterative parameter mixture (IPM) ldquoDistributed Training Strategies for the Structured Perceptronrdquo
McDonald et al 2010 UPDATE ldquoTrain a epoch of the perceptron algorithm for each shardrdquo MIX ldquoThis mixed weight vector is then re-sent to each shardrdquo re-UPDATE ldquoAnother single epoch of training is then runrdquo
2213
2213
ModelUpdate
ModelUpdate
ModelUpdate
UnifiedmodelParameter mixture
WITHOUT re-sentdoes not hold good convergence13
Re-sent is the key and can also be used for passive aggressivealgorithm (PA)13
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatus can run on other MIX architectures Pros and Cons
Linear MIX (IPM) High cost High consistency Convergence Simple
2313
Hierarchical MIX Moderate cost Moderate
consistency Rack-awareness
Random MIX(P2P) Low cost Low consistency More scalable
Ormaacutendi et al bdquoGossip Learning with Linear Models on Fully Distributed Datardquo arXiv 201113
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの応用事例例とコミュニティ活動
10人超のアクティブな開発者 ユーザーからも開発参加
毎月マイナーバージョンアップ バグ修正と運用性向上
四半期毎のメジャー更更新 新機能追加
24
ユーザー企業での応用例例 リアルタイム広告最適化 Webサーバー状態監視 スマートハウスグリッド インテリジェント監視カメラ
実運用実験した応用例例 Twitter分析 ソーシャルメディア監視 ネットワーク攻撃検知 マルウェア侵入検知
ハンズオン2回で参加者90人超 勉強会2回に160人超参加
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの展開NEDO IT融合基盤技術に採用
高速化と多様なデータ対応を目指して来年年度度まで開発
都市交通農商工ヘルスケア分野の実証プロジェクトと連携
2613
データ量13
開発計画13
人間が生み出
した
ビッグデータ
＋自然か機械
が生成＋シビアなリ
アルタイム性
の要求
テキスト13ヘルスケア 農商工
ネットワーク13都市交通
公共映像監視13
NEDO IT融合新産業を支えるデータ処理理基盤に関する先導研究「リアルタイム大規模データ解析処理理基盤の研究開発」
2012年年5月構想
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusのセンサーデータ解析事例例が出ました w 住友精密工業様ブリスコラ様
27
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
アーキテクチャ
28
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusで処理理するデータを生み出している現場
29
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
IoTM2Mの本格実用化を支える3つの柱
30
IoTM2Mアプリケーション
ビッグデータの流流行行が製造インフラへ
安価かつ
高性能な
デバイス
標準化
デー
タ解析
プラ
ト
ホー
ム
デバイス無線通信省省電力力演算能力力などの性能向上 標準化One M2Mなど 解析基盤クラウド（）Hadoop系（）
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
GEイメルトCEOIndustrial Internetで GEはソフトウェアと分析の会社になる
31httpitpronikkeibpcojparticleCOLUMN20130903501849
GEの主要製品分野 発電設備 航空機システム 鉄道システム ヘルスケア メディア金金融事業は売却分離離
なぜソフトウェアと分析なのか ＝顧客の問題解決に必要だから データ解析による安定運用とリスク回避 「これからの製造業は分析力力が差別化要素」
取り組み Amazon AWSを使った解析基盤＋人材育成
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
クラウドまでの世界 bull データ＝情報＝価値 bull データ種類
bull トランザクションログ bull テキスト
bull 価値密度度が高い bull 集計可視化すれば理理解できる bull アクションできる bull 量量が多少大きくても蓄積すれば 分析処理理が可能
IoTM2Mの世界
bull データne情報 bull データ種類
bull センサー bull 動画像
bull 価値総量量は大きいが密度度は低い bull 生データ自体価値がない bull 情報と価値を見見出す処理理が必要 bull 一方で量量が多く世の中に偏在するため人手で分析するのは困難
なぜIoTM2Mでデータ解析が重要なのか
32
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
IoTM2Mの未来に向けた大規模データ解析基盤の展望
IoTM2Mのアプリケーションの分類 蓄積型 リアルタイム型
IoTM2M向けデータ解析基盤 既存のビッグデータプラットホーム M2Mクラウド リアルタイムオンライン処理理系
33
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
蓄積型のIoTM2Mアプリケーション データ収集可視化モニタリングアラート
34
データ発生からアクションまでの時間数分〜～数日 アプリケーション例例
機械の遠隔監視モニタリングによる故障発見見予知 ヘルスケアモニタリングシステムによる健康管理理
デバイス例例 家電 車車 オフィス機器 工場設備 重機 ヘルスケアセンサー スマートフォン 社会インフラ監視設備（道路路鉄道水道等）
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
基本的にはコマツのKOMTRAX事例例の類似事例例
35httpwwwsalesforcecomjpsocialenterprisesocial-mediavol3-bigdatajsp
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
リアルタイム型のIoTM2Mアプリケーション
データ発生からアクションまでの時間数十ミリ秒〜～数秒 アプリケーション例例
車車載カメラからのリアルタイムヒヤリハット検知 ネットワーク上での攻撃故障予兆検知 動画像からの異異常状態検知
デバイス例例 インテリジェントカー ネットワーク機器 監視カメラ
36
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
IoTM2Mデータ解析において重要となる機械学習
amp
SQL DWH BI
CEP MR CQL
13
$
(Machine Learning)
IoTM2Mデバイスが動作する環境は千差万別 あらかじめ全てを複雑なルールで記述することは困難 機械学習などの方法で統計的な状況に応じた処理理が必須
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
既存のビッグデータプラットホーム
38
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
M2Mクラウド
各ベンダーからすでにサービスが出ている 農業や社会インフラ工場管理理などが中心
NEC CONNEXIVE 応用農業品質管理理放射線測定製造業 巨大な知恵袋クラウドデータセンター（月額50万円）
NTTデータ Xrosscloud 応用気象情報河川管理理 アプリ＋プラットホーム＋コンサル
富士通 データ活用基盤+SPATIOWL 応用SPATIOWLをベースに位置情報系が中心 非構造ストレージベース
39
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
IIJ GIO M2Mプラットホームサービス ThingWorx中心のクラウドサービス（PaaS）
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
株式会社ユビキタス ldquodarchymia (ダルキミア)rdquo デバイスデータ管理理プラッ トホーム
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
リアルタイムオンライン処理理系
IoT向けのビッグデータ解析基盤はまだ商用には無い リアルタイムオンラインに特化した機械学習基盤OSSは増加
Jubatus NTTとPFIで共同開発2011年年公開
Apache SAMOA Yahoo Labsが開発S4やStormベース2013年年公開
Cloudera Oryx HadoopディストリビューターMahout開発者が開発2013年年公開
今はまだIoTM2Mシステムには組み込めない 今後これらがIoTM2M向けに発展していく可能性
42
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatus Hadoopの先を行行く大規模データ解析基盤
従来の大規模データ解析集計やルール処理理が主な手段 HadoopやCEP(Complex Event Processing)が中心的役割
これからの大規模データ解析リアルタイム性や深い解析も重要 Jubatus 世界初の大規模分散オンライン機械学習基盤 NTT SICと共同開発オープンソース公開 rarr httpjubatus
43
1 大規模化
3 深い解析
2 リアルタイムオンライン
43
分散オンライン化したアルゴリズムを実装済みの処理理機能 分類回帰近傍探索索レコメンド異異常検知クラスタリング
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
それ以外の技術動向IoTM2Mデータの流流通管理理
センサーデータのフォーマット センサーデータとシステムの定義を記述するもの
例例SensorML（httpwwwogcnetworknetSensorML ） センサーデータ活用のAPI仕様
データ問い合わせと更更新のプラットホーム非依存なWeb標準
例例Odata（ httpwwwodataorg ）
センサーデータ活用の通信プロトコル これまでネットワーク越しのアプリ間の通信はHTTPが主流流であったがオーバーヘッドが大きいため非効率率率
例例MQTT（ httpmqttorg ） IBMが提案元であり積極的に推し進めている
M2Mアプリサービス開発基盤 ThingWorx （ httpwwwthingworxcom ）
44
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
センサーと解析基盤はどう結びついていくのか
段階を踏んで両側から進んでいく センサー側から
IP化 データ収集基盤 共通化変換前処理理基盤
解析基盤側 クラウドまでのロギング基盤 クラウド解析基盤 リアルタイム解析基盤
最近のIoT紹介記事はまだ初期段階のレベル IP化 x クラウドまでのロギング基盤
例例MQTTAmazon KINESIS
45
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
M2MやIoTは枯れたバズワードか
M2M 起源 1995年年Siemensの無線ネットワーク経由M2M 課題 煩雑なプロトコル制御や専用線コスト 変化 3G回線IPネットワークの普及プロトコル標準化
IoT 起源 1999年年MITのRFID研究センター 課題 センサー精度度や単価アプリと技術のミスマッチ 変化 モノを実際にインターネットに繋げる流流れ
一度度は成功しなかったコンセプトも外部環境変化や技術進歩の 組み合わせによって非連続な価値上昇が生まれることがある Googleの前にも検索索エンジンはあった iPodの前にもMP3プレイヤーはあった Kindleの前にも電子書籍端末はあった
46
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusをどうデザインして作ったか
IoTM2Mの最新技術動向
未来の分散インテリジェンス
画像解析の取り組み紹介
Agenda
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Edge-heavy data データ価値の多くはエッジ（縁）に存在する
48
センサデータの増加によりデータの総価値は増加する その一方データの価値の密度度自体は下がりつつある
現在のビッグデータの殆どは排気データ（exhaust data）排気データ他の事業活動の副産物として生成されたデータ
多くのデータが収集されるが利利用されない利利用を見見込んで投機的に収集したり解析することは割に合わない場合が多い
コストネットワーク ストレージ 個人情報管理理
推測多くのデータは収集された地点で管理理処理理され emsp emsp emsp 濃縮された重要な情報のみがやりとりされる
丸山宏 岡野原大輔 Edge-Heavy Data CPSビッグデータクラウドスマホがもたらす次世代アーキテクチャ13GICTF総会 特別講演 2012 httpwwwgictfjpdoc20120709GICTFpdf13
2012年年7月構想
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
分散インテリジェンスの必要性
49
多数のデバイスが分散しているIoTアプリケーションでは処理理の為にデータを中央に集約できない データ量量何百万のデバイスからストリーミングビデオ
レイテンシー100ミリ秒以内でのリアルタイムな判断
プライバシー問題生データは共有できない
スマートフォン13
インテリジェントカー13
ヘルスケアモニタリング
バイオメディカル
インテリジェントカメラ13
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
映像機能解析の進化 インテリジェントな行行動認識識
50
bull Standing bull Wearing a tie bull Holding a bag bull Using a cell phone
自動キャリブレーション amp アクティブセンシング
インテリジェント な解析
ネットワークを 介した協調動作
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
映像機能解析の進化 インテリジェントでスケーラブルな 監視カメラシステム
51
Room Building
City
1部屋の監視から街全体の 監視までのスケーラビリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
映像機能解析の進化
自律律的稼働 amp アクティブセンシング それぞれのカメラは自動キャリブレーションを行行い自律律的に判断を行行う それぞれのカメラは機械学習を用いて最適なモデルを学習生成する
ネットワークを介した協調動作 複数台（2-10000以上）のカメラが協調動作を行行う 環境時刻を考慮しそれぞれのカメラに最適なモデルを自動選択する
インテリジェントな解析 ディープラーニングを用いたリアルタイムな解析（教師あり教師なし学習）
統合検索索エンジンを利利用し重要な画像人物物体をインタラクティブ にもしくは自動的に同定する
52
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ヘルスケアの進化 人体や周辺環境からの健康リスクのより深い把握
53
環境要因周辺環境の微粒粒子
呼気からのウイルス バクテリア検出 バイタルサイン
ヒトゲノム
様々なデータ間の関係を自動的に発見見解釈
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ヘルスケアの進化 見見えないリスクの予測予防
54
高感染リスク領領域
10分後 高感染リスク
健康リスクが 高い部屋を警告
ネットワークカメラウイルス 検知器
ネットワークカメラが保菌者の動きを予測モーション予測とウイルス検知を組み合わせて微粒粒子の動きが予測可能
システムが感染リスクを予測したら 空気清浄機が自動で稼働する
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ヘルスケアの進化
それぞれの人物固有の情報や周辺環境の情報を統合し現在の状態環境での個々人の健康リスクを推定する
人物固有の情報
遺伝情報ゲノム情報に基づいたリスク要因
身体的特徴年年齢性別体重バイタルサイン
位置動作 位置情報と行行動（監視カメラGPS加速度度計などで追跡）
周辺環境の情報
天気気温降降水量量湿度度風速
環境要因 空気質指数（AQI）UV指数 騒音
病原体周辺環境での病原体の発見見
応用例例保菌者の動きの追跡予測による個々人の感染リスク推定
55
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
IoT環境における分散インテリジェンスの開発
機械学習ベースのインテリジェンスをエッジデバイス （スマートフォンハンドセットネットワーク）ネットワークデバイスクラウドサーバーに組み込む
デバイスの自律律的で目的指向な協調動作を可能にするプラットフォームの開発
このチャレンジを今行行う3つの理理由 IoTにおけるビッグデータの世界的潮流流 機械学習の進歩により新しいテクノロジーが可能に ネットワークアーキテクチャを発展させる大きな機会
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの進化(12)多種多様な環境への適応
57
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの進化 (12)多種多様な環境への適応
Jubatusのパラダイムを多種多様なIoT環境に拡張する それぞれ処理理固有の要求や個々のデバイスのユニークな環境に応じて最適なモデルを調節決定する
多種多様なモデルの操作 初期化MIX操作チューニング比較
多種多様なモデルの管理理 データ保持コピー転送アサイン
Hadoopとの比較 IOスループットのスケールをサーバー数からデバイス数まで拡張する
リアルタイムストリーミング処理理をサポート MapReduceに限らないよりフレキシブルなプログラミングモデルを許容する
58
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの進化 (22)
59
異異なる状況での 学習モデル間の変換
様々なデータタイプ間での変換
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusの進化 (22)
IoTはデバイスデータタイプモデルが混在する多種多様な環境が特徴的である
多様なデバイスが生データを共有する事なくインテリジェンスをやりとりする必要がある
異異なる母国語を持つ人達が会話する際に実際の物体をやりとりするのでなく翻訳を行行う事で概念念を意思疎通できる事のアナロジー
データが意味的に同一ならば異異なるデータタイプやもしくは異異なる状況での学習モデルは変換可能である
複数のデータソースを統合的に利利用することで高精度度で深い解析を達成できる
60
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
まとめ
PFIはIoTにおける分散インテリジェンスの開発に現在注力力している Jubatusは分散インテリジェンスの実現に最適な第一歩である JubatusはIoT環境に向けた新機能を含む形で進化していく 分散インテリジェンスはクラウドベースの処理理基盤に比べて圧倒的な量量のデータを処理理できる
分散インテリジェンスを最新の機械学習と組み合わせる事で精緻な判断が可能
機械学習の手法はそれが使用されるネットワークの特性に応じて最適化されなければならない
61
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Jubatusをどうデザインして作ったか
未来の分散インテリジェンス
IoTM2Mの最新技術動向
画像解析の取り組み紹介
Agenda
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
実際の監視カメラ映像を使ったデモ画面
63
各人物を追跡し 床面上に動線描画
ヒト検出rarrヒト追跡rarr属性（体の向き性別帽子）認識識 ヒト検出最新技術により斜め視点でも高精度度でノイズに強い 属性認識識ディープラーニングの精度度向上効果
任意の属性を認識識可能（例例ベビーカー等）
帽子認識識
体の向きと 性別を認識識重なりあう
二人を検出
画面奥でも 高い認識識率率率
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
デモアーキテクチャと要素技術
64
Scouter Front end Web server
Storage
ユーザー
動画像保存13
タグ情報保存 検索機能13
検索可視化13
カメラ
ヒト検出13動きトラッキング Jubatus分類機能13
動画ストリーム13
Video analysis system13
動画像とタグ付け情報13
検索索エンジン
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
機械学習の応用について（2010年年の視点） 機械学習
方法論論的にはすでに飽和へ向かっている
重箱の隅をつつくような論論文も
ヒューリスティクス的手法が限定されたデータセットで成功rArr卒論論レベル
機械学習rArr応用
基本的なところはすでにやられていると考えたほうが良良い
すでに機械学習データマイニングが少しわかる人は多い
最新のトピックを応用して初めて勝負になるフェーズへ
分野の特徴をとらえてマジカルな要素を入れられれば勝ち
「勉強しましたシンプルに応用しましたできました」では辛い
応用rArr機械学習
同様に「新しい応用見見つけましたやりましたできました」は辛い
本質的に意味のある新しい問題設定を見見つけられれば勝ち
注パラダイムシフトは機械学習の応用指針を根本から変える6513
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
2012年年後半から急にDeep Learningが大流流行行 学会での嵐嵐
主要学会のチュートリアルで紹介
ICML（機械学習） ACL（自然言語処理理） CVPR（画像処理理）
ICLRという専門の国際会議が発足 (元々snowbird workshop)
ビジネスでの嵐嵐
Microsoftが音声認識識をDeep Learningベースに置き換える
おそらくGoogleなど他の企業も置き換える
業界誌や日経新聞などの記事でも取り上げられる
6613
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
会社ブログがとても注目された(974RT)
6713 あれから1年半hellip13
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
6813
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
関連分野歴史
機械学習の沿革
機械 学習
ニューラル ネットワーク
ルールベース 推論論
エキスパート システム
人工知能
統計学
times
（現代的）機械学習
（現代的）機械学習
パターン 認識識
最適化 理理論論
統計学
確率率率論論
データ マイニング
知識識発見見 工学
情報論論的 学習理理論論
強化学習 能動学習
クラス分類
クラスタ リング
異異常検出
回帰予測
ディープ ラーニング
6913
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ニューラルネット(NN)の歴史 (13)
1940年年代頃から何度度もブームがhellip
Perceptron [Rosenblatt 1958]
単層ニューラルネットワークの一種
MinkyampPapertが非線形なXOR関数を学習できないことを指摘
ニューラルネット研究への期待と投資が一気に萎む
Back propagation [Werbos 1975 Rumelhart et al 1986]
多層パーセプトロン向けの誤差逆伝搬アルゴリズム
XORを含む非線形関数の学習が可能に
一方で人工知能研究全体が下火に
機械学習の勃興とニューラルネットワークの失墜（1990年年代）
統計的学習理理論論にルーツを持つ計算効率率率の良良い手法に注目
ニューラルネットは深層化複雑化するもデータも計算能力力も不不足
「精度度の低い過去の手法」というレッテルが貼られる 7013
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ニューラルネット(NN)の歴史 (23)
2000年年代ニューラルネットの長い冬の時代
（計算モデルとしては同質の）Support Vector Machineの大流流行行
機械学習の他分野への応用が進む
SVM系のカーネル法やブースティングRandom Forestが成功
ニューラルネットは過去の遺物として忘れられたまま
アカデミアでも少数の研究者だけが細々と続けてるイメージ
2006年年からDeep Neural Netに密かな復復活のきざし
Hinton BengioらによるPreTraining とAutoEncoderの登場
深い階層を持った場合でも勾配が拡散せず学習できる
Ngらによる視覚野の働きに似た画像特徴抽出
人の視覚認識識の仕組みを部分的に再現できた
しかしまだ一部の研究者のみが注目している状況
「巨大化ニューラルネットに何の意味がhellip」 7113
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
ニューラルネット(NN)の歴史 (33)
2010年年以降降の爆発的な復復活
多くの分野でのベンチマークテストによる圧勝
一般物体画像認識識音声認識識薬物活性予測
これまでのstate-of-the-artを大きく凌凌駕すると共に
非専門家が達成したことに衝撃
大規模NNからの教師無学習（後述）
Googleが1000万枚の画像を利利用してパラメータ数が数十億からなる大規模NNを2000台（16000コア）で1週間で学習
‒ 実は現在では同等の精度度が1台のGPGPUで達成可能 教師無し学習で知識識のようなものが得られる
7213
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7313
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
7413
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
DNNの信じる世界 = Principal of Compositionality 複雑な現象の意味は構成する部品の意味の組み合わせである
人間（生物）の多くの認識識がこれを満たす テキスト画像音声
DNNはPrincipal of Compositionalityを利利用している 情報表現も単純な部品の組み合わせで複雑な情報も表現できる
部品は上位の複数の部品で共有される
これらの関係再帰的に効率率率よく学習できる
7513
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Deep Learning技術の核心 データの深い（多段の）処理理全体を通して学習する 目的は複雑なモデルを比較的少ないリソースで学習すること
浅い２層の Neural Network でも任意の関数をRBM でも任意の分布を表現できるがその場合は隠れユニット層のノード数が膨大になり学習データも大量量に必要になる
Deep Learning の場合同じ関数分布を表現するのに必要なユニットデータ数が浅いモデルに比べて圧倒的に少なくて済む
Deep Neural Net で学習した関数を「教師」として浅い Neural Net を学習させられるが同じ水準のモデルを浅い Neural Net で直接得ることは同じ学習コストでは（今のところ）できない
76
L J Ba and R Caruana Do Deep Nets Really Need to be Deep ArXiv 13126184
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Deep Learning課題とブレークスルー3つ1 複雑なモデルの効率率率的な学習
Greedy Layer-wise Training (2006)
2 モデルの過学習を防ぐ正則化 Dropout (2012)
3 画像認識識の特性を活かす Convolutional NN (1998) + MaxPooling
77
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
課題1 複雑なモデル Deep Belief Network
最後の１層だけ無向なグラフィカルモデル 各層ごとに RBM の重みが良良い初期値になる
Greedy Layer-wise Pre-training と呼ばれる Deep Learning のブレイクスルー
最後に Up-down 法で fine-tuning 全層それぞれで Contrastive Divergence を用いる方法も (top-down regularization)
特徴抽出に使うかDNN の初期値にする
G E Hinton S Osindero and Y-W Teh A fast learning algorithm for deep belief nets Neural Computation 2006 H Goh N Thome M Cord and J-H Lim Top-Down Regularization of Deep Belief Networks NIPS 2013
78
78
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
課題2 過学習 層を深くしてモデルを複雑にすれば様々な状況を表現できる
一方で教師データに含まれるノイズを学習してしまう
新しい入力力データには違うノイズが乗るので精度度が落落ちる
モデルの表現力力が高いと起きやすい
深層ニューラルネットワークは表現力力が非常に高い
過学習もしやすい
一般的な対策 正則化
SGDの場合よくやる方法 毎回重みに1より少し小さな値 (0999
5とか) をかける
重み減衰といわれるL2正則化に対応する
7913
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Dropout [Hinton+ 2012]
8013
Deep Learningに関する最も重要な技術の一つ
学習時毎回ランダムに選んだ入力力隠れユニットを一旦取り除いて学習する（サボらせる）
ユニット間パラメータ間の依存関係が減る
アンサンブル学習の近似になる
2050 50 脱落落させる確率率率
(よく用いられる値)
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
事前学習 大量量データから事前知識識を得る(12)
8113
bull 入力力データを復復元するような重みを学習bull 代表的な手法
bull (Denoising) Auto Encoder [Vincent+ rsquo08] bull ニューラルネットワークとして学習
bull Contrastive Divergence [Hinton rsquo02] bull 確率率率モデル(RBM)の学習
Denoising Auto Encoder 近くなるように学習
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
事前学習 大量量データから事前知識識を得る(22)
8213
bull 1層目を学習し終えたら1層目を固定して2層目を学習するbull これを繰り返してDeep Neural Networkの（低層の）初期重みを決定する
bull 少数データを使った教師学習「前の」学習としての効果bull 過学習が減るbull 「良良い局所解」が得られる
近くなるように学習固定
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
Dis-entagling 「もつれをほどける」「ほぐれる」という意味
元々のデータが高次元中で絡まっている状態を
うまくほぐして表現することで低次元で簡単な情報にする
実際その後簡単な線形分類器で高精度度を達成する
Googleの例例はImage netでの最高精度度を達成
データに対する仮説観測データを生み出してている
情報源は少数のコンセプト属性からなる
なのでそのような少数のコンセプト属性を見見つければ良良い
8313
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
課題3 画像認識識とニューラルネット ピクセルデータで表される画像
縦1000 x 横1000 x RGBなら300万入力力ユニット 密なニューラルネットではパラメータが多すぎる 特に多層ニューラルネットでは絶望的
画像の特性 近接するピクセルとの関係は深い 遠く離離れたピクセルとの関係は薄い どこに着目すべき特徴が現れるかは不不明 様々な特徴の組合せ（出現と位置関係）で 画像は認識識される
8413
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
畳み込みとPooling
8513
畳み込み層 プーリング層bull 近いユニットとしかつながらない（局所受容野）bull 同じ色のエッジには同じパラメータを使いまわすbull プーリング層では複数の入力力を一つにまとめる（maxやL2平均などが主流流）bull パラメータ数が減るので学習しやすい平行行移動不不変性が得られるbull 畳み込み+プーリングで小さなパターンを学習できる
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
（参考）表現学習 自動特徴抽出としての事前学習 機械学習は次の２つのステップからなると説明した
STEP1 入力力データからの特徴抽出
STEP2 特徴に対する学習推論論
特徴抽出は今でもドメイン知識識や人手による試行行錯誤が必要
自然言語処理理画像処理理行行動履履歴 hellip 毎に異異なる技
Feature Engineeringとも呼ばれる一種のアート
どれを使うかどう組み合わせるのか値はどうするのか
特徴抽出も自動化できないか
特徴抽出は機械学習の実用上なボトルネック
人手は本当に最適かさらに改善できないか
rArremsp 低層ネットワークの教師無し事前学習
8613
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
PFIにおける実例例手の上げ下げの認識識タスク
87
Yes No
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
手の上げ下げ動作の認識識タスク精度度
88
手法 エラー率率率 (小さいほど高性能)
既存手法線型分類器（AROW） （弊社オフィスで作成のデータセットのみ使用） 19
ディープラーニング （弊社オフィスで作成のデータセットのみ使用） 8
事前学習+ ディープラーニング （他のデータセットによって事前学習を実施） 2
bull ディープラーニングを用いてをエラー率率率の減少を達成 bull ドメイン外の大量量画像データを用いた事前学習を行行うことでよりロバストな特徴抽出が可能になりエラー率率率の更更なる低減を達成
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
深層学習（ディープラーニング）
歴史70年年に渡る栄光と挫折
基礎パーセプトロンと学習手法
核心2000年年代後半のブレークスルー
最新画像認識識を始めにさらなる進化
8913
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
機械学習ディープラーニングにおける青田刈り NIPS2013機械学習で最高峰の国際学会 スポンサーGoogleAmazonFacebookIBMMicrosoftYahoo
理理論論系会議のため数年年前までスポンサーはわずか数社だった FacebookはCEOマークザッカーバーグまで来場
90
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
2013年年 大企業による投資人材争奪戦
３月Google が DNNresearch を買収 著名なGeoffrey Hinton教授 Alex Krizhevsky and Ilya Sutskever
４月Baidu が Institute of Deep Learning を設立立 一人目として著名なKai Yu をNECアメリカラボから引抜き
8 10月Yahoo が画像認識識のスタートアップ IQ Engines と LookFlow を買収 Deep learning group を作るための布石と報じられる
12月Facebook AI Lab 設立立 アカデミアからYann LeCun 所長MarcrsquoAurelio Ranzato など ザッカーバーグ「Theory of mindを作るのが目的」
2014年年1月Google が DeepMind を500億円で買収 G Hinton の研究室の卒業生Deep Learning による強化学習技術
91
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
DeepFace 人間レベル精度度のヒト認識識 [Taigman+ CVPR2014]
92
Facebook AI Labの成果 顔の3Dモデルを作って正面化 位置が固定なので異異なる工夫
位置毎に異異なる重み Poolingは1層目のみ
ベンチマーク精度度972 ヒトの精度度975にほぼ等しい
Y Taigman M Yang MrsquoA Ranzato and L Wolf DeepFace Closing the Gap to Human-Level Performance in Face Verification CVPR2014
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
PANDA ポーズベースのヒト属性認識識技術 [Zhang+ CVPR2014]
93
「メガネと帽子」の検索索結果
Poselet 体の部位毎 の部分画像
Poselet毎のCNN 全く違う特徴
各CNNの出力力を スパース選択
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
なぜ深層学習がこれほど劇的に成功したのか Hintonら曰く「Bengioらが90年年代に培った手法」
emsp emsp emsp emsp emsp emsp emsp emsp + 「Google等が持つ大規模データ」
+ 「Dropout」+ 「高速化したハードウェア」
2010年年周辺に単一の技術的ブレークスルーがあったわけではない
学習手法の改善
PreTraning AutoEncoder Dropout Maxout学習率率率調整
ハードウェア性能実装技術の向上
GPGPUや大規模クラスタの利利用
巨大データとの出会い
Hinton研学生がMSやGoogleでインターン
これまでの学習手法の煮詰まり感
既存手法で特徴量量からの学習は飽和
特徴抽出は比較的手付かず 9413
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
PFNがどう価値を出そうとしているか
人工知能研究の需要の高さ 20年年前から機械学習研究が盛り上がる
15年年前から他分野応用が拡がる
10年年前からWebを中心に実社会応用が始まる
5年年前から製造業など他業種にも広まる
2-3年年前から技術と人材への需要と一般の注目が爆発
研究分野としてのダイナミズム まだまだ発展分野のため系統的な教科書が存在しない （今日の内容含め）講義で習った内容もすぐに陳腐化してしまう （相対的に）積み重ねではなく新しい研究の価値が高い 若若い人が学生新卒の間に学ぶことが大きな価値を持つ
対比線形代数や統計を学ぶならまず教科書で事足りる
PFIのRampDメンバーも25歳前後が中心
95
得居誠也 Deep Learning 修士卒3年年目
阿部厳 Computer Vision 修士卒2年年目
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
「ソフトウェアが世界を食う」時代 [Marc Andreessen WSJ interview 2011] ハードウェアは性能過剰かつコモディティ化
家電rarrSamsungなどの低価格攻勢に日本勢が負ける サーバー事業rarrクラウドの従量量課金金でコスト数分の一 専用ハードウェアが仮想化でソフトウェア化されている
例例OSのVMNetwork Functions Virtualization
価値の源泉はソフトウェア（オンライン）にある Appleは音楽Amazonは本NetflixはビデオSkypeは通信
Zynga (GREEDeNA)はゲームシステムをソフトウェア化した 3つのチャレンジ
ソフトウェアを核としたビジネスモデルの実現が必須になる ソフトウェアを活用できない企業は敗北北する コーディングできるかどうかで技術者の価値が変わる
96
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ
PFNが保有する技術と今後の予定
97
＜ヒト検出追跡認識識技術＞ ディープラーニングや最新技術の導入で 世界最高レベルの認識識精度度を実現
＜画像機械学習プラットホーム＞ 様々な属性の認識識モデルの作成
データ管理理を容易易にする独自ツール
＜動線解析技術＞ カメラ上の位置を床面に変換することで 立立ち位置を正確に追跡することが可能
今後の技術目標 bull カメラ毎の自動チューニング機能 bull 複数カメラをまたいだヒト追跡機能 bull クラウドソーシングとの連携
応用bull 小売の顧客行行動分析広告最適化 bull 公共施設の支援見見守り目的検知 bull 防犯セキュリティ