Upload File

第2回nips読み会・関西資料『unsupervised learning for physical interaction through video...

  • Home
  • Science
  • 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』
55
Unsupervised Learning for Physical Interaction through Video Prediction Chelsea Finn@UC Berkeley Ian Goodfellow@OpenAI Sergey Levine@Google Brain, UC Berkeley 担担： 担担 担担 担担担担担担 @ 担 2 担 NIPS 担担担 担西 ・ 2016/12/26 ※ 担担担担担 担担担担担担担担担担担担担担担担担 ： https://www.sites.google.com/site/robotprediction/

Upload: koji-ochiai

Post on 14-Jan-2017

276 views

Category:

Science


6 download

Report

TRANSCRIPT

Page 1: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Unsupervised Learning for Physical Interaction

through Video PredictionChelsea Finn@UC BerkeleyIan Goodfellow@OpenAI

Sergey Levine@Google Brain, UC Berkeley

担当：落合 幸治理化学研究所@ 第 2 回 NIPS 読み会・関西 2016/12/26

※ 発表後追記：動画は画像下のリンクで確認できます https://www.sites.google.com/site/robotprediction/

https://www.sites.google.com/site/robotprediction/
Page 2: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモ アーキテクチャー 実験結果 まとめ

Page 3: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモ アーキテクチャー 実験結果 まとめ

Page 4: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

概要 目的

カメラの画像とロボットアームの制御データから未来の画像（ピクセル値）を予測する 工夫

ピクセルの移動を表現するベクトル (motion transformation ) をニューラルネットワークから出力し直前の画像に適用する マスクを使い、変化していないピクセルは直前の状態をそのまま出力する 制御信号を畳み込みの途中で concatenate する

結果 見たことのない物体に対しても移動の予測に成功 制御信号の変更で予測画像も変化

Page 5: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモアーキテクチャー 実験結果 まとめ

Page 6: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

デモGround truth expected

https://www.sites.google.com/site/robotprediction/

学習済みの物体

https://www.sites.google.com/site/robotprediction/
Page 7: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

デモGround truth expected

https://www.sites.google.com/site/robotprediction/

初めて見る物体

https://www.sites.google.com/site/robotprediction/
Page 8: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

何が嬉しい？ 教師なし（人によるラベル付け作業無し）で物理法則（画像内の不変量）を学ばせることができる 行動ごとに異なる未来を予測

ゴール指向の行動計画 起こりうる未来の問題の予測（自動運転などで） 予測の文脈における興味深い現象の検出 （物体の領域検出）

応用

Page 9: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモ アーキテクチャー

バリエーション 実験結果 まとめ

Page 10: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ

Page 11: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ入力画像

Page 12: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ

出力画像

Page 13: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャconvolution に recurrent 結合を持たせたレイヤー

Page 14: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャskip

Page 15: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ

制御信号（アクションと状態）

Page 16: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャマスク

Page 17: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ

motion transformation 𝑚 ̂

Page 18: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

バリエーション1. Dynamic Neural Advection(DNA)2. Convolutional Dynamic Neural Advection(CDNA)3. Spatial Transformer Predictors(STP)

motion transformation 𝑚 ̂ の計算方法は以下の３つが提案されている。

どれを選んでも、パフォーマンスはほぼ同じ。

Page 19: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

Page 20: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

過去フレームのピクセル

Page 21: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

予測フレームのピクセル

Page 22: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

座標

Page 23: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

重み

Page 24: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

出力先座標の周りで足し合わせ

Page 25: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Dynamic Neural Advection(DNA)

重み

ここをニューラルネットで推定

Page 26: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Convolutional Dynamic Neural Advection(CDNA)

ここを畳み込みに変更(DNA は画像全体に適用）

Page 27: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

現在の座標

Page 28: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

1 フレーム前の座標

Page 29: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

変換行列

Page 30: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

ここをニューラルネットで推定

Page 31: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

ここをニューラルネットで推定

画像生成の式

Page 32: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

ここをニューラルネットで推定

のとき 1 それ以外 0

Page 33: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

Spatial Transformer Predictors(STP)

ここをニューラルネットで推定

のとき 1 それ以外 0

Page 34: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像

Page 35: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation

・・・

Page 36: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation

・・・

10 個

Page 37: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

・・・

・・・

Page 38: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

mask(sum=1)

・・・

・・・

・・・

Page 39: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

mask(sum=1)

・・・

・・・

・・・

10+1 個

Page 40: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

mask(sum=1) result

・・・

・・・

・・・

・・・

Page 41: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

mask(sum=1) result

・・・

・・・

・・・

・・・

画素の補完

Page 42: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アーキテクチャ元画像 motion transformation conv

mask(sum=1) result

・・・

・・・

・・・

・・・

+

+

=

画素の補完

Page 43: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモ アーキテクチャー 実験結果

定量評価 アクションの変更 マスク可視化

まとめ

Page 44: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

定量評価学習済みの物体be

tter

提案手法 画像を直接予測 画像の差分を予測 Skip なし

Page 45: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

定量評価初めて見る物体

提案手法 画像を直接予測 画像の差分を予測 Skip なし

bette

r

Page 46: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アクションの変更

Page 47: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アクションの変更最初のフレームのみ入力

Page 48: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アクションの変更最初のフレームのみ入力

変更

Page 49: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

アクションの変更初めて見る物体Action x 0 Action x 1 Action x 1.5

https://www.sites.google.com/site/robotprediction/

https://www.sites.google.com/site/robotprediction/
Page 50: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

マスク可視化ここを可視化(10+1 個ある）

Page 51: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

マスク可視化初めて見る物体prediction Mask 0(background) Mask 2

https://www.sites.google.com/site/robotprediction/

https://www.sites.google.com/site/robotprediction/
Page 52: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

目次 概要 デモアーキテクチャー 実験結果 まとめ

Page 53: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

まとめ 目的

カメラの画像とロボットアームの制御データから未来の画像（ピクセル値）を予測する 工夫

ピクセルの移動を表現するベクトル (motion transformation ) をニューラルネットワークから出力し直前の画像に適用する マスクを使い、変化していないピクセルは直前の状態をそのまま出力する 制御信号を畳み込みの途中で concatenate する

結果 見たことのない物体に対しても移動の予測に成功 制御信号の変更で予測画像も変化

Page 54: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

以降参考スライド

Page 55: 第2回nips読み会・関西資料『unsupervised learning for physical interaction through video prediction』

定量評価

𝑃𝑆𝑁𝑅=10 log10𝑀𝐴𝑋 2

𝑀𝑆𝐸 𝑆𝑆𝐼𝑅 (𝑥 , 𝑦 )=(2𝜇𝑥𝜇 𝑦+𝑐1)(2𝜎𝑥𝑦+𝑐2)

(𝜇𝑥2+𝜇𝑦

2 +𝑐1)(𝜎 𝑥2+𝜎 𝑦

2 +𝑐2)

輝度の max( 通常 255) 𝑐1=(0 .01𝐿 )2

𝑐2=(0 .03𝐿)2

人の感覚に合わせた画像誤差の評価指標-1 ～ 1 の値を取り 1 で完全一致画像評価指標大きいほど誤差が少ない


NIPS DeepLearningWorkshop NNforText

TUTORIAL PART 1 Unsupervised Learning - NIPS 2010 · PDF fileTUTORIAL PART 1 Unsupervised Learning Marc'Aurelio Ranzato Department of Computer Science – Univ. of Toronto [email protected]

Nips yomikai 1226

NIPS 2011 Poster

[DL輪読会]Unsupervised Cross-Domain Image Generation

第2回nips+読み会: Learning to learn by gradient decent by gradient decent

Supplemental Material - NIPS

NIPS 2016, Tensor-Learn@NIPS, and IEEE ICDM 2016

NIPS 2010 読む会

Deep Sets - NIPS

Unsupervised Cross-Modal Alignment of Speech …people.csail.mit.edu/andyyuan/docs/nips-18.unsupervised...2. Learning Embeddings Text Embedding Space • Train Word2Vec [Mikolov et

Introduction - NiPS) Lab

論文紹介：Unsupervised Learning for Physical Interaction through Video Prediction（NIPS2016読み会）

Nips At Their Best

2002 Mixtures Nips

[DL輪読会]Learning What and Where to Draw (NIPS’16)

Appendices - NIPS

[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017)” and Neural Domain Adaptation

NIPS読み会2013: One-shot learning by inverting a compositional causal process

NIPS 2012 読む会

NIPS 2013 Workshop Book

Norfolk Nips issue 164

Nips Paper21

NIPS 2016 輪読: Supervised Word Movers Distance

Unsupervised Cross-Modal Alignment of Speech …people.csail.mit.edu/andyyuan/docs/nips-18.unsupervised...Word2vec [Mikolov et al., 2013] Language 1 Language 2 Do not need to be parallel!

論文輪読資料「A review of unsupervised feature learning and deep learning for time-series modeling」

NIPS2014読み会 NIPS参加報告

National Implementation Plans (NIPs)

Norfolk Nips issue 177

Norfolk Nips #168

Layer Normalization@NIPS+読み会・関西

170318 第3回関西NIPS+読み会: Learning What and Where to Draw

Positional Normalization - NIPS

[DL輪読会]Unsupervised Learning of 3D Structure from Images

Norfolk Nips issue 174