深層学習Chapter1 はじめに

Chapter2 順伝播型ネットワーク

S5 lab. M1 Shuji Mihara

Chapter1. はじめに

1

深層学習(Deep Learning)とは？ 2

多層のニューラルネットワーク(以下NN)を用いた学習法の総称.

・畳込みNN (Convolutional Neural Network, CNN)

→主に画像処理分野で使用

・再帰型NN (Recurrent Neural Network, RNN)

→主に自然言語処理や音声認識で使用

(Example)

深層学習(Deep Learning)とは？ 3

多層のニューラルネットワーク(以下NN)を用いた学習法の総称.

・畳込みNN (Convolutional Neural Network, CNN)

→主に画像処理分野で使用

・再帰型NN (Recurrent Neural Network, RNN)

→主に自然言語処理や音声認識で使用

(Example)

←6章

←7章

↑2章

4

深層学習の基礎となったテクニック

• 確率的勾配効果法(Stochastic Gradient Descent, SGD)

• 誤差逆伝播法(Back Propagation)

• 自己符号化器(Auto Encoder)

• 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)

5

深層学習の基礎となったテクニック

• 確率的勾配効果法(Stochastic Gradient Descent, SGD)

• 誤差逆伝播法(Back Propagation)

• 自己符号化器(Auto Encoder)

• 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)

←3章

←4章

←5章

←8章

深層学習(NN)の歴史 6

従来の多層NNの問題点 7

参考文献・関連論文など 8

• PRML5章ニューラルネットワーク

• 人工知能学会誌連載解説「Deep Learning(深層学習)」

• IBIS 2013企画セッション2 Deep Learning

• データサイエンティスト養成読本機械学習入門編特集

「深層学習最前線」

• 人工知能は人間を超えるか? –ディープラーニングの先にあるもの

Oreillyからも11月後半にも本がでるみたいです.

実装のためのライブラリ 9

Caffe, Theano, Torch7, Pylearn2, Chainerなど

Chainerが一番日本語資料が充実している印象.

開発元のPreferred InfrastructureがSlideShareにたくさんスライドを上げてくれてる.

関連して興味ある論文 10

ベイズ学習に深層学習の手法取り入れる方法はおもしろそうです.

(まだちゃんと読めてない)

Gu, Shixiang, Richard E. Turner, and Zoubin Ghahramani.

"Neural Adaptive Sequential Monte Carlo." arXiv preprint

arXiv:1506.03338 (2015).

Gal, Yarin, and Zoubin Ghahramani.

"Dropout as a Bayesian approximation: Insights and

applications." Deep Learning Workshop, ICML. 2015.

Patel, Ankit B., Tan Nguyen, and Richard G. Baraniuk.

"A Probabilistic Theory of Deep Learning." arXiv preprint

arXiv:1504.00641 (2015).

11

Chapter2. 順伝播型ネットワーク

12

順伝播型ネットワーク(feedforward network)13

ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力側へ1方向のみに伝搬するNN. 以下ではfNNと略する.

(隠れ層)

fNNで扱う問題の例 14

・回帰問題

fNNで扱う問題の例 15

・多値分類問題

順伝播型ネットワーク(feedforward network)16

ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力側へ1方向のみに伝搬するNN.

1つのユニットに注目

ユニットの構造(≒パーセプトロン) 17

𝑢 𝑧

𝑥1

𝑥2

𝑥3

𝑥4

𝑧

前の層からの入力

次の層への出力

𝑢 = 𝑤1𝑥1 +⋯+𝑤4𝑥4 + 𝑏

𝑧 = 𝑓(𝑢) 𝑓: 非線形関数(活性化関数と呼ばれる)

fNNの層の構造 18

𝑢2 𝑧2

𝑥1

𝑥2

𝑥3

𝑥4

𝑧2

𝑢3 𝑧3

𝑢1 𝑧1 𝑧1

𝑧3

前の層からの入力 次の層への出力

𝒖 = 𝑊𝒙+ 𝒃

𝒛 = 𝑓(𝒖)

活性化関数 19

問題設定によって適切な活性化関数を選択する必要がある.

＜典型的な活性化関数＞

ロジスティックシグモイド関数

双曲線正接関数

正規化線形関数

ソフトマックス関数

マックスアウト関数

多層ネットワークの表記 20

𝑥1

𝑥2

𝑥3

𝑥4

𝑦1

𝑦2

𝑙 = 1 2 3

𝑢(𝑙+1) = 𝑊(𝑙+1)𝑧(𝑙)+𝑏(𝑙+1)

𝑧(𝑙+1) = 𝑓(𝑢(𝑙+1))

パラメータは結合重み𝑊(𝑙)とバイアス 𝑏(𝑙)

まとめて列ベクトル𝑤で表すとネットワークを表現する関数は𝑦 𝑥;𝑤 とかける.

学習の枠組み 21

fNNは誤差関数を最小化するパラメータを求める教師あり学習

( 𝑥𝑛, 𝑑𝑛 )データ 望ましい出力(教師信号)

必要に応じて手作業でラベリング

誤差関数や出力層の活性化関数は問題の種別により異なる.

問題の種別 出力層の活性化関数 誤差関数

回帰 恒等写像 二乗誤差式(2.6)

二値分類 ロジスティック関数 式(2.8)

多値分類 ソフトマックス関数 交差エントロピー式

(2.11)

NNを使った回帰学習 22

NNを使った2値分類学習 23

NNを使った多クラス分類学習 24