nagoya institute of technologytakeuchi/t/nipb/nipb12_web.pdfnagoya institute of technology...
TRANSCRIPT
![Page 1: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/1.jpg)
Nagoya
Institute of
Technology
ニューラルネットワーク3
竹内一郎
(名古屋工業大学)
![Page 2: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/2.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの適応的基底関数
0
1
threshold
0 / 1
![Page 3: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/3.jpg)
Nagoya Institute of Technology
シグモイド関数の特徴
![Page 4: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/4.jpg)
Nagoya Institute of Technology
階層型ニューラルネット
![Page 5: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/5.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの学習
学習データ
学習誤差
パラメータ
![Page 6: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/6.jpg)
Nagoya Institute of Technology
非線形最適化のイメージ
パラメータ空間
最適解初期値
![Page 7: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/7.jpg)
Nagoya Institute of Technology
最急降下法の収束
![Page 8: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/8.jpg)
Nagoya Institute of Technology
局所解と大域解
![Page 9: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/9.jpg)
Nagoya Institute of Technology
![Page 10: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/10.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの学習
学習データ
学習誤差
パラメータ
![Page 11: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/11.jpg)
Nagoya Institute of Technology
中間変数の導入
![Page 12: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/12.jpg)
Nagoya Institute of Technology
順方向計算
![Page 13: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/13.jpg)
Nagoya Institute of Technology
順方向計算過程
![Page 14: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/14.jpg)
Nagoya Institute of Technology
逆方向計算
![Page 15: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/15.jpg)
Nagoya Institute of Technology
逆方向計算過程
![Page 16: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/16.jpg)
Nagoya Institute of Technology
順方向・逆方向計算
![Page 17: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/17.jpg)
Nagoya Institute of Technology
課題1
![Page 18: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/18.jpg)
Nagoya Institute of Technology
課題2
![Page 19: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/19.jpg)
Nagoya Institute of Technology
課題3
![Page 20: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/20.jpg)
Nagoya Institute of Technology
課題4
![Page 21: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/21.jpg)
Nagoya Institute of Technology
階層型ニューラルネットにおけるモデル選択
![Page 22: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/22.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(1)
パラメータ
![Page 23: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/23.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(2)
アルゴリズムへの入力
学習データ行列:
隠れ層ユニット数:
初期学習率:
学習減衰率:
最大学習ステップ数:
![Page 24: Nagoya Institute of Technologytakeuchi/T/NIPb/NipB12_web.pdfNagoya Institute of Technology 階層型ニューラルネットの学習アルゴリズム(2) アルゴリズムへの入力](https://reader030.vdocuments.site/reader030/viewer/2022041200/5d3425e888c9933c738b9ff7/html5/thumbnails/24.jpg)
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(3)
ステップ1: パラメータの初期化
ステップ2:学習誤差, 勾配ベクトルの計算
ステップ3: 収束判定
ステップ4:パラメータ更新