18 minitus発表資料

57
喋喋喋喋喋喋喋喋喋喋喋喋喋喋喋 喋喋喋 @miyamotol0105 2017/1/21

Upload: keiichirou-miyamoto

Post on 07-Feb-2017

505 views

Category:

Technology


4 download

TRANSCRIPT

喋る認知アーキテクチャを考える

宮本圭一郎@miyamotol0105

2017/1/21

自己紹介名前:宮本圭一郎

2016年1月〜 9月: ERP等業務システム開発( C#,VB)3月〜: AI勉強会で発表するようになる10月:WBAハッカソン出場10月〜:深層学習サービスの開発( python)

・顔画像から感情を判定・ある物体の場所を判定会社で 4GPU使えるのがありがたい。

@miyamotok0105 https://www.facebook.com/keiichirou.miyamoto

話すこと

1、今年の抱負的なこと2、アーキテクチャの妄想※大半は妄想です。

1、今年の抱負的なこと

日本で頑張って AIを勉強する意味

google mindは確かにすごい

でも、、

日本も頑張りたい

オッペンハイマーは、日本に原爆が使われてしまったことを悔いた。そういうつもりはなかったのである。>我は死神なり、世界の破壊者なり。

興味深い議論

私たちは知的なマシンをコントロールするのでしょうか、それとも私たちがコントロールされてしまうのでしょうか?知的な機械は、私たちを置き換えるのでしょうか、私たちと共存するのでしょうか、それとも私たちと融合するのでしょうか?人工知能の時代が到来した際には人間であるということは何を意味するのでしょうか?どんな意味であってほしいですか、そして私たちはどうしたらその未来を実現できるでしょうか?この議論に参加してください!

最近やってること

・ドローン組み立て・チャットボット系  seq2seq・画像認識系  chainerでアイドル画像認識等・物体認識系  faster rcnn、 darknet yolo・画像生成系  gan、 pix2pix・強化学習系  DQN、 FRMQN

・人工知能の勉強会

ドローン組み立て

2泊 3日の新潟の温泉もくもく

廃校もくもくしたい

乃木坂 46の顔画像分類

乃木坂 46の顔画像分類

乃木坂 46の顔画像分類

シーンとなった発表

Python機械学習入門勉強会でchainerでの seq2seqの実装の話をお願いされたので話したら。。。。。

質問がゼロだった。

今年やろうと思ってること

・脳神経科学の探求・数学の基礎の勉強・哲学よりの討論・ DL実装のハンズオン制覇・ ruby版の caffe modelインポート

2018年にはこのあたりまでいきたい

発表しに来ませんか?

まず発表することで知識共有!発表するのは楽しい!!

2、喋る認知アーキテクチャの妄想※あくまでも妄想です。五木田さんの本はもっとちゃんと書いています。

話す認知アーキテクチャの範囲BriCA...生物学にインスパイアされた認知アーキテクチャ

ACT-R: ジョン・ R・アンダーソン(カーネギーメロン大学)

...人間の精神を成り立たせる基本的な認識と知覚の操作を定義することを目指している。

ASMO: Rony Novianto(シドニー工科大学)

Soar: アレン・ニューウェル(カーネギーメロン大学)、 John Laird(ミシガン大学)

EPIC: David E. Kieras, David E. Meyer (ミシガン大学)

Copycat: ダグラス・ホフスタッター、Melanie Mitchell (インディアナ大学ブルーミントン校)

DUAL: Boicho Kokinov( New Bulgarian University、ブルガリア)

Apex: Michael Freed ( NASA エイムズ研究センター)

Psi: Dietrich Dörner ( Otto-Friedrich University、ドイツ)

一般的なニューラルネット

PredNet

スパイキングニューラルネットワーク (Spiking Neural Network:SNN)

HTM

人間脳

大脳、間脳、中脳、後脳、小脳、延髄の 6 種類の領域に分類

脳の各器官の機械学習装置としてのモデル

大脳皮質: SOM、ICA、ベイジアンネットワーク

大脳基底核、扁桃体: 強化学習

小脳: パーセプトロン、リキッドステートマシン

海馬: 自己連想ネットワーク

主な領野の情報処理装置としての役割

視覚野: deep learning

運動野: 階層型強化学習

前頭前野: 状態遷移機械?

言語野: チャートパーサ?

初期の AIチャットボット勉強会

はじめは毎週やっていた。ちゃっかり場所募集してます。

AIに喋らせたかった

seq2seqで実現。今やりたいのは DNCのようにメモリをくっつけたい。

ちょっとだけ復習

wx+b=uz=f(u)y= 正解

インプットセル

アウトプットセル

隠れ層のセル

x=入力

z=出力

w=重み

f=活性化関数

順伝搬

誤差逆伝搬

ニューロンとシナプス

ニューロン

シナプス

活動電位の伝達

活動電位が伝わってくる

活動電位の伝達

膜電位が上昇。閾値を超えると発火。

活動電位の伝達

神経伝達物質を送る

活動電位の伝達

レセプターとイオンチャネルで受け取る

活動電位の伝達

次のニューロンに信号を送る

フランク・ローゼンブラット( Frank Rosenblatt , 1928年 7月 11日 - 1971年 7月 11

日)

アメリカの心理学者。ニューラルネット研究の開拓者のひとり。ローゼンブラットと人工知能研究者マービン・ミンスキーはブロンクス高等学校の同級生であった。コーネル大学に勤務

神経生理学者・外科医であるウォーレン・マカロックと論理学者・数学者であるウォルター・ピッツによって、形式ニューロンというモデルが考えられた。ローゼンブラットはこの形式ニューロンの考え方を基にして

 パーセプトロンを開発した。

seq2seqの実装の一部

embedID

...分散表現

LSTM

... 次の文章予想

LSTM層

EmbedID

EmbedID

出力層

おなじみの LSTMで次の文字を予想

特別な方法で相互作用する、4つの層を持つ。

対応できない

A:今日は天気がいいねB:そうですねA:今日の天気はなんですか?B:???

妄想1

赤ちゃんの成長過程

話す前の段階の学習が必要なのでは?説

赤ちゃんの成長過程

どこかでみたような。。。

これ

初めての強化学習。

テーマは「すごい」「おもしろい」「脳っぽい」

LISを改造

強化学習は報酬を最大にする方策を選択する

DQNから seq2seqをファインチューニング?

物体検出のファインチューニング例1,物体認識学習2,物体の場所を学習

ここだけなら出来そう

DQN + seq2seqで実現可能

問題点

現状の強化学習では自己意識のようなものがない

Deep Learing

量子場脳理論... 「私」という当事者意識は記憶が発生することで、生じるという仮説

統合情報理論...意識量の判定についての仮説

仮説段階

妄想2

他の方法を模索する

A:今日は天気がいいねB:そうですねA:今日の天気はなんですか?B:???

人には右脳左脳があった

左脳が会話、右脳は空間、感性

話すアーキテクチャ

こう考えてた

seq2seq入力文字

出力文字

新 話すアーキテクチャ

右脳左脳を真似したほうが上手くしゃべるのではないか説

seq2seq入力文字

入力画像

入力文字

入力画像seq2seq

何かしらの層

人は文字から画像を想像してる。

A:今日は天気がいいねB:そうですねA:今日の天気はなんですか?B:???

image captioning

新 話すアーキテクチャ2

右脳左脳とメモリ層をつけてみる

seq2seq入力文字

入力画像

入力文字

入力画像seq2seq

何かしらの層メモリ層

新 話すアーキテクチャ2

総当たりで学習すると、どうなるのだろうか。。。

seq2seq入力文字

入力画像

入力文字

入力画像seq2seq

何かしらの層メモリ層

新 話すアーキテクチャ3

さらにハイパーパラメータは

強化学習で最適化

seq2seq入力文字

入力画像

入力文字

入力画像seq2seq

何かしらの層 メモリ層

層の数ユニット数活性化関数誤差関数

FRMQN

FRMQN層の数ユニット数活性化関数誤差関数

問題点

壮大すぎる

妄想3

対応できない

A:今日は天気がいいねB:そうですねA:今日の天気はなんですか?B:???

DNCを使う

メモリの機能があるので今日=晴れが覚えられるはず

対応できるはず

A:今日は天気がいいねB:そうですねA:明日も晴れるといいですね。B:そうですね。〜A:今日の天気はなんですか?B:晴れです。になるはず。

時間の概念を知らないので対応できないが実装上現実的

12日A:今日は天気がいいねB:そうですね13日A:今日は雨だね。A:今日の天気はなんですか?B:・・・

参考

ご静聴ありがとうございました。

http://www.niji-net.com/archives/745

http://www.d6.dion.ne.jp/~hiudent/brain1.html

https://wirelesswire.jp/2016/04/52114/

http://rehab-idea.com/hishitsu/

http://www.cobolt.se/applications/optogenetics/

http://www.brain.riken.jp/jp/aware/neurons.html

http://futureoflife.org/background/benefits-risks-artificial-intelligence-japanese/

http://qiita.com/HirofumiYashima/items/f7299fb3db8705f12b62

https://staff.aist.go.jp/y-ichisugi/brain-archi/20140131wba.pdf