AIの未解決問題と Deep Learning

東京大学松尾 豊

自己紹介

2

1997 年 東京大学工学部電子情報工学科卒業2002 年 同大学院博士課程修了．石塚研究室．博士（工学）

産業技術総合研究所 研究員2005 年 スタンフォード大学客員研究員2007 年 東京大学 大学院工学系研究科総合研究機構／技術経営戦略学　　 専攻 准教授

専門は、 Web 工学、人工知能

2012 年より、人工知能学会 編集委員長・理事。 2007 年より国際 WWW 会議プログラム委員。 WWW2014 ではウェブマイニングトラックのトラックチェア。

オーマ株式会社技術顧問、経営共創基盤（株）顧問、 Pluga AI Asset Management 技術顧問、国立情報学研究所客員准教授、国家戦略会議 叡智のフロンティア部会委員等

人工知能

• 人の知能をコンピュータで作りたい• コンピュータ＝人工知能

• 1956 ダートマス会議• 1957 General Problem Solver (GPS): ハーバート・サイモン、アラン・

ニューウェル• 1960-1970 定理証明システム、医療診断システム• 1980-1987 ブーム• 1987-1993 冬の時代

人工知能の分野

難しさ

• 結局、真の人工知能はできていない。• 「人工知能」だと言っているのは全部フェイクです。

– それはみんな（研究者は）分かっている

• 狭義の人工知能（強い AI ）• 広義の人工知能（弱い AI 、 Intelligence Amplifier ）

• 根本的な問題– 知識獲得のボトルネック– 知識表現の問題：フレーム問題– シンボルグラウンディング問題

• ほとんど全部同じことを言っている。– = 機械学習における特徴生成の問題

機械学習

X1 X2 X3 X4 X5 … class

10 2 1.1 1.3 0 ◯

1 1 -2.1 1.1 0 ◯

18 4 3.9 5.5 1 △

20 13 2.8 1.5 0 △

2 1 -1.0 3.2 1 ◯

23 2 10.2 2.0 0 △

…

素性（そせい、 feature ）：特徴を表す量クラス

事例

（ex

ampl

e）

２つのクラスを分離する曲面を見つける。（＝学習させる）

いったん学習させれば、新しいデータに対し、曲面のどちら側に存在するかで、クラスを予測でき

る

機械学習のステップ• 機械学習の２つのステップ

– STEP1 入力データからの特徴抽出（ Feature Engineering)– STEP2 学習・推論

• 特徴抽出は大変– ドメイン知識や人手による試行錯誤– どの値をどう使うか

人工知能は、コンピュータに人間と同様の知能を実現させようという試み、その基礎技術をさす。日常語としての「人工知能」という呼び名は曖昧なものになっている。

人工知能 2

コンピュータ 1

知能 1

同様 1

色 赤高さ 5cm

かさの直径 2cm

斑点 あり

Naïve Bays, SVM, LogReg,

・・・

分類／回帰

Naïve Bays, SVM, LogReg,

・・・

素性（ feature ）

例：年収予測

性別 地域 身長 好きな色 年収

男 東京 168 赤 250

男 埼玉 176 白 700

男 神奈川 183 青 1200

女 東京 155 別に 400

男 千葉 174 赤 180

女 東京 163 緑 5000

• 年齢いれようよ• 職業も必要でしょう• 業種とかスキルとかも

入れた方がいいんじゃない？

なぜ人間にはそれが分かるの？経験？

MIU システム

ゲーデル、エッシャー、バッハ - あるいは不思議の環』（ダグラス・ホフスタッター , 1979 ）

MI

Simplified from original version

① x I → x I U② M x → M x x③ I I I → U

MI

① x I → x I U② M x → M x x③ I I I → U

If x = M, we get MIU

MI

① x I → x I U② M x → M x x③ I I I → U

If x = M, we get MIU

If x = I, we get MII

MI

① x I → x I U② M x → M x x③ I I I → U

If x = M, we get MIU

If x = I, we get MIIIf x = II, we get MIIII

MI

① x I → x I U② M x → M x x③ I I I → U

If x = M, we get MIU

If x = I, we get MIIIf x = II, we get MIIII

MIU MII MIII MIUU MIIU …

MI

① x I → x I U② M x → M x x③ I I I → U

If x = M, we get MIU

If x = I, we get MIIIf x = II, we get MIIII

MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU ……

Q2. MI 　　 MU

Q3. MI 　　 U

Q1. MI 　　 MIIU

① x I → x I U② M x → M x x③ I I I → U

Q2. MI 　　 MU

Q3. MI 　　 U

Q1. MI 　　 MIIU

① x I → x I U② M x → M x x③ I I I → U

A. Yes.MI → ② → MII → ① → MIIU

Q2. MI 　　 MU

Q3. MI 　　 U

Q1. MI 　　 MIIU

① x I → x I U② M x → M x x③ I I I → U

A. Yes.MI → ② → MII → ① → MIIU

A. Yes.MI → ② → MII → ② → MIII→ ③ → MU

Q2. MI 　　 MU

Q3. MI 　　 U

Q1. MI 　　 MIIU

① x I → x I U② M x → M x x③ I I I → U

A. Yes.MI → ② → MII → ① → MIIU

A. Yes.MI → ② → MII → ② → MIII→ ③ → MU

A. No.

MI MIU MII MII MIUU MIIU MIUIU MIUU MIIU MIUIU MIUI MIIU MIII MIIII MIIU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUI MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIU MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIII MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIIII MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUUU MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIIUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUIU MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIIUU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIIU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIIIIU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIIUIIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU MIIIIUIIIIU MUIU MIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU MIIIIUIIIIU MUIU MIUIUIIU MIIUUIIU MIIUIUIU MIIUIIUU MIIIUIIU MIIIIUIIU MIIUIIUIIU MIIUIIIUIIU MIIUIIIIUIIU MIIUIIUIIUIIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU MIUIIUIUU MIUIUIUIUU MIUIUUIUIUU MIUUUIUU MIUUIUUU MIIUUIUU MIUIUUIUU MIUUIUUIUU MIUUIIUUIUU MIUUIUIUUIUU MIUUIUUIUUIUU MIUUI MIUUIU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUIIU MIIUIU MIIIUU MIIIIU MIIIIIU MIIIIIIU MIIIUIIIU MUU MIUIIIU MIIUIIU MIIIUIU MIIIIUU MIIIIIU MIIIIIIU MIIIIIIIU MIIIIIIIIU MIIIIUIIIIU MUIU MIUIUIIU MIIUUIIU MIIUIUIU MIIUIIUU MIIIUIIU MIIIIUIIU MIIUIIUIIU MIIUIIIUIIU MIIUIIIIUIIU MIIUIIUIIUIIU MIUUUIU MIIUUIU MIUIUUIU MIUUIUUIU MIUUIIUUIU MIUUIUIUUIU MIUIUU MIIUIU MIUIUIU MIUIIUIU MIUIUIUIU MIUUI MIIUI MIUIUI MIUIIUI MIIUU MIIIU MIIIIU MIIUIIU MIUII MIIUI MIIIU MIIII MIIIII MIIIIII MU MIUIII MIIUII MIIIUI MIIIIU MIIIII MIIIIII MIIIIIII MIIIIIIII MUI MIUUUU MIIUUU MIUIUUU MIUUIUUU MIUUUIUUU MIUIUU MIIUUU MIIIUU MIIIIUU MIIUIIUU MIIUUIIUU MIUUIUU MIUIUUU MIIUIUU MIUIUIUU

No の理由

• 最初の Mが消えないから

• これを機械学習に入れるとすると、

Mの数 Iの数 Uの数 IUの数 UUの数 … MIから生成できるか

2 1 0 0 0 … Yes

1 3 2 1 0 … No

0 2 3 0 1 … No

0 0 1 0 0 … No

1 1 0 0 0 … NO

2 1 1 0 0 … Yes

No の理由

• 最初の Mが消えないから

• これを機械学習に入れるとすると、

Mの数 Iの数 Uの数 IUの数 UUの数 最初に Mがあるか

MIから生成できるか

2 1 0 0 0 0 Yes

1 3 2 1 0 1 No

0 2 3 0 1 0 No

0 0 1 0 0 0 No

1 1 0 0 0 1 NO

2 1 1 0 0 0 Yes

ツイートを分類したい• 地震が起きたことを言っているかどうか

– 「揺れてる？怖い」：地震– 「今日は勉強会だ」：それ以外

• ツイートに含まれるキーワード： 53%• + 地震に関するキーワードの文脈： 57%

• + ツイートの長さ： 73%

• 要するに、地震のツイートは短い– 「地震？」「揺れた？」

• なぜ「ツイートの長さ」という特徴を入れることができるの？？？

難しい問題１：機械学習で、有用な素性をなぜ人間は作り出すことができるの？

フレーム問題

• 現実世界には無限の情報量がある• コンピュータには有限の情報処理能力しかない• したがって、コンピュータに現実世界の情報を処理することは無理

（例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。この箱を持ち出すようにロボットに命令すると・・・

そのまま持ち出して爆発

持ち出す方法の計算中に爆発

持ち出す方法の計算方法の計算中に爆発

3号：

2号：

1号：

フレーム問題（ Dennett 1984 ）• R1 と名付けられた一台のロボットがあった。ある日、 R1 の予備バッテリーをしまってある部屋に時限爆弾が仕掛けられ、それはまもなく爆発するよ

うにセットされていた。部屋には一台のワゴンがあり、バッテリーはその上にある。 R1 はバッテリー救出作戦を立てた。すなわち、PULLOUT （WAGON, ROOM ）という行動を行えば、バッテリーを部屋から持ち出すことができると考えた。R1 はただちにこれを実行した。ところが、不幸なことに爆弾もまたワゴンの上にあった。 R1 は爆弾がワゴンの上にあることを知っていたが、ワゴンを引っぱり出すことが、バッテリーと一緒に爆弾も持ち出すことになるということに気が付かなかった。自分が計画した行動のこの明白な帰結を見落としていた R1 は、部屋の外で爆発してしまった。

• 技術者たちは考えた。ロボットは自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識できなければならない、ロボットは周囲の状況の記述を用いて自分の行動を計画するから、そのような記述から副産物についての帰結を演繹（deduce ）させればよい、と。こうしたわけで、 R1D1 （ robot-deducer ）がつくられた。 R1D1 はR1 と同じ苦境にたたされた。 R1D1 も、PULLOUT （WAGON, ROOM ）を考えついた。それから R1D1 は、設計されたとおり、この行動の帰結を考え始めた。 R1D1 は、ワゴンを部屋から引っぱり出しても部屋の壁の色は変わらないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の証明にとりかかった。そのとき爆弾は爆発した。

• 技術者たちは考えた。われわれはロボットに、関係のある（ relevant ）帰結と関係のない（ irrelevant ）帰結との区別を教えてやり、関係のないものは無視するようにさせなければならない、と。こうしたわけで、 R2D1 （ robot-relevant-deducer ：分別のある演繹ロボット）がつくられた。 R2D1 も例の苦境にたたされた。すると、驚いたことに、このロボットは、部屋に入ろうともせず、じっとうずくまって考えていた。設計者たちは「何かしろ」と叫んだ。R2D1 は「してますよ」と答えた。「私は、無関係な帰結を探し出してそれを無視するのに忙しいんです。そんな帰結が何千とあるんです。私は、関係のない帰結を見つけると、すぐそれを無視しなければならないもののリストにのせて、……」また爆発してしまった。

（例） 倉庫に箱があり、箱の中にバッテリーと時限爆弾がある。この箱を持ち出すようにロボットに命令すると・・・

そのまま持ち出して爆発

持ち出す方法の計算中に爆発

持ち出す方法の計算方法の計算中に爆発

3号：

2号：

1号：

難しい問題２：何を、述語や命題として書けばいいの？

それを使って、どのようなルールを書いておけばいいの？なぜ人間は関係のある知識だけを使えるの？

フレーム問題と素性

if ON(ワゴン、バッテリー） then PULLOUT(ワゴン , ルーム）

if ON(ワゴン、バッテリー ) & ¬ ON( バッテリー、爆弾） & ¬ ON( バッテリー、核兵器） & ¬ON(ワゴン , 天井） & …. then PULLOUT(ワゴン、ルーム )

if ENTER( ロボット、ルーム） then LOCATION( ロボット、ルーム )if SING( ロボット ) then …if ENTER( ロボット、トイレ） then …

• 述語や命題 〜 素性• フレーム問題は、 IF-THEN ルールにおける素性生成の問題

シンボルグラウンディング問題

• シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけられるかという問題。記号接地問題とも言う。 (Harnard 1990)

• コンピュータには、記号の「意味」が分かっていないので、記号の操作だけで知能は実現できない。シンボルを、その意味するものと結びつける（グラウンドさせる）ことが必要であり、困難である。

• 言い換えると、多くのデータの中から自律的に出現したものと、それを表すシンボルを結びつけなければいけない

Zebra = horse + stripes?• (1) Suppose the name "horse" is grounded by iconic and categorical representations,

learned from experience, that reliably discriminate and identify horses on the basis of their sensory projections.

• (2) Suppose "stripes" is similarly grounded.

• Now consider that the following category can be constituted out of these elementary categories by a symbolic description of category membership alone:

• (3) "Zebra" = "horse" & "stripes”• What is the representation of a zebra? It is just the symbol

string "horse & stripes." But because "horse" and "stripes" are grounded in their respective iconic and categorical representations, "zebra" inherits the grounding, through its grounded symbolic representation. In principle, someone who had never seen a zebra (but had seen and learned to identify horses and stripes) could identify a zebra on first acquaintance armed with this symbolic representation alone (plus the nonsymbolic -- iconic and categorical -- representations of horses and stripes that ground it).

シンボルグラウンディング問題

• シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけられるかという問題。記号接地問題とも言う。 (Harnard 1990)

• コンピュータには、記号の「意味」が分かっていないので、記号の操作だけで知能は実現できない。シンボルを、その意味するものと結びつける（グラウンドさせる）ことが必要であり、困難である。

難しい問題３：なぜ人間は、シマウマがシマのある馬だとわかるのか？

例えば、シマのある象と聞いて、なぜ思い浮かべることができるのか？

これまでの人工知能の壁 表現獲得の壁≒

• 難しい問題１：機械学習における素性生成– 素性をどう作るの？

• 難しい問題２：フレーム問題– ロボットが動くとどうなるかを、どう考えればいいか– = if-then ルールで書いた場合の素性をどう作るの？

• 難しい問題３：シンボルグラウンディング問題– シマウマがシマのある馬だと、どう理解すればいいか？– ＝ 素性をどう作って、それに名前（シンボル）を与えるの？

結局、難しい問題は全部同じことを指しており、素性（＝表現）を、データをもとにいかに作るかという問題。

表現獲得とは何か？そもそもの世界の難しさ

• 任意のものは任意の（関数）の組み合わせでできる• 無限に探索すれば、いつか良いものができる

– 将棋でも、創薬でも、生物でも、会社でも。• ただ、それをいかに「速く」見つけるか

– 組み合わせをいかに効率的に探索するか。

深いアーキテクチャが重要な理由

• 浅すぎる階層では表現できない関数もある。

AI の古典的な論理で言うと

• 理論的には、 k の深さで表される関数は、 k-1 の深さで表そうとすると、指数的な数の要素が必要になることもある。

• 論理回路– すべての Boolean Function は、２階層で表現できる。 AND の OR

か、 OR の AND か。– disjunctive normal form, conjunctive normal form– (x1 x2 ¬x3∧ ∧ ）∨ (¬x1 x2 x3∧ ∧ ）∨ (x1 ¬x2 x3∧ ∧ ）– (¬x1 ¬x2 ¬x3∨ ∨ ）∧ (¬x1 x2 x3∨ ∨ ）∧ (x1 ¬x2 x3∨ ∨ ）∧…

インデックスとしての表現

• 表現と計算量にはトレードオフがある。– マッカーシーらの論理主義者達はフレーム問題を記述の量減らしと狭くとらえ

たため， かえって処理の量を増やしてしまっている (有限のアルゴリズムがあればよいとするようだ ) 。 記述の量と処理の量はトレードオフである。そのため双方を考慮しなければいけない。（松原 1990)

• ある程度「汎用的に」使えるように、データをあらかじめ加工しておく。– 検索におけるインデックス作り

• 途中までやって、中間表現として、おいておく。– 例えば「シマ」という概念：いろいろな表現の生成に使える。– 料理で言うと、魚の切り身とか、肉の薄切りとか

• この「途中までやっておく」という処理ができれば、表現獲得の問題が（だいぶ）解決できる！

脳と深いアーキテクチャ

• 哺乳類の脳は、深いアーキテクチャで、入力が複数の抽象化のレベルで表現される。

• ここでいうアーキテクチャの深さとは、非線形な関数のレベルの数である。

• 研究者達は、長年、深い多層のニューラルネットワークを訓練しようとして来たが、 2006 年までは成功しなかった。２、３層でよい結果はでても、それ以上になると結果は悪くなった。

• 2006 年に Hinton らは、 Deep Belief Network (DBN) を提案した。 2006 年以来、多くの学習問題、回帰問題、次元削減、 texture や motion のモデル化、情報検索やロボット、自然言語処理、協調フィルタリング等でよい結果を示した。

Deep Learningがまさに、中間表現を作る仕組み！

というわけで、 Deep Learning やばい！（みんなが言ってるからやばいのではない。）

Deep Learning の取り組み• 人工知能の 50 年来の画期的なブレークスルー• 多段のニューラルネットワーク• 素性を作り出す。「気づき」

日経ビジネス 2013 年 4月 15 日号

普通の手書き文字認識

Yuta Kikuchi さんの資料： http://kiyukuta.github.io/2013/09/28/casualdeeplearning4nlp.html

Back Propagation

Auto-encoder

• 入力と出力が同じ

• すると、中間のノードは、「入力を圧縮して復元」することになる。

Auto-encoder で得られる表現

“Deep” にした場合

Deep Learning の展開

• DBN• Auto-encoder

– Sparse autoencoder– Denoising autoencoder– ….

• 関数をどのようなものを使うか– Sigmoid– Max– Rectifier

• ロバスト性を入れる– さまざまな dropout

次回、詳しい講演があります。

DL の実績• ILSVRC2012• 他のコンペティションでも圧勝

DL関連の国際会議

• ICLR: International Conference on Learning Representations （今年から）

• ICML: International Conference on Machine Learning

• NIPS: Neural Information Processing Systems Conference

DL関連のニュース• Google Brain ： Hinton先生と学生を Googleが買収• Microsoftが音声認識を DL に置き換える• Baiduがシリコンバレーに Deep Learning の研究所を作る• FB に人工知能研究所設立 : NY 大の Yann LeCun 教授

さきがけ提案書 2008

博士論文 2002

1. 画像

2. 観測したデータ（画像＋音声＋圧力センサー＋…） → マルチモーダルな抽象化

3. 自分の行動に関するデータ ＋ 観測したデータ → 行為と帰結の抽象化

4. 行為を介しての抽象化 　→ 名詞だけでなく動詞　　　（その様態としての形容詞や副詞）

5. 高次特徴の言語によるバインディング

6. バインディングされた言語データの大量の入力　→ さらなる抽象化、言語理解、自動翻訳

プランニング

推論・オントロジー

言語身体性

→ 画像特徴の抽象化

シンボルグラウンディング

超知能の実現に向けて

• 何がこの先にあるか– 行動と観測のデータ入力– 概念と言語ラベルのグラウンディング– 大量の言語表現の入力– …

• （今の段階で言語やっても、うまくいかないと思います。）

• 人工知能で唯一難しかった問題（表現の獲得）に、突破の糸口が見えた

• 「なぜ、できないの？できて当たり前」という当初の仮説に帰るべき

• ディープラーニング：大脳新皮質• 脳の各構造をどのように作っていけばよいか？• 20XX 年 ? に、人間を越える？

最後に（宣伝）Deep Learning （深層学習） 解説記事 人工知能学会誌で全 7 回 絶賛掲載中！2013 年 5月号 第１回 ディープボルツマンマシン入門、安田　宗樹　 2013 年 7月号 第２回多層ニューラルネットワークによる深層表現の学習、麻生　英樹2013 年 9月号 第３回 大規模 Deep Learning （深層学習）の実現技術、岡野原　大輔2013 年 11月号 第４回 画像認識のための深層学習、岡谷　貴之いま、人工知能学会の会員になると、 2013 年 5月号のバックナンバーから送られてきます！