知能とは何か-aiを巡る20の質問, 岡夏樹
TRANSCRIPT
知能とは何か：AIを巡る20の質問
岡 夏樹
京都工芸繊維大学 情報工学・人間科学系
2017 年 4 月 21 日
第7回松ヶ崎科学トークカフェ
公開講義「認知的インタラクションデザイン学」
今日やりたいこと：下記の20の問に答えることを通して、知能とは何かについて皆さんと議論したい
1. AIは記号積分の問題を解けますか？
2. AIはクイズに答えられますか？
3. AIは画像認識できますか？
4. AIはチェス／将棋／囲碁／ポーカーができますか？
5. AIは翻訳できますか？AIは意味を理解できますか？
6. AIは創造的なこと（絵を描く／作曲／小説を書く／科学的発見）ができますか？
7. AIは夕焼けを美しいと感じますか？
8. AIは汎用的にいろいろなことができますか？
9. AIは必要なことに注意を集中できますか？
10. AIは学習／発達しますか？
11. AIは進化しますか？AIは子どもを作れますか？
12. AIは好奇心を持てますか？AIは遊びますか？
13. AIは善悪を判断できますか？
14. AIは神様を信じますか？
15. AIは意識を持てますか？AIは自由意思を持てますか？
16. AIは痛みを理解できますか？AIはクオリアを感じますか？
17. AIは感情を持てますか？AIは負けたらつらいと感じますか
18. AIは共感できますか？AIは愛することができますか？AIは友達が欲しいですか？
19. AIはあがったり、焦ったりしますか？
20. AIはお腹が空きますか？AIは眠くなりますか？
1. AIは記号積分の問題を解けますか？
𝑥𝑒𝑥2𝑑𝑥
heuristicsを含む推論
AND-OR木の探索
𝑥𝑒𝑥2𝑑𝑥 = ?
𝑥𝑛𝑑𝑥 =1
𝑛 + 1𝑥𝑛+1 + 𝐶
𝑒𝑥𝑑𝑥 = 𝑒𝑥 + 𝐶
𝑓 𝑥 𝑑𝑥 = 𝑓 𝑔 𝑡 𝑔′ 𝑡 𝑑𝑡
𝑓′ 𝑥 𝑔 𝑥 𝑑𝑥 = 𝑓 𝑥 𝑔 𝑥 − 𝑓 𝑥 𝑔′ 𝑥 𝑑𝑥
heuristicsを含む推論
AND-OR木の探索
𝑥𝑒𝑥2𝑑𝑥 =
1
2𝑒𝑥
2+ 𝐶
𝑥𝑛𝑑𝑥 =1
𝑛 + 1𝑥𝑛+1 + 𝐶
𝑒𝑥𝑑𝑥 = 𝑒𝑥 + 𝐶
𝑓 𝑥 𝑑𝑥 = 𝑓 𝑔 𝑡 𝑔′ 𝑡 𝑑𝑡
𝑓′ 𝑥 𝑔 𝑥 𝑑𝑥 = 𝑓 𝑥 𝑔 𝑥 − 𝑓 𝑥 𝑔′ 𝑥 𝑑𝑥
2. AIはクイズに答えられますか？
人工知能スパコン、クイズ王２人と対戦へ 米ＩＢＭ開発 2011年1月14日
8
• 本１００万冊分の知識を持ち、人間の言葉を聞いて（不正確）受け答えできるスーパーコンピューターの人工知能が、米ＣＢＳテレビの人気クイズ番組で王者２人と対決する。４年がかりで開発した米ＩＢＭが１３日に発表した。
• ＩＢＭの創業者にちなみ「ワトソン」と命名された人工知能には、本や映画の脚本、百科事典などから知識を読み込ませてある。クイズ番組「ジョパディ！」 で連続勝ち抜き記録などを持つ王者２人と全く同じ条件で問題を聞き（不正確） 、英語で答える。
9
• IBMは１９９６年、人間のチェスの王者を負か
す人工知能を開発して世間を驚かせたが、クイズに答えるには、あいまいさを含む出題の意味や文脈を理解 し、短時間で、広範な知
識と照合しなければならず、はるかに複雑な処理が要求される。ワトソンはサーバー７５０台で構成され、１秒間に８０兆回の計算ができる。
10
Jeopardy! に関する補足説明
• Clue （ヒント）
– REGARDING THIS DEVICE, ARCHIMEDES
SAID, "GIVE ME A PLACE TO STAND ON,
AND I WILL MOVE THE EARTH"
• Correct Response
– WHAT IS A LEVER? （てこ）
12
（著作権の関係で掲載しないスライドあり）
歴史的な1日となった2011年2月16日
• 2011年2月16日、IBMリサーチの4年間にわたる研究成果である質問応答システム
Watson が、米国の人気クイズ番組
Jeopardy! に挑戦し、2ゲームを通じて、ワトソンが最高金額を獲得しました。
17
Watson: クイズ番組に挑戦する質問応答システム
• 情報処理, Vol. 52, No. 7, pp. 840-849, July
2011.
• 質問の解析
• 解答の根拠探し
18
米IBM「考えるコンピューター」、臨床診断など医者をお助け
• 米IBMの「考えるコンピューター」ワトソンの医
療分野での商用化が視野に入ってきた。患者に最適な治療を決めるため膨大な文献を読み込んだり、煩雑な保険の支払い手続きの書類を書き込んだりといった医者の負担をワトソンが軽減することで、個人化医療の普及や医療費削減が進むと期待されている。
日本経済新聞 2013/3/31
19
米IBM、企業の顧客対応支援
コンピューター「ワトソン」で
• 米IBMは21日、人工知能を搭載した高性能コ
ンピューター「ワトソン」を使って、企業の顧客対応を支援する事業を始めると発表した。顧客の問い合わせに素早く適切に対応することが求められるコールセンターでの利用などを想定している。
日本経済新聞2013/5/22
20
IBMの「ワトソン」に群がる企業 日本経済新聞2015/5/21
• 日本でのワトソン普及は緒についたばかりだが、世界では既に米国を中心に17の業種で利用されている
• ワトソンは大量の情報を処理する場面で威力を発揮する。医療、法律、会計、投資……
• 米国ではがん治療にワトソンが欠かせなくなってきている
• 最新事例では、これまでコンピューターが苦手とされた創造性・感性やコミュニケーション能力が問われるシーンでのワトソンの活用も広がる（例：レシピの提示）
• http://www.ibm.com/smarterplanet/us/en/ibmwatson/
21
IBMワトソンの挑戦
IBM東京基礎研究所 武田浩一氏に聞く
https://newspicks.com/user/9187/ 2015/9/15 • 汎用の知的能力を追求するという黎明（れいめい）期の考え方から、ビッグデータを背景に特定のタスクを極めて高精度かつ高速に実行するやり方に転換することで、成功するようになった
• 真か偽かといった推論だけではなく、大量のデータとその出現頻度に基づいて、統計的なモデル化を行い、ある解答がどのくらいの頻度（確度）で起こり得るかを考慮する
• さまざまな手がかりから、それが最も可能性が高いと指し示す解答候補の断片的な情報（根拠）を集めることで、正解に対する確信度が上がっていく
• 医療分野、コールセンター、資産運用、おもちゃ「コグニトーイズ」
22
3. AIは画像認識できますか？ • AI研究の進展にともなって、人間にとって易しいこと（誰でもできること／子どもでもできること／考えずにできてしまうこと）の方がAIには難しいことが分かってきた。
• 人間にとって易しいことの典型例である画像認識（一般に認識）は、長い間、AIが苦手なことの1つだった。
• CNN (Convolutional Neural Network: 畳込みニューラルネット)の急速な発展で、特定のデータセットに対しては人を超える認識精度を達成 [He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15]
• CNNは、視覚皮質の腹側経路と高い類似性
コンテクスト理解や高レベルの知識が必要なもの、日常生活の事物は、まだ苦手
人が苦手な細分類は得意
[He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15]
CNNの構成例
[Krizhevsky+, ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012]
入力
画像
convolution convolution convolution convolution convolution
normalization
pooling
normalization
pooling
pooling
全結合×3
softmax
正しく分類できるように重みを学習
- ReLU nonlinearity
- Data augmentation
- Dropout
どんな特徴がどこにあるかを表現
物体検出
[Ren+, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2015]
[Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015]
キャプション生成
開始記号
次の単語の確率分布
one-hot vector
word embedding
vector 512次元
画像分類の学習をしたCNNの最終隠れ層
この和を最大にするよう学習
確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search
キャプション付きデータは少ないので、過学習防ぐために固定
512次元
word embedding vectorはある種の意味を捉えている
与えられた画像から与えられたキャプションを生成しやすくなるようにvector表現が作られるが、この表現では、意味的に近い単語が似た表現になっている。これは、意味を理解したと言えるか？
4. AIはチェス／将棋／囲碁／ポーカーができますか？
• チェス
– IBMのディープ・ブルーが世界チャンピオンのカスパロフに2勝1敗3分（1997年）
• 将棋
– 特集：あから2010勝利への道,情報処理, Vol. 52, No. 2, pp. 152-190, 2011.
• 実現確率探索、評価関数の機械学習
• 合議法、ゲーム木分散探索法
– コンピュータ将棋プロジェクトの終了宣言（2015年：情報処理学会）
• コンピュータ将棋の実力は2015年の時点でトッププロ棋士に追い付いているという分析結果
アルファ碁、最終局も制す
最強・李九段に４勝１敗
朝日新聞
2016年3月15日
Figure 1: Neural network training
pipeline and architecture.
31
教師付き学習：盤面の状態𝑠に対して専門家と同じ手𝑎を打つ確率𝑝が最大になるように、深層ニューラルネットの重み𝜎を調整 (確率的勾配降下法上昇法;
stochastic gradient descent ascent)
𝑝
𝜎
専門家と同じ手を打つよう、教師付き学習
教師付き学習：盤面の状態𝑠に対して専門家と同じ手𝑎を打つ確率𝑝が最大になるように、深層ニューラルネットの重み𝜎を調整 (確率的勾配降下法上昇法;
stochastic gradient descent ascent)
𝑝
𝜎
専門家と同じ手を打つよう、教師付き学習
強化学習ネットワークの重み𝜌を教師付き学習ネットワークの重み𝜎で初期化
𝜌 = 𝜎
強化学習：過去の自分と対戦し、盤面の状態𝑠𝑡において手𝑎𝑡を打ったら最終的に勝った（𝑧𝑡 = 1）場合は、確率𝑝(𝑎𝑡|𝑠𝑡)が増えるようにニューラルネットの重み𝜌を調整（勾配上昇）。負けた（𝑧𝑡 = −1）場合は減るように調整（勾配降下）。
𝑝
𝜌
自己対戦に勝つよう、強化学習
専門家と同じ手を打つよう、教師付き学習
自己対戦に勝つよう、強化学習
これらの学習結果を使って、Monte Carlo
tree searchで先読みして打つ手を決定
ゲーム木の探索:
Monte-Carlo Tree Search
• 囲碁はプロのレベルには程遠いと言われてきたが、Monte-Carlo Tree Searchの登場で、2006年以降、急激に強くなった。
• 囲碁はなぜ難しいか？
–探索空間が大きい
–局面の評価が難しい（勝敗がつくまで探索することはできないので、途中の局面の評価が必要）
37
Monte-Carlo Tree Search
• モンテカルロ法
–乱数を用いて終局までプレイ（プレイアウト）した結果によって局面を評価する
–プレイアウトの回数を増やせば、それなりに良い評価値
– ランダムに手を選ぶので、評価値が、適切でない手を打った場合に大きく影響される可能性
38
Monte-Carlo Tree Search
• Monte-Carlo Tree Search
–有望な手に多くのプレイアウトを割り当てる
–プレイアウトが多数回行われると、その手を展開し、プレイアウトを開始する節点を1
つ深くする
–評価値は、何目勝ったかでなく、勝ち(1)／負け(0)
–囲碁の知識を用いて、良さそうな手から探索木を深くしていく
–人間の棋譜から自動的にパターンを学習し、乱数を用いた手の選択に制約を加える
39
参考解説記事（囲碁）
• 美添一樹, モンテカルロ木探索：コンピュータ囲碁に革命を起こした新手法, 情報処理, Vol. 49, No. 6, pp. 686-693, 2008.
• ミニ特集, コンピュータ囲碁の最前線, 情報処理, Vol. 54, No. 3, pp. 232-250, 2013.
• 特集, コンピュータ囲碁, 人工知能, 29巻, ４号, pp. 311-325, 2014.
–モンテカルロアプローチは革命をもたらしたが, 進歩の速度はここ1～2年鈍化.
40
Figure 3: Monte Carlo tree search
in AlphaGo.
41
深層学習した policy network や value network
を使って、Monte Carlo tree search で先読みして打つ手を決定
poker
• 不完全情報ゲーム
[Moravčík+, DeepStack: Expert-level artificial intelligence in heads-up no-limit poker, 2017]
5. AIは翻訳できますか？AIは意味を理解できますか？
5. AIは翻訳できますか？AIは意味を理解できますか？
[Wu+, Google’s Neural Machine Translation System: Bridging the Gap between
Human and Machine Translation, 2016]
sequence-to-sequence learning
framework with attention
LSTM, stacked LSTM, residual connections, bidirectional LSTM, sub-word units, …
知识就是力量
Knowledge is power
それまでに読み込んだ全ての単語の意味を表現しているベクトル
1単語ずつ出力
どこに注目するかを変化させつつ
word2vec
単語
one-hot vector
周りの単語
one-hot vector
300次元とかの
vector
vector X = vector(”biggest”)−vector(”big”) + vector(”small”)
cosine distanceでXに一番近い単語→smallest
Paris – France + Japan = Tokyo
[Mikolov+, Efficient Estimation of Word Representations in Vector Space, 2013]
「Parisという単語の周りに出てくる単語」と「Franceという単語の周りに出てくる単語」の違いは、「Tokyoという単語の周りに出てく単語」と「Japanという単語の周りに出てくる単語」の違いと似ている。
word2vecの解説
損失関数𝐸を最小にするように𝑊’と𝑊を誤差逆伝搬学習。
𝐸 = − log 𝑝(𝑤𝑂|𝑤𝐼) 𝑤𝐼:入力単語
𝑤𝑂:前後に出現した単語
[Rong, word2vec Parameter Learning Explained, 2014]
入力単語
one-hot vector
各単語が入力単語の周りに出現
する確率(softmax)
共通
ある種の意味表現
線形変換
00100・・・00000 ×
×
=
=
10000次元とか 300次元とか
𝑊
𝑊′
意味を理解しているか？
• Neural Machine Translation や Word2vec
は、字面の表層的な統計情報を知ってるだけで、意味なんて分かってないじゃん。
↓
• キャプション生成は、画像との対応も分かってるけど、それでも意味は分かってない？
[Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015]
キャプション生成
開始記号
次の単語の確率分布
one-hot vector
word embedding
vector 512次元
画像分類の学習をしたCNNの最終隠れ層
この和を最大にするよう学習
確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search
キャプション付きデータは少ないので、過学習防ぐために固定
512次元
意味を理解しているか？
• Neural Machine Translation や Word2vecは、字面の表層的な統計情報を知ってるだけで、意味なんて分かってないじゃん。
↓
• キャプション生成は、画像との対応も分かってるけど、それでも意味は分かってない？
↓
• これでもまだ分かってないのだとすると、人は（あなたは）、それ以外にどのような意味を理解しているのか？
6. AIは創造的なこと（絵を描く／作曲／小説を書く／科学的発見）ができま
すか？ 参考資料
• クローズアップ現代「進化する人工知能 ついに芸術まで！？」2016年7月12日(火)放送
http://www.nhk.or.jp/gendai/articles/3837/1.html
7. AIは夕焼けを美しいと感じますか？
8. AIは汎用的にいろいろなことができますか？
9. AIは必要なことに注意を集中できますか？
10. AIは学習／発達しますか？
• transfer learning
• multitask learning
• continual learning
• meta-level learning
• learning to learn
• lifelong learning machines
• bootstrapping
• autopoiesis
[Fernando+, PathNet: Evolution Channels Gradient Descent in Super Neural Networks, 2017]
Reusable modules
[Andreas+, Neural Module Networks, 2016]
Modules
Modules
What color is his tie?
Is there a red shape above a circle?
ミカンだよ
終助詞「よ」：教示用法
聞き手が知らないと思われる情報を告げ知らせる
終助詞「よ」：教示用法
聞き手が知らないと思われる情報を告げ知らせる
みかん＝
終助詞「よ」：教示用法
聞き手が知らないと思われる情報を告げ知らせる
終助詞「よ」：教示用法
聞き手が知らないと思われる情報を告げ知らせる
11. AIは進化しますか？AIは子どもを作れますか？
12. AIは好奇心を持てますか？AIは遊びますか？
強化学習
環境
エージェント
行動 𝑎 状態 𝑠
報酬 𝑟
Objective: get as much reward as possible
遅れのある報酬も考慮したQ学習：行動価値は将来もらえる報酬（割引率 𝛾 で減衰）の和の期待値に収束
discounted return
69
S
U
T
W
V A
B
C
D
E
10
2
ttta
ttttt asQasQrasQasQ ,,max,, 11
エピソード
行動価値
行動選択
• ソフトマックス法
𝑒𝑄(𝑠,𝑎)/𝜏
𝑒𝑄(𝑠,𝑏)/𝜏𝑛𝑏=1
𝑒𝑄(𝑠,𝑎)/𝜏に比例した確率で行動選択
温度定数 𝜏 が大きくなればランダムな選択に、𝜏 が小さくなれば一番報酬が多いと思われる選択をする方法に近づく
強化学習＋内発的動機づけ
環境
エージェント
行動 状態
外部報酬
(A)
predictor 内部報酬
(B) RL
いろいろな内発的動機づけ
• 新奇性、好奇心
• 親近性、予測可能性、学習容易性、課題の分量・時間制限
• 達成感
• 対人交流、他者からの受容感
• 目標（能力を高める、知る、他者に勝つ、それらができないことを避ける）
• 自己効力感（うまくできるという自信）、有能感（能力を発揮できているという感覚）
• 自己決定感、自律性
面白さ、興味、関心
Formal Theory of Creativity & Fun &
Intrinsic Motivation (1990-2010) by Jürgen
Schmidhuber
http://people.idsia.ch/~juergen/creativity.html
• (A) an adaptive predictor of the growing
data history as the agent is interacting with
its environment
• (B) a reinforcement learner selecting the
actions that shape the history
• (B) is motivated to learn to invent
interesting things that (A) does not yet
know but can easily learn.
（つづき）
• To maximize future expected reward, (B)
learns more and more complex behaviors
that yield initially surprising (but eventually
boring) novel patterns that make (A)
quickly improve.
（つづき）
• O(t): the state of some observer O at time t
• H(t): its history of previous actions &
sensations & rewards until time t
• Beauty B(D,O(t)) of any data D: the negative
number of bits required to encode D
• Interestingness I(D,O(t)) of data D for
observer O at discrete time
step t>0: I(D,O(t))= B(D,O(t))-B(D,O(t-1))
（つづき）
• Intrinsic reward ri(t)=I(H(t),O(t))
• External reward re(t)
• Total reward r(t)=g(ri(t),re(t)), e.g.,
g(a,b)=a+b
（つづき） Implementations
• Intrinsic reward: prediction error
• Intrinsic reward:
improvements in prediction error
• Intrinsic reward: relative entropies
between the agent's priors and posteriors
参考資料
• Second Interdisciplinary Symposium on
Information-Seeking, Curiosity and Attention
https://openlab-flowers.inria.fr/t/second-
interdisciplinary-symposium-on-information-seeking-
curiosity-and-attention-neurocuriosity-2016/187
• Information-seeking, curiosity, and attention:
computational and neural mechanisms
http://www.pyoudeyer.com/TICSCuriosity2013.pdf
13. AIは善悪を判断できますか？
14. AIは神様を信じますか？
参考図書
• 「おさなごころを科学する」森口祐介 第8章
15. AIは意識を持てますか？AIは自由意思を持てますか？
• 人間は、ある状況下において、複数の選択肢の中から自発的に選ぶことができるので知的であるが、
• 計算機はプログラムされた通りに選択するので知的でない。
• 本当か？
• あなたは、本当に自由意志を持っていますか？
• 経験に応じて神経回路網が構成され、ある時点のその回路への入力（外界からの信号）と、入力履歴を反映した内部状態に応じて、出力（行動）が決まったのではありませんか？
• 参考：消去主義(eliminativism)
16. AIは痛みを理解できますか？AI
はクオリアを感じますか？
17. AIは感情を持てますか？AIは負けたらつらいと感じますか
18. AIは共感できますか？AIは愛することができますか？AIは友達が欲し
いですか？ 参考図書
• 「ヒトはなぜ協力するのか」マイケル・トマセロ(橋彌和秀 訳)
• 「ソーシャルブレインズ：自己と他者を認知する脳」
• 岩波講座：コミュニケーションの認知科学 第2巻「共感」
• 岩波講座：コミュニケーションの認知科学 第3巻「母性と社会性の起源」
19. AIはあがったり、焦ったりしますか？
20. AIはお腹が空きますか？AIは眠くなりますか？
レポート課題
1. AIは意味理解の少なくとも一部は現状でもできていると思うが、まだできていないのはどのような意味理解か？あなたの考えを述べよ。
2. 「友達が欲しいと思うAI」を作るための具体的な方法を述べよ。
3. 「神様を信じるAI」を作るための具体的な方法を述べよ。
• 提出先：moodle
• 締切：5月12日（金）