甲南大学大学院 自然科学研究科

知能情報学専攻 灘本研究室

21424008 真下遼

1

背景

人とロボットとの円滑なコミュニケーションの手助けとなるものが必要

人

人がロボットをコミュニケーションの対象とするには抵抗がある

コミュニケーションロボット

しかし

共存

2

背景

参考文献:Takayuki T Kanda, Hiroshi Ishiguro, Tetsuo Ono, Michitaka Imai, and Ryohei Nakatsu.，Development and evaluation of an interactive humanoid robot robovie. In Proceedings of the IEEE International Conference on

Robotics and Automation, ICRA 2002, pp. 1848–1855,2002

ロボット同士の対話観察を人が行うことで、人とロボットとの自然で円滑なコミュニケーションが可能になる

漫才ロボット同士の対話

漫才ロボット

3

背景

漫才漫才台本Webニュース

漫才ロボットによる漫才では、漫才台本をWebニュースから自動生成して漫才を行う

漫才台本を自動生成

時事ネタはユーザの共感を得られやすい

4

あいちゃん（ツッコミ）

ゴン太（ボケ）

背景

受動型情報提供メディア

メディアロボット

コンテンツWebニュース

ロボットに対する親しみの向上

ニュース離れの克服

テレビよりもさらに速い速報性

5

input output

お題 漫才台本

ユーザ 漫才ロボット

リアルタイム作成（2～3分程度）

３分程度の漫才

漫才ロボットの流れ

漫才台本自動生成

お題に関連したニュース記事をWebから取得

記事の文章を基にしてボケやツッコミを自動生成

6

漫才の構成（三段構成）

つかみ

本ネタ

オチ

漫才の導入部分挨拶と一笑い

漫才の主軸となる部分ニュース記事を読み上げて紹介しながら様々なボケとツッコミで笑いを取る

まとめと最後の笑い

表情ボケ

言葉遊びノリツッコミ

過剰ボケ対立ボケ例え表現

謎かけ

7

例え表現

例え表現ある物事を別の似ている物事で表現すること

羽生結弦がNHK杯で３連覇

Webニュース記事タイトル

上原浩治が日本選手権シリーズで優勝

野球で例え表現

ユーザの興味を考慮した情報の推薦が可能

8

羽生結弦がNHK杯で３連覇

Webニュース記事タイトル

日本選手権シリーズで優勝

野球で例え表現

例え表現は例えるものの価値を考慮して行うことでより内容が伝わりやすくなる

神戸草野球大会で準優勝

野球で例え表現

例え表現

9

ユーザの興味 ものの価値

Webニュース記事タイトルの例え表現自動生成

Webニュース記事内容の理解支援

情報視野の拡大

異なるカテゴリ間の新たな関係構築

例え表現

10

羽生結弦が NHK杯で３連覇Webニュース記事タイトル

𝑺（主語）が𝑶（目的語）で 𝑽（述語）誰がどこ/何でどうした

上原浩治が日本選手権シリーズで優勝

例え表現

例え表現の自動生成は，閲覧記事タイトルを対象に，タイトル中の𝑺𝟎,𝑶𝟎,𝑽𝟎に対して

𝑺𝟏,𝑶𝟏,𝑽𝟏を取得しそれぞれ置換することで成り立つ

𝑺𝟎 𝑶𝟎 𝑽𝟎

𝑺𝟏 𝑶𝟏 𝑽𝟏

例え表現

11

条件

𝑺𝟏ユーザの知識や興味のカテゴリに属する語

閲覧記事タイトルの𝑺𝟎と価値が近似している語

𝑶𝟏𝑺𝟏に対して文脈的繋がりを持つことができる語

閲覧記事タイトルの𝑶𝟎と価値が近似している語

𝑽𝟏𝑺𝟏と𝑶𝟏に対して文脈的繋がりを持つことができる語

閲覧記事タイトルの𝑽𝟎と意味合いのベクトルが近似している語

𝑺𝟏と𝑶𝟏は価値の類似性を考慮する𝑽𝟏は意味の類似性を考慮する

羽生結弦がＮＨＫ杯で優勝Webニュース記事タイトル

上原浩二が日本選手権シリーズで優勝例え表現例え表現

12

𝑺𝟏の取得

𝑶𝟏の取得

𝑽𝟏の取得

例え表現生成

システムフロー

13

ユーザの興味の入力

閲覧記事タイトルを取得

例：野球

例：「羽生結弦がNHK杯で３連覇」

例え表現

14

例え表現

羽生結弦が NHK杯で３連覇

閲覧記事タイトル

𝑺𝟎 羽生結弦

𝑶𝟎 NHK杯

𝑽𝟎 ３連覇

𝑺（主語）が 𝑶（目的語）で 𝑽（述語）

誰がどこ/何でどうした

形態素解析係り受け解析

閲覧記事タイトル中の𝑺𝟎，𝑶𝟎，𝑽𝟎を取得

𝑺1 ？？？

𝑶1 ？？？

𝑽1 ？？？

15

例え表現𝑺𝟏の取得𝑺𝟏の候補𝑺𝟏𝒊をWikipediaのコーパスから

ユーザの興味に着目して取得

下位概念

野球（ユーザの興味𝑻 ）

オリンピック野球日本代表選手

松坂大輔

松中信彦

上原浩治

野茂英雄

田中将大

ダルビッシュ有

古田敦也

𝑺𝟏𝒊

𝑺𝟎の価値を決めるために比較指標となる語をWikipediaのコーパスから取得

𝑺𝟎𝒊

上位概念

羽生結弦（ 𝑺𝟎 ）

小塚崇彦

羽生結弦

石田治子

渡辺明

浅田真央

五女瀦ｶ男

天野真

オリンピックフィギュアスケート日本代表選手

取得した語の価値を推定

16

価値の推定

価値あるものには価値あるものが関わる

仮説

価値が時間的に持続しているものはより価値がある

価値は指標や視点により判断は様々

17

PageRank

Wikipediaの閲覧履歴

𝑉𝑎𝑙 =価値の最終スコア

𝑡𝑖 =価値を求める語

𝑃𝑅 = PageRank

（価値あるものには価値あるものが関わる）

𝑇𝐷= Wikipedia閲覧スコア

（価値が時間的に持続しているものはより価値がある）

𝑉𝑎𝑙 𝑡𝑖 = 𝛼𝑃𝑅 𝑡𝑖 + 𝛽 log 𝑇𝐷(𝑡𝑖)

※𝛼 + 𝛽 = 1.0

価値の推定

18

フィギュアスケート選手(順位)

価値(𝑉𝑎𝑙 𝑡𝑖 )

正規化𝑉𝑎𝑙 𝑡𝑖 )

荒川静香(1) 0.00449 1.0

浅田真央(2) 0.00439 0.9769

安藤美姫(3) 0.00360 0.8023

井上怜奈(4) 0.00227 0.5060

村主章枝(5) 0.00225 0.5025

羽生結弦(6) 0.00214 0.4778

鈴木明子(7) 0.00174 0.3889

本田武史(8) 0.00163 0.3628

八木沼純子(9) 0.00162 0.3616

小塚崇彦(10) 0.00148 0.3302

オリンピック野球日本代表(順位)

価値(𝑉𝑎𝑙 𝑡𝑖 )

正規化𝑉𝑎𝑙 𝑡𝑖 )

野茂英雄(1) 0.0132 1.0

松坂大輔(2) 0.0120 0.9072

田中将大(3) 0.0113 0.8531

森野将彦(4) 0.0074 0.5618

古田敦也(5) 0.0070 0.5318

上原浩治(6) 0.0062 0.4675

宮本和知(7) 0.0061 0.4618

松中信彦(8) 0.0060 0.4549

ダルビッシュ(9) 0.0057 0.4358

小笠原道大(10) 0.0051 0.3872

「羽生結弦」と価値の正規化値が近似している「上原浩治」を𝑺𝟏として取得

例え表現𝑺𝟏の取得

19

例え表現𝑶𝟏の取得𝑶𝟏の候補𝑶𝟏𝒋をWikipediaのコーパスから

ユーザの興味に着目して取得

𝑶𝟎の価値を決めるために比較指標となる語をWikipediaのコーパスから取得

上位概念

NHK杯国際フィギュアスケート競技大会

将棋の棋戦

NHK全国学校音楽コンクール

日本ラグビーフットボール選手権大会

NHKマイルカップ

全日本相撲選手権大会

NHK全国大学放送コンテスト

全日本選抜ボウリング選手権大会

NHK杯テレビ将棋トーナメント

𝑶𝟎𝒌

NHK杯

下位概念

ユーザの興味（野球）

将棋の棋戦

クライマックスシリーズ

みやざきサンシャインシリーズ

全日本リトルリーグ野球選手権大会

全日本クラブ野球選手権大会

社会人野球日本選手権大会

日本選手権シリーズ

イースタン・リーグチャレンジ・マッチ

𝑶𝟏𝒋

日本の野球大会

20

NHK杯(順位) 価値(𝑉𝑎𝑙 𝑡𝑖 )

正規化(𝑉𝑎𝑙 𝑡𝑖 )

天皇杯全日本サッカー選手権大会(1)

0.00449 1.0

NHK全国学校音楽コンクール(2)

0.00439 0.9769

日本ラグビーフットボール選手権大会

(3)

0.00360 0.8023

日本オープンゴルフ選手権競技(4)

0.00227 0.5060

NHKマイルカップ(5) 0.00225 0.5025

NHK杯体操選手権(21)

0.00174 0.3889

NHK杯国際フィギュアスケート競技大会(22)

0.00163 0.3628

野球大会(順位) 価値(𝑉𝑎𝑙 𝑡𝑖 )

正規化(𝑉𝑎𝑙 𝑡𝑖 )

クライマックスシリーズ(1)

0.0101 1.0

社会人野球日本選手権大会(2)

0.0079 0.7803

全日本クラブ野球選手権大会(3)

0.0045 0.4528

日本選手権シリーズ(4) 0.0044 0.4370

全日本リトルリーグ野球選手権大会(5)

0.0025 0.2477

ナショナルクラブベースボールシリーズ(6)

0.0013 0.1306

みやざきサンシャインシリーズ(7)

0.0008 0.0887

イースタン・リーグチャレンジ・マッチ(8)

0.0003 0.0334

「NHK杯国際フィギュアスケート競技大会」と価値の正規化値が近似している「日本選手権シリーズ」を𝑶𝟏として取得

例え表現𝑶𝟏の取得

21

・・・

・・・

・・・

連覇（ 𝑽𝟎 ）

意味ベクトルが近い語 Cos距離

制覇 0.738

勝利 0.710

優勝 0.702

決勝 0.684

ワンツーフィニッシュ 0.682

チャンピオン 0.668

雪辱 0.609

快勝 0.604

圧勝 0.592

勝ち 0.588

𝑽𝟎 と意味ベクトルが近い語（𝑽𝟏𝒍）をWord2vecを用いて取得

𝑽𝟏𝒍

例え表現𝑽𝟏の取得

22

𝑽𝟏𝒍の中から𝑽𝟎と最も共起度が高い語を𝑽𝟏として取得

連覇（ 𝑽𝟎 ）

意味ベクトルが近い語 共起度

制覇 0.12

勝利 0.30

優勝 0.62

決勝 0.18

ワンツーフィニッシュ 0.02

チャンピオン 0.17

雪辱 0.03

快勝 0.07

圧勝 0.07

勝ち 0.16

𝑽𝟏

例え表現𝑽𝟏の取得

23

𝑺1 上原浩治

𝑶1 日本選手権シリーズ

𝑽1 優勝

羽入結弦が NHK杯FS競技大会で３連覇（ 𝑺𝟎 ） （ 𝑶𝟎 ） （ 𝑽𝟎 ）

閲覧記事タイトル

置換

例え表現

上原浩治が日本選手権シリーズで優勝（ 𝑺𝟏 ） （ 𝑶𝟏 ） （ 𝑽𝟏 ）

例え表現

𝑺𝟎 羽生結弦

𝑶𝟎 NHK杯

𝑽𝟎 ３連覇

24

ニュースタイトル 例え表現（野球）

本田圭佑がACミランへ移籍 田中将大がヤンキースへ移籍

DeNAが任天堂と資本提携 古田敦也が楽天と契約

ラグビー日本代表が南アフリカに歴史的勝利

阪神タイガースがドジャースに大勝

福山雅治が吹石一恵と結婚 イチローが山本昌と復縁

ニュースタイトル 例え表現（他）

羽入結弦がNHK杯FS競技大会で３連覇 国枝慎吾が全国高等学校総合体育大会テニス競技大会で3連覇（テニス）

ラグビー日本代表が南アフリカに歴史的勝利

森下卓が羽生善治に勝利（将棋）

大村智がノーベル賞を受賞 セガ・インタラクティブが日本ゲーム大賞を獲得（ゲーム）

例え表現

25

例え表現

わかってるわ！野球で言えば「上原浩治が

日本選手権シリーズで優勝」したぐらいのことやろ？

ボケツッコミ

「羽入結弦がNHK杯で３連覇」がどれくらいすごいことか

わかってるか？

まあ，間違ってはないけどなんでも野球に置き換えればいいってもんちゃうで！

記事タイトル

例え表現

実験 目的

漫才ロボットの漫才コンテンツとしての有用性の評価 漫才ロボットのメディアとしての有用性の評価

被験者 男女計18名（20代）

条件 ２種類の比較実験(漫才ロボット，ロボットによるニュースの読み上げ，

CGアニメーション)を行い，被験者は各実演を見た後アンケートの各設問に回答する

評価項目 （1）漫才ロボットとロボットによるニュースの読み上げとの比較

漫才ロボットの漫才コンテンツとしての有用性の評価

（2）漫才ロボットとCGアニメーションとの比較 漫才ロボットのメディアとしての有用性の評価

27

メディアロボット

コンテンツWebニュース

提案手法に基づき漫才ロボットあいちゃんとゴン太の2体のロボットが漫才を実演する

漫才の題材となるWebニュースは「ラグビーワールドカップ」の記事を用いる

漫才ロボットあいちゃんとゴン太の2体のロボットがWebニュース記事のタイトルおよび本文をそのまま読み上げる

読み上げるWebニュースは同様に「ラグビーワールドカップ」の記事を用いる

あいちゃんは記事タイトルを読み上げた後，以降ゴン太が記事本文の内容をすべて読み上げる

実演パターン（１）：漫才ロボット

実演パターン（２）：ロボットによるニュースの読み上げ

漫才ロボットとロボットによるニュースの読み上げとの比較

28

結果と考察設問：漫才ロボット/ロボットによるニュースの読み上げはそれぞれ「わかりやすかったか」，「おもしろかったか」，「親しみやすかったか」各5段階評価（5：高，1：低）

２つの実演実験の各評価結果の平均と比較 各評価結果のt検定

・漫才ロボットがニュースを読むロボットと比較としてわかりやすさ，おもしろさ，親しみやすさの全項目において有意差が認められる・提案手法によりWebニュース記事に

娯楽性を付加できているだけでなく，漫才形式によりわかりやすさも向上する見込みがある 29

評価値

設問：漫才ロボットとロボットによるニュースの読み上げではどちらが好きか

・被験者18人中16人が漫才ロボットを指示

・同様のロボット（メディア）を用いた実験であることから，漫才ロボットがコンテンツとして高い有意性を得ていると考えられる

結果と考察

２つの実演実験の評価結果の総計

30

評価値

実験 目的

漫才ロボットの漫才コンテンツとしての有用性の評価 漫才ロボットのメディアとしての有用性の評価

被験者 男女計18名（20代）

条件 3種類の比較実験(漫才ロボット，ロボットによるニュースの読み上げ，

CGアニメーション)を行い，被験者は各実演を見た後アンケートの各設問に回答する

評価項目 （1）漫才ロボットとロボットによるニュースの読み上げとの比較

漫才ロボットの漫才コンテンツとしての有用性の評価

（2）漫才ロボットとCGアニメーションとの比較 漫才ロボットのメディアとしての有用性の評価

31

メディアロボット

コンテンツWebニュース

先の実験と同様

提案手法に基づき漫才ロボットが漫才を実演する

TVML( Television Making Language ) を用いて，2体のCGキャラクターが漫才を行う

漫才には先の漫才ロボットの実験で自動生成した漫才台本を用いる

実演パターン（１）：漫才ロボット

実演パターン（２）：CGアニメーション

漫才ロボットとCGアニメーションとの比較

M. Hayashi. Tvml (tv program making language). In ACM SIGGRAPH 98 Conference Abstracts and Applications, SIGGRAPH ’98,

pages 292–. ACM, 1998. 32

結果と考察設問：漫才ロボット/CGアニメーションはそれぞれ「わかりやすかったか」，「おもしろかったか」，「親しみやすかったか」各5段階評価（5：高，1：低）

２つの実演実験の各評価結果の平均と比較 各評価結果のt検定

・漫才ロボットがCGアニメーションと比

較して親しみやすさの項目において有意差が認められる

・ロボットによる実体での漫才の方がより親近感を促すことができる

33

評価値

・被験者18人中14人が漫才ロボットを指示

・ロボットによる存在感や実体感により被験者が漫才に引き込まれ易くなり，漫才ロボットがメディアとしてより有意であると考えられる

設問：漫才ロボットとCGアニメーションではどちらが好きか

結果と考察

２つの実演実験の評価結果の総計

34

評価値

まとめと今後の課題 まとめ

人とロボットの円滑なコミュニケーションの実現を目的に漫才ロボットを提案し、そのための漫才台本自動生成手法を提案した

漫才台本をつかみ・本ネタ・オチに分割し、台本中に用いる例えボケの自動生成手法を提案した

提案システムのコンテンツとしての有用性，メディアとしての有用性を検証するために３種類の実験を行い結果的に漫才ロボットの有用性がそれぞれ確認できた

課題 例えボケの台本への取り入れ手法の確立

ユーザの年代や興味を考慮した台本の生成

世代を広げ，より公平かつ厳密なアンケート実験による有用性の確認

35

Tomohiro Umetani, Ryo Mashimo, Akiyo Nadamoto, Tatsuya Kitamura and Hirotaka Nakayama, ``Manzai Robots: Entertainment Robots based on Auto-created Manzai Scripts from Web News Articles'‘, Journal of Robotics and Mechatronics, Vol. 26, No. 5, pp. 662-664, 2014.

研究成果（1）

学術論文：1本

36

• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto, `` Generating Funny Dialogue between Robots based on Japanese Traditional Comedy Entertainment”, Proceedings of the 2014 Conference on Interactive Entertainment, IE2014, 2014.

• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto,`` Automatic Generation of Japanese Traditional Funny Scenario from Web Content based on Web Intelligence” , The 15th International Conference on Information Integration and Web-based Applications & Services (iiWAS2015) , Brussels, Belgium, December, 2015. 採択率:30%

• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto, ``Human-Robots Implicit Communication based on Dialogue between Robots using Automatic Generation of Funny Scenarios from Web”, In Proceedings of the 11th ACM/IEEE International Conference on Human-Robot Interaction(HRI 2016), March 7-10, Christchurch, New Zealand, 2016(to appear). . 採択率:25%

• Tomohiro Umetani, Satoshi Aoki, Kazuhiro Akiyama, Ryo Mashimo, Tatsuya Kitamura and Akiyo Nadamoto, ``Manzai Robot System with Scalability based on Distributed Software Components”, in Proceedings of the 26th 2015 International Symposium on Micro-Nano Mechatronics and Human Science, pp. 139-142, 2015.

研究成果（2）国際会議（査読あり）：4本

37

• 真下遼, 梅谷智弘, 北村達也, 灘本明代,`` Webニュースからの漫才台本自動生成を用いたコミュニケーションロボット”, Webとデータベースに関するフォーラム2014(WebDB2014), B3-2,芝浦工業大学・豊洲キャンパス,2014年11月,採択率:59％ （企業賞受賞）

国内会議（査読あり）：1本

研究成果（２）

• 真下遼, 梅谷智弘, 北村達也, 灘本明代,``つかみ・本ネタ・オチから構成される漫才ロボット台本自動生成手法の提案”, ARG 第4回Webインテリジェンスとインタラクション研究会,隠岐開発総合センター島民ホール,2014年5月．

• 真下遼, 梅谷智弘, 北村達也, 灘本明代,``文の感情を考慮した漫才ロボット台本自動生成手法の提案”,第7回データ工学と情報マネジメントに関するフォーラム，(DEIM2015),2015年3月

• 真下遼，灘本明代,``Webニュース内容理解支援のための例え表現自動生成手法の提案”, 電子情報通信学会データ工学研究会（DE）,東大寺総合文化センター,2015年8月

• 真下遼，灘本明代，``ユーザの興味を考慮したWebニュース理解支援のための例え表現生成手法"，第8回データ工学と情報マネジメントに関するフォーラム(DEIM2016), 2016(to appear).

• 大原正章，真下遼，灘本明代，``Webニュースの閲覧記事に対する対立記事抽出手法"，ARG 第6回Webインテリジェンスとインタラクション研究会，2015.

研究会発表：5本

38

39

研究成果（３）

紀要：1本• 孝橋一希, 真下遼, 久井晶太, 梅谷智弘, 北村達也, 灘本明代,

``小型漫才ロボットの制御システムの開発", 甲南大学紀要知能情報学編, Vol. 8, No. 1, pp. 9-18, 2015.

ポスター発表：5本

研究成果（４）

• 真下遼, 梅谷智弘, 北村達也, 灘本明代,``Webニュースからの漫才台本自動生成を用いたコミュニケーションロボット”,WebDB Forum 2014 ,芝浦工業大学・豊洲キャンパス,2014年11月

• 真下遼, 梅谷智弘, 北村達也, 灘本明代,``文の感情を考慮した漫才ロボット台本自動生成手法の提案”,第7回データ工学と情報マネジメントに関するフォーラム，(DEIM2015) ,2015年3月

• 青木哲，秋山和寛，林拓実，原口和貴，真下遼，梅谷智弘，北村達也，灘本明代``XML台本に基づく複数ロボットの同期制御コンポーネント”，第16回計測自動制御学会システムインテグレーション部門講演会講演論文集，pp. 1055-1057, 2015.

• 青木哲，秋山和寛，孝橋一希，真下遼，梅谷智弘，北村達也，灘本明代，``Raspberry Piを利用した小型漫才ロボットの開発”，日本機械学会ロボティクス・メカトロニクス講演会2015講演論文集，1A1-J01, 3 pages (DVD-ROM), 2015.

• 梅谷智弘，孝橋一希，北村達也，真下遼，灘本明代，``分散駆動型ソフトウェアコンポーネントを利用した小型漫才ロボットの開発”，ロボティクス・メカトロニクス講演会2014講演論文集, 3A1-T02, 3 pages (DVD-ROM), 2014. 40

テレビ朝日「モーニングバード！」,2014年6月

フジテレビ「スーパーニュースアンカー」,2014年6月

産経新聞掲載,2014年8月

神戸新聞掲載,2014年10月

雑誌「Hello! Doctor」,2014年11月

「関西TODAY」,2015年1月

「リビングQ南大阪 1751号」掲載,2015年3月

フリーペーパー雑誌「moco vol24」掲載,2015年3月

雑誌「AERA 2015年6月29日号」掲載,2015年6月

関西テレビ「ゆうがたLIVEワンダー」 ,2015年6月

雑誌「AERA 2015年6月29日号」掲載,2015年6月

国際フロンティア産業メッセ2015出展,2015年9月

神戸市広報誌「KOBE」掲載,2015年9月

TBSテレビ「ズームイン！！サタデー」,2015年10月

「第8回ACM シーグラフアジア出展」,2015年11月

その他：メディア発表

41

国内会議（査読あり） 真下遼, 梅谷智弘, 北村達也, 灘本明代,`` Webニュースからの漫才台本自動生成を用いたコミュニケーションロボット”, Webとデータベースに関するフォーラム2014(WebDB2014), B3-2,芝浦工業大学・豊洲キャンパス,2014年11月,採択率:59％ （企業賞受賞）

青木哲，秋山和寛，林拓実，原口和貴，真下遼，梅谷智弘，北村達也，灘本明代, ``XML台本に基づく複数ロボットの同期制御コンポーネント”,第16回計測自動制御学会システムインテグレーション部門講演会,第9回RTミドルウェアコンテスト奨励賞（ウィン電子工業賞受賞）

国内応募 真下遼,青木哲,秋山和寛,孝橋一希, ``Webニュースを基にした漫才台本自動生成によるコミュニーケーションロボットの開発”, 第29回（2015年度）独創性を拓く 先端技術大賞,2015年7月

(学生部門特別賞受賞)

賞

42