wordpress.com - 対話システムのあるべき姿 · 2019-03-19 ·...
TRANSCRIPT
![Page 1: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/1.jpg)
Copyright©2019 NTT corp. All Rights Reserved.
対話システムのあるべき姿
NTTメディアインテリジェンス研究所
NTTコミュニケーション科学基礎研究所(兼務)
東中竜一郎
2019.3.3 第2回 自然言語処理の中長期研究構想を論じる会
★NTT研究所では対話研究者を募集しています!
![Page 2: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/2.jpg)
2 Copyright©2019 NTT corp. All Rights Reserved.
自己紹介
2001年~ NTT入社 メディアインテリジェンス研究所 主任研究員(上席特別研究員) 関わったプロジェクト/サービス
• 「しゃべってコンシェル」におけるQ&A機能 • 雑談対話システム(雑談対話API) • マツコロイドの雑談機能 • 「ロボットは東大に入れるか」の英語問題(東ロボ)
※阪大石黒研究室との共同研究
![Page 3: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/3.jpg)
3 Copyright©2019 NTT corp. All Rights Reserved.
アウトライン
①対話システム・雑談対話の研究
②対話研究のトレンド
③対話システムのあるべき姿
![Page 4: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/4.jpg)
4 Copyright©2019 NTT corp. All Rights Reserved.
アウトライン
①対話システム・雑談対話の研究
②対話研究のトレンド
③対話システムのあるべき姿
![Page 5: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/5.jpg)
5 Copyright©2019 NTT corp. All Rights Reserved.
対話システム
• 対話 • 自然言語で情報の授受(を繰り返すこと) • それにより自身・外界に作用を及ぼすこと
• 対話システム • 人間と対話するシステム
• 対話システムの類型 • タスクの有無(タスク指向型,非タスク指向型) • 人数(一人,二人,多人数) • モダリティ(音声,タッチパネル,ジェスチャ) • 主導権(システム,ユーザ,混合主導) • 身体性(バーチャルエージェント型,ロボット型)
![Page 6: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/6.jpg)
6 Copyright©2019 NTT corp. All Rights Reserved.
対話システムの例
しゃべってコンシェル Siri Alexa Pepper
https://www.nttdocomo.co.jp/service/shabette_concier/ https://www.apple.com/jp/siri/ https://developer.amazon.com/ja/alexa https://www.softbank.jp/robot/pepper/
![Page 7: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/7.jpg)
7 Copyright©2019 NTT corp. All Rights Reserved.
動画(タスク指向型対話)
![Page 8: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/8.jpg)
8 Copyright©2019 NTT corp. All Rights Reserved.
非タスク指向型対話(雑談対話)
メディアの等式 • 相手がシステムであっても人間のように振る舞ってしまう • 「たけまるくん」への入力の半分程度は雑談 • 実サービスにおいても同様の傾向
https://www.youtube.com/watch?v=3-JWN6ZPezA
人間の対話の 6割以上が雑談
(国語研による調査)
![Page 9: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/9.jpg)
9 Copyright©2019 NTT corp. All Rights Reserved.
雑談における多様な話題
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
旅行
料理
映画
お酒
音楽
趣味
スポーツ
ゲーム
秋
暑さ
天気
海外旅行
雨
気候
カレー
ペット
京都
テレビ
沖縄
犬
猫
漫画
子供
海
気温
北海道
車
ラーメン
ワンピース
夏
温泉
好きな食べ物
ハムスター
パソコン
スマホ
ドラマ
仕事
ライブ
ビール
好きな季節
外食
海外
水泳
スマートフォン
運動
自転車
食べ物
雷
ドライブ
動物
%(発話)
非常にロングテール
![Page 10: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/10.jpg)
10 Copyright©2019 NTT corp. All Rights Reserved.
NTTの対話システムの構成
述語項構造解析
対話行為推定
焦点語(話題) 抽出
質問応答 インターネット上のコンテンツに基づく応答
無難な応答
ルールベースの応答
ユーザ
ユーザ発話
システム 発話
次対話行為推定
発話ランキング
質問タイプ推定
対話状態
ユーザ情報構造化 話題継続願望判定
発話 理解部
対話管理部
発話生成部 ブログ/ツイッター
ユーザ情報を用いた応答
http://www.aclweb.org/anthology/C14-1088
![Page 11: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/11.jpg)
11 Copyright©2019 NTT corp. All Rights Reserved.
動画(SOTA)
![Page 12: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/12.jpg)
12 Copyright©2019 NTT corp. All Rights Reserved.
アウトライン
①対話システム・雑談対話の研究
②対話研究のトレンド
③対話システムのあるべき姿
![Page 13: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/13.jpg)
13 Copyright©2019 NTT corp. All Rights Reserved.
最近の対話システム事情
深層学習
データセット コンペティション
「最近の対話システム事情~深層学習・データセット・コンペティションの観点から~」 映像情報メディア学会誌 Vol. 73, No. 2, pp. 271~276(2019)
深層学習時代の研究サイクル
https://bit.ly/2TQN43D ここから読めます→
![Page 14: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/14.jpg)
14 Copyright©2019 NTT corp. All Rights Reserved.
深層学習の適用
• 非タスク指向型対話
• 多様性
• 制御性
• 外部知識
• キャラクタの一貫性
• 文脈の一貫性
• タスク指向型対話
• 非タスク指向型と同様のアプローチだが生成対象にAPIコールを含める
![Page 15: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/15.jpg)
15 Copyright©2019 NTT corp. All Rights Reserved.
データセット
データセットの名前 対話数
DSTC2 3K
M2M 3K
MultiWOZ 8K
AirDialogue 400K
データセットの名前 対話数
Persona-Chat 11K
DialyDialog 13K
WikiConv 91M
Reddit 700M
タスク指向型
非タスク指向型 (雑談対話)
サイズ拡大
サイズ拡大
![Page 16: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/16.jpg)
16 Copyright©2019 NTT corp. All Rights Reserved.
システム仲介によるタスク対話収集
M2M
AirDialogue
https://arxiv.org/abs/1801.04871
https://aclweb.org/anthology/D18-1419
![Page 17: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/17.jpg)
17 Copyright©2019 NTT corp. All Rights Reserved.
発話生成の精度
※BLEU等は人手との相関が低いので人手評価のみ参照
(W. Zhang, COLING2018)
DSTC7: Track2
(G. Zhou, AAAI2017)
60%~70%適切 結束性は3段階中2(3/5)
![Page 18: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/18.jpg)
18 Copyright©2019 NTT corp. All Rights Reserved.
コンペティション
• データセットで評価 • DSTC7
• 発話選択
• 発話生成
• Video dialog
• 対話破綻検出チャレンジ
• 人間による対話で評価 • ConvAI
• Lost in conversation
• Alexa Prize • Gunrock
• 対話システムライブコンペ • tripfreak
![Page 19: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/19.jpg)
19 Copyright©2019 NTT corp. All Rights Reserved.
対話の満足度
順位
チーム名 ボット名 平均点
1位 NTTCS tripfreak 2.81 (3.19相当)
2位 NTTdocomo marikoZatsudanBot
3.06
3位 teamzunko Zunko 3.48
ConvAI2
Alexa Prize ライブコンペ
![Page 20: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/20.jpg)
20 Copyright©2019 NTT corp. All Rights Reserved.
tottoにおける深層学習の利用
• 深堀り質問生成
• 支持発話生成
0%
20%
40%
60%
80%
100%
言語モデルベース seq2seq 提案手法
正解率 ユニーク質問率
言語モデル seq2seq 提案法
0%10%20%30%40%50%
1点 2点 3点 4点 5点
(片山ら,JSAI2018)
(光田ら,IWSDS2019)
約75~80%で 適切な応答
※阪大・ATR・totto製作委員会との共同研究
![Page 21: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/21.jpg)
21 Copyright©2019 NTT corp. All Rights Reserved.
アウトライン
①対話システム・雑談対話の研究
②対話研究のトレンド
③対話システムのあるべき姿
![Page 22: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/22.jpg)
22 Copyright©2019 NTT corp. All Rights Reserved.
対話システムのレベル
不定形タスク コマンド実行 スロット フィリング
定型タスク
価値観の共有 定型応答 場の共有 情報の共有
タスク対話
雑談対話
期待される進化
現状
レベル1 レベル2 レベル3 レベル4
![Page 23: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/23.jpg)
データから最尤な発話を生成するアプローチ(再現性アプローチ)で レベル3に対応できるのだろうか?
![Page 24: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/24.jpg)
24 Copyright©2019 NTT corp. All Rights Reserved.
レベル3以上には 事実や意見の積み上げ
が必須
![Page 25: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/25.jpg)
25 Copyright©2019 NTT corp. All Rights Reserved.
過去のデータに基づく 再現性アプローチは 新たに物事を創っていく 積み上げに向いていない
![Page 26: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/26.jpg)
26 Copyright©2019 NTT corp. All Rights Reserved.
再現性から創造性へ
創造性
再現性
![Page 27: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/27.jpg)
27 Copyright©2019 NTT corp. All Rights Reserved.
関連エピソード
• エラー分析のワークショップ
• 「機械だけでなく人間もミスをするのでは?」
• 言語処理学会テーマセッション
• 「人間同士の対話はミスしても破綻しない」
• マツコロイドとの対話
• 発話が完璧でない方が対話は面白い
• 対話を創っていく(積み上げていく)過程が本質 • そのためにはどうすればよいのか?
![Page 28: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/28.jpg)
28 Copyright©2019 NTT corp. All Rights Reserved.
対話を創っていく (積み上げていく)ためには
共通基盤が必要
![Page 29: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/29.jpg)
29 Copyright©2019 NTT corp. All Rights Reserved.
共通基盤(相互信念, common ground)
• 複数の話者が共同するために共有する知識や信念 [Clark96, Traum94]
Bが知って いること
Aが知って いること
共通基盤
複雑なやり取り
![Page 30: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/30.jpg)
30 Copyright©2019 NTT corp. All Rights Reserved.
対話システムレベル3に向けて
不定形タスク コマンド 実行
単純タスク 定型タスク
価値観の共有 定型応答 場の共有 情報の共有
タスク対話
雑談対話
レベル1 レベル2 レベル3 レベル4
共通基盤
事実や意見の積み上げ
![Page 31: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/31.jpg)
31 Copyright©2019 NTT corp. All Rights Reserved.
何に取り組むべきか
• タスク • コールセンタ
• 情報提供/物語
• 教育
• 交渉
• 議論
• 漫才
• 評価の仕方 • タスク評価
• 共通基盤の言語化,シンクロクイズ
• 共通基盤のモデルや表現方法
LV3
LV4
![Page 32: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/32.jpg)
32 Copyright©2019 NTT corp. All Rights Reserved.
関連研究
• 共通基盤の提示 • 暗黙的確認 • フィードバック発話 • ユーザ情報の利用
• 共通基盤の構築 • 個人的なQAの挿入 • Image editing • 階層的RNN(HRED) • 分析用コーパス
(Sakai et al., SIGDIAL2018)
(Manuvinakurike et al., SIGDIAL2018)
(角森ら, NLC研究会)
![Page 33: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/33.jpg)
![Page 34: WordPress.com - 対話システムのあるべき姿 · 2019-03-19 · nttの対話システムの構成 述語項構造解析 対話行為推定 質問タイプ推定 焦点語(話題)ユーザ発話](https://reader031.vdocuments.site/reader031/viewer/2022013019/5e3128fd6996c80df7129764/html5/thumbnails/34.jpg)
34 Copyright©2019 NTT corp. All Rights Reserved.
対話システムのあるべき姿
共通基盤の構築を通して人間とともに創造する