KUSK Object Dataset: 調理作業中の物体への接触履歴テータセットの作成 橋本 敦史 , 飯山 将晃 , 森 信介 , 美濃 導彦京都大学

2015.9.25 信学会 DE 研究会http://kusk.mm.media.kyoto-u.ac.jp/ja/

コンピュータビジョン (CV) と自然言語処理 (NLP) の融合

• CV と NLP の融合研究が活発化– 背景に「物体検出」や「物体認識」技術の成熟

• テータセットの整備が必要– モテルケース : Pascal Sentence テータセット

映像 機械可読なテータ構造認識 文生成 !

CV NLP解析検索・生成

Human-Friendlyな表現

Pascal Sentence Data Set

http://vision.cs.uiuc.edu/pascal-sentences/

Cyrus Rashtchian, Peter Young, Micah Hodosh, and Julia Hockenmaier. “Collecting Image Annotations Using Amazon's Mechanical Turk”. In Proc. of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazon's Mechanical Turk.

• One jet lands at an airport while another takes off next to it.

• Two airplanes parked in an airport.• Two jets taxi past each other.• Two parked jet airplanes facing opposite

directions.• two passenger planes on a grassy plain

Pascal Dataset ( 物体認識用の静止画テータセット ) の一部に説明文を加えたもの．説明文は Amazon Mechanical Turk により不特定の作業者が付与．

食メティアでの CV/NLP のテータセット (DS)

• 自然言語関連– 料理オントロジー – COOKPAD/ 楽天レシピ

• 映像処理 ( 特に調理行動に関するもの )

– TUM Kitchen Data Set (2009)– CMU Multi-Modal Activity Database (2009)– Actions for Cooking Eggs Dataset (2012)– MPII Cooking Activities Dataset (2012)– 50 Salads dataset (2013)– The Breakfast Actions Dataset (2014)

「レシピ」と「実際の行動」を比べたい• レシピの「自然言語記述」と「実際に行われた調理行動 (≒ 人間の解釈 ) 」– 従来の映像側 DS: 調理行動の記録 + 正解ラベル• レシピの問題（単一のレシピ，レシピ不明，文化差…）• 自然言語処理技術者に非友好的

– 従来の言語側 DS: 大量のレシピ，コーパス• そもそも映像（ 人間が解釈した結果）が付随せ≒ず

KUSK Dataset x Flow Graph CorpusKUSK Dataset ( 橋本 ,2014) Flow Graph Corpus ( 森 ,

2014)

Water Flow Sensors

Eye Tracker

Touch Display

Electric Consumption Sensors

Load Sensing Tables

自然言語で解析済みの 20 レシピ（ COOKPAD より）を多様な被験者に調理してもらったテータ

KUSK Dataset( 橋本 ,2014) で撮影したレシピCookPad でのID レシピ ID レシピ名00121196 2014RC01 アツアツとろ～り白菜と鶏のスープ00180223 2014RC02 押し麦入り和風トマトスープ。00196551 2014RC03 オムレツ00162433 2014RC04 母さんのチキンサラダ00201826 2014RC05 コロッケ種の揚げ包み焼き00200883 2014RC06 牛肉ときのこのプルコギ風00176550 2014RC07 しいたけとしめじのソテー00202059 2014RC08 新じゃがのポテトサラダ00171343 2014RC09 セロリの葉っぱスープ00148537 2014RC10 鶏肉と大豆のトマト煮♪更年期も怖くない！？00185809 2014RC11 鶏肉とブロッコリー炒め00196431 2014RC12 鶏肉のスパイシーなビーンズ煮込み00157755 2014RC13 鶏胸肉の☆老化防止♪黒胡麻揚げ00192913 2014RC14 なすの香り炒め00195151 2014RC15 肉みそサニーレタス包み♪00187900 2014RC16 白菜の重ね煮 00155229 2014RC17ヘルシー♪豆腐でオープンオムレツ中華風☆00193642 2014RC18ぺペロンチーノ00182653 2014RC19 もちもち大根餅00168029 2014RC20 和風のし鶏

※ある程度の複雑さ※ 少ない材料で多くのバリエーション

KUSK Object Dataset (今回新たに提供 )• KUSK Datasetからの映像処理結果を提供– 画像処理技術者へのベースライン– 自然言語処理技術者が映像処理結果として利用

• 調理中の「物体接触履歴」を提供– 次の行動の予測において重要な情報 ( 橋本 ,2014)

– 置かれた物体 /取られた物体に対して，時刻，種類，映像中の領域 (矩形 ) の情報を付与• 調理中に扱われる多様な物体を収集– 食材，調味料，調理器具，容器– 容器のフタ，ゴミ，スポンジ，洗剤，布巾， etc

得られたテータの紹介

材料

えのき えのき えのき キャベツ キャベツ キャベツ パスタ麺

カリフラワーカリフラワーカリフラワーガーリックガーリック 豆腐 豆腐調理器具

菜箸 ボウル ザル ザル まな板 包丁ボウル調味料

その他

だし ケチャップ コショウ 食べない部分 洗剤 スポンジ 三角コーナー

アノテーションの方法 (1/2)• 作業の種類1. 物体領域領域抽出 ( 橋本 ,2012) の結果の訂正

(時刻は訂正なし，領域，取る /置くの別のみ）2. レシピ毎に語彙を決定3. 各領域への物体ラベルの付与 ( 作業 2 の語彙から選択）

作業 2 における語彙の表記ゆれ等への対処→料理オントロジー (土井 , 2014) を利用– オントロジーに入っていないものは手動分類

• 干しエビ，和風ドレッシング，アク取り，フライ鍋，フライヤー…

アノテーションの方法 (2/2)• 学生アルバイト（非情報系学部）による作業– 最長 2ヶ月間雇用，延 20 名超– 雇用にあたり，料理経験を考慮

• 概ね半年以上の経験と週 1回以上の頻度

• Web ブラウザで動作するインターフェイス– 将来的な Cloud Sourcing の利用も視野– 2 名の回答が一致しない場合， Checker がチェック

• ただし， Checker も上記の学生アルバイト– 定期的に著者によるチェック，指導

得られたテータの紹介 (再掲 )

材料

えのき えのき えのき キャベツ キャベツ キャベツ パスタ麺

カリフラワーカリフラワーカリフラワーガーリックガーリック 豆腐 豆腐調理器具

菜箸 ボウル ザル ザル まな板 包丁ボウル調味料

その他

だし ケチャップ コショウ 食べない部分 洗剤 スポンジ 三角コーナー

物体認識結果テータの作成レシピ毎に識別器を使い分け ⇛ CNN x Linear SVM

• 特徴量 : AlexNet の 6th Layer の出力 (4096次元 )– Caffe による実装を利用• ImageNet により学習済みのモテルを利用

• Linear SVM による学習– レシピ毎に異なる Linear SVM を学習（レシピは既知である =登場物体が限定可能であることを仮定）

物体認識結果 (精度 )

2014RC01

2014RC03

2014RC05

2014RC07

2014RC09

2014RC11

2014RC13

2014RC15

2014RC17

2014RC19Total

0%10%20%30%40%50%60%70%80%90%

100%

物体認識結果（グループ別）

0%10%20%30%40%50%60%70%80%90%

100% 材料 Acc. 調味料 Acc. 調理器具 Acc.

得られたテータの紹介 (再掲 )

材料

えのき えのき えのき キャベツ キャベツ キャベツ パスタ麺

カリフラワーカリフラワーカリフラワーガーリックガーリック 豆腐 豆腐調理器具

菜箸 ボウル ザル ザル まな板 包丁ボウル調味料

その他

だし ケチャップ コショウ 食べない部分 洗剤 スポンジ 三角コーナー

累積照合特性曲線による評価

調理中の物体認識に関する考察• 食材は画像のみでの認識が難しい– 多様な状態で観測される• 包装の有無，切削加工，その他（特に卵）

• 調味料，調理器具は比較的頑健である– キッチンによって，同種の調味料，器具は限定

• 文脈情報の利用などによる高精度化を期待– レシピから文脈情報を抽出，など（今後の課題）

まとめ• KUSK Dataset x Flow Graph Corpus– 映像処理 x 自然言語処理 の融合研究の基盤

• KUSK Object Dataset KUSK Dataset⊂– 調理中に接触があった物体の履歴• 次の行動の予測において重要な情報• 置く /取るの別，時刻，物体を囲む矩形の座標• 物体のクラス ( 料理オントロジーによる階層的なラベル )• AlexNet による特徴抽出 x Linear SVM の認識結果

今後の課題・展望

KUSK Object DS の細かい使い方は上記 Webページを参照するか，個人的にコンタクトを下されば対応いたします．Mail: a_hasimoto@mm.media.kyoto-u.ac.jp Twitter: @a_hasimotoまたは， 11/9,10 の 食メディア合宿 @ 浜松で．

• 我々のグループでの融合研究の推進– 映像の結果→自然言語処理結果の高度化 , レシピ生成– 自然言語処理結果→映像処理の高度化

• テータセットの充実– KUSK Action/Activity Dataset ?DS の公開先 : http://kusk.mm.media.kyoto-u.ac.jp/ja