ダイジェスト映像自動生成のための観点の入れ替わりに基づ …deim forum...

DEIM Forum 2014 F4-2

ダイジェスト映像自動生成のための

観点の入れ替わりに基づいた特徴的シーン抽出

山内嶺† 北山大輔†

† 工学院大学情報学部コンピュータ科学科〒 163-8677　東京都新宿区西新宿 1-24-2E-mail: †[email protected], ††[email protected]

あらまし近年ニコニコ動画など動画共有サイトが発展し，投稿されている動画に対し，誰でもコメントが自由に書

き込めるようになった．動画共有サイトでは，動画を視聴しながらも好きなタイミングで誰でも動画の内容に対して

感じたことや動画の内容自体のことを書き込める．さらに動画のシーンによって視聴者ごとに様々な観点を持ってお

り，それに応じたコメントが付与されている．本研究では，動画に付与されているコメントの評価を判定し，似た観

点を持つ視聴者同士のクラスタリングを行い，観点の入れ替わりを抽出する．これにより，視聴者が盛り上がってい

る場面のみならず，視聴者が興味を示す場面の抽出を行う．

キーワードユーザコメント，評価表現，共有動画，シーン抽出

1. はじめに

近年，YouTubeやニコニコ動画など様々な動画共有サイトが

利用されるようになった．YouTubeには 2010年 1月の時点で

10億本以上，ニコニコ動画には 2011年 8月の時点で 640万本

以上の動画が投稿されており，多様な動画の視聴が可能となっ

た．それに伴い視聴者は膨大にある動画の中から自分の興味に

合う動画を探すことは困難になってきている．すなわち，全て

の動画の中から自分の興味に合致する動画を探すことは困難で

ある．このため，膨大な映像データから自分の興味に合うシー

ンを効率よく探し出す，内容の概要を手軽に理解する，限られ

た時間でハイライトだけを見るための視聴方法を提供する仕組

みが重要となっている．

そのような仕組みを実現するための基礎技術として，映像の

インデキシングがあげられる．従来，動画像中の色やテクス

チャ，カメラ操作，人物の顔などの特徴や，字幕テキスト，音の

種別や大きさなどをマルチモーダルに利用した種々のインデキ

シング手法が提案されてきた．しかし，これら従来手法が利用

してきたデータは，番組の配信側（放送局）から提供される情

報のみであったため，インデキシングされた情報は，基本的に

番組作成者・配信側の意図を反映しているだけであった．よっ

て従来手法においては，シーン探索や内容の早見，ダイジェス

ト視聴などの内容に，自分以外の他の視聴者の視点や反応と

いった要素を取り入れることができなかった．

一方，近年ニコニコ動画（注1）のようにサイトに投稿された動

画に対し，誰でもコメントが自由に書き込めるようになった．

ニコニコ動画では，動画を視聴しながらも好きなタイミングで

誰でも，動画の内容に感じたことや動画の内容自体のことを書

き込むことが可能である．動画視聴者は，動画の視聴と並行し

てコメントの書き込み，他の視聴者のコメントなども楽しめる

（注1）：http://www.nicovideo.jp/

ようになっている (図 1)．ニコニコ動画のコメントは動画中の

ある時刻に対してコメントを投稿可能であり，動画の各シーン

に対する視聴者の反応を反映していると考えられる．ニコニコ

動画のコメントを用いることで視聴者の視点や反応に基づくイ

ンデキシングが可能になると考えられる．例えば，コメントの

多さやコメントに含まれる肯定，否定の感情の多さによって盛

り上がりを表現することが考えられる．図２は上部の４つの映

像が各シーンの例となっている．左の映像から右の映像にかけ

て動画が進み，グラフで示しているものは各シーンに対しての

コメント量を示す．この例では，1シーン目，4シーン目を盛り

上がるシーンとしてインデクス可能である．また，動画中の重

要なシーンの中には盛り上がるシーン以外に，コメントするの

を忘れて見入るシーンというのも考えられる．ダイジェスト映

像を生成する場合，盛り上がるシーン以外に，このようなシー

ンを含めないと，ダイジェストとしてのストーリがつながらな

くなると考えられる．しかしながら，このようなシーンの場合，

単純なコメントの量のみでは抽出することが困難であると考え

られる．

そこで本稿では，このニコニコ動画に投稿されている膨大な

種類と数の動画のうち，プロ野球に関する動画に着目し，野球

映像に付与されている視聴者のコメントの変化を分析すること

で，動画に対する様々な視聴者の視点や反応を反映したインデ

キシング手法を提案する．動画に付与されたコメントの評価を

抽出し，様々な視聴者の観点の入れ替わりを利用することで，

各シーンに対する特徴付けが行えると考えた．これにより，視

聴者が盛り上がっている場面のみならず，視聴者が視聴者の観

点が入れ替わるような動画中の重要なシーンの抽出を行う．　

本稿の構成は以下のとおりである．２章では，関連研究につい

て述べる．３章では，コメントの評価・視聴者特徴ベクトルの

生成，観点別クラスタリング，観点の入れ替わりの検出手法つ

いて述べる．４章では，プロトタイプについて述べる．５章で

は，行った実験に対して得られた結果から考察を行う．６章で

図 1 動画に付与されているコメントの例

��

図 2 コメント量の時間的変化

は，まとめと今後の課題について述べる．

2. 関連研究

従来，膨大なデータから興味のある部分を効率良く探したり，

内容の概要を手軽に理解したり，限られた時間でハイライトだ

けを見たりするといった情報を効率良く取得する視聴方式につ

いては，様々な研究が行われてきた．その中でもニコニコ動画

を利用している視聴者のコメントに着目し，インデキシングの

手法を提案する研究も行われてきている．

佃ら [1]は，ニコニコ動画の視聴者が投稿する「肯定」「否定」

などと印象情報を抽出することで，その動画に登場する人物な

どの活躍シーンの推定，さらにはそれを数値化することでラン

キング形式での動画推薦を行っている．本研究では，「肯定」「否

定」といった評価の変化を観点の入れ替わりの抽出に利用して

いる．宮森ら [2]，[3]は，実況チャット上に出現する特徴的な表

現を利用することで，番組の盛り上がり場面や視聴者の嗜好・

興味に合った反応など，視聴者視点でのメタデータを抽出し，

それに基づいて自分と類似した嗜好をもつ他人が興味を示す部

分などのビューを作成したりしている．本研究では，視聴者の

コメント内容から肯定的評価と否定的評価を抽出することで，

ある同じシーンであっても視聴者ごとに様々な観点を持つため

異なる評価をすることから特徴づけを行っている．

さらに宮森ら [4]は，テレビ番組をウェブコンテンツにメディ

ア変換し，インターネット上での補完情報検索の結果と統合す

る番組視聴方式を提案している．動画コメントや番組チャット

などではなく，補完情報により番組に対しての詳細な情報を視

聴者は得ることができる．嶌田ら [5]は，映像シーンを視聴しな

がらコメントを付与していく視聴者連動型のコミュニケーショ

ン機能をファンコミュニティに提供することで，比較的簡易な

ワード分析で映像シーンの内容を表す特徴ワードや代表コメン

トなどの高次のメタデータを抽出している．本研究では，動画

に付与されているコメントの内容からシーンに対してのメタ

データを抽出するのではなく，コメント内容から視聴者の評価

を判定し，評価の変化が生じる時点のシーンへ特徴づけを行う．

高村ら [8]，[9]は，約 85,000単語に対し，ポジティブまたは

ネガティブといった二値変数の感情極性を電子スピンとみなし，

語彙ネットワークを構築．さらに近似確率分布関数を計算する

ことで，各単語の極性を調べている．本研究では評価表現辞書

を利用する際に，この 85,000 単語におけるポジティブもしく

はネガティブの極性を利用している．

3. 特徴的シーンの抽出

3. 1 視聴者の観点と特徴的シーン

本研究では，ある動画に含まれる特徴的なシーンを抽出する

手法を提案する．図３は本手法の概念図を示す．視聴者のコメ

ントを利用し，各シーンへの評価を判別する．動画を視聴する

視聴者は様々な観点を持っている．例えば，巨人 vs横浜のよう

な動画であった場合，視聴者の中には巨人ファンもいれば横浜

ファン，それ以外のチームのファンと様々である．こういった

場合，巨人が得点をあげるシーンであれば，当然巨人ファンの

評価はポジティブになり，横浜ファンはネガティブな評価にな

る．またその後，巨人が劣勢になれば，評価が入れ替わると考

えられる．このように評価が変化する場合，途中にそのきっか

けとなるシーンが含まれていると考えた．例えば，投手の交代

やエラーなどが考えられる．このような評価が入れ替わるきっ

かけになるシーンはダイジェスト映像のストーリーを構築する

上で重要である．我々は，複数人の視聴者の評価の変化を分析

し，その評価が反転する所にきっかけとなるシーンが存在する

と仮説をたてた．

そこで本稿では，コメントの内容を視聴者ごとに見ていき，

肯定的な発言と否定的な発言に分けて判断する．動画に対して，

ある視聴者のコメント内容が否定から肯定もしくは，肯定から

否定などと変化するものに対しては，何らかの特徴的なシー

ンが含まれていると考え特徴付けを行っていく．例えば，野球

映像であれば大量得点があった場合，そのきっかけとなる攻撃

シーンや，逆転につながる守備のミスのシーンなどがいえる．

上記の手法により，選手やチームといった視聴者からの興味

だけでなく，他の様々な視聴者からの興味を多く得ているよう

なシーンを含む動画などに関しても推薦が行え，新しい興味の

発見へと結びつけることができる．

3. 2 コメントの評価・視聴者特徴ベクトル

動画に付与されているコメントの内容から，各シーンに対す

る視聴者の評価を判定する．評価方法としては評価表現辞書を

作成し用いた．評価表現辞書は単語と極性からなる．辞書には，

高村ら [8]，[9]の約 85,000単語の原型の型と，動詞・名詞・副

詞・形容詞の属性と極性がと登録されている．極性に関しては，

��

��

��

��

��

��

��

� !"#�

$#%

図 3 特徴的シーン抽出の概念図

肯定をＰ，否定をＮとしている．例えば，ニコニコ動画特有の

“きたああああ”などの語尾が繰り返されるようなコメントの

単語に関しては，はじめに形態素解析を行い，“きた”という単

語に分類し評価を行う．さらにこの評価表現辞書に対し，“勝っ

た”“打った”などの野球に関する単語に関して野球の文脈から

考えて極性が逆になる単語があるため，その極性値の数値を手

動で編集したものを利用している．

視聴者特徴ベクトルに関しては，動画をｋ個に分割し，それ

を各次元とする．分割は時間が等間隔になるように行う．評価

表現辞書を用いて各次元に対して評価を行い，肯定的なコメン

トを＋１，また否定的なコメントを－１として，その数の和を

値とし，視聴者の特徴ベクトルを生成する．

3. 3 観点別クラスタリング

生成した視聴者の特徴ベクトルを用いて，似た観点を持つ視

聴者ごとにクラスタリングを行う．クラスタリングではコサイ

ン類似度を利用した．手法としては階層的クラスタリングを用

いる．以下はその手順を示す．

（ 1）評価表現数を基に生成した視聴者ベクトルのコサイン

類似度を算出

（ 2）設定した閾値を上回る値の類似度を持つベクトルを 1

つのクラスタに統合

（ 3）新しいクラスタのベクトルはクラスタの要素の平均と

する

例えば図 4 では，視聴者クラスタリングの例を示している．

四角はコメントを表しており，Pと書かれた赤い四角は肯定的

なコメント，Nと書かれた青い四角は否定的なコメントを表し

ている．クラスタ｛Ａ，Ｂ｝では，動画前半で肯定的なコメン

トから動画後半で否定的なコメントに変わっている．クラスタ

Ｃでは，肯定的なコメントのあとに否定的なコメント，さらに

そのあとに肯定的なコメントがされている．クラスタＤでは，

動画前半で否定的なコメントがされ，動画後半で肯定的なコメ

ントがされている．このように視聴者の観点の変化に基づいて

視聴者クラスタリングを生成する．

3. 4 観点の入れ替わりの検出

動画中の視聴者のコメント評価に変化が見られる場合には，

感情の変化があると考えられる．そこで，コメントから得られ

た肯定的評価と否定的評価から似た評価の変化がみられる視聴

者ごとに行ったクラスタリングを用いて検出を行う．クラスタ

��

�

��

��

�

��

�

��

�

��

�

��

�

��

�

��

�

��

��

�

��

�

��

�

��

�

��

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

�

��

�

��

��

図 4 視聴者のクラスタリング

��

��

��

��

��

��

図 5 観点の入れ替わりの検出

内の各次元の和から線形補間により近似を行う．クラスタの各

次元の値は分割したシーンの代表値であるため，各シーンの中

心時間における値であると考える．本来，線形補間による補間

ではなく，多項式の近似などを用いた方法のほうがより精度が

向上すると思われる．しかし，本研究の場合，補間を行うこと

で生成される式の交点を抽出し，その交点付近の時点に特徴的

シーンが存在すると考えている．そのため，補間の精度による

微量のズレが生じた場合に関しても，十分な結果が得られると

考えている．図 5のようにクラスタの数が 3であった場合、そ

れぞれに線形補間を行い 3つのグラフを生成する．この３つの

グラフの交点が特徴的シーンであると考えられる．

4. プロトタイプ

プロトタイプシステムには大きく分けてコメントの抽出部，

データベースとの同期，視聴者ベクトルの生成部の 3つからな

る．コメントの抽出部で視聴者のコメントの抽出を行う．コメ

ントはこのままでは評価の推定が行えないため，コメントを単

語に分けるために形態素解析を行った後に，データベースとの

同期を行って，肯定的評価であれば+1，否定的評価であれば-1

の値を付与している．視聴者特徴ベクトルの生成部では，動画

の分割数分配列を用意し，そこの視聴者ごとに評価の値を入れ

ている．同じ配列の要素を持つ視聴者ごとにクラスタリングを

行っている．

プロトタイプで用いた野球映像はニコニコ動画の APIより，

視聴者コメント抽出を行っている．コメントの抽出，データ

ベースとの同期，視聴者特徴ベクトルの生成には JAVA言語を

用いた．データベースでは，MySQLを利用し，単語を登録し

ている．

表 1 生成されたクラスタの種類

クラスタベクトル人数

A [0.16 , 0.22 , 1.13] 36

B [1 , 0.04 , 0] 21

C [-1.17 , 0.5 , 0.01] 58

D [-1.55 , -1.67 , -0.65] 17

E [0 , -1.06 , 0.67] 48

F [0 , 1 , -1] 1

��

��

��

��

�

��

�

��

� ��

�

�

�

�

図 6 各クラスタの評価の推移

5. 実験・考察

5. 1 特徴的シーン抽出に関する実験

ニコニコ動画に投稿されている野球動画に対し実験を行った．

実験を行った動画タイトルは「７点差からの反撃！マシンガン

打線」である．今回の実験では，動画の分割数は k=3 で行っ

た．はじめに，動画に付与されているコメントに対して，評価

表現辞書を用いて肯定的または，否定的な評価の抽出を行った．

付与されていたコメント 999件に対し評価の抽出を行い，うち

363件が肯定または否定的な評価がされていた．何らかの評価

を含むコメントを付与している視聴者はコメントを付与してい

る視聴者 319名のうち 181名であった．それを基に視聴者の特

徴ベクトルを生成，次に評価の変化が類似している視聴者ごと

にクラスタリングを行った．クラスタリングを行う際の閾値に

関しては，0.7と定めた．クラスタの種類は表１のとおりであ

る．クラスタ内ベクトルの平均を示す．

得られたクラスタから線形補間を行い，近似直線を生成．図 5

は線形補間を行ったものである．これらの直線の交点から特徴

的シーンの抽出を行った．

5. 2 考察

ニコニコ動画に投稿されている「７点差からの反撃！マシン

ガン打線」というタイトルの動画を用いて，提案手法により特

徴的シーンの抽出を行った．今回の実験では，得られた 6個の

クラスタから線形補間を行ったところ，交点は全部で 11個抽

出された．抽出された 11個の交点のうち，1点が 3つのクラ

スタの交点であった．この交点付近のシーンでは，７点差を逆

転することとなる攻撃の起点となるようなシーンが抽出され

た．同じように，他の得られた 10個の交点付近のシーンでは，

試合をリードしている巨人がダメ押しとなるホームランのシー

ンや，横浜の反撃の開始となる 1点目を奪うシーン，巨人の内

野手の守備のミスから得点を許すシーン，横浜が 1点差まで詰

め寄るシーンなどが抽出された．これらのシーンは単に盛り上

��

��

図 7 感情分析のグラフとコメント量の比較図

がっているシーンではなく，試合を動かすような特徴的シーン

といえる．さらに図 5におけるオレンジ色の近似線と青色の近

似線や，緑色の近似線と赤紫色の近似線のように，動画におけ

る評価の変化が逆の変化を示しているものがある．これらのク

ラスタでは，スポーツ特有であるそれぞれのチームのファンの

評価の変化表しているも�

ダイジェスト映像自動生成のための 観点の入れ替わりに基づ …deim forum...

Documents

ダイジェスト映像自動生成のための観点の入れ替わりに基づ …deim forum...