Web情報探索前後のコンセプトマップの分析：

探索者によるノード同定結果を用いて

江草由佳・齋藤ひとみ・中島諒・高久雅生

寺井仁・神門典子・三輪眞木子

CRESプロジェクト

cres@nii.ac.jp

発表のながれ

• 研究の背景

• 研究の目的

• 実験方法

• 分析方法と結果

• 考察

Exploratory Search: 探索的情報検索

• 福岡で何か観光がしたい…でもよく分からない

• Exploratory Search– 情報要求，検索方法，探索範囲などが不明確

– 徐々に明確になり問題が解決される

• Exploratory Search Systems （ESSs）– 検索結果の可視化，クラスタリング

→予期しない情報との出会い

– ユーザの認識の変化につながるような探索の支援

ESSsの評価方法

• 検索システムの評価

– 再現率と精度

• 情報要求にマッチする文書をどれだけ見つけられるか?

– システムとユーザのインタラクション

• ユーザの検索プロセスがいかに効率的か?

– ユーザのアウトプット

• 情報検索で得られた情報で良いものが作れたか?

ESSsの利用が，利用者の内部にどれだけよい働きかけをしたか?

学習支援の研究

• 授業や学習支援システムの効果の検証

授業

学習環境

システム

よく分からない… 分かった!!

事前 事後

学習支援の研究

• 授業や学習支援システムの効果の検証

授業

学習環境

システム

よく分からない… 分かった!!

事前 事後

検索システム

コンセプトマップ

• 人が持つ概念や概念間の関係を表現したマップ

– ノード

– リンク

– リンクラベル

関連研究1

• 教育分野におけるコンセプトマップの利用– 初学者と熟達者のマップの比較

– 授業の前後のマップを比較

• 情報検索分野におけるコンセプトマップの利用– トピックに対する知識と検索行動・結果との関係

– 分野や学年による違いを比較

– コンセプトマップを利用した検索インタフェース

モチベーション

探索の前後での探索者の知識の変化をコンセプトマップをつかって測ることができるか？ESSsの評価指標としてコンセプトマップが利用可能か？

検索の前後に探索者が書いたコンセプトマップの分析

関連研究2

• Egusa et. al.（2010）– 検索前後のコンセプトマップの比較

– 要因

• システム: タブ有り，タブなし

• シナリオ: できるだけたくさん，厳選して10個• トピック: 政権交代，メディアの影響

– 結果

• コンセプトマップ中のノード等のラベル文字列で同定し比較

– 検索前後でマップの要素が大きく変化

– 要因による違いはほとんどなかった

関連研究3

• 齋藤他.（2011）– 検索前後のコンセプトマップの比較

– 要因• 情報要求

– 発散: 各連載で扱う内容を幅広く

– 収束: １回の連載で扱う内容を詳細に

• トピック: 環境，旅行

– 結果• 探索者が同定したノードを使い比較

–ノード・リンク数: 旅行＞環境

–消失・新規: 旅行＞環境

モチベーション

探索の前後での探索者の知識の変化をコンセプトマップをつかって測ることができるか？ESSsの評価指標としてコンセプトマップが利用可能か？

検索の前後に探索者が書いたコンセプトマップの分析

ノードの同定を「同一文字列ラベル」でやった場合と「探索者が同定した」場合に違いはあるか？

探索前・後のコンセプトマップを統合マップを可視化して比較ノードの同定手法：

同一文字列と探索者同定の比較分析

実験デザイン

• シナリオ– 雑誌の編集者

– 連載記事のための情報収集

• 検索トピック: 被験者内– 環境問題

– 日帰り旅行

• 情報要求: 被験者間– 発散: 各連載で扱う内容を幅広く

– 収束: １回の連載で扱う内容を詳細に

実験参加者

• 学部生3,4年生 32名– 男性16名，女性16名（年齢20～23）– 大学・専攻は様々

– 男女や専攻が均一になるように割り当て

被験者間＼被験者内 環境 旅行

発散 16 16収束 16 16

旅行‐発散

検索課題

あなたは、全国紙の新聞社でニュース雑誌の編集者として働いています。

あなたは編集長から、次号から始まる様々な環境問題を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。

編集長は、会議で各回の連載記事で採り上げる内容を示したいと考えています。そのため連載1回分の記事に関する詳細な

情報よりも、各回の記事でどんな問題を扱うのかを議論するための多様な情報を必要としています。

もちろん、読者の興味を引くものが良いと考えています。

環境-発散 旅行-発散

あなたは、大手の出版社で旅行雑誌の編集者として働いています。

あなたは編集長から、次号から始まるいろいろな東京からの日帰り旅行を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。

編集長は、会議で各回の連載記事で採り上げる内容を示したいと考えています。そのため連載1回分の記事に関する詳細な

情報よりも、各回の記事でどんな旅行を扱うのかを議論するための多様な情報を必要としています。

もちろん、読者の興味を引くものが良いと考えています。

旅行‐発散

検索課題

あなたは、全国紙の新聞社でニュース雑誌の編集者として働いています。

あなたは編集長から、次号から始まる様々な環境問題を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。

編集長は、会議で各回の連載記事で採り上げる内容を示したいと考えています。そのため連載1回分の記事に関する詳細な

情報よりも、各回の記事でどんな問題を扱うのかを議論するための多様な情報を必要としています。

もちろん、読者の興味を引くものが良いと考えています。

環境-発散

あなたは、全国紙の新聞社でニュース雑誌の編集者として働いています。あなたは編集長から、次号から始まる様々な環境問題を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。

編集長は、会議で連載1回分の記事について具体的な記事の内容を示したいと考えています。そのため複数の問題に関する情報よりも、特定の問題についての記事を書くための詳細な情報を必要としています。もちろん、読者の興味を引くものが良いと考えています。

旅行-発散環境-収束

あなたは、大手の出版社で旅行雑誌の編集者として働いています。

あなたは編集長から、次号から始まるいろいろな東京からの日帰り旅行を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。

編集長は、会議で各回の連載記事で採り上げる内容を示したいと考えています。そのため連載1回分の記事に関する詳細な

情報よりも、各回の記事でどんな旅行を扱うのかを議論するための多様な情報を必要としています。

もちろん、読者の興味を引くものが良いと考えています。

あなたは、大手の出版社で旅行雑誌の編集者として働いています。あなたは編集長から、次号から始まるいろいろな東京からの日帰り旅行を紹介する連載記事の情報を集めるよう指示を受けました。編集長は、１時間後に行われる他の部門の編集長との編集会議で連載記事について話し合いをする予定です。編集長は、会議で連載1回分の記事について具体的な記事の内容を示したいと考えています。そのため複数の旅行に関する情報よりも、特定の旅行についての記事を書くための詳細な情報を必要としています。もちろん、読者の興味を引くものが良いと考えています。

旅行-収束

手続き• 最初のアンケート

10分• コンセプトマップの説明・練習

15分• 課題の教示・事前マップ作成(10分)

15分• 課題についての情報探索

10分• 事後マップ作成

• 課題に関するアンケート

• 最後のアンケート・マップの対応付け

休憩をはさみ2回繰返し

手続き• 最初のアンケート

10分• コンセプトマップの説明・練習

15分• 課題の教示・事前マップ作成(10分)

15分• 課題についての情報探索

10分• 事後マップ作成

• 課題に関するアンケート

• 最後のアンケート・マップの対応付け

休憩をはさみ2回繰返し

• ブラウザはFirefox• 好きなサーチエンジンを使ってよい• 編集長に見せるページをブックマークに追加する

手続き• 最初のアンケート

10分• コンセプトマップの説明・練習

15分• 課題の教示・事前マップ作成(10分)

15分• 課題についての情報探索

10分• 事後マップ作成

• 課題に関するアンケート

• 最後のアンケート・マップの対応付け

休憩をはさみ2回繰返し

• テーマに関する既有知識の有無• テーマに対する興味・難易度• 情報収集の難易度・満足度• 十分に収集できたか・十分な時間があったか• 記事についてどんなアイデアを思いついたか• 感想

手続き• 最初のアンケート

10分• コンセプトマップの説明・練習

15分• 課題の教示・事前マップ作成(10分)

15分• 課題についての情報探索

10分• 事後マップ作成

• 課題に関するアンケート

• 最後のアンケート・マップの対応付け

休憩をはさみ2回繰返し • 2つの課題を比較

• 難易度・興味・既有知識• 情報収集の難易度・満足度・時間の十分さ

• 探索前後の知識の変化の有無• 探索前後のコンセプトマップの対応付け• 探索前後のコンセプトマップを見た感想

コンセプトマップの分析

• ノード・リンク・リンクラベル数

• 共通・消失・新規ノード数

• 統合コンセプトマップ

ノード・リンク・リンクラベル数

ノード数 リンク数 リンクラベル数

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

発散＞収束

検索前＜探索後

20.9 

29.6 

25.3 

31.6 

24.1 

30.9 

26.3 28.9 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

22.7 

30.2 

25.9 

32.3 

25.6 

31.4 

27.3 30.0 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

19.4 

24.3 

15.2 17.7 

22.7 

28.3 

14.6 

19.3 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

ノード・リンク・リンクラベル数

ノード数 リンク数 リンクラベル数

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

発散＞収束

検索前＜探索後

20.9 

29.6 

25.3 

31.6 

24.1 

30.9 

26.3 28.9 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

22.7 

30.2 

25.9 

32.3 

25.6 

31.4 

27.3 30.0 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

19.4 

24.3 

15.2 17.7 

22.7 

28.3 

14.6 

19.3 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

ノード・リンク・リンクラベル数

ノード数 リンク数 リンクラベル数

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

発散＞収束

検索前＜探索後

20.9 

29.6 

25.3 

31.6 

24.1 

30.9 

26.3 28.9 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

22.7 

30.2 

25.9 

32.3 

25.6 

31.4 

27.3 30.0 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

19.4 

24.3 

15.2 17.7 

22.7 

28.3 

14.6 

19.3 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

ノード・リンク・リンクラベル数

ノード数 リンク数 リンクラベル数

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

環境: 探索前＜探索後

環境＜旅行

発散＞収束

検索前＜探索後

20.9 

29.6 

25.3 

31.6 

24.1 

30.9 

26.3 28.9 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

22.7 

30.2 

25.9 

32.3 

25.6 

31.4 

27.3 30.0 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

19.4 

24.3 

15.2 17.7 

22.7 

28.3 

14.6 

19.3 

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

環境 旅行 環境 旅行

発散 収束

探索前 探索後

探索前と探索後のマップの比較のため共通部分の算出方法

• 探索前と探索後のマップの比較のため共通部分の算出方法を検討

• ノードをキーとして算出できないか？

• 共通ノードの定義、共通ノードをキーにして新規ノード、消失ノードの定義

基本アイデア：共通ノード

• 探索前後のマップで同じ意味を持つノード

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

基本アイデア：消失ノード

• 探索前にはあり，探索後にはなくなったノード

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

基本アイデア：新規ノード

• 探索前にはなく，探索後に新しく追加されたノード

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

共通・消失・新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

消失ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

共通ノード数

トピック，探索条件の違

いはなし

トピックによる違い

環境＜旅行

トピックによる違い

環境＜旅行

共通・消失・新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

消失ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

共通ノード数

トピック，探索条件の違

いはなし

トピックによる違い

環境＜旅行

トピックによる違い

環境＜旅行

共通・消失・新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

新規ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

消失ノード数

0

5

10

15

20

25

30

35

40

発散 収束

環境 旅行

共通ノード数

トピック，探索条件の違

いはなし

トピックによる違い

環境＜旅行

トピックによる違い

環境＜旅行

＜ （ ）

共通ノード候補1(同文字列)

• 同じラベル文字列のノード（同文字列ノード）

– 初めから書いてあるルートノード含む

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

共通ノード候補2（探索者同定)

• 探索前後のマップで同じ意味を持つと参加者自身が判定したノード(探索者の赤丸付与ノード)

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

共通ノード候補3(候補1+2)• 同文字列ノード＋探索前後のマップで同じ意味を持つと参加者自身が判定したノード(探索者の赤丸付与ノード)

探索前 探索後

環境問題

森林の破壊

ゴミ問題

オゾン層の破壊

温暖化

生活排水

ゴミ問題

森林破壊

環境問題

定義ごとの共通ノード数の平均

6.5 

8.3 

5.4 

7.6 7.2 8.3 

7.2  7.6 8.3 

10.0 

8.1 

9.4 

0.0

2.0

4.0

6.0

8.0

10.0

12.0

環境 旅行 環境 旅行

発散 収束

同一文字列 赤丸 両方

7.1 7.73 9.1

赤丸を付ける基準が広めな例

・実験参加者により、同一性判定に違いがあった・3名ほど赤丸の基準

が広め（個人差は見られたがトピックや条件間には差はなし）

統合コンセプトマップ• 事前コンセプトマップと事後コンセプトマップをノードのラベルと探索者の同定判定をもとに統合したマップを作成

事前

事後

統合マップ

統合コンセプトマップ作成ツール：VizCMap

http://cres.jpn.org/?VizCMapJa

消失リンク

消失リンクラベル

消失ノード

ルートノード

赤丸ノード

新規ノード

新規リンク 新規リンクラベル

共通リンク

共通リンクラベル

凡例：

同文字列ノード

共通ノード

統合コンセプトマップの例

コンセプトマップの分析のまとめ

• ノード・リンク・リンクラベル数– ノードとリンク: 旅行＞環境，環境で前＜後– リンクラベル: 旅行＞環境, 発散＞収束, 前＜後

• 共通・消失・新規ノード数– 消失・新規: 旅行＞環境

• 共通ノードの定義ごとの数– 同一文字列<赤丸<同一文字列＋赤丸

• 探索者による同定判定– 個人差による揺らぎ

• 統合マップ– 探索前・後のマップの統合結果の可視化

考察：共通ノードの定義

• 同一文字列– 機械的な判定が可能– 表記の揺らぎを考慮していない

• 探索者同定– より正確な同定になる可能性が高い– 探索者による揺らぎ

• 3名分：探索者による顕著な揺らぎあり• 平均2.0ノード分増加

– ただしルートノード1は必ず増えるため実質1– 探索者の同定による増加分は必要か

おわりに

• トピックや探索条件の違い

– マップの構成要素やその配置の変化に影響

– 収集する情報の違いが探索者の知識に反映

• 課題

– 同一文字列と探索者判定のノード数の差の程度の検討

– 評価手法にするための必要な要件の検討