twitter研究会事前資料＿東大榊

今そこにある呟きTwitter からのリアルタイムなイベント抽出

及び応用アプリケーションについて

榊　剛史 @tksakaki 　　　松尾　豊 @ymatsuo

東京大学　松尾研究室

軽く自己紹介東京大学　松尾研究室　博士課程 1 年

株式会社　ホットリンク　特任研究員

以前は、東京電力で電柱昇ったりしてました。 Twitter 上で、よく教授と間違われます。

海外でも間違えられてた・・・・

↑ ウェブ学会のところ

↑ 口コミ係長のところ

今日のアジェンダ Twitter で分かる「今」と「どこ」

地震抽出システムについてリアルタイムイベント抽出の仕組み

キーワード検索と SVM によるイベント抽出 Particle Filter による位置推定

Twitter 上でのリアルタイム情報伝播の特徴イベント種類による情報伝播の特性

リアルタイムイベント抽出　応用システムにじったー／ Toretter 電車遅延抽出／渋滞抽出 Celeb Paparazzi （仮）

Twitter における「今」と「どこ」 Twitter における「今」の重要性

ニュースサイトツイちぇき！！ Buzztter TV 見ながら Tweet

TVzin フォロワーの行動


ニュースサイト Buzztter TV 見ながら Tweet


今何が起きているかが分かる


ニュースサイト Buzztter TV 見ながら Tweet


今何が起きているかが分かる

他人が何をしているかが分かる

リアルタイム性と位置情報を利用した使い方地震の発生と震源地を知る天体現象を知る

ゲリラ豪雨虹

朝の電車遅延情報

Twitter における「今」と「どこ」

リアルタイム性と位置情報を利用した使い方地震の発生と震源地を知る天体現象を知る

ゲリラ豪雨虹

朝の電車遅延情報

Twitter における「今」と「どこ」

リアルな世界で「今」「そこで」何かが起きているのが

分かる

Twitter における「今」と「どこ」「今」と「どこ」を利用したアプリケーション

Torretter 　：地震検出システム時間的な近さから同じ地震であることを同定 Geolocation 情報、ユーザーのプロフィールの場所情報を利用

して、震源地を推定する ( 未実装）

Nijitter ：虹検出システム時間的な近さと Tweet 数から虹が出ていることを同定位置情報をもとに、虹が出ていると思われる場所に虹を表示

本日はこの仕組みについて説明サンプル：地震

アプローチ

「地震」「揺れた」を含む Tweetから地震直後に呟いた Tweetのみを抽出

Twitter ユーザーをセンサーと捉えて地震検出・震源地推定

ポイント１


機械学習で

ポイント１

□ 地震直後につぶやいた呟き

地震だ！！地震！？揺れた！こえ～～

地震！びびったー

□ その他のつぶやいた呟き

今更、何故「鍋焼きうどん」買うの！こんなに沢山？！地震に供えて？

十年後って、自分が生きてる保証も無いですよね。地震とか、戦争とかもわからんし・・・？

ポイント１～説明

Twitter search API

Mecab

SVMデータベース

Tweet クローラー

提案システム検索キーワードを

含む呟き

テキスト分析

器

TweetTweet TweetTweetTweetTweet TweetTweet …

「地震」「揺れ

た」

ポイント１～説明

Twitter search API

Mecab

SVMデータベース

Tweet クローラー

提案システム検索キーワードを

含む呟き

テキスト分析

器

TweetTweet TweetTweetTweetTweet TweetTweet …

地震に関する呟きのみ抽出

Support VectorMachine

= 機械学習の手法「地震」

「揺れた」

ポイント１～詳細説明ターゲットとするイベントに関するキーワードを含む

Tweet を抽出地震の場合

「揺れた」「地震」虹の場合

「虹」

収集した Tweet を正解と不正解に分類→　学習データ例：

「地震だ！！」　－－正解「地震が多い国って、日本だけじゃないんだよな・・・」　－－不正

解

ポイント１～詳細説明ターゲットイベント用 Tweets 分類器作成

収集した学習データを利用学習手法： Support Vector Machine

使用した特徴量（例文：やばい、地震きた！）統計量 (3 語、 2 番目 ) Tweets が全部で何語か？また、キーワードは何番目か？

キーワード ( やばい、地震、くる ) Tweets 中に含まれている全ての語

キーワード文脈情報 ( やばい、くる ) キーワードの前後に出現する語

アプローチ



ポイント２


ポイント２～説明

・・・・・・・・・tweets

・・・・・・

確率モデル

呟き分類器

センサーによる観測Twitter ユーザーによる観測

イベント発生ターゲットオブジェクト

確率モデル

センサーの測定値

Twitter からのイベント検出センサーによるイベント検出


ユーザーが「地震」について呟

く

・・・・・・・・・tweets

確率モデル

呟き分類器



確率モデル



・・・・・・



く

・・・・・・・・・

tweets

確率モデル

呟き分類器



確率モデル



・・・・・・



く

・・・・・・tweets

確率モデル

呟き分類器



確率モデル



地震に関する呟きを抽出



く


確率モデル

呟き分類器



確率モデル




地震を検出



く


確率モデル

呟き分類器



確率モデル




地震を検出

地震センサーが地震を検出



く

センサーによる観測と同じ確率的処理で検出可能


確率モデル

呟き分類器



確率モデル




地震を検出地震を検出

地震センサーが地震に反応

ポイント２～詳細説明実際には確率モデルを使用して検出

Twitter ユーザーをセンサーを考えると、ノイズが多く、また誤検出もあり得る

１つの Tweet だけでは、イベントが起きたとは判定できない

→ 時系列的なセンサーの値から、イベント判定を行う

2 つの確率モデルを利用時系列データよりイベント検出を行う確率モデル一連の位置情報より位置推定を行う確率モデル

ポイント２～詳細説明～時系列モデルA

ug 9

...

Aug 9

...

Aug 9

...

Aug 9

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...

Aug 1

...0

20

40

60

80

100

120

140

160

num

ber

of

tweets

ポイント２～詳細説明～時系列モデルA A A A A A A A A A A A A A A A A A

0

20

40

60

80

100

120

140

160

num

ber

of

tweets


0

20

40

60

80

100

120

140

160

num

ber

of

tweets

Oct

9 .

..O

ct 9

...

Oct

10..

.O

ct 1

0..

.O

ct 1

0..

.O

ct 1

0..

.O

ct 1

1..

.O

ct 1

1..

.O

ct 1

1..

.O

ct 1

2..

.O

ct 1

2..

.O

ct 1

2..

.O

ct 1

3..

.O

ct 1

3..

.O

ct 1

3..

.O

ct 1

3..

.O

ct 1

4..

.O

ct 1

4..

.O

ct 1

4..

.O

ct 1

5..

.O

ct 1

5..

.O

ct 1

6..

.O

ct 1

6..

.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1num

ber

of

tweets


0

20

40

60

80

100

120

140

160

num

ber

of

tweets

O O O O O O O O O O O O O O

00.10.20.30.40.50.60.70.80.9

1

num

ber

of

tweets

ポイント２～詳細説明～時系列モデル観測データを指数関数にフィッティング

ターゲットイベントの発生判定を、指数分布に基づいて確率的に算出

0,0; tetf t34.0

ポイント２～詳細説明～空間モデルターゲットイベントの発生場所の確率分布を算出

センサーによる位置推定に使われるベイズフィルタを利用カルマンフィルタパーティクルフィルタ

ポイント２～詳細説明～空間モデルカルマンフィルタ

ベイズフィルタとして最もよく使われている手法長所計算が速い短所適用対象が、高精度かつ計測間隔の短い　　　　　　　　　　　　センサーに限られてしまう

ポイント２～詳細説明～空間モデルパーティクルフィルタ（粒子フィルタ）

確率分布を particle＝粒子の集合でシミュレートする手法

長所さまざまな確率分布に適用可能短所高次元なデータを用いた予測には適用できない　　　　　　　（位置推定は２次元なので適用可能）

検出の精度

どのくらいの精度で検出できたのか？

地震自体の検出結果

震度震度２以上震度３以上震度４以上

地震回数 78 25 3

検出数 70(89.7%) 24(96.0%) 3(100.0%)

１分以内の検出数 53(67.9%) 20(80.0%) 3(100.0%)

期間： 2009 年 8月 – 2009 年 9月収集した Tweet 数 :49,314 tweets利用した Tweet 数 : 6291 tweets by 4218 users

震度３以上の地震を９６％の精度で検出

震源地予測結果

Tokyo

Osaka

実際の震源地

Kyoto

予測震源地（提案）

風船：呟きの位置色：呟き時刻

台風の進路予測

実際の経路予測経路（ Particle Filter)

問題点

地震検出の精度・位置推定の精度がTwitter ユーザーの多い地域＞少ない地域

震源地が海だと予測できない

Twitter 上でのイベント情報の伝播調査の発端

センサーによる観測手法 → センサー同士が影響しないことが前提

→ 　 Twitter ユーザー同士は影響を及ぼしてしまうのではないか？

2種類のイベントについてネットワークの特徴量を比較ユーザーの周囲で突発的に発生するイベント

地震・台風学会／研究会イベント

Twitter 上でのイベント情報の伝播 2種類の情報伝播ネットワークを定義

フォロワーネットワーク

Retweetネットワーク

user A’s timeline地震？？

ユーザーA

ユーザーB follow

ユーザー Aユーザー B

地震？？大丈夫！？ RT @user B: 地震？？

follow

突発的に発生するイベントの情報伝播フォロワーネットワークの密度：普通 Retweetネットワーク：中心性の高いユーザーがい

ない

フォロワーネットワーク　台風

Retweetネットワーク　台風

突発的に発生するイベントの情報伝播フォロワーネットワーク v.s. Retweet ネッ

トワークRpagerank v.s. Rbetween

retweet

follower

Pagerank maxPagerank max

pagerankR retweet

follower

betweenmaxbetweenmax

betweenR

pagerankR

betweenR0.1 1 10 100 1000 10000 100000

0

2

4

6

8

10

12

0.1 1 10 100 1000 10000 1000000

2

4

6

8

10

12



retweet

follower


pagerankR retweet

follower


betweenR

pagerankR

betweenR

0.1 1 10 100 1000 10000 1000000

2

4

6

8

10

12



retweet

follower


pagerankR retweet

follower


betweenR

pagerankR

betweenR

地震台風

地震

学会／研究会イベントの情報伝播フォロワーネットワークの密度が高いRTネットワークの密度が高い

フォロワーネットワークWI2

Retweet 　ネットワークWI2

学会／研究会イベントの情報伝播フォロワーネットワーク v.s. Retweet ネッ

トワークネットワーク密度

0 0.01 0.02 0.03 0.04 0.05 0.060

0.005

0.01

0.015

0.02

0.025

0.03

retweetD

followingD

学会／研究会イベントの情報伝播

0 0.01 0.02 0.03 0.04 0.05 0.060

0.005

0.01

0.015

0.02

0.025

0.03

retweetD

followingD

フォロワーネットワーク v.s. Retweet ネットワーク

ネットワーク密度

学会／研究会イベントの情報伝播

0 0.01 0.02 0.03 0.04 0.05 0.060

0.005

0.01

0.015

0.02

0.025

0.03

SIG-WI2

Twitter 研究会

web 学会

retweetD

followingD

フォロワーネットワーク v.s. Retweet ネットワーク

ネットワーク密度

Twitter 上でのイベント情報の伝播 Conference Events

他のイベントと比べ、フォロワーネットワークの密度が高い Retweet も発生しやすい

→ 　情報伝播が発生しやすいイベント

Events around them Retweetネットワークには中心性の高いユーザーはいない .＝ユーザーは突発的なイベントについてはあまり Retweet し

ない

→ 情報伝播が発生しにくいイベント

地震速報システム　 Toretter

虹出現お知らせシステム　 Nijitter

芸能人を目撃せよ Celeb Paparazzi( 作成中）


今、新宿三丁目であの伝説の外人

チャックウィルソン発見！




いま伊集院光氏が秋葉原うろうろしてるみたいで

すよ ^^ 接近遭遇のちゃちゃちゃチャンスで

すよ！ w 。




フジテレビ内のローソンでとんちゃんとフォン

チーを見かけたよ。いま伊集院光氏が秋葉原うろうろしてるみたいで


すよ！ w 。







すよ！ w 。

明治通りで美川憲一に遭遇なう。

めっちゃくねくねしてる。







すよ！ w 。

明治通りで美川憲一に遭遇なう。

めっちゃくねくねしてる。

楳図かずおさん見かけた @ 吉祥寺。赤と白のボーダーすごい似合ってた。

。

8月 31 日の１６：００～２０：００の間のＴｗｅｅｔ

芸能人を目撃せよ Celeb Paparazzi( 作成中）実際の仕組み

「発見」「遭遇」などを含む Tweet を収集有名人の人名が含まれてる Tweet を抽出

Wikipedia等から収集した人物名リストを使用地名情報・位置情報を取得→ 　リアルタイムに芸能人目撃情報を表示

その他作りたいアプリ（計画＆妄想）計画中

電車遅延情報お知らせシステム（メールも配信）渋滞情報表示システム

妄想なんでもイベント判別器作成システム

正解データ／不正解データをユーザーがトゥギャるイベント判別器を自動作成

天体情報表示＆写真収集システム

まとめ

ある程度の位置推定も可能

様々なイベント抽出サイトを作成

他のリアルタイムなイベントに応用可能　　例：電車遅延、芸能人出現情報 etc

高い精度でイベント検出可能

イベントごとの情報伝播の違いを検証

おしまい@tksakaki

位置情報推定の精度地震

平均値－ 5.47 3.62 3.85 3.01

Particle filters works better than other methods

日付実際の中心中間値平均値カルマンフィルタ粒子フィルタ

緯度・経度の最小 2乗誤差

位置情報推定の精度台風

平均値－ 4.39 4.02 9.56 3.58

Particle Filters works better than other methods

日付実際の中心中間値平均値カルマンフィルタ粒子フィルタ

緯度・経度の最小 2乗誤差

twitter研究会 事前資料＿東大榊

Technology

twitter研究会事前資料＿東大榊