20130109 検索cross yasuda

15
検索Cross Amebaの事例紹介 株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 安田 征弘

Upload: masahiro-yasuda

Post on 24-Jan-2015

354 views

Category:

Documents


5 download

DESCRIPTION

 

TRANSCRIPT

Page 1: 20130109 検索cross yasuda

検索Cross

Amebaの事例紹介

株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 安田 征弘

Page 2: 20130109 検索cross yasuda

2 株式会社サイバーエージェント

自己紹介

・ 安田 征弘

・ Software Engineer

・ Ameba Technology Lab

・ 検索、レコメンデーション、スパムフィルタ

ワードサジェスト、トレンドランキング

シソーラス、年齡詐称抽出

Page 3: 20130109 検索cross yasuda

3 株式会社サイバーエージェント

・ 2011/4 秋葉原に開設

・ 約20名 ( 2013年1月 )

Ameba Technology Laboratory

Page 4: 20130109 検索cross yasuda

4 株式会社サイバーエージェント

推薦 フィルタリング

データマイニング 検索

ともだち

ニュース ブログ 技術領域

大規模 分散処理

(ログ解析基盤)

コミュニティ

ピグ その他多数

スマホ ゲーム

メッセージ つぶやき ブログ ともだち アプリ

Ameba全般

ブログ

Page 5: 20130109 検索cross yasuda

5 株式会社サイバーエージェント

・ 課題

本日の内容

・ 現状(事例紹介)

Page 6: 20130109 検索cross yasuda

6 株式会社サイバーエージェント

本日の内容

・ 現状(事例紹介)

・ 課題

Page 7: 20130109 検索cross yasuda

7 株式会社サイバーエージェント

Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Log Data

Search API

Spam Filtering

Small Scale -> SolrCloud

Mid/Large Scale -> Solr(master-slave)

Query response times: 1~100ms

Queries per day: 12~13M

現状

Page 8: 20130109 検索cross yasuda

8 株式会社サイバーエージェント

現状 Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Log Data

Search API

Spam Filtering

Small Scale -> SolrCloud

Mid/Large Scale -> Solr(master-slave)

Query response times: 1~100ms

Queries per day: 12~13M

Page 9: 20130109 検索cross yasuda

9 株式会社サイバーエージェント

・ 課題

本日の内容

・ 現状(事例紹介)

Page 10: 20130109 検索cross yasuda

10 株式会社サイバーエージェント

課題(進めていること)

• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ

Page 11: 20130109 検索cross yasuda

11 株式会社サイバーエージェント

課題(進めていること)

• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ

大規模分散処理

システム設計・構築

プログラミング

統計

検証

機械学習

必要なスキル

Page 12: 20130109 検索cross yasuda

12 株式会社サイバーエージェント

Personalized Search

Recommendation Search API

Distributed Search

(Solr×Recommendation)

shard3

shard1

shard2

default recommend

shard3

shard1

shard2

default (検索条件に応じたクエリ)id age rankA 20 1B 30 2

recommend (検索条件に応じたクエリ+recommend:ログインID)id age rank recommendA 20 2 BB 30 4 C,D

Page 13: 20130109 検索cross yasuda

13 株式会社サイバーエージェント

SolrCloud

Talent Search Blog Search

News Search Community Search

(従来)

Talent, Blog, News, Community Search

(今後)

SolrCloud

Cluster

ネットワーク設定、サーバー構築

リソース管理の効率化

Page 14: 20130109 検索cross yasuda

14 株式会社サイバーエージェント

Flume Service Recommendation

Trend Ranking

Word Completion

Thesaurus

Spam Filtering

Activity Log

Collector

Realtime analytics

Realtime updates

Bulk update

共通解析ライブラリの利用

Page 15: 20130109 検索cross yasuda

15 株式会社サイバーエージェント

ご清聴ありがとうございました!