20130109 検索cross yasuda
DESCRIPTION
TRANSCRIPT
検索Cross
Amebaの事例紹介
株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 安田 征弘
2 株式会社サイバーエージェント
自己紹介
・ 安田 征弘
・ Software Engineer
・ Ameba Technology Lab
・ 検索、レコメンデーション、スパムフィルタ
ワードサジェスト、トレンドランキング
シソーラス、年齡詐称抽出
3 株式会社サイバーエージェント
・ 2011/4 秋葉原に開設
・ 約20名 ( 2013年1月 )
Ameba Technology Laboratory
4 株式会社サイバーエージェント
推薦 フィルタリング
データマイニング 検索
ともだち
ニュース ブログ 技術領域
大規模 分散処理
(ログ解析基盤)
コミュニティ
ピグ その他多数
スマホ ゲーム
メッセージ つぶやき ブログ ともだち アプリ
Ameba全般
ブログ
5 株式会社サイバーエージェント
・ 課題
本日の内容
・ 現状(事例紹介)
6 株式会社サイバーエージェント
本日の内容
・ 現状(事例紹介)
・ 課題
7 株式会社サイバーエージェント
Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Log Data
Search API
Spam Filtering
…
Small Scale -> SolrCloud
Mid/Large Scale -> Solr(master-slave)
Query response times: 1~100ms
Queries per day: 12~13M
現状
8 株式会社サイバーエージェント
現状 Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Log Data
Search API
Spam Filtering
…
Small Scale -> SolrCloud
Mid/Large Scale -> Solr(master-slave)
Query response times: 1~100ms
Queries per day: 12~13M
9 株式会社サイバーエージェント
・ 課題
本日の内容
・ 現状(事例紹介)
10 株式会社サイバーエージェント
課題(進めていること)
• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ
11 株式会社サイバーエージェント
課題(進めていること)
• 共通解析ライブラリ(独自)の整備 • リアルタイム性 - データ転送 - アルゴリズムの改良 - システム連携・設計の見直し • 検索精度の向上 - 辞書拡張、スペル訂正、コミュニティ分析 etc. • 監視体制、ツール、アノテータ
大規模分散処理
システム設計・構築
プログラミング
統計
検証
機械学習
必要なスキル
12 株式会社サイバーエージェント
Personalized Search
Recommendation Search API
Distributed Search
(Solr×Recommendation)
shard3
shard1
shard2
default recommend
shard3
shard1
shard2
default (検索条件に応じたクエリ)id age rankA 20 1B 30 2
recommend (検索条件に応じたクエリ+recommend:ログインID)id age rank recommendA 20 2 BB 30 4 C,D
13 株式会社サイバーエージェント
SolrCloud
Talent Search Blog Search
News Search Community Search
(従来)
Talent, Blog, News, Community Search
(今後)
SolrCloud
Cluster
ネットワーク設定、サーバー構築
リソース管理の効率化
14 株式会社サイバーエージェント
Flume Service Recommendation
Trend Ranking
Word Completion
Thesaurus
Spam Filtering
…
Activity Log
Collector
Realtime analytics
Realtime updates
Bulk update
共通解析ライブラリの利用
15 株式会社サイバーエージェント
ご清聴ありがとうございました!