第15回solr勉強会 - solr at yahoo! japan #solrjp
DESCRIPTION
Yahoo! JAPANでのApache Solrの利用事例。検索プラットフォームABYSSの紹介。TRANSCRIPT
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved.
Solr at Yahoo! JAPAN
ヤフー株式会社 大須賀稔 2014/12/08 第15回Solr勉強会 #SolrJP
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.2
自己紹介
大須賀 稔 (おおすか みのる)
Apacheソフトウェア財団 ManifoldCFコミッタ兼PMCメンバー
Solrコントリビュータ 共著: [改訂新版] Apache Solr入門
ヤフー株式会社 プロジェクトマネージャ・Solr黒帯
https://www.flickr.com/photos/o_0/14086728048/sizes/l Some rights reserved by *_*
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.3
会社紹介
月間総PV:
7,300万 ※2
120以上 ※1
624億 ※2
Daily UB:
サービス数:
https://www.flickr.com/photos/joao_trindade/4562486583/sizes/l Some rights reserved by trindade.joao ※2 ヤフー株式会社 2014年度 第2四半期 決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/
2,800万 ※2
月間アクティブ ユーザーID:
※1 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.4
以前の検索サービスの仕組み
サービスA
以前の検索サービスの仕組み
Y!J独自検索 ライブラリ
インタフェースA
サービスB
Y!J独自検索 ライブラリ
インタフェースB
サービスC
Y!J独自検索 ライブラリ
インタフェースC
サービスD
Y!J独自検索 ライブラリ
インタフェースD
効率的な開発・運用ができないか検討
インデックス インデックス インデックス インデックス
ライブラリの バージョンが違う
検索機能の 二重開発
ライブラリの バグに気付かない
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.5
ABYSS
ABYSSとは?
https://www.flickr.com/photos/bg3photo/5082428505/sizes/l Some rights reserved by BG³Photo
BOSS Search APIインスパイア
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.6
現在の検索サービスの仕組み
ABYSS
現在の検索サービスの仕組み
Y!J独自検索 ライブラリ
サービスA サービスB サービスC サービスD
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.7
現在のアーキテクチャ
現在のアーキテクチャ※3
※3 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.8
ABYSS再構築
なぜ再構築するのか?
https://www.flickr.com/photos/billjacobus1/122497422/sizes/l Some rights reserved by billjacobus1
レガシーなアーキテクチャ
検索エンジンのコモディティ化
運用・メンテナンスコスト
ソフトウェアライフサイクル
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.9
Solr
なぜSolrなのか?
https://www.flickr.com/photos/gsfc/5808204795/sizes/l Some rights reserved by NASA Goddard Photo and Video
多くの稼働実績
可用性・耐障害性
Apacheソフトウェア財団管理下
プラグインでの拡張が容易
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.10
提供する機能
提供する機能
https://www.flickr.com/photos/basheertome/6785217165/sizes/l Some rights reserved by basheertome
高可用性・耐障害性
Webベースの管理コンソール
カスタマイズ可能な検索
ログ可視化機能
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.11
新アーキテクチャ
OpenStack
Flume
SolrCloud (Document Indexes)
SolrCloud (Log Indexes)
Control API Feed/Search API
ZooKeeper
Banana
Admin UI
新アーキテクチャ
WebMA
SPDY Protocol Support
WebMA
SPDY Protocol Support
Front End Application
User� ABYSS Administrator / ABYSS User�
Morphline�
Event Log
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.12
WebMA
WebMAとは?
https://www.flickr.com/photos/crdot/5510506796/sizes/l Some rights reserved by crdotx
京都大学はどこですか?
京都大学 は どこ です か ?
Yahoo! JAPAN独自の日本語形態素解析器 一般ユーザーにもWeb APIで公開中 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
何処
何所
京都
京都大
大学
学
京大
文章
区切り
類義語
トークン
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.13
SPDYプロトコルサポート
SPDYプロトコルサポート
search
Shard1
Shard2
update
414 ms
342 ms
Solr�
https://www.flickr.com/photos/xavier33300/15236610911/sizes/l Some rights reserved by Grand Parc - Bordeaux, France
HTTP HTTP
SPDY
Solr(Jetty9)+SPDY3�
テスト環境 : SolrCloud(2シャード+レプリカ=4ノード) Virtual Server 2GHz 4CPU / 6GBメモリ / 120GB HDD
データセット : Wikipedia (English) クエリセット : Wikipedia (English) 見出し語
8万キーワード(3万ユニークキーワード) ツール : solrmeter (20QPS)
Average Query Time (Latency)
17%の速度改善がみられた
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.14
今後の計画
今後の計画
https://www.flickr.com/photos/29198100@N00/2368267322/sizes/l Some rights reserved by gamillos
オートスケールの実装
独自検索エンジンの機能移植 Query Parser Top-k Query Processing (WAND) Machine-Learned Ranking (MLR) etc.
OSSコミュニティとの協力
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.15
OSSコミュニティとの協力
OSSコミュニティとの協力
WASHINGTON, DC NOVEMBER 11-14
カンファレンスへ積極的に 参加
コミッターやユーザーとのネットワーク構築
コントリビューション
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.16
コントリビューション
コントリビューション
https://www.flickr.com/photos/sis/66422743/sizes/l Some rights reserved by Sister72
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.17
参考資料
参考資料 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/ ヤフー株式会社 2014年度 第2四半期 決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/ BOSS Search API – Yahoo Developer Network https://developer.yahoo.com/boss/search/ 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/ これがABYSSのすべてだ!! http://techblog.yahoo.co.jp/architecture/abyss_1/ テキスト解析:日本語形態素解析 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html The Chromium Projects - SPDY http://www.chromium.org/spdy To enable SPDY in a SolrCloud setup https://issues.apache.org/jira/browse/SOLR-6699 Visualizing Logs Using Apache Solr http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr
https://www.flickr.com/photos/spam/5086168739/sizes/l Some rights reserved by Smath.
Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.18
ご清聴ありがとうございました