presto in yahoo! japan #yjdsnight
TRANSCRIPT
![Page 1: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/1.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
2017年3月15日
岡田 幸大
Presto in Y!J
![Page 2: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/2.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
自己紹介
• 岡田幸大, #新卒2009
• github: @yuokada
• Like: #golang #python
• よく使うY!のサービス: #ヤフオク
![Page 3: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/3.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
自己紹介
• 2009/07~2013/03コメント機能 BE開発
• 2013/04~2016/09Web ビーコン 運用・開発
• 2016/10~Presto Cluster 構築・運用
![Page 4: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/4.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
アジェンダ
• Yahoo! Japanのマルチビッグデータ
• Prestoとは? - 事例紹介
![Page 5: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/5.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
サービス数は100以上
メディア、コマース、金融・決済など、幅広くサービスを展開
![Page 6: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/6.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
データのバラエティも100以上
検索キーワード、ビュー/クリック、コンテンツ、購買情報、など、多様なデータを活用可能
![Page 7: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/7.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
8
月間674億PV / 1日9,000万UB
PC + その他
281億 PV
Smart Phone
393億 PVFY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
![Page 8: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/8.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
NoSQLHadoop RDB
7,000 nodes
150 PB
800DBs
2,000nodes
Object
Storage
1,500nodes
![Page 9: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/9.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
様々なPFにあるデータをインタラクティブに分析する必要がある
これらのマルチビッグデータを活かすには?
![Page 10: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/10.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Y!J is Multi Big Data Company
そこで選んだのは、
![Page 11: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/11.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
What is Presto?
• Facebook製OSS
• 分散クエリエンジン
• インタラクティブなクエリに最適化されたアーキテクチャ
![Page 12: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/12.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
What is Presto?
Presto Users
• Netflix
• Amazon
• etchttps://github.com/prestodb/presto/wiki/Presto-Users
![Page 13: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/13.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
What is Presto?
source: https://prestodb.io/overview.html
![Page 14: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/14.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
What is Presto?
✅ Pros• コネクターを追加することで多種多様なデータPFと接続出来る
• データをメモリ上で処理するためクエリの実行が高速
• ANSI SQL サポート• UDF(ユーザー定義関数) サポート
https://prestodb.io/docs/current/connector.html
![Page 15: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/15.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
What is Presto?
• データがメモリから溢れた場合、クエリの実行に失敗
• ノードの障害時もクエリが失敗• 失敗時、自動での再実行無し
❌ Cons
![Page 16: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/16.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Prestoクラスターの導入例
• Object Storage上のログの分析• 障害発生時の調査を目的
• ログの形式はjson+gz
![Page 17: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/17.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Prestoクラスターの導入例
![Page 18: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/18.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Prestoクラスターの導入例
このクラスターを構築/運用したことでPrestoの課題が見えてきた
![Page 19: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/19.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Prestoクラスターの導入例
• 原因1. クエリ実行の度にファイルを取得2. jsonフォーマットの場合、
ファイル全体を取得
課題: ネットワーク帯域の圧迫
![Page 20: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/20.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
Prestoクラスターの導入例
もちろん、コミュニティと協力して!
さらに、Pull-Requestで!
この課題をどう解決するのか?
![Page 21: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/21.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
まとめ
• インタラクティブなクエリはPresto
• クラスター運用するための課題はまだまだ沢山
• 課題を解決するためにヤフーは積極的にOSSへコントリビュート
![Page 22: Presto in Yahoo! JAPAN #yjdsnight](https://reader034.vdocuments.site/reader034/viewer/2022042723/58d0e76d1a28abba558b548b/html5/thumbnails/22.jpg)
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .
EOP