可視化までのとある方法 #yjdsnight
TRANSCRIPT
![Page 1: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/1.jpg)
2016年11月25日
ヤフー株式会社 三木 健司
可視化までのとある方法
![Page 2: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/2.jpg)
自己紹介
名前•三木 健司(みつぎ けんじ)
好きな食べ物•からあげ
![Page 3: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/3.jpg)
アジェンダ
• 可視化するまでの流れ• データ加工 OTEPONの説明• ダッシュボード dClipの説明• 手順• 実績• 今後
![Page 4: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/4.jpg)
可視化の流れ
加工 表示データ
![Page 5: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/5.jpg)
可視化の流れ
加工 表示データ
OTEPON
![Page 6: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/6.jpg)
可視化の流れ
加工 表示データ
OTEPON dClip
![Page 7: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/7.jpg)
可視化の流れ
加工 表示データ
OTEPON dClip
![Page 8: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/8.jpg)
可視化の流れ
加工 表示データ
OTEPON dClip
![Page 9: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/9.jpg)
データ加工ツール OTEPON
1. WebUI2. Hive使用3. 構文チェック4. 必要なUDFを自動で認識5. UDFは自動で更新6. 直ぐに結果を返す7. テンプレート機能8. 定常的に処理する9. 他システムへの連携10. マルチクラスター対応
![Page 10: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/10.jpg)
データ加工ツール OTEPON
1. WebUI2. Hive使用3. 構文チェック
![Page 11: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/11.jpg)
データ加工ツール OTEPON
4. 必要なUDFを自動で認識
5. UDFは自動で更新
ADD JAR hdfs:///user/mitsugi/udf.jar;
CREATE TEMPORARY FUNCTION func AS …;
SELECT func(name) FROM data_night;
![Page 12: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/12.jpg)
データ加工ツール OTEPON
6. 直ぐに結果を返す
実行
確認
実行
確認
数時間 数秒
![Page 13: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/13.jpg)
データ加工ツール OTEPON
7. テンプレート機能SELECT count(1) FROM data_night
WHERE vol = _NUM1_ ;
SELECT count(1) FROM data_night
WHERE vol = 4;
![Page 14: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/14.jpg)
データ加工ツール OTEPON
8. 定常的に処理する
9. 他システムへの連携
10. マルチクラスター対応クラスタA
クラスタB
OTEPON
振り分け
![Page 15: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/15.jpg)
可視化の流れ
加工 表示データ
OTEPON dClip
![Page 16: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/16.jpg)
ダッシュボードツール dClip
1. 任意のデータを登録
2. システム連携したデータを表示
3. 折れ線、円グラフなどで表示
4. レイアウト変更が楽
![Page 17: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/17.jpg)
dClip画面
![Page 18: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/18.jpg)
手順
![Page 19: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/19.jpg)
手順
1.クエリの作成
2.実行
3.登録
4.レポートの作成
![Page 20: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/20.jpg)
1. クエリの作成
SELECT gender, count(1) FROM data_night WHERE vol = 4
GROUP BY gender;
![Page 21: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/21.jpg)
2. 実行
待つだけ!
![Page 22: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/22.jpg)
3. 登録
データ保存先を指定
/d&s/
data_night/
vol1
vol2
vol3
vol4 キー(ラベル)で識別
![Page 23: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/23.jpg)
4. レポートの作成
![Page 24: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/24.jpg)
4. レポートの作成
![Page 25: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/25.jpg)
4. レポートの作成
![Page 26: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/26.jpg)
4. レポートの作成
![Page 27: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/27.jpg)
4. レポートの作成
![Page 28: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/28.jpg)
4. レポートの作成
![Page 29: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/29.jpg)
レポート画面
![Page 30: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/30.jpg)
レポート画面
簡単
![Page 31: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/31.jpg)
実績
![Page 32: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/32.jpg)
データ量(圧縮済みで最大)
〜3.5TB/日
![Page 33: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/33.jpg)
OTEPON処理数
約90,000/月
![Page 34: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/34.jpg)
dClipレポート総数
約20,000
![Page 35: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/35.jpg)
今後
![Page 36: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/36.jpg)
データ量増
![Page 37: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/37.jpg)
処理数増
![Page 38: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/38.jpg)
待ち時間増
![Page 39: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/39.jpg)
ユーザのイライラ増
![Page 40: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/40.jpg)
どうするか?
![Page 41: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/41.jpg)
技術チャレンジ増
![Page 42: 可視化までのとある方法 #yjdsnight](https://reader033.vdocuments.site/reader033/viewer/2022050806/587284181a28abc7068b6c7f/html5/thumbnails/42.jpg)
ご清聴ありがとうございました