楽天のsplunk as a service
DESCRIPTION
splunklive 2014 Tokyo/Osaka での発表資料です。 楽天で展開しているSplunkの共通基盤である、Splunk as a Serviceのご紹介をします。 設計、構築時に考慮した点やSplunk APIを利用した運用改善、また、社内での活用事例についてもお話します。TRANSCRIPT
![Page 1: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/1.jpg)
楽天のSplunk as a Service
Vol.01 July/07/2014
Keisuke Noda / 野田 啓介
Data Store Platform Group, Rakuten, Inc.
http://www.rakuten.co.jp/
![Page 2: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/2.jpg)
2
About Me
• Keisuke Noda
• 野田 啓介
• Company
• Rakuten, Inc.
• Data Store Platform
Group
• Background
• Application Engineer
• Database Engineer
• Like
• Massage
![Page 3: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/3.jpg)
3
About Company
代表取締役会長兼社長 三木谷 浩史 従業員数 グループ 10,867人 (2013年12月) 設立日 1997年2月7日 IPO 2000年4月19日(ジャスダック) 資本金 109,530百万円(2013年12月末現在) 連結売上収益 5,186億円(2013年度) 連結営業利益 974億円(2013年度)
楽天市場(eコマース事業)を中核とした,
総合インターネットサービス企業
![Page 4: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/4.jpg)
4
About Company
E-Commerce Portal and Media
Travel
Telecommunications
Securities
Credit Card
Professional Sports
Banking
E-money
![Page 5: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/5.jpg)
5
Go Global
![Page 6: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/6.jpg)
6
Go Global
![Page 7: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/7.jpg)
7
Agenda
• 楽天のSplunk as a Service
• サービス活用事例
![Page 8: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/8.jpg)
8
楽天の Splunk as a Service
![Page 9: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/9.jpg)
9
Rakuten Splunk as a Service
• はじめに
• 主に管理向けの技術的な内容を含みます
• 弊社で成功しているSplunk as a Serviceを通して
Splunkの旨い使い方をご紹介
![Page 10: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/10.jpg)
10
Rakuten Splunk as a Service
• Why Splunk?
• Why as a Service?
• Service Overview
• Service Designs
• Service Operations
• Our Challenges
• Current Status
• What’s Next?
• Wrap up
![Page 11: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/11.jpg)
11
Why Splunk?
• 見た目がクールでおもしろそうだったから
![Page 12: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/12.jpg)
12
Why Splunk?
取り込みバッチ RDBMS Webアプリ
取得項目追加 改修 改修 カラム追加
• DB監視ログを表示するWebアプリ
• 運用が大変
![Page 13: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/13.jpg)
13
Why Splunk?
Splunkのポテンシャルを体感し
様々な部署へ展開することに
• DB監視ログを表示するWebアプリ • 運用が大変
• Splunkにログを食わせたところ それぞれのサーバーが
不要に!!
![Page 14: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/14.jpg)
14
Why as a Service?
様々な部署での利用が始まると
導入時のシステム構築、ライセンス管理やサーバー運用が各部署で発生
一つ大きなプラットフォームを作り
As a Service として全社に提供すれば解決できる
さらなる別の効果も期待
Splunk as a Service が誕生
![Page 15: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/15.jpg)
15
Service Overview
• インフラ管理運用必要なし • サーバー構築運用
• ライセンス
• Splunkがすぐ使える 1. Splunk account作成
2. forwarderインストール
3. データの取り込み設定
• 料金は使った分だけ • サービス料(データインプット量)
• ストレージ料(データ保持サイズ)
• 高サービスレベル • SLA定義してそれ守ります
Rakuten
Splunk as a Service
詳細は後ほど!
![Page 16: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/16.jpg)
16
Service Design
• 環境
• Private Cloud上に構築
• High Quality
• Low Cost
• Short Time Delivery
状況に合わせたスケールアップ
スケールアウトが容易
![Page 17: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/17.jpg)
17
Service Design
• システム構成
• v6.0を利用
• Cluster
• コンポーネント
• Indexer
• Forwarder
• Deployment Server
• Cluster Master (Rep: 3, Search : 2)
• Search Head (Common/Private)
• HotdbとColddbでストレージを選択
![Page 18: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/18.jpg)
18
Service Design
• セキュリティ
• 現在1ユーザー毎にSplunkアカウントを作成
(1ユーザー=プロジェクト、グループ、サービス単位)
• ユーザーは自分の利用するサーバーから転送されたデータのみ利用可能
• データ保持期間
• 取り込み設定毎に1日~6年でユーザーが自由に選択可能
• その他
• 目標稼働率を定義
• その他詳細
![Page 19: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/19.jpg)
19
Service Operation
• サービス運用 • アカウント作成
• ログ取り込み設定
• 詳細設定変更対応
• Appインストール
• ユーザーサポート
• 監視 • インプット量監視
• インプット量は有限
• システム監視
• SoS/Unix app
• Pandora FMS
![Page 20: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/20.jpg)
20
Our Challenges
• ユーザーサイドでの取り込み設定を不要に
• データのアクセスコントロール運用を楽に
• 社内ツールとの連携
• API利用で運用改善
![Page 21: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/21.jpg)
21
Challenge 1
• ユーザーサイドでの取り込み設定を不要に
• 課題
• すぐ使いたいけど、データの転送方法がわからないユーザー多数
• 対応
• クライアントフォワーダーにSplunk Universal Forwarderを標準で利用
• Deployment Server を利用
No Data Loss
No Need Setup
Universal Forwarderインストール後
ユーザーサイドでの設定、運用は必要なし
Syslog, fluentd 等もサポート (ユーザーが選択可能)
![Page 22: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/22.jpg)
22
Challenge 2
あなたのネットワークのログ使って
私のsyslogと付け合せたいわ
• データへのアクセスコントロール運用を楽に
• 課題
• 取り込まれたデータをうまく共用したい
• 対応
• Tagを利用。基本的にはhost=<ユーザーの扱うホスト> にタグを設定
• ログを共用する場合には対象のデータのみWhitelist方式でTagに追加
Aさんのデータ
私のデータ 見せてあげる
ありがとう とても効率的だわ
Aさん Bさん tag=tagB tag=tagA
tag=tagA
+ tagB
Splunk
![Page 23: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/23.jpg)
23
Challenge 3
• 社内ツールとの連携
• CMDBデータを自動取り込みし、サーバー情報や担当者情報等と連携可能
• 監視ツールとの連携でダイレクトコールの受信可能
• その他Splunk APIで検索結果を利用し、様々な用途で利用可能に
社内ツール
![Page 24: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/24.jpg)
24
Challenge 4
• API利用で運用改善
• API使ってますか
• APIでいいこと
• 取得したデータを自由に加工できる
• スクリプト化して一括で処理できる(自動化できる)
• 新しいサービスが生まれる
• Splunk APIでできること
• サーチ結果取得、ユーザー作成、再起動
• … Splunk Webでできることは大体できる
![Page 25: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/25.jpg)
25
Challenge 4
• API利用で運用改善
• アカウント作成
• Create app
• Create role
• Create user
• WebからGUIで作成するとクリック回数50回くらい
• API利用してスクリプトにまとめれば1回
定型運用がクリック1回で完了
![Page 26: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/26.jpg)
26
Challenge 4
• ポータルサイト
• ユーザーサイド
• アカウント作成リクエスト
• ログの設定依頼
• 管理者サイド
• アカウント作成
• ログの設定
![Page 27: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/27.jpg)
27
Trend of Number of Accounts
Mar-14 Apr-14 May-14 Jun-14
PROD
STG
DEV
アカウント数
![Page 28: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/28.jpg)
28
Trend of Number of Forwarders
Mar-14 Apr-14 May-14 Jun-14
# ofForwarders
フォワーダー数
![Page 29: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/29.jpg)
29
Trend of Input Size
Mar-14 Apr-14 May-14 Jun-14
InputSize
インプット量
![Page 30: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/30.jpg)
30
What’s Next?
• ユーザー利用開始までをもっと簡単に
• 人の手を介さず全自動化
• 運用の効率化
• 頻度の高いオペレーションを自動化
• v6.1 アップグレード
• スクリプト、lookupcsv等のデータアップロード機能
• グループ会社とのコラボレーション
![Page 31: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/31.jpg)
31
Wrap up - Splunk as a Service -
• 楽天はひとつの大きなSplunk Platformを利用している
• ユーザー視点でよかったこと
• インフラ管理必要なし
• すぐに利用でき、ログの取り込み設定なし
• 部署をまたいだデータの連携が可能
• 管理者視点でよかったこと
• 運用管理を集中させることで運用の効率化ができる
• ライセンスをうまく利用できる
• 効率よくノウハウを蓄積
• APIを利用して運用改善している
• CMDBや既存のツールと連携しユーザー満足度UP
![Page 32: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/32.jpg)
32
サービス活用事例
![Page 33: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/33.jpg)
33
Use Case
Application Real-time Monitor
Service KPI Management
Performance Management
Database
Real-time Monitor
Troubleshooting
Usage Report
Service KPI Management
Security
IDS Real-time Monitor
Illegal access Management
Storage
Real-time Monitor
Resource Management
Service KPI Management
Server
Real-time Monitor
Troubleshooting
Usage Report
Private Cloud (RIaaS) Real-time Monitor
Resource Management
More …
Network Real-time Monitor
Troubleshooting
Analyze trend
![Page 34: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/34.jpg)
34
Use Case
Application Real-time Monitor
Service KPI Management
Performance Management
Database
Real-time Monitor
Troubleshooting
Usage Report
Service KPI Management
Security
IDS Real-time Monitor
Illegal access Management
Storage
Real-time Monitor
Resource Management
Service KPI Management
Server
Real-time Monitor
Troubleshooting
Usage Report
Private Cloud (RIaaS) Real-time Monitor
Resource Management
More …
Network Real-time Monitor
Troubleshooting
Analyze trend
![Page 35: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/35.jpg)
35
Use Case 1
• Before
• アプライアンス製品を利用しているが最低限の監視しかついていない
Database
![Page 36: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/36.jpg)
36
Use Case 1
Database
セッション数
CPU使用率
スロークエリログ
![Page 37: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/37.jpg)
37
Use Case 1
Database
![Page 38: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/38.jpg)
38
Use Case 1
• Before
• アプライアンス製品を利用しているが最低限の監視しかついていない
• After
• リアルタイムモニタリングができるようになった
• 致命的なエラーが出る前の、予備アラート検知ができるようになった
• サーバーにログインすることなく
• サーバー状況(スロークエリ、レスポンスタイム、負荷等)が一目で確認できるようになった
• ログの調査が可能になった
• 予め定めた稼働率やレスポンスタイム、スローログ数等のKPIを自動で追うことができるようになった
Database
![Page 39: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/39.jpg)
39
Use Case 2
• Before
• 分析する気が起こらない
Network
![Page 40: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/40.jpg)
40
Use Case 2
Network
![Page 41: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/41.jpg)
41
Use Case 2
• Before
• 分析する気が起こらない
• After
• ACL/Flow logの可視化によりリアルタイムのトラフィック状況が一目瞭然
• ASのIncoming/Outgoingのトレンドが可視化
• 回線フィーのコントロールする上での判断材料に!
• Syslogの可視化が可能に
• VIPなどのリソースマネージメントができるようになった
Network
![Page 42: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/42.jpg)
42
Use Case 3
• Before
• セキュリティインシデント対応は外部会社依存
• アタックの対応に時間がかかっていた
Security
![Page 43: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/43.jpg)
43
Use Case 3
Security
![Page 44: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/44.jpg)
44
Use Case 3
• Before
• セキュリティインシデント対応は外部会社依存
• アタックの対応に時間がかかっていた
• After
• IDSログ解析による内製化移行により大幅なコスト削減(現在移行準備中)
• CMDB取り込みによりインシデント検知から担当者への連絡が一気通貫に処理できるようになった
• アタックの対応が大幅(80%!)に短縮された
• 不正ログイン検知が手に取るようにわかるようになった
• 不正レビュー検知も取り組み中
Security
![Page 45: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/45.jpg)
45
Use Case 4
Application
![Page 46: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/46.jpg)
46
Use Case 4
• Before
• APMは導入しているができることが決まっており、調査に使いづらかったりサービス独自のログが解析できない等、かゆいところに手が届かない
• After
• 独自のログをリアルタイムで自由に解析可能になった
• エンドユーザーからよく見られているURIをレポート
• 外部連携している外注さんのログイン状況をレポート
Application
![Page 47: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/47.jpg)
47
おわりに
![Page 48: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/48.jpg)
48
Our Demands
• 目的別検索チュートリアルを充実させてほしい
• アラート時のAPIフック利用
• 各種設定ファイルの適用先をわかりやすく
• Source/Sourcetype/Host単位でのバックアップリストア
• ファイル編集時の反映を再起動不要に
• 全てのWeb機能をAPI提供
![Page 49: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/49.jpg)
49
Wrap up - Good Point of Splunk -
• ログさえあれば、機器、ログのフォーマット問わず検索可能になる
• ユーザーの目的に合わせたサーチ、レポート、アラートが自由に作成可能
• 今まで無視していたログから新たな情報を取得できる
• KPI(稼働率等ユーザー独自の指標)を追うのに役立つ
• 調査時間が大幅短縮
• かゆいときに、かゆいところに手が届く
• ログ分析の楽しさを教えてくれる
柔軟性があり
サービスレベル向上し
コスト削減できる
![Page 50: 楽天のSplunk as a service](https://reader031.vdocuments.site/reader031/viewer/2022020105/54b5fd2f4a7959a1268b467a/html5/thumbnails/50.jpg)
50
Thank You!
Any Questions?