drecomにおけるwinning the metrics battle

Drecomにおける

Winning the metrics battle

• mickey• 所属会社- 株式会社ドリコム

• 職種- インフラエンジニア

• 最近やっていること- Graphiteと戯れたり、インフラ運用面の改善等

自己紹介

インフラの運用において、サーバー

の状態(CPU Usage等)の収集と閲

覧が簡便にできるシステムを持つこ

とは必須

今日、話すこと

しかし、サーバーが1300台を超え

ると、工夫しないとうまくいかない

今日、話すこと

何が必要なのか

の前に

僕たちは如何に失敗したか

• サーバーを構築しても、Cactiに自動

でグラフが作られない…

• Proxyや情報を暗号化する機能がなく

その為、Cactiが乱立

• スケールアウトが出来ない

以前は…

つらぽよ

このままだと、破綻する

では、何が必要なのか

• サーバーが自動で追加されること

• グラフが自動的にレンダリングされること

• 情報を中央に集めるために必要な機能

• スケールアウトができること

必要なこと

Middlewareの検討

「グラフの見た目が好みじゃないんだよねー」

Ganglia

「サーバーとグラフの管理の仕方が、うちの構成とは合ってないよ…」

「見た目が…」

• 普段使いのシステムなので習熟の難度が低い

隠れた要件

結果

理想的なものはなかった…

ということで開発することに

自作したシステムについて

Mine って言います

サーバーに潜む地雷を探すシステムという由来

Mineの見た目

開発環境

• 言語

- Ruby 2.0

•　フレームワーク

- Padrino 0.11.1- Backbone.js 1.1.0

採用したMiddleware

Graphite

• URL API

• プッシュ型である

URL API

GraphiteのURL API

target=hoge-web-*.nginx.response_time

webサーバー全部のレスポンスタイムを取得する

GraphiteのURL API

GraphiteのREST API

target= averageSeries(hoge-web-*.nginx.response_time)

平均値を取るという関数を適応すると

GraphiteのURL API

Graphiteで利用できる関数

• 平均

• 移動平均

• 最大値、または、最小値

• 対数

• 偏差

Graphiteが返せるデータ

• SVG

• PNG

• Json

• CSV

• などなど

Graphiteがプッシュ型であるということについて

プル型

• Cactiのように、収集サーバーが監視対象のサーバーへ情報を取りに行くこと!

• 手動でグラフを登録するのは数百台で限界

• 並列数的にも数百台で限界が来る

プッシュ型• 監視対象のサーバが情報を収集サーバーへ送りつける- 多少失われても困らないのでUDPでただ投げつけている

• 送りつけられたら、自動でグラフが出来る

• サービス用サーバーをChefで構築するだけでグラフが出来る

採用したMiddleware

• Collectd- Graphiteへ情報をプッシュするMiddleware

-- Graphiteの独自形式の情報として送信--- Gangliaなどにも対応

- 動作が軽く、機能的に十分だったので採用

• こういったMiddlewareはGraphiteには付属しない

Cactiとの違い

• Cactiは

- APIが無い- グループで値をサマライズ出来ない- RRDなので、画像でしかとれない- プル型である

今後‥

Graphiteの機能を活用し

複数のサーバーのMetricsをサマライズしたり

• 100台のWebサーバーにおけるレスポンスタイ

ムの平均

• 見なければならないグラフを最小に

異常値がわかりやすいよう工夫したり

• 最大値・平均値・最小値をプロットする- 頑張りすぎているサーバーやサボりを見つけやすく

アーキテクチャ

概要

Data Center

collectd

Data Center

collectd

carbon

Internet

Data Center

collectd

Data Center

collectd

carbon

Internet

MetricsをCollectdへ送り、暗号化してInternetへ

Data Center

collectd

Data Center

collectd

carbon

Internet

Data Center

collectd

Data Center

collectd

carbon

Internet

復号してDiskへ書き込み、 Mineで表示する

詳細

Metricsの収集・送信側

Internet

Server Server

collectd collectd

collectd collectd collectdA

Internet

Server Server

collectd collectd

CPU Usage等のMetricsを収集する

Internet

Server Server

collectd collectd

冗長化されている組B

Internet

Server Server

collectd collectd

ここで、暗号化を行うC

Internet

Server Server

collectd collectd

暗号化され、Internetへ

Internet

Server Server

collectd collectd

暗号化され、Internetへ

Metricsの受信・保存Internet

collectd

carbon-relay

carbon-cache carbon-cachecarbon-cache

carbon-relay

collectd

Disk Disk Disk

graphite-web graphite-webgraphite-web

Server Server Server

データセット A データセット B

collectd

carbon-relay

collectd

Disk Disk Disk

冗長化されている組

collectd

carbon-relay

collectd

Disk Disk Disk

collectd

carbon-relay

collectd

Disk Disk Disk

受信したデータを、ハッシュで分割し、データセットへ送る

collectd

carbon-relay

collectd

Disk Disk Disk

受信したデータをDiskに書き込む

collectd

carbon-relay

collectd

Disk Disk Disk

DRBDで同期し、データを保全

collectd

carbon-relay

collectd

Disk Disk Disk

グラフのレンダリングするためのAPIを提供。 51

collectd

carbon-relay

collectd

Disk Disk Disk

グラフのレンダリングするためのAPIを提供。 51

graphite-web graphite-web

表示

UserがMineを閲覧した時、 graphite-webに対してグラフのレンダリングを要求

表示

分散して保存しているので複数のサーバーからMetricを検索する

表示

Metricが見つかたら、Graphをレンダリングして、URIを返す

まとめ

Graphiteの負荷はどんな感じ？

• 1300台程度のサーバーから、5分間隔で情報を取得

CPU Usage

I/O Wait

• Metricsの収集はプッシュ型で行う必要がある

• 手動では限界が来るので、構成管理ツールで、

設定は自動化しよう

最後に

• Graphiteにデータを貯めることで、データを再

利用することができる

• Graphiteを選択した私に間違いはなかった

最後に

御清聴ありがとうございました

�"�%�

" M '6I<M �"M ,(��M "��M &#��M )�+M ��M

��"<D6? 3793/�'>7I9 0153-0064 ��*!-��!-L�!8-1/3E6;FI17F�TEL:03-6682-5700�FAX:03-6682-5711 239 .J�"�H�$"�12K�2001�11�13� 1,124 � (2014�3��) :I8@E5I?�� :I8@ECI=G4�� 3<:DAI8BG��

drecomにおけるwinning the metrics battle

Internet

agile metrics, value, and software -...

plone, battle-scarred community with battle tanks

grafting in the us: scri-usda program overview, … ·...

metrics. 2 learning objectives software metrics metrics for...

rethinking metrics: metrics 2.0 @ lisa 2014

metrics dashboard design - pureshare performance metrics...

the information battle: the information battle: how

winning the metrics battle

after the battle battle of thebulge

unified security metrics –vulnerability metrics

1 1 it-metrics metrics storyboard sample

2021年3月期第3四半期決算説明会 -...

lotr strategy battle game - battle companies

software engineering -...

an introduction to web metrics. - libqual · comprehensive...

battle creek va medical center visitor's guide · the...

7. metrics in reengineering context outline introduction...

battle of minds - create battle

battle zone normandy - battle for st-lo

4. metrics: next generation email metrics & analysis