drecomにおけるwinning the metrics battle

Copyright Drecom Co., Ltd. All Rights Reserved. 1

Drecomにおける

Winning the metrics battle


• mickey• 所属会社- 株式会社ドリコム

• 職種- インフラエンジニア

• 最近やっていること- Graphiteと戯れたり、インフラ運用面の改善等

自己紹介


インフラの運用において、サーバー

の状態(CPU Usage等)の収集と閲

覧が簡便にできるシステムを持つこ

とは必須

今日、話すこと


しかし、サーバーが1300台を超え

ると、工夫しないとうまくいかない

今日、話すこと


何が必要なのか


の前に


僕たちは如何に失敗したか


• サーバーを構築しても、Cactiに自動

でグラフが作られない…

• Proxyや情報を暗号化する機能がなく

その為、Cactiが乱立

• スケールアウトが出来ない

以前は…


つらぽよ


このままだと、破綻する


では、何が必要なのか


• サーバーが自動で追加されること

• グラフが自動的にレンダリングされること

• 情報を中央に集めるために必要な機能

• スケールアウトができること

必要なこと


!

Middlewareの検討


Munin

「グラフの見た目が好みじゃないんだよねー」


Ganglia

「サーバーとグラフの管理の仕方が、うちの構成とは合ってないよ…」

「見た目が…」


• 普段使いのシステムなので習熟の難度が低い

隠れた要件


結果


理想的なものはなかった…


ということで開発することに


自作したシステムについて


Mine って言います


サーバーに潜む地雷を探すシステムという由来


Mineの見た目

Copyright Drecom Co., Ltd. All Rights Reserved.

開発環境

• 言語

- Ruby 2.0

•　フレームワーク

- Padrino 0.11.1- Backbone.js 1.1.0


採用したMiddleware


Graphite

• URL API

• プッシュ型である


URL API


GraphiteのURL API

target=hoge-web-*.nginx.response_time

webサーバー全部のレスポンスタイムを取得する


GraphiteのURL API


GraphiteのREST API

target= averageSeries(hoge-web-*.nginx.response_time)

平均値を取るという関数を適応すると


GraphiteのURL API


Graphiteで利用できる関数

• 平均

• 移動平均

• 最大値、または、最小値

• 対数

• 偏差


Graphiteが返せるデータ

• SVG

• PNG

• Json

• CSV

• などなど


Graphiteがプッシュ型であるということについて


プル型

• Cactiのように、収集サーバーが監視対象のサーバーへ情報を取りに行くこと!

• 手動でグラフを登録するのは数百台で限界

• 並列数的にも数百台で限界が来る


プッシュ型• 監視対象のサーバが情報を収集サーバーへ送りつける- 多少失われても困らないのでUDPでただ投げつけている

• 送りつけられたら、自動でグラフが出来る

• サービス用サーバーをChefで構築するだけでグラフが出来る


採用したMiddleware

• Collectd- Graphiteへ情報をプッシュするMiddleware

-- Graphiteの独自形式の情報として送信--- Gangliaなどにも対応

- 動作が軽く、機能的に十分だったので採用

• こういったMiddlewareはGraphiteには付属しない


Cactiとの違い

• Cactiは

- APIが無い- グループで値をサマライズ出来ない- RRDなので、画像でしかとれない- プル型である


今後‥


Graphiteの機能を活用し


複数のサーバーのMetricsをサマライズしたり


• 100台のWebサーバーにおけるレスポンスタイ

ムの平均

• 見なければならないグラフを最小に


異常値がわかりやすいよう工夫したり


• 最大値・平均値・最小値をプロットする- 頑張りすぎているサーバーやサボりを見つけやすく


アーキテクチャ


概要


Data Center

A

collectd

Data Center

A

collectd

collectd

carbon

Mine

Internet

B


Data Center

A

collectd

Data Center

A

collectd

collectd

carbon

Mine

Internet

B

A

MetricsをCollectdへ送り、暗号化してInternetへ


Data Center

A

collectd

Data Center

A

collectd

collectd

carbon

Mine

Internet

B

A

MetricsをCollectdへ送り、暗号化してInternetへ

B

復号してDiskへ書き込み、 Mineで表示する


詳細


Metricsの収集・送信側

Internet

Server Server

collectd collectd

collectd collectd collectdA

B

C

D



Internet

Server Server

collectd collectd


B

C

D

A

CPU Usage等のMetricsを収集する



Internet

Server Server

collectd collectd


B

C

D

A

冗長化されている組B




Internet

Server Server

collectd collectd


B

C

D

A



ここで、暗号化を行うC



Internet

Server Server

collectd collectd


B

C

D

A



ここで、暗号化を行うC

D

暗号化され、Internetへ


Metricsの受信・保存Internet

collectd

carbon-relay

carbon-cache carbon-cachecarbon-cache

carbon-relay

collectd

Disk Disk Disk

graphite-web graphite-webgraphite-web

B

C

D

E

51

A

Server Server Server

データセット A データセット B



collectd

carbon-relay


carbon-relay

collectd

Disk Disk Disk


B

C

D

E

51

A

A

冗長化されている組





collectd

carbon-relay


carbon-relay

collectd

Disk Disk Disk


B

C

D

E

B

受信したデータを、ハッシュで分割し、データセットへ送る

51

A

A






collectd

carbon-relay


carbon-relay

collectd

Disk Disk Disk


B

C

D

E

B


C

受信したデータをDiskに書き込む

51

A

A






collectd

carbon-relay


carbon-relay

collectd

Disk Disk Disk


B

C

D

E

B


C


D

DRBDで同期し、データを保全

51

A

A




DRBD



collectd

carbon-relay


carbon-relay

collectd

Disk Disk Disk


B

C

D

E

B


C


D

DRBDで同期し、データを保全

E

グラフのレンダリングするためのAPIを提供。 51

A

A




DRBD


graphite-web graphite-web

Mine

表示



Mine

表示

UserがMineを閲覧した時、 graphite-webに対してグラフのレンダリングを要求

F



Mine

表示


F

F



Mine

G

表示


F

F



Mine

G

表示


F

F

分散して保存しているので複数のサーバーからMetricを検索する

G



Mine

G

表示


F

F


H

G



Mine

G

表示


F

F


H

G

Metricが見つかたら、Graphをレンダリングして、URIを返す

H


まとめ


Graphiteの負荷はどんな感じ？

• 1300台程度のサーバーから、5分間隔で情報を取得

CPU Usage

I/O Wait


• Metricsの収集はプッシュ型で行う必要がある

• 手動では限界が来るので、構成管理ツールで、

設定は自動化しよう

最後に


• Graphiteにデータを貯めることで、データを再

利用することができる

• Graphiteを選択した私に間違いはなかった

最後に


御清聴ありがとうございました


�"�%�

" M '6I<M �"M ,(��M "��M &#��M )�+M ��M

��"<D6? 3793/�'>7I9 0153-0064 ��*!-��!-L�!8-1/3E6;FI17F�TEL:03-6682-5700�FAX:03-6682-5711 239 .J�"�H�$"�12K�2001�11�13� 1,124 � (2014�3��) :I8@E5I?�� :I8@ECI=G4�� 3<:DAI8BG��

Copyright Drecom Co., Ltd. All Rights Reserved.�