JVM Operation Casual Talks

Cassandra監視で

やっていること

自己紹介

id:oranie

@oranie

株式会社 Cyberagent 所属

注意：Cassandraの項目などは

Ver1.1をベースにしています。

運用しているシステムについて

サイバーエージェント スマートフォンプラットフォーム

s.amebame.com

SPOFの無いマルチマスタ

ノード追加でスケールする

処理能力とデータ保持量

スキーマレスで柔軟な

データ操作

System Scale

Daily Peak Cluster Request

Read : about 45,000 qps

Write : about 40,000 qps

Total Data: about 35TB + snapshot

1 node avg: 350GB ※RF:3

Latency

Read / avg 4ms.

Write / avg 0.1~0.7ms

Cluster HW spec

CPU : 16 ~ 24 core (HT enable)

Memory : 64GB

Disk : SAS 600GB RAID 10 ※一部テスト的にSATAだったりSSD入れてみたりのレンジがあった。

Daily Operation

おおまかなまとめ

サイバーエージェント 公式エンジニアブログ

http://ameblo.jp/principia-ca/entry-11514557323.html

Monitoring

監視

運用担当当初

Cassandraの監視って何すればいいの？からスタート

Cassandraにはクエリを投げてMySQLで言う

SHOW STATUS hogehoge

的な奴は無かった（ハズ）

なにかあってもどこで

性能劣化したかどうかとか

分からない。

とりあえず既存で使っていた

JavaアプリのCactiのテンプレ見る

JVMの

GC頻度

ヒープメモリの使い方とか

グラフに取っている

これどこに値とか

入っているんだろう？

Mbeansという所に

色々入っていた。

見るのにVisualVMというのが

便利と教えてもらう。

見てみるとJVMで取れる値と

アプリケーション（Cassandra）特有の値など色々入っていた。

JVMで取れる値 =

Linux OSで取れる様な物

アプリ固有の物 =

Apacheのmod_statusで取れる様な物

が入っているので、ひたすら必要そうな物探す。

で、色々あるのは分かったけど

これ結局どうやって値

取っているの？

CactiはSNMPでした。

http://d.hatena.ne.jp/hogem/20121206/1354802392

hogemさんのブログより引用

なんというか・・・

人類にやさしくない・・・。

これから欲しい値取る時にSNMPで頑張るの・・・

oid調べるのとか面倒くせ。

JMXという違う

インターフェイスが

ある事を知る

JMX = Java Management Extensions (JMX)

調べたらJavaで書かないと

無理ゲーくさい

Java……..

ちょっとスクリプト的な奴作ってもNagiosで頻繁に叩くとかの時に

起動コスト高くね？

つーかJavaって

「くるまクラスを作って見よう」

ぐらいしかやった事ねー

PerlとかRubyとかPython

とかでサラッと書きたい。

そこで社内の人から

Jolokia使えば？

と教えて貰う。

簡単に言うとJMXを

REST APIインターフェイスに

プロキシしてくれるモジュール。

値をJSONで返してくれる。

ex:)

http://localhost:8080/jolokia/read/java.lang:type=Memory/

HeapMemoryUsage

に対してGETする。

ex:)

{ "committed" : 18292736, "used" : 15348352, "max" :

532742144, "init" : 0 }

こんな感じ。

とても分かりやすい。

ちょっと整形すればbashでも簡単に書ける。

PerlならJMX::Jmx4PerlというCPANモジュールも出ている。

簡単な使い方は同僚の@la_luna_azul が書いた

死活・閾値監視

Nagios + Jenkins + Perl Script

to mail & Push notification

死活監視系概要

閾値監視系概要

トレンド監視

OS monitor

・Cacti :

OS, JVM Resource graph

・Proteus-monitor : Real Time OS monitor

(cyberagent engineer OSS product)

https://github.com/ameba-proteus/proteus-monitor-agent

Proteus-monitor : Real Time OS

Cassandra monitor

・Cassandra Resource graph

GrowthForecast(LINE Engineer OSS product) +

yohoushi (DeNA Engineer OSS product)

・opscenter :Datastax Cassandra cluster status monitor

・Pending Checker :

Real Time Cassandra pending monitor

(cyberagent engeneer OSS prodct)

Opscenter

GrowthForecast + yohoushi

Pending Checker

「WebSocketで監視もリアルタイムに」 http://ameblo.jp/principia-ca/entry-11513826700.html

Pending Checker

こんな感じでとりあえず

Jolokiaで叩いて

値取ってゴニョる

ただ、噂によると

一部の監視アプリでは初めからJMXを叩いて監視出来るらしい

Zabbixとか。

それに切り替えればいいじゃん

ちょっと宗教上の理由で・・・。

Zabbixを頑張るの大変そうで。

とりあえずもう少しはCassandra監視はjolikia先生を使って Nagios + GrowthForecast

辺りで頑張ってみる。

以上です