第5回jaws-ug札幌勉強会 cloudpack監視システムについて

2012.2.14第5回JAWS-UG札幌 勉強会

cloudpack監視システムについて

　　後藤 和貴　@kaz_goto　

　facebook.com/kaz.goto　

自己紹介プロフィール

アイレット株式会社 cloudpack エバンジェリスト

出没するJAWS-UG: 東京、大阪、福岡、宮崎、　　　　　　鹿児島、沖縄、名古屋、札幌、北陸

次に行きたいJAWS-UG: 京都、四国のどっか

受賞歴: AWS SAMURAI 2012(個人)　　　　2011年度パートナー特別賞(会社)

好きなAWSサービス: プレミアムサポート

@kaz_gotofacebook.com/kaz.goto

3

4

5

続きはウェブでamazon  EC2  運⽤用保守

6

cloudpack監視サービスとは

7

300に迫るサーバー群を監視するcloudpack監視サービスの裏側見せちゃいます

1. 監視サービス概要

2. 実装方法（基本構成）

3. 独自の追加機能

4. ノウハウ

5. 今後やりたいこと

8

監視サービス概要

9

監視サービス概要Nagios

各リージョン毎に一括管理

監視サーバー(cloudpack)

監視対象サーバー(各アカウント)

10

実装方法（基本構成）各リージョンのNagios同士は相互監視

エージェント

導入可能な場合は入れて、多くのポイント監視

導入不可の場合は、外部から確認可能なポイントのみ監視

URL監視以外は基本的に内部IPで確認

cloudpackのセキュリティグループからのアクセス許可個別アカウントのセキュリティグループでポート追加などはしない

11

独自の追加機能メール関係

メール送信はAWS SDK for PHPでSES利用ただ使ってみたかったｗ

アラート内容毎にテンプレートをわけるアカウント毎の連絡先・対応方法など付記

13

14

サーバー名・IPアドレスサーバー名・IPアドレス

顧客名顧客名

連絡メールアドレス担当者名＋電話番号連絡メールアドレス担当者名＋電話番号

独自の追加機能プラグイン・カスタマイズ

ログ監視

• syslog系• PostgreSQL• Tomcat• アプリケーションログ（キーワードのキャッチ）

15

独自の追加機能プラグイン・カスタマイズ

S3

• URL監視• バケットサイズチェック

※ AWS SDK for PHPではS3サイズチェック関数があった（他のSDKではないらしい）

※ 参考: get_bucket_filesize関数http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/get_bucket_filesize

16

独自の追加機能プラグイン・カスタマイズ

CloudWatch連携(check_cloudwatch)

• EC2 → CPU使用率• RDS → メモリ、ディスク、コネクション数、swap...• Tomcat• アプリケーションログ（キーワードのキャッチ）

※参考:

• CloudWatchのCustom Metricsを使ってみた(二番煎じ)http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359

• NagiosとCloudWatchを組み合わせてみたhttp://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatch-combination.html

17

独自の追加機能プラグイン・カスタマイズ

DNS関係

• ホスト名とIPアドレスの変化チェック• RDSフェールオーバーもチェック

※ RDSフェールオーバーは意外と問題になるケースがあります例: ゾーンまたぐとアプリサーバーとの間のレイテンシが大きくなる

18

ノウハウ？数値監視なものはすべてCloudWatchのメトリクスにして監視システム全体の信頼性を上げる

個別対応時のプログラム実装上のミスを防ぐ

CloudWatchアラーム使わずNagiosでアラート

英語メッセージ＝ヒューマンエラーの可能性

連絡先・対応方法をのせた日本語のメッセージ

バッチ処理正常終了監視

キュー処理開始・終了時刻の確認

および一定時間で処理している数をチェックして正常動作確認

19

今後やりたいことPHP SDKでSES利用からSMTPリレー(Postfix)→SESに変更信頼性アップ＆パフォーマンスアップ

データ転送量チェック

cloudpackのサービスモデルとしては必須

ELBレイテンシチェック

ウェブサイト全体が重たくなっているとレイテンシが大きくなるので傾向をつかみやすい

VPC内サブネットavailable IPs

ELBがスケールアウト時にIPを消費されるので観測したい

CloudFront動画再生ログチェックどれだけ動画を見られているか、動画再生箇所（開始・終了時間）

20

失敗談AWS側の局所的なトラブルでCloudFront URL監視で検知失敗したことあり

同一URL複数のアクセス元でアクセス可・不可がタイミングによって分かれた

RDSセキュリティグループ指定のUIが変更になり、他アカウントのセキュリティグループが選べなくなった

セットアップが一切できなくなったのでプレミアムサポートへ連絡したら、あとで直ったｗ

21

まとめオープンソースの監視システムでも十分に使えます

CloudWatchにないものや、個別に必要な機能はプラグインをさくっと書いちゃましょう

監視だけじゃなく、その後の対応も考慮しておくとヒューマンエラーもでなくてより安心

AWSの挙動（仕様）もモニタリングすれば安心

→面倒な方はcloudpackで監視サービスを！監視のみ監視職人もありますｗhttp://www.cloudpack.jp/spin-off/monitoring.html

22

告知イベント

2/28,29 日経BP Cloud Days Tokyo 2012出展

3/8,9 日経BP Cloud Days Tokyo 2012出展

3/2,3 JAWS Summit

3月中 cloudpack Night #2

情報発信

http://www.cloudpack.jp/

@cloudpack_jp

http://facebook.com/cloudpack.jp

人材募集中

Nagiosカスタマイズしたい人集まれ！

23

Thanks!

http://www.cloudpack.jp/suuport@cloudpack.jp

@cloudpack_jp

24