第5回jaws-ug札幌勉強会 cloudpack監視システムについて
DESCRIPTION
2012.2.14に行われたJAWS-UG札幌勉強会で話した監視サービスの実装についての資料です。TRANSCRIPT
2012.2.14第5回JAWS-UG札幌 勉強会
cloudpack監視システムについて
後藤 和貴 @kaz_goto
facebook.com/kaz.goto
自己紹介プロフィール
アイレット株式会社 cloudpack エバンジェリスト
出没するJAWS-UG: 東京、大阪、福岡、宮崎、 鹿児島、沖縄、名古屋、札幌、北陸
次に行きたいJAWS-UG: 京都、四国のどっか
受賞歴: AWS SAMURAI 2012(個人) 2011年度パートナー特別賞(会社)
好きなAWSサービス: プレミアムサポート
@kaz_gotofacebook.com/kaz.goto
3
4
5
続きはウェブでamazon EC2 運⽤用保守
6
cloudpack監視サービスとは
7
300に迫るサーバー群を監視するcloudpack監視サービスの裏側見せちゃいます
1. 監視サービス概要
2. 実装方法(基本構成)
3. 独自の追加機能
4. ノウハウ
5. 今後やりたいこと
8
監視サービス概要
9
監視サービス概要Nagios
各リージョン毎に一括管理
監視サーバー(cloudpack)
監視対象サーバー(各アカウント)
10
実装方法(基本構成)各リージョンのNagios同士は相互監視
エージェント
導入可能な場合は入れて、多くのポイント監視
導入不可の場合は、外部から確認可能なポイントのみ監視
URL監視以外は基本的に内部IPで確認
cloudpackのセキュリティグループからのアクセス許可個別アカウントのセキュリティグループでポート追加などはしない
11
独自の追加機能メール関係
メール送信はAWS SDK for PHPでSES利用ただ使ってみたかったw
アラート内容毎にテンプレートをわけるアカウント毎の連絡先・対応方法など付記
13
14
サーバー名・IPアドレスサーバー名・IPアドレス
顧客名顧客名
連絡メールアドレス担当者名+電話番号連絡メールアドレス担当者名+電話番号
独自の追加機能プラグイン・カスタマイズ
ログ監視
• syslog系• PostgreSQL• Tomcat• アプリケーションログ(キーワードのキャッチ)
15
独自の追加機能プラグイン・カスタマイズ
S3
• URL監視• バケットサイズチェック
※ AWS SDK for PHPではS3サイズチェック関数があった(他のSDKではないらしい)
※ 参考: get_bucket_filesize関数http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/get_bucket_filesize
16
独自の追加機能プラグイン・カスタマイズ
CloudWatch連携(check_cloudwatch)
• EC2 → CPU使用率• RDS → メモリ、ディスク、コネクション数、swap...• Tomcat• アプリケーションログ(キーワードのキャッチ)
※参考:
• CloudWatchのCustom Metricsを使ってみた(二番煎じ)http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359
• NagiosとCloudWatchを組み合わせてみたhttp://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatch-combination.html
17
独自の追加機能プラグイン・カスタマイズ
DNS関係
• ホスト名とIPアドレスの変化チェック• RDSフェールオーバーもチェック
※ RDSフェールオーバーは意外と問題になるケースがあります例: ゾーンまたぐとアプリサーバーとの間のレイテンシが大きくなる
18
ノウハウ?数値監視なものはすべてCloudWatchのメトリクスにして監視システム全体の信頼性を上げる
個別対応時のプログラム実装上のミスを防ぐ
CloudWatchアラーム使わずNagiosでアラート
英語メッセージ=ヒューマンエラーの可能性
連絡先・対応方法をのせた日本語のメッセージ
バッチ処理正常終了監視
キュー処理開始・終了時刻の確認
および一定時間で処理している数をチェックして正常動作確認
19
今後やりたいことPHP SDKでSES利用からSMTPリレー(Postfix)→SESに変更信頼性アップ&パフォーマンスアップ
データ転送量チェック
cloudpackのサービスモデルとしては必須
ELBレイテンシチェック
ウェブサイト全体が重たくなっているとレイテンシが大きくなるので傾向をつかみやすい
VPC内サブネットavailable IPs
ELBがスケールアウト時にIPを消費されるので観測したい
CloudFront動画再生ログチェックどれだけ動画を見られているか、動画再生箇所(開始・終了時間)
20
失敗談AWS側の局所的なトラブルでCloudFront URL監視で検知失敗したことあり
同一URL複数のアクセス元でアクセス可・不可がタイミングによって分かれた
RDSセキュリティグループ指定のUIが変更になり、他アカウントのセキュリティグループが選べなくなった
セットアップが一切できなくなったのでプレミアムサポートへ連絡したら、あとで直ったw
21
まとめオープンソースの監視システムでも十分に使えます
CloudWatchにないものや、個別に必要な機能はプラグインをさくっと書いちゃましょう
監視だけじゃなく、その後の対応も考慮しておくとヒューマンエラーもでなくてより安心
AWSの挙動(仕様)もモニタリングすれば安心
→面倒な方はcloudpackで監視サービスを!監視のみ監視職人もありますwhttp://www.cloudpack.jp/spin-off/monitoring.html
22
告知イベント
2/28,29 日経BP Cloud Days Tokyo 2012出展
3/8,9 日経BP Cloud Days Tokyo 2012出展
3/2,3 JAWS Summit
3月中 cloudpack Night #2
情報発信
http://www.cloudpack.jp/
@cloudpack_jp
http://facebook.com/cloudpack.jp
人材募集中
Nagiosカスタマイズしたい人集まれ!
23