先進のctcリモートオペレーションセンターを支えるrubyの実力 ·...

先進のＣＴＣリモートオペレーションセンターを支えるＲｕｂｙの実力

2010年12月15日

伊藤忠テクノソリューションズ株式会社

ITサービスコンサルティング部

志茂吉建([email protected])

Copyright (c)2010 ITOCHU Techno-Solutions Corporation

アジェンダ

CTCのサービスラインナップご紹介

RePlavail Ecavail

リモートオペレーションセンター概要

エンタープライズRuby事例

2


CTCのサービスラインナップご紹介

3

ラインナップ特徴サービス概要

RePlavailパッケージ型リモートマネジメントサービス

仮想化インフラ運用に特化したシステムマネジメントサービス

ECavailパッケージ型リモートマネジメントサービス

ミドルウェアに特化したシステムマネジメントサービス

システムマネジメントサービス（SMS）

カスタマイズ型リモートマネジメントサービス

顧客専任チームによるシステム運用サービス

運用サービス定常型オペレーションサービス顧客ITシステムのオペレーション業務代行

iMSP(MonitoringStella) 監視サービス集中センターからのシステム監視

• 多種多様な運用でのニーズを実現するためにお客様に合った最適な運用サービスを組合せてご提供します。


RePlavail（パッケージ型・仮想化インフラ向けリモートマネージメントサービス）

4

サービスメニュー概要作業内容

インフラ安定稼動サービス

仮想化インフラを24時間365日監視し、障害発生時は切り分けから障害復旧までワンストップで実施

•稼動監視•障害対応•バックアップ・リストア•マルチベンダー保守一元化

リソース最適化サービス

定期的に仮想マシンのリソーストレンド情報を収集・分析し、最適なリソース

•リソース監視•キャパシティ情報収集•リソース再配置分析•レポート作成

ビジネスサポートサービス

貴社からの依頼に基づき、仮想化基盤に対する各種運用オペレーション作業を代行（依頼より3営業日以内対応）

•仮想マシン作成•リソース割当変更•アカウント変更・削除•ディスク容量拡張

ITガバナンス支援サービス

仮想インフラ層の構成情報やセキュリティ脆弱性情報を一元提供

•インフラ構成情報管理•セキュリティ脆弱性情報収集•アクセスログ管理•マネジメントレポート

システム管理者支援サービス

月次定例会を開催し、現状の運用課題の解決や中期的な稼動計画の策定をご支援

•貴社一元窓口•技術問わせ•依頼作業調整•月次定例会

• RePlavailとは企業内の仮想化インフラを24時間365日リモートでご支援するマネージドサービスです。


ECavail（パッケージ型・OSSインフラ向けリモートマネージメントサービス）

5

サービス概要特徴

ワンストップヘルプデスク

オープンソースを含むミドルウェアだけでなく、OSやハードウェア（サーバ、ストレージ、ネットワーク）に関する保守対応の窓口を一元化し、障害対応の切り分けを支援します。

システム安定稼動サービス

システムを構成する各種コンポーネントを熟知したハイスキルエンジニアがリモート環境からシステム可用性を最大限に引き出します。また、障害検知された場合は、速やかに障害復旧にあたります。

システム管理者支援サービス

システム管理者様へ的確な情報提供、改善提案を行うことで日々のシステム管理業務遂行をサポートいたします。

システム構成管理サービス

システム各種ｓコンポーネントの設定状況、構成情報を定期的に棚卸しすることにより、お客様の資産管理をサポートします。

セキュリティ診断サービス

専門のスキルを持ったセキュリティエンジニアが現状のWEBアプリケーションやシステムに対するセキュリティコントロールをリモートから診断し、実態を報告いたします。

• ECavailとはオープンソースソフトウェア（OSS）にて構築されたシステムを24時間365日リモートでご支援するマネージドサービスです。


RePlavail/ECavailのサービス体制

6

お客様サイト

ROC(Remote Operaction Center)

仮想システムECシステム

サービスマネジメントチーム

監視センター

フィールドサポートチームパーツ交換・準備

製品技術サポートチーム

サービス窓口

インフラ担当者

サービスマネジメントチーム専任担当チーム

Copyright (c)2010 ITOCHU Techno-Solutions Corporation p. 7

RePlavail/ECavailご採用のメリット

業務ソフト定型業務

APP/OS運用・保守

仮想化インフラ運用

物理インフラ運用

監視システム運用

H/W保守

戦略業務へのパワーシフト

業務ソフト定型業務

APP/OS運用・保守

RePlavail

業務量縮小

経費削減

自社運用

自社運用

委託

APP/OS以下のインフラ運用の経費を削減することができるとともに、業務量全体を削減でき、戦略業務へ人員をシフトすることができます。

2010/11/5

Remote Operation Centerについて


ＣＴＣリモートオペレーションセンター（以下、ＲＯＣ）の概略

ROCとは

• 旧MOCの監視機能・システムを拡張し、SMSやavailシリーズをはじめとするリモートマネージメントサービスの新しい運用基盤としてROCを創設します。

• 2011年1月リリース予定

ROCの主な機能は5つ

• 障害・リソース監視

• RBA（Run Book Automation)

• リモートアクセスセキュリティ強化

• ユーザポータルWEB

• シェア型SE対応

特徴

• SMS・availシリーズのアラート検知から障害一次対応までをROCでまかなう事により、サービスのコスト効率向上をはかります。

• 監視とSMSをリーズナブルで分かり易い価格で再構成します。

• ユーザポータルWEB等の不可価値により、新たなニーズを獲得します。

Copyright (c)2010 ITOCHU Techno-Solutions Corporation 10

ROC（RemoteOperationCenter）について

ROC機能説明効果

監視Ping、SNMPトラップ、SNMPポーリング、プロセス監視、ログ監視等

システムの稼動状況をリアルタイムに把握

RBA監視アラートをトリガーとした、自動復旧・障害一次対応・ログ収集・定型作業を自動化（RBA)

人的ミスの削減、システムダウン時間減尐

ポータルWEBポータルWEBにて運用管理情報（構成管理・インシデント管理・リソース利用状況等）を提供

システムの見える化

セキュリティ強化リモートアクセス時ユーザIDレベルでアクセス制限・実行APL制限・CLI/GUI作業ログ記録・監査

セキュリティレベル向上

SE対応ROC SEによる障害一次対応、保守の手配

24時間365日迅速なエンジニア対応


Remote Operation Centerの役割

11

区分役割ROC SE 障害発生時の一次対応を迅速に行うシェア型SEプロダクトSE プロダクトを熟知したエンジニアによる高度な障害対応、改善策立案カスタマーサポートCE 各製品のスペシャリストによる迅速な保守作業を実施

オンサイト支援HW交換

プロダクトSE 各種ベンダー

監視サーバ

安全なリモートアクセス

RBAサーバ ROC SE

イベント・リソース監視

ポータルサイト

システム管理者様

多彩なシステム情報提供

シームレスな保守連携エスカレーション

お客様サイト

ROC


RBA（自動化）システムの動作

障害

監視サーバ

イベントモニタリングサーバ③ イベントフィルタリング

インシデント管理サーバ（ITLifeGear)・インシデント登録

・問題管理

RBA自動化サーバ

セキュリティ監査サーバお客様システム

ROCシステム

⑤ 自動復旧処理

② イベント通知

④ 自動実行処理キック

ROC SE

⑧ 手動復旧処理

⑥ 処理

結果通知⑦エスカレーション

・NGの場合

・対応依頼

① 障害検知

セキュリティ監査・監視

①障害発生から⑤自動復旧までは、瞬時に対応！

自動復旧がNGでも、ROC SEが速やかにリモートログイン！

RBAによる自動作業実行（スピード・品質）

自動障害切分け

自動ログ収集

自動システム復旧

自動システムレポート etc.

障害復旧時間短縮

作業ミスの低減


ROC環境のセキュリティ

お客様サイト

ROCアクセスサーバ

監査ログ管理サーバ

監査ログ格納

CTCT認証サーバ

CTCT ROCリモートアクセスシステム

操作ログ取得

ROC執務エリア

★アクセスサーバの機能

①ログイン元、アクセス先のユーザーIDレベルでの制限、ユーザーIDレベルでの実行アプリケーションを制限

②GUI、CLI操作ログの取得、監査ログとして管理

★監査ログ

①GUI環境の操作ログは動画データとして取得、格納

②通常のAdministrator権限、root権限もアクセス不可対象となり、ログの改竄を防止

③監査ログはROC担当者の管理ではなく、CTCT ISMS

ルールに基き、ROC組織外の監査担当者にて管理

N/Wレベルでのアクセス制限


ROC担当SE

★リモート回線について

①VPN閉塞網 + IPSecトンネリングを利用することで閉塞性、機密性を確保

②ルーター間での接続可能ピアの制限、F/Wでのアクセス制御を組み合わせることでセキュリティ機能を強化

③社内ネットワークとは、完全分離


案件担当作業エリア


個別案件担当SE

VPN閉塞ネットワーク網

IPSecトンネリング

担当外SE

不正侵入者

A

アプリケーションB

B

アプリケーションA


ROCシステムに求められるもの

ROC

可用性

• 24時間365日ノンストップ

パフォーマンス

• 障害検知からお客様への通知までを迅速に行うパフォーマンス

柔軟性

• 様々な運用要件の変化に対する柔軟で迅速なシステムの対応

ROCのシステム構成

• エンタープライズRuby事例

15


システム概要

インシデント管理

構成管理

ポータル監視ツール

障害取り込み

監視の設定

RBA(HP OO)実行

実行

メール送信実行

グラフ描画

アクセス管理設定

Ruby on Rails

その他ツール等

相互連携

Excel, CSVなど入出力


サーバ構成は LAMR on Xen

仮想化

Xen

LAMP+α

Linux（RedHat5.5）

HP Operations Orchestration

Apache 2.2 MySQL 5.0Ruby 1.9.2 on

Rails 3.0Perl


なぜ、Ruby on Rails？

• 社内システムで長くつかわれている実績

• CTC、CTCTにバックサポート体制やRuby教育体制がある

• 仕様などの変化に柔軟に対応できる

• Railsという強力なフレームワークによるスピーディな開発

フレームワーク

柔軟性

実績サポート


なぜ、Ruby 1.9.2 on Rails 3.0？

Ruby 1.9.2

• 多言語対応

• 高速化

Rails 3.0

• 高速化

• 柔軟な拡張

• セキュリティ向上

• ビューはデフォルトでHTMLエスケープなど

新システムなので、最新バージョンでチャレンジしたいというのもありました


Ruby ＞ Java

• コード量が尐ない

• DRY、CoCコード量

• 尐人数の開発に向いているエンジニア

• 運用・監視なのでフィルタや検索など、文字列の処理が重要文字列操作に強い

• 運用メンバーが運用負荷を下げる為の、ちょっとしたツールも作成して提供することができる

運用ツールの作成も可能

• Rubyきめるとキモチいい！満足感


導入前に気になったこと

サービス提供システムとしての実績はどうか？

• 社内システムで長く（数年）使われている実績あり

• Ruby on Rails 導入事例も増えてきている

ドキュメントが尐なくないか？

• 実際に尐ないという印象

パフォーマンスはどうか？

• Ruby 1.9 / Rails 3.0 で大きく改善している

ポータルなどのセキュリティはどうか？

• Rails 3.0 でさらに堅牢になっている

人材の確保はできるか？

• オブジェクト指向であるのでJava開発者は馴染み易い

• 早めに探し始めました。


開発状況

開発メンバー7名

• 内3名は Ruby 未経験

• 多言語を数年経験

開発期間

• 6ヶ月（Phase1 リリースまで）

DB設計も同じチームで実施

• 7名中2名が平行して担当

ツール

• Redmine、SubVersion、Hudson、Capistrano・・・


進め方で工夫したこと

毎朝、立った状態での簡易ミーティング

• Ruby 未経験者もいた為、不明点などを早め早めにキャッチアップした

週に１回の進捗ミーティングで勉強会を実施

• ソースの統一感を図った

テストはコミット時に自動実行

• エラーの場合は担当者宛にメール送信し、修正を早めに行うようにした

全員のディスプレイを今までより大きなものに変えた

• 環境を整えることから始めた


よかったこと

• 粘土細工のようにシステムを作っていけた

• 開発途中でDBを変えても影響がほとんどなかった（ActiveRecord）

日々変化する要件に柔軟に対応

• Scaffold などすぐに動作するものが作れた

• あるかな？と思ったメソッドは大抵あった基本機能の充実

• アカウントによってタイムゾーン、言語が変わるような画面も容易に作れた

• 今回はグローバル対応を視野に入れているので、大きかった

タイムゾーン、多言語の扱いが容易

• Railsで書いたソースはメンバー間の共通認識があるので、意思疎通がしやすかった意思疎通


苦労したこと

Rubyエンジニアを揃えること

• Rubyは書けるが、Railsは使ったことがない方もいた

• ただ、Railsフレームワークがしっかりしているので、短期間で立ち上げることができた

• 意外とViewのJavaScriptの部分で苦労した

仕様やデータ構造を決める際に、Railsフレームワークを意識する必要があった

• DB設計まで範疇に入っているプロジェクトでないと難しいかもしれない

Rails3.0はまだまだドキュメントが尐なかった

• Web+DB Press が参考になった


今後の課題

人材の確保

• プログラマの絶対数が尐ない（Ruby<<Java）

パフォーマンスの更なる向上に期待

• パフォーマンスがシビアな処理についてはRuby以外で記述した箇所もある


お問い合わせ

27

http://www.ctc-g.co.jp/solutions/management/Solution/replavail.html

ここから


書籍紹介

VMware vSphere エンタープライズ・インテグレーション

第 1 章仮想化とクラウドコンピューティング

第 2 章仮想化技術を概観する

第 3 章ESXのテスト環境構築(1)

～VMware Workstationの利用～

第 4 章ESXのテスト環境構築(2)

～ミニチュア実機検証環境～

第 5 章vCenterを利用した共通基盤の統合管理

第 6 章VMware vSphere共通基盤構築(設計編)

第 7 章VMware vSphere共通基盤構築(導入編)

第 8 章仮想化共通基盤運用の考慮点

第 9 章vCenterを利用した障害監視

第 1 0章vSphereにおけるバックアップ

第 1 1章仮想化環境におけるセキュリティ

第 1 2章PowerCLIによる運用自動化

第 1 3章vSphereでのトラブルシューティングのポイント

http://bit.ly/ag6mWn

2010/11/528

先進のctcリモートオペレーションセンターを支えるrubyの実力 ·...

Documents