【hinemos world...
TRANSCRIPT
Copyright © 2013 NTT DATA Corporation
Hinemos World 2013
Hinemos4.1で進化したジョブ機能のすべて
2013年11月15日株式会社NTTデータ 基盤システム事業本部眞野 将徳
2Copyright © 2013 NTT DATA Corporation
INDEX
1. Hinemosとは
2. Hinemosのジョブ管理機能
3. ジョブ管理機能による負担軽減
4. まとめ
Copyright © 2013 NTT DATA Corporation 3
1. Hinemosとは
4Copyright © 2013 NTT DATA Corporation
Hinemosとは
システム運用管理で要求される各種機能を備えた、
「統合運用管理ソフトウェア」
複雑化するシステムを、Hinemosで統合運用管理
監視管理
ジョブ管理
リポジトリ管理
性能管理
物理環境 仮想化環境 ネットワーク機器類
5Copyright © 2013 NTT DATA Corporation
Hinemosv.1.0 (2005.08)
Hinemosv.2.0 (2006.03)v.2.1 (2006.10)v.2.2 (2007.03)v.2.3 (2007.10)v.2.4 (2008.03)
Hinemosv.3.0 (2008.10)v.3.1 (2009.04)v.3.2 (2010.09)
New メジャーバージョンリリース ジョブ管理の進化 クラウド対応へ向けた監視・性能管理の強化
Hinemosv.4.0 (2012.04)
Hinemosの歩み
Hinemosv.4.1
2013.10.01リリース!
1年半に1度のメジャーバージョンアップサイクル
6Copyright © 2013 NTT DATA Corporation
Hinemos4.1のジョブ管理機能 性能
■ 登録できるジョブ数
10万件!!
■ ジョブの登録速度
Hinemos4.0に比べて大幅な改善
登録時間
- Hinemos4.0 → 全ジョブを上書き
- Hinemos4.1 → 差分だけを登録
NEW!!
7Copyright © 2013 NTT DATA Corporation
Hinemosのジョブ
オンプレミス環境
プライベートクラウド仮想化集約基盤
プライベートクラウド上のシステム
Hinemosのジョブはクラウド環境を含む様々な環境で実行可能
パブリッククラウド上のシステム
Copyright © 2013 NTT DATA Corporation 8
2. Hinemosのジョブ管理機能
9Copyright © 2013 NTT DATA Corporation
2. Hinemosのジョブ管理機能
1. ジョブ管理の重要性
2. Hinemosのジョブ管理機能
1. ジョブを構築する機能
2. ジョブを実行する機能
3. 実行結果を確認する機能
10Copyright © 2013 NTT DATA Corporation
複雑化するシステムオペレーション
システムの利便性が高まる一方、システム運用者の負担は増加
・システム運用操作が複雑化、高度化し、操作の影響範囲も拡大・システム提供形態の変化による、運用管理者のタスクも増加・システム運用操作が可能な時間もより限定的に
システム運用管理作業の負担軽減が必要
11Copyright © 2013 NTT DATA Corporation
運用管理者の負担となる処理
負担となる処理はフェーズごとに存在
運用管理におけるジョブ管理の負担
ジョブの構築 ジョブの実行 実行結果の確認
12Copyright © 2013 NTT DATA Corporation
Hinemosのジョブ管理機能
■ Hinemosのジョブ管理機能では、以下を提供します
複雑なジョブ構造を簡単に構築する機能
さまざまな契機でジョブを実行する機能
ジョブの実行結果を容易に確認する機能
Copyright © 2013 NTT DATA Corporation 13
①複雑なジョブ構造を簡単に構築する機能
14Copyright © 2013 NTT DATA Corporation
ジョブ定義情報の集約管理
ジョブの定義情報はHinemosマネージャで一括管理します
実行結果
実行状態スケジュール
実行結果
実行状態スケジュール
実行結果
実行状態スケジュール
実行結果
実行状態スケジュール
実行結果
実行状態スケジュール
実行結果
実行状態スケジュール
コマンド
コマンド
コマンド
コマンド
コマンド
コマンド
コマンドコマンド
スケジュールスケジュール
実行結果実行結果
実行状況実行状況
Hinemosマネージャ
...
...
...
...
...
...
15Copyright © 2013 NTT DATA Corporation
Hinemosのジョブ機能を支える要素
■ Hinemosのジョブ管理機能を構成するシンプルな5つの要素
ジョブユニット ・・・ ジョブ階層の 上位要素
ジョブネット ・・・ 複数のジョブをグルーピング
ジョブ ・・・ 小の実行単位
ファイル転送ジョブ ・・・ 他サーバへファイルを送信
参照ジョブ ・・・ 定義済みジョブの別のジョブネットから利用
ジョブ
ジョブユニット
参照ジョブ
ファイル転送ジョブ ジョブ
ジョブネット
ジョブネット
NEW!!
16Copyright © 2013 NTT DATA Corporation
Job1 Job2-1 Job4-1
Job3-2
Job3-1ノードA
Job2-1の正常終了と時刻契機によるジョ
ブネット起動
Job2-1の終了を契機とした複数
ジョブの同時実行
複数ジョブの終了を契機としたジョブ
の実行
先行ジョブの正常終了を契機とした
ジョブ起動
Job2-2
ノードA
ノードA
ノードB
ノードB
ジョブは、細やかな実行条件が定義可能
「先行ジョブの実行結果」や、「時刻」で、複雑なジョブ構造を思いのままに制御
実行条件の制御
Job4-2
先行ジョブの異常終了を契機とした
ジョブ起動先行ジョブの実行結果に依らず終了を契機と
したジョブ起動
17Copyright © 2013 NTT DATA Corporation
ジョブ実行時の制御
Job
保留
ジョブを開始させない
保留・スキップにより、ジョブ実行時の挙動を指定
開始遅延、終了遅延を判定し、動作遅延も見逃しません!!
Job
スキップ
コマンドを実行せず終了
×
Job
開始遅延
予定時刻に開始しない
Job
終了遅延
予定時刻に終了しない
保留 スキップ
開始遅延 終了遅延
Copyright © 2013 NTT DATA Corporation 18
②さまざまな契機でジョブを実行する機能
19Copyright © 2013 NTT DATA Corporation
毎日コマンド入力しますか?
■ 複雑なコマンドを手動実行することは運用者の大きな負担
実行漏れ 入力ミス
失敗時の代替処理
実行結果の保存
20Copyright © 2013 NTT DATA Corporation
実行契機
ジョブ実行
即時実行(手動実行)
スケジュール実行(定期実行)
ファイルチェック
ファイル(作成、変更、削除)
ジョブは、4種類の任意の契機で実行することが可能
スケジュール
カレンダ
障害
監視結果
NEW!!
21Copyright © 2013 NTT DATA Corporation
業務に沿ったジョブの実行
■ 業務スケジュールに合わせた詳細なカレンダ設定が可能
(例) 2013年11月15日の13:00~17:00 を 稼働 とする
毎月20日 を 非稼働 とする
毎週水曜日 を 稼働 とする
第4月曜日の3日後 を 稼働 とする
毎月月末 を 稼働 とする
祝日 を 稼働 とする
■ ジョブの実行スケジュールも詳細に設定可能
(例) 毎日15:00 に ジョブを実行
毎時30分 に ジョブを実行
毎週日曜日の22:00 に ジョブを実行
5分ごと に ジョブを実行
NEW!!
規則的な日程のみでは実現困難な不規則な日程
(営業日など)をユーザが自由に定義可能!!
※稼働 : ジョブや監視が動作する時間帯
22Copyright © 2013 NTT DATA Corporation
ジョブ実行依頼
ジョブ実行依頼
ジョブ実行依頼
ジョブ実行依頼
エージェント毎に同時に実行するジョブの数に制限が可能
多重度実行制御
Hinemosエージェント
Hinemosマネージャ
<多重度を4とした場合>
1つのHinemosエージェントに対して同時実行できるジョブ数が「4」となる
ジョブ実行依頼
ジョブ実行依頼
ジョブ実行依頼
Wait
Wait
Wait
エージェントごとに設定可能
NEW!!
23Copyright © 2013 NTT DATA Corporation
実行される予定のジョブの確認
■ ジョブ[スケジュール予定]ビューで、将来実行されるジョブを確認することができます
フィルタによる絞り込みも可能
NEW!!
Copyright © 2013 NTT DATA Corporation 24
③ジョブの実行結果を容易に確認する機能
25Copyright © 2013 NTT DATA Corporation
ジョブとして実行された各種運用操作の結果は、HinemosのGUIで視覚的に確認可能
ジョブ実行状況の確認
ジョブネット・ジョブの実行状態を確認
正常、異常終了をボックスの色で判別
後続ジョブが動く条件を線の色で判断
ビューア画面から再実行操作が可能
詳細情報の表示
26Copyright © 2013 NTT DATA Corporation
ジョブ通知
Jan 13 11:35:20 server01 su: pam_unix(su-l:session): session opened for user root by hinemos(uid=501)
Jan 13 15:51:02 server01 su: pam_unix(su-l:session): session closed for user root
Jan 13 15:51:04 server01 su: pam_keyinit(su-l:session): Unable to change UID back to 0
Jan 13 15:51:04 server01 su: pam_unix(su-l:session): session closed for user hinemos
Jan 13 20:40:05 server01 su: pam_unix(su-l:session): session opened for user root by hinemos(uid=500)
コマンド通知
ログエスカレーション通知
ステータス通知
イベント通知
メール通知
パトライト
点灯コマンド
Hinemosマネージャ
イベント通知
ステータス通知
イベント通知
ステータス通知
メール通知
ログエスカレーション通知
メール通知
ログエスカレーション通知
ジョブ通知
コマンド通知
ジョブ通知
コマンド通知
ジョブの結果は、様々な手段で運用者に通知
ジョブ実行結果の通知
クライアント画面で
視覚的に確認監視結果を外部へ通知
監視結果に連動して
処理実行
27Copyright © 2013 NTT DATA Corporation
ジョブ実行結果の通知内容の確認
日々の定型業務の結果の確認も容易に行えます
開発環境
ログファイル
圧縮ジョブ
ログファイル
転送ジョブ
ログ管理ジョブネット
Hinemosマネージャ
毎日23:45に自動実行 完了通知
実行履歴を蓄積管理
詳細情報を確認
Copyright © 2013 NTT DATA Corporation 28
3. ジョブ管理機能による負担軽減
Copyright © 2013 NTT DATA Corporation 29
ケース1 定期実行
30Copyright © 2013 NTT DATA Corporation
ケース1 定期実行
■ 業務サーバのデータをバックアップしたい
22時になったら自動で開始したい
翌日5時半までに終了しないと翌日の業務に影響が出るので5時になっても処理が終わらない場合は終了させたい
22時
5時
処理開始
タイムリミット
31Copyright © 2013 NTT DATA Corporation
ケース1 定期実行
■ 1. まずはバックアップジョブを作成しましょう
ジョブの作成を選択
実効コマンドを設定
ジョブを実行するサーバ
ジョブパースペクティブ
32Copyright © 2013 NTT DATA Corporation
ケース1 定期実行
■ 2. 終了遅延で、ジョブの終了時間を監視できます!!
終了遅延の判定条件
判定時の処理
33Copyright © 2013 NTT DATA Corporation
ケース1 定期実行
■ 3. 毎日22時に実行するようにスケジュール設定しましょう
スケジュール作成を選択
毎日22時にスケジュール設定
毎日22時にスケジュール設定作成したジョブを
選択
34Copyright © 2013 NTT DATA Corporation
ケース1 定期実行(補足)
■ Hinemos4.1では、時刻設定が48時間対応しています!!
NEW!!
待ち条件
開始遅延/終了遅延
ジョブスケジュール
カレンダ
Copyright © 2013 NTT DATA Corporation 35
ケース2 月次実行、週次実行、日次実行
36Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 実行日に応じて、次の三種類のジョブを実行したい
・ 毎月1日にだけ実行したいジョブ・ 毎週月曜日にだけ実行したいジョブ
・ それ以外の日に実行したいジョブ
1 月次実行ジョブ
週次実行ジョブ月曜
それ以外 日次実行ジョブ
?実行日
37Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ ジョブにカレンダを設定するとジョブの稼働・非稼働を制御できます!!
月次実行ジョブ
週次実行ジョブ
日次実行ジョブ
共通処理A 共通処理B
毎月1日が稼働日のカレンダ
毎週月曜が稼働日のカレンダ
それ以外が稼働日のカレンダ
ジョブネット
38Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 例:11/11 月曜日にジョブネットを実行すると・・・
週次実行ジョブ共通処理A 共通処理B
毎週月曜が稼働日のカレンダ
ジョブネット
稼働日なので実行する
月次実行ジョブ
日次実行ジョブ
それ以外が稼働日のカレンダ
毎月1日が稼働日のカレンダ
非稼働日なので実行しない
非稼働日なので実行しない
39Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 1. 稼働・非稼働を指定するカレンダを作成しましょう
カレンダパースペクティブ
作成を選択
稼働・非稼働の条件を追加していきます!
NEW!!
40Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 2. 稼働・非稼働の条件を設定しましょう!!
毎月1日は稼働とする月次処理用の設定
毎年・毎月の1日は稼働
NEW!!
毎月の1日は稼働
41Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 規則には複数の詳細設計を追加でき、複数の詳細設定がある場合は、順序が小さいものから規則にマッチしているか判定します
■ 日時処理用のカレンダ詳細設定
組み合わせると複雑なカレンダ設定も実現可能です!!
毎年毎月1日は非稼働
毎年毎月1日でない毎週月曜は非稼働
毎年毎月1日でない毎週月曜でもないすべての日は稼働
NEW!!
42Copyright © 2013 NTT DATA Corporation
ケース2 月次実行、週次実行、日次実行
■ 設定したそれぞれのカレンダ設定も容易に確認できます
毎月1日 が 稼働
毎月1日 が 非稼働毎週月曜 が 非稼働
それ以外の日 が 稼働
毎月1日 が 非稼働毎週月曜 が 稼働
NEW!!
Copyright © 2013 NTT DATA Corporation 43
ケース3 ファイル生成によるジョブ実行
44Copyright © 2013 NTT DATA Corporation
ケース3 ファイル生成によるジョブ実行
■ あるフォルダにマスタファイルが生成されたら
データベースに登録したい
DBサーバ
業務サーバ
lsコマンドの差分を調べるスクリプトを
定期的に実行する?
マスタ登録
マスタファイル
45Copyright © 2013 NTT DATA Corporation
ケース3 ファイル生成によるジョブ実行
■ 1. まずはマスタ登録ジョブを作成しましょう
ジョブの作成を選択
実効コマンドを設定
ジョブを実行するサーバ
ジョブパースペクティブ
NEW!!
46Copyright © 2013 NTT DATA Corporation
ケース3 ファイル生成によるジョブ実行
■ 2. ファイルが作成されたらジョブを起動するようファイルチェックを設定しましょう
NEW!!
「ファイルチェック作成」を選択
ジョブパースペクティブ
チェックするファイル名の指定が可能
チェックするファイル操作の指定が可能
実行するジョブを選択
Copyright © 2013 NTT DATA Corporation 47
4. まとめ
48Copyright © 2013 NTT DATA Corporation
まとめ
Hinemosのジョブ管理機能は
求められるジョブの制御を行うことができ、複雑なジョブ構造を、容易に構築することができます
柔軟なスケジューリング等さまざまな契機でジョブを実行することができます
ジョブの実行結果を、容易に確認することができ、システム運用の見える化を実現します
Copyright © 2011 NTT DATA Corporation
Copyright © 2013 NTT DATA Corporation