新管理ダッシュボード "Cockpit“搭載により、更に進化する高機能ジョブ管理ツール「 JobScheduler 」TIS 株式会社安達貴志

1

アウトライン• 自己紹介 (1 分 )• 今日の目的 (1 分 )• JobScheduler の概要 (15 分 )

• アーキテクチャ• 実績• 特徴紹介

• Cockpit について (15 分 )– 特徴紹介– 検証 / 使い方の公開について

• 宣伝 (5 分 )2

Self-Introduction

3

自己紹介• TIS 株式会社 OSS 推進室 安達貴志 @papa_dacchi 　

– 元々はセキュリティ専攻 (drive-by-download 攻撃 )– 2 年目– 業務

• OSS のサポート (JobScheduler, Zabbix, Hinemos 他 )• OSS の構築案件 (Hinemos,Zabbix 等 )• OSS の検証 (JobScheduler, Docker, Zabbix)

– AWS Partner SA ブログの [OpsJAWS: やってみようシリーズ ] 　 　　　 AWS Lambda × Zabbix 　 ( 作成中 )

• 興味があること– JobScheduler, Docker, OpenStack, Terraform, Ansible.　　　　　機械学習系 (TensorFlow, Scikit-Learn, …),AngularJS2– つまるところ、基盤系の業務を自動化したい

4

Goal

5

①JobSchedulerを知る– 高機能

②Cockpit により進化し続けるJobScheduler– 情報の見える化

③ 使ってみる / 深く知る6

JobScheduler を知る

7

JobScheduler とはジョブの実行 / 管理をするための OSS

8

JobScheduler サーバからエージェントもしくは SSH を介してジョブを実行する

ジョブの実行

ジョブの実行JobScheduler

SSH のみ

エージェント

基本用語

9

ジョブ : 　 Standalone Job: 単体で動作するジョブ　 Order Job: ジョブチェインの中に組み込むジョブ。　　　　　　　　 ( ジョブと言えば通常はこっち )

ジョブチェイン : 　複数のジョブをまとめたものオーダ ( = トリガー ):　ジョブチェインを起動させるための仕組み。パラメータや開始時刻を設定できるプロセスクラス : 　ジョブの実行先を定義したファイル

( オーダ )ジョブ A( オーダ )ジョブ B

( オーダ )ジョブ C

ジョブチェインオーダ

プロセスクラス

アーキテクチャ

10

ジョブ管理 GUI ジョブエディタ

・ジョブの定義ファイル・ジョブの実行先定義・スケジュール

実行履歴等

JobSchedulerエージェント

エージェントレス(SSH)

JobScheduler

実績

11

カード決済サービス大手 ( ドイツ )

トロント大学 ( カナダ )

ノースカロライナ州保険福祉サービス機関 (USA)

バイエル薬品 ( ドイツ )

欧米の大手企業への豊富な実績あり他にも、国内某大手通信キャリア / 大手メーカによる採用あり

特徴一覧

12

Active Activeジョブ A

ジョブ Cジョブ B

ジョブの制御と管理

クロスプラットフォームGUI

プログラムインタフェース

JobScheduler

サーバ / エージェント

冗長化構成

基本機能

独自機能Web API

JobScheduler

基本機能 : サーバ / エージェント• JobScheduler サーバ : 無料– ジョブの実行制御及び管理を行う

• JobScheduler エージェント : (ver1.10 以降は有償 )– エージェント上でジョブの実行を行う– 無償版はジョブの多重起動が不可• 30 日間のトライアルライセンスあり

13

基本機能 : クロスプラットフォーム

14

SSH のみ他、 Solaris/Unix 等

UNIX

コンテナでも動きます

基本機能 : GUI

15

ジョブエディタWebGUI によるジョブ管理

基本機能 :多彩なジョブの制御と管理

16

ジョブ A

ジョブ Cジョブ B

ジョブ D

並列実行 / 同期

ジョブ A

ジョブ B

排他制御

ジョブ A

ジョブ B

繰り返しジョブ

A

ジョブの多重制御他、優先度設定等

ジョブ A

ジョブ Bジョブ B

ジョブの共通化

ジョブB ジョブ

C実行可能数 2

基本機能 :冗長化 / ロードバランス

17

ジョブB

ジョブDジョブC

ジョブA

ジョブ実行先の負荷分散エンタープライズにも対応

冗長化構成JobScheduler サーバ

基本機能 : Web API

18

API によって他システムと連携可能

API

オリジナルのジョブ管理画面

API

JobScheduler

API

特徴一覧 ( 再掲 )

19

Active Activeジョブ A

ジョブ Cジョブ B

ジョブの制御と管理

クロスプラットフォームGUI

JobScheduler

サーバ / エージェント

冗長化構成

基本機能

プログラムインターフェース独自機能

Web API

JobScheduler

必要な機能はひと通り揃っている

独自機能 :プログラミングインターフェース (1/4)

20

PowerShell

様々な言語でジョブ制御用 API を使って、　　臨機応変なジョブの作成・制御ができる　　シェルスクリプト

他、 VBScript/Javax/.net

独自機能 :プログラミングインターフェース (2/4)

21

通常時ジョブ A

異常 A の検知ジョブ B

ジョブ B の実行対象を追加

異常 B の検知ジョブA

ジョブ B をスキップ

異常 C の検知ジョブB

ジョブ α のスケジュールを変更

ジョブB ジョブ

α

ジョブC

より具体的にジョブフローレベルで見ると・・・

ジョブ B

独自機能 :プログラミングインターフェース (3/4)

22

ジョブ異常 A

異常 B

異常 C

正常

パターン数分、事前定義するswitch (exit_code) { case 1: // 異常 A 　　・・・ case 2: // 異常 B ・・・ case 3: // 異常 C ・・・ default: // 想定外の異常}

さくっとパターン定義 例 . spooler.job(‘Job‘+exit_code).start();

ジョブ名の名前を“ Job”+連番にしておけば、連番分のパターンの定義が可能

通常のジョブ管理ツール

JobScheduler

独自機能 :プログラミングインターフェース (4/4)

ジョブの定義やスケジュール、待ち条件等も動的に変更可能

ジョブ ジョブ α のスケジュールを2:00 から 4:00 に変更

ジョブ β の待ち条件を変更

正常 ジョブα

2:00 4:00 ジョブ

β

ジョブγ

23

異常

特徴一覧 ( 再掲 )

24

Active Activeジョブ A

ジョブ Cジョブ B

ジョブの制御と管理

クロスプラットフォーム GUI

プログラムインターフェース

JobScheduler

サーバ / エージェント

冗長化構成

基本機能

独自機能Web API

JobScheduler

標準機能+

API によるジョブ制御のプログラム化

○機能豊富　　　　○他システムとの連携も OK　　　　　　　○ジョブをプログラムで制御　　　　　　　　

25

１つだけ欠点が・・・

管理画面が分かりづらい

26

ジョブの実行予定表示だが、単なる HTML の表

ジョブの構成が一見しただけでは分からない

エージェントが落ちているためジョブ実行に失敗しているが、稼働状況が見れない

10月末に　　新しい管理用 GUIが　　　　　　　　　　　　　　　リリース(予定 )　　　　　

27

①JobScheduler を知る– 高機能

②Cockpitにより進化し続けるJobScheduler– 情報の見える化

③ 使ってみる / 深く知る28

Cockpit により進化し続ける JobScheduler

29

Update

30

非公開の最新情報をご紹介します(OSS ラボ ( 株 ) の船井社長にご提供いただきました )

※9/1 時点の情報のため、リリース版とは異なる可能性があります

特徴 ( 予定 )

• WebGUI の刷新– ダッシュボード (スクリーンショット有 )

• クラスタ & エージェントのステータス表示• エージェントの稼働状況

– 各種情報のグラフ化 (スクリーンショット有 )• ジョブ、ジョブチェイン• カレンダや実行履歴

– 関連するオブジェクトへのリンク (スクリーンショット有 )– 検索 & フィルタリング機能追加 ( スクリーンショット有 )– モバイルデバイスへの対応

• ユーザアクセス制御の追加31

32

ログイン

今まではログイン画面なし (Basic 認証もしくは LDAP との連携をさせる必要あり )

ローカル認証：Apache Shiro(build in)

リモート認証：OpenLDAP/Active Directory

ユーザ認証画面

33

Operator:　○ログの閲覧　　　　　　　　 × サービスの起動 / 停止Application Manager: 　○ログ閲覧 & カテゴライズ　 × サービスの起動/ 停止Administrator:　○ほぼ全て　　　　　　　　　 × ログのカテゴライズ

ロール毎に操作可能な内容を制御可能

ロールによるユーザ制御

34

ダッシュボード

JobScheduler サーバ及びDB のステータス

サーバの選択

エージェントの状態 オーダのステータス以前はダッシュボードなし

35

エージェントの状態表示

エージェントのステータス Total Agents: 　　　プロセスクラスの総エージェント数　Running Agents: 　稼働可能なエージェント数Not Reachable: 　稼働不可能なエージェント数Scheduling Type: 　ジョブを均一に割り振るか、　　　　　　　　　　　利用可能なエージェントに割り振るか

以前はエージェントの状態は見れず・・・

36

オーダ表示

オーダの状況が一目で分かるコンテキストメニューが項目が増加

37

ジョブチェイン OverView( カード表示 )

ツリー構造よりも見やすくなります

38

ジョブチェインのリアルタイムフロー

直感的なジョブの操作(Start/Stop/Skip)

ジョブチェインのリアルタイムフロー

Before

39ジョブチェインの実行状況

オーダの成功率

ジョブチェインの進捗状況

オーダの統計ジョブチェインのツリー表示

40

ジョブの実行状況のツリー表示

ジョブの予定開始時刻と予定終了時刻ジョブの実行状況

ジョブの実行先サーバ名

41

フィルタリング

一般的なフィルタリングが可能になる

Before

42

ジョブ・ジョブチェインからオーダ・スケジュールを参照可能にできるようになる

オブジェクトの相互参照

このジョブチェインを起動させたオーダの一覧表示

43

実行予定のカレンダー表示

カレンダー

Before

補足 : アーキテクチャ

44

Nginx/AngularJS

Cockpit 単体の導入が可能

検証結果と使い方を　弊社 Web サイトおよび IT メディアで公開予定　　　　　　　 Cockpit リリース : 10 月末　　　　　　　　 検証結果公開 : 11月初旬

45

弊社 Web サイト :http://www.tis.jp/service_solution/jobscheduler/

まとめ• WebGUI の刷新

– ダッシュボード– 各種情報のグラフ化– 関連するオブジェクトへのリンク

• ユーザアクセス制御の追加

46

①JobScheduler を知る– 高機能

②Cockpit により進化し続けるJobScheduler– 情報の見える化③使ってみる /深く知る

47

使ってみる /深く知る

48

使ってみる @ 構築

アンケートの設問 2の記入欄に「構築手順書希望」と書いていただければ、メールで送付させていただきます。49

深く知る @ 日本 JobScheduler ユーザグループ& 海外コミュニティ

50開発者の方が直々に回答をくれる (1-2 日で回答もらえました )

OSS ラボ ( 株 ) 船井社長による回答あり

海外コミュニティ (Source Forge)

日本 JobScheduler ユーザ会

エンタープライズサポートの紹介

51

JobScheduler 、 Zabbix 、 Hinemos 、 PostgreSQL 、 OTRS 、 etc…

無料で実施・訪問による製品説明会、デモ実施・導入やコストに関する個別相談　その他色々・・・

AWS × Zabbix 　はじめました

52

AWS と Zabbix を連携させるための拡張開発 & 保守サポートサービス

http://aws.typepad.com/aws_partner_sa/2016/09/opsjaws-try-ops-with-zabbix-4.html

今時の企業情報システム運用、知らないと損をするオンプレと AWS のつきあい方～ 情報システム部門の方々に贈る TIS からのメッセージ ～

9 月 15 日 ( 木 ) 14:30 〜　　西新宿

http://www.tis.co.jp/seminar/

1 オンプレと AWS を組み合わせた運用管理の勘所

ＴＩＳ　

2 クラウド - オンプレミス　ハイブリッド環境との向き合い方

ＴＩＳ　

3 サービス型で実現する運用管理のすすめ ＴＩＳ　

4WS から見た、クラウドとオンプレミスとの使い分けと、クラウドの監視サービスの紹介

アマゾンウェブサービスジャパン

5 Ｑ＆Ａ

9/29 Zabbix パートナー会主催ビジネスセミナー

企業での採用が益々進む OSS 統合監視ソフトウェア「 Zabbix 」。本セミナーでは、 Zabbix を企業で活用するためのノウハウを中心にご紹介します。9/9~9/10 にラトビアにて開催される Zabbix カンファレンスの最新情報もお届けします。

開催日時 2016/9/29( 木 ) 15:00 ～ 18:00 (14:30 ～受付開始 )

開催場所 ハロー貸会議室秋葉原駅前　 http://www.hello-mr.net/detail/?obj=122

参加費用 無料

主催・協賛 主催 : 株式会社オープンソース活用研究協賛 : Zabbix Japan LLC 、 TIS 株式会社、 SRA OSS, inc. 日本支社、株式会社システナ、株式会社ヴィンクス

イベントページ https://osslabo.doorkeeper.jp/events/51648

講演内容 [ 講演 1]Zabbix を用いたマルチクラウド・ハイブリッドクラウド環境の効果的な統合監視TIS 株式会社 OSS 推進室 池田 大輔[ 講演 2]Fluentd + Zabbix + Grafana で監視システムを構築してみよう SRA OSS, inc. 日本支社 盛 宣陽[ 講演 3]商用監視ツールから Zabbix へ移行と、運用監視アウトソーシング 株式会社システナ 土屋 俊介[ 講演 4]Zabbix の可能性を更に拡大、機能強化 株式会社ヴィンクス 赤松 正浩[ 講演 5]Zabbix Conference 2016@ ラトビア 最新速報 Zabbix Japan LLC 代表 寺島 広大

54

10/19 JobScheduler ユーザカンファレンス

高機能で自由度の高い OSS のジョブ管理ツールとして注目が高まっている JobScheduler 。JobScheduler の日本のユーザ会主催でカンファレンスが開催されます。導入事例や最新の開発情報、活用のノウハウなど様々な情報をセミナー形式でお届けします。

開催日時 2016/10/19( 水 ) 午後 ( セミナータイムスケジュールは現在調整中 )

開催場所 NHN テコラス株式会社　 https://nhn-techorus.com/company/access.html

参加費用 無料

主催 日本 JobScheduler ユーザグループ (https://sites.google.com/site/jobschedulerja/home)

イベントページ 準備中 ..

講演内容 講演内容調整中 ..・ JobScheduler 最新情報のご紹介・ JobScheduler 導入事例のご紹介・ JobScheduler 最新版 v1.11 検証報告・ JobScheduler 活用ノウハウ等のご紹介等検討中

55

参考文献・その他• JOC - Cockpit– https://kb.sos-berlin.com/display/PKB/JOC+-+

Cockpit• 日本 JobScheduler ユーザグループ– https://sites.google.com/site/jobschedulerja/home

• Sourceforge JobScheduler– https://sourceforge.net/projects/jobscheduler/

56