xml ベースの研究管理システム rcm(r&d chain management) system

　　　 XML ベースの研究管理システム　 RCM(R&D Chain Management) System

日本原子力研究開発機構　上島　豊

利用者端末Web

Server

リモート端末

シミュレータデータベースサーバ

サービスブローカ

解析結果

ファイルサーバ

バックアップサーバ

ローカルデータ

解析サーバ

☆変化の激しい研究業務をより速く、より正確に！

☆研究開発者により優しく、ノウハウの継承を楽に！

2006 年 3 月 1 日　「核融合実験のデータ処理に関する次世代システム技術の検討」

発表の流れ１） RCMシステム開発の動機

２） R&Dチェーンの問題点と改善策としての RCM提案

３） RCMシステムの制御に関する特徴

４） RCMシステムのUIに関する特徴

５） RCMシステムのDBに関する特徴

６） RCMシステムの可視化に関する特徴

７）まとめと RCMシステムの展開

IT化が進み、研究において情報が溢れるようになり、個人での情報処理・管理能力も限界

しかし、グループウェアや基幹ソフト (ERP,SCM) がある業務系・事務系に比べ研究業務は、 IT システム化が進んでいない。

研究業務は、従来個人の情報処理・管理能力により支えられてきたが、作業増大が限界に近く、創造的な研究に支障が発生。

IT革命において、計測器やシミュレーションなどで発生する情報は、爆発的に増大した。＝＞高精細データ、多次元データ等

開発動機

研究者は、管理や人材育成面のプロではないため、ノウハウ伝承を行うことが難しい

開発動機

また、研究者は、管理面や人材育成面のプロではないため、途中過程を把握や技術継承を行い人材育成を行うことが難しい。

競争力を高めるため研究過程のシステム化を進め、個人レベルの暗黙知からの脱却（技術継承可能な知）を図る必要性がある。

研究分野は、業務系と異なり、非定型・非定常性が高く、個人能力に依って支えられている部分が多い。




４） RCMSシステムのUIに関する特徴




研究業務では、データ管理が個人任せで、情報共有や機密管理や品質保証が困難現在の研究の基本的な流れは、手動部分も多い

観測用 PC

①観測 ②FTPでダウンロード観測日付　　： 2003/12/10

ファイル名　　： 03121001.speレーザ種別　：ガラスレーザ温度　　　　　　：○○度コメント　　　　：面白い画像

③ ノートにメモ

観測データ

計測・解析データを個人で管理するのは、危険がいっぱい①パソコンが故障 ②メモが行方不明③解析パターンを思い出せな

い

問題提起

可視化・画像処理等の高度な処理により生成された派生データの再現性確保は、難題である

　　断面グラフ生成実験・シミュレーションによる 2次元データ

研究者・技術者の自由度のある可視化・解析パラメータ

・表示範囲・コントラスト・ノイズフィルタ　　　　・　　　　・　　　　・

・断面位置・断面角度・幅方向　　積分区間・断面方向　　移動平均量　　　　・　　　　・　　　　・

問題提起

実験・シミュレーションの計画立案

実験・シミュレーション

データの解析

　　　可視化、統計解析、比較評価

データのメモ

データのバックアップ

データの利用状況記録

研究業務では、非定型・非定常性により業務系の ERP、 SCMのようなシステム化が困難

インタラクティブなトライアル＆エラーでの解析解析履歴のメモ

問題提起

研究業務で共通

研究業務を統合的に支援するシステムは、どのような機能・技術が必要か！

RCM (R&D Chain Management） System

必要とされる機能要件　　●非定型、非定常な R&D チェーン変化への迅速な対応性● データの検索性とトレーサビリティの確保● 各種データ間の派生関係把握● データの共有化、公開化および機密化● 各種機能サーバの分散化による高い拡張性、耐障害性● 古い R&Dチェーンやソフトウェアの取り込み

採用すべき技術　　● 効率的使用と使いやすさを兼ねるため CLI、GUIの双方を装備●RDB 様の固定的データベース設計でない、フレキシブルなデータ

ベース●R&D チェーン変化を記述できるワークフロー機能● さまざまなレベルで設定できる情報閲覧・更新権限管理機能● クライアントによらない Web サービスを基盤としたシステム

提案

XML技術を利用し、変化の激しい R&Dチェーンに追従できる RCMシステムを提唱

SOAP　　　　　　　　　　　　　　 SSH,　 SCP

０階層

１階層　　（ DMZ に配備）

２階層

３階層（サービスサーバ）

様々な層でのXML によるデータ送信

画面表示

サーバ定義ワークフロー定義

DB データ構造可視化定義

利用者 PC

Internet 、 LAN 等


分析 PC

計測装置

可視化サーバ

Web サーバ

サービスブローカ

　DB サーバ

XML ユーザインタフェース S/W

XML 分散サーバ制御　S/W

XMLデータベース S/W

シミュレータ

提案

利用者端末Web Server

解析結果

①要求③解析元データ獲得


② 参照　　記録⑦バックアップ

外部格納データ

コントロールサーバ

データベースサーバ

⑤解析

解析サーバ


④転送

データsimulation入

力Simulation inputSet = 2Mesh size= 2048:2048

メモ等の任意データを追加登録

Experiment environmentangle = 45°Exposure time=10s

⑥保存

Simulation inputSet = 2Meshu size= 2048:2048

原研の実験支援 DB・シミュレーションポータル、阪大医学部の細胞シミュレーション等の導入実績

提案

様々な階層の定義やタスクフローは、 XMLで記述されており、メンテナンス性、移植性が高い XML による各種定義例ワークフロー定義

<?xml version="1.0" encoding="EUC-JP"?><ControlServer> <httpType>http</httpType> <name>MssPC</name> <host>localhost</host> <port>80</port> <target>ControlServer/Entry.jws</target></ControlServer>

サーバ定義

<?xml version="1.0" encoding="EUC-JP"?>

<WorkFlow> <name>FileTransfer WorkFlow</name> <status>wait</status> <Start no="0"> <status>wait</status> <next>1</next> </Start>

<FileTransfer no="1"> <status>wait</status> <fromServerType>AprServer</fromServerType> <fromServerName>aprdb1</fromServerName> <fromDirectory></fromDirectory> <fromFile>ControlServer.log</fromFile> <toServerType>FileServer</toServerType> <toServerName>sscmpp</toServerName> <toDirectory></toDirectory>

<toFile>bigFile.log</toFile> <next result="success">999</next> <next result="error">999</next> </FileTransfer> <End no="999"> <status>wait</status> <next>end</next> </End></WorkFlow>

RCM-制御

ヒューマンエラーによるデータ書換、サーバ障害によるデータ消失を防ぐ機構が容易に実装可能データの格納場所を意識させない擬似階層ストレージ

・データをバックアップサーババックアップしておき、検索時にファイルサーバに

　該当するファイルが存在しなければ、自動的にリストアし、検索結果を返す。

参照　


リストア命令

コントロールサーバ

データベースサーバ

ファイル探査


Web Server

ファイル無しの応答

リストア実施

ファイル転送

RCM-制御

制御ロジックフリーなGUIによる利用者に使いやすいインタフェースを構築することができる。

RCM-UI

各種実行作業をＸＭＬテンプレートして登録しておき、 CLIの拡張性、簡便性を確保（ GUIも勿論）

テンプレートをロードし、編集して実行

テンプレート自身をユーザが登録できる

ＸＭＬやユーザルールの確認

RCM-UI

XML リーフの数値・文字列による再階層化表示機能により、自明でないデータ間相関を探査できるpro1 user1 　

　 user2 　　

　 exp1 shot1 diag1 　

　　　 laser1 file1

　　　　 file2

　　 shot2 diag2 file3

　　　　 file4

　　　 target1

　 exp2 shot3 diag3

　　　 laser2

　　　 target2

pro2 user1 　　

　 user2 　　

　 exp3 shot4 diag4 file5

　　　 laser3 　

　　　 target3

　 exp4 shot5 diag5

　　　 target4 　

　　　 laser4 　

　　 shot6 diag6 file6

　　　 target5

diag1 　

diag2 file3 exp1 shot2

　 file4 exp1 shot2

diag3


diag5


laser1 file1 exp1 shot1

　 file2 exp1 shot1

laser2

laser3

laser4

target1

target2

target3

target4

target5

・ノード名で分類・ｆｉｌｅの後に exp,　 shot 所属を付加

・ target に file 情報はない・ diag に file 情報があるのは　偶数番号 shot のみである・ laser １は、入力間違えかも！

再階層化指示

明らかになったデータ相関

RCM-UI

ＸＭＬ技術によるフリーフォーマットな実験管理は、実験途中での項目や階層構造の追加を可能とした一般的な研究を意識した自由な DB 設計（ XML 型 DB ）

１） XML の構造は任意に構築でき、時々刻々と変化する個々の実験データ及び　実験環境条件、その解析結果新しい項目を追加、管理できる。２）検索においても XML のあらゆる階層で検索ができ、データ構造に縛られない　検索が可能。

2 3

4 5 6 7

8 109

1

11

12 13

14 15 16 17

1819 20

ID XMLtag content value projectID seriesID XMLnodeID

1 shot 1 3

2 diag 1 3

4 file 1 3

5 file 1 3

8 analyze 1 3

11 shot_no 1 1 3 1

12 diag_set 3 1 3 2

14 file_type bacground 1 3 4

18 viz_type cros-ssection 1 3 8

RCM-DB

過去の情報を含め研究グループ間での情報共有と自分の成果保護を考慮している情報共有および過去の研究との比較を重視したDBシステム

・ DB 入力項目（ XML タグ）の動的追加（必要な情報をタグ付で追加可能）

・実験・計測環境データ部分は、並列化をデータベースで可能

・ Postgres8.0 機能を使った任意時刻へのロールバック機能

・一般公開、プロジェクト内公開、非公開の３レベルの情報公開レベル

1 5 10 10033k =1 年分の実験 (2Mdata) 3.0 秒 7.0 秒 12.0 秒 102 秒

検索 hit 数格納実験数

DB性能： Xeon 3GHz 使用メモリ　 1GB 1 実験＝ 60data （平均 50MB ）と仮定し、1 画像＝ 5XML レコード（平均 100B ）と想定した、

RCM-DB

開発した並列 DB は、データ格納時に XML データを均等に分配する＝＞検索の分散並列化

実験

1,4,7

実験

2,5,8

実験

3,6

実験 9

master slave1 slave2

DBmanager

round robin data group insert

parallel search

実験番号が 1,3,6

プロジェクト、研究シリーズ、ユーザ管理、

データマージ等は DBmanager が行う

実験

1,5

実験

2,6

実験

3,7

実験

4,8

slaveDB の追加に伴うデータ再分配

master slave1 slave2 slave3

RCM-DB

DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる（１）・ RAW データ保存時自動解析（ RAW データを DB 登録時に自動解析を行う）

・自動可視化・自動断面抽出・自動サムネール作成とデータリンク

RCM-Viz

DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる（２）・インタラクティブ再解析機能（対話的に再解析でき、最終解析パラメータを DB 化）

可視化・解析データ検索画面ＸＭＬ可視化パラメータ表示画面

インタラクティブ可視化

可視化画像保存時

にＤＢ登録

インタラクティブ可視化画面

<runtime_name> ランタイム名 </runtime_name><data_set name=" データ名 " type =" データ型 "> <view_set name=" ビュー名 "> <preset> < パラメータキーワード > 設定値 </ パラメータキーワード > </preset> <read> < パラメータキーワード > 設定値 </ パラメータキーワード > </read> <transform> < パラメータキーワード > 設定値 </ パラメータキーワード > </transform> <view> < パラメータキーワード > 設定値 </ パラメータキーワード > </view>　 <output> < パラメータキーワード > 設定値 </ パラメータキーワード >　 </output> </view_set></data_set>

XML 可視化スクリプト

RCM-Viz

DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる（３）・バッチ再解析（ DB 化された解析パラメータを使って、他の複数データを再解析）

可視化・解析データ検索画面ＸＭＬ可視化パラメータ表示画面

可視化画像保存時

にＤＢ登録

バッチ可視化

<runtime_name> ランタイム名 </runtime_name><data_set name=" データ名 " type =" データ型 "> <view_set name=" ビュー名 "> <preset> < パラメータキーワード > 設定値 </ パラメータキーワード > </preset> <read> < パラメータキーワード > 設定値 </ パラメータキーワード > </read> <transform> < パラメータキーワード > 設定値 </ パラメータキーワード > </transform> <view> < パラメータキーワード > 設定値 </ パラメータキーワード > </view>　 <output> < パラメータキーワード > 設定値 </ パラメータキーワード >　 </output> </view_set></data_set>

XML 可視化スクリプト

複数のデータを指定し、同じ可視化パラメータで同時一斉可視化

RCM-Viz

業務系の SCMに対応するRCM （ R&D　 Chain Management）は、 R&Dの改善に有効！

＊研究業務は、新技術開発や技術継承のために、より IT化、

　統合システム化が進む必要があるのではないか？＊日本の研究開発競争力を高めるため、変化が激しく、個人　の暗黙知に依存している R&Dチェーンをトータルに支援する　 RCM （ R&D　 Chain Management）システムを開発、テスト導入。

＊変化の激しい研究開発をより速く、より正確に！＊研究開発者により優しく、ノウハウの継承を楽に！＊研究の進展管理等のマネジメント面でも大きく役立つ！

まとめ

RCMシステムのログDBを利用することで研究の進展度、データ参照率、改竄可能性を確認！

RCM 応用

RCMシステムのログは、 XML 形式でデータベース化され、誰が（ Who）、いつ（ When）、何を（ What)、どこで（ Where)、どのように（ How)したかが検索、トレースできる。

・進展度報告が妥当かどうかの確認。・毎回定型的な作業を手動で行っていないかどうか？＝＞効率化・参照・検索されないデータはどの程度あるか ?・データが途中で置き換わっていないか ?

入力ベクトル結合重みベクトル

学習ベクトル量子化法 (Learning Vector Quantization : LVQ)学習ベクトル量子化法 (Learning Vector Quantization : LVQ)

分類したいデータの複数の特性指標をひとつのベクトルデータと考える。

どのクラスか？

結合重みベクトル分布

学習ステップ数

異なるクラス

同じクラス

RCMシステムのトレーサビリティ機能を利用することで使用者の暗黙知を顕在化！

様々なデータはその多次元ベクトル空間に分布していることになる。すでに分類されているデータセットを用いて分類を正しくできるように多次元ベクトル空間を結合重み Vector を使い、分割（ Quantization ）を学習(Learning) する。

RCM 応用

間違ったデータペーア（偽Ｓｕｂｔｒａｃｔデータ）を９６％の再現率（数え落しの少なさ）で判定！

研究者が間違ったデータペアを登録しようとした場合、警告を発せられる。

RCM 応用

データペア：バックグラウンド： SHOT データなどのデータ対

自動分類は、実験の物理的な特性にまで有効である可能性がある

分類２－ベクトル数１０００学習回数４００００

0102030405060708090

100

3dim 10dim 13dim

LVQ学習次元数

認識

率（％

） HHGXSeededTotal

分類３－ベクトル数１０００学習回数４００００

0102030405060708090

100

3dim 10dim 13dim

LVQ学習次元数

認識

率（％

）

NoFFFarFieldTotal

ＨＨＧ実験のデータの分類は９５％以上の確率で分離

Focus- ＦａｒＦｉｌｅｄであるかないかも非常に高確率で分離

HHG:210　 Seeded:107　 X:129　 total:446

FarField:119 Focus:327 total:446

RCM 応用

2次元画像から特徴的な断面を生成するためのガイドにも、 LVQが有効（精度 75%）である●可視化パラメータのみからイメージの特徴を表す適切な断面かどうか　　を７５％の精度で予測できる。

乱数か何かで可視化パラメータをたくさん発生し（可視化は不要）、 2 つ程度の可視化パラメータ候補を見つけ出せば、ほぼ確実に得たい断面像を自動生成できることになる。

RCM 応用

　　断面グラフ生成実験・シミュレーションによる 2次元データ

研究者・技術者の自由度のある可視化・解析パラメータ

・表示範囲・コントラスト・ノイズフィルタ　　　　・　　　　・　　　　・

・断面位置・断面角度・幅方向　　積分区間・断面方向　　移動平均量　　　　・　　　　・　　　　・

xml ベースの研究管理システム rcm(r&d chain management) system

Documents