NTT技術ジャーナル　2016.828

NetroSphereの普及に向けた取り組み

新たな分野へのMAGONIAの展開

NTTネットワークサービスシステム研究所では，NetroSphere構想の一環として，サービスの早期創出や開発 ・ 運用コストの抜本的な削減に向けた 新 た な サ ー バ ア ー キ テ ク チ ャ

「MAGONIA」の研究開発に取り組んでいます（1），（2）．MAGONIAの中核を担う分散処理技術は，通信系システムに求められる高い耐障害性やスケーラビリティ，短いレスポンスタイムを実現します．これらの機能は通信系以外のシステムにおいても必要とされるため，MAGONIAの適用先の拡大による新たなサービスの創出や開発期間の短縮をめざし，2015年 9 月からNTTデータと共同で「渋滞予測 ・ 信号制御システム」（３）への適用性を評価する実験を行いました（4）．

共同実験の概要

渋滞予測 ・ 信号制御システムはリアルタイムに収集した大量のセンサデータから，対象エリアにおける車の動きを分析し（以下，交通シミュレーション），この結果に基づいて信号機を制御します（図 ₁ ）．実用化に向けては，システムに高い耐障害性が求められま

す．また，交通シミュレーションに要する計算量が交通量の変化に応じて変わるため，負荷の増減に柔軟に対応するためのスケーラビリティが求められます．さらに，制限時間内に分析結果を信号機へフィードバックするための短いレスポンスタイムも求められます．

渋滞予測 ・ 信号制御システムの実用化に向けたこれらの課題を解決すべく，既存の交通シミュレーションロジックをMAGONIAの分散処理基盤上に搭載し，十分な耐障害性，スケーラビリティ，レスポンスタイムの実現性について評価しました．

交通シミュレーションの計算モデル

交通シミュレーションでは，信号機へのフィードバック周期内に処理を完了しなければならないため，シミュレーション対象エリアを小さなエリア

（以下，セル）に分割し，複数の計算ノードを利用してセル単位で並列処理を行います．この際，セル間で車が移動する可能性があるため，各セルの処理は完全には独立しておらず，セル間で協調動作が必要になります．

このような処理を効率的に行う方法として，BSP（Bulk Synchronous Parallel）（5）と呼ばれるモデルが利用さ

MAGONIA 分散処理 高度道路交通システム

渋滞予測・信号制御システム：リアルタイムに収集した大量のセンサデータを利用し，対象エリアにおける交通傾向を分析（交通シミュレーション）し，分析結果に基づいて信号機をコントロールすることで渋滞を緩和．今回，交通シミュレーションを行う計算ノードにMAGONIA分散処理基盤を適用することで，耐障害性やスケーラビリティを向上．

各計算ノードにMAGONIAを適用

MAGONIA

交通制御Feed-back

計算ノードクラスタ

センサデータ

交通系ビッグデータ

信号機の制御交通シミュレーションデータの収集（リアルタイム）

図 1 　渋滞予測・信号制御システムの概要

MAGONIA（分散処理基盤）：渋滞予測 ･信号制御システムへの適用

将来の交通制御システムやスマートグリッドのように，センサ情報などの大量データをリアルタイムに収集・分析し，システムにフィードバックする高度な社会基盤を実現するには，高い計算能力と高い耐障害性が求められます．本稿では，NetroSphereを構成する新たなサーバアーキテクチャ「MAGONIA」の分散処理技術を，NTTデータにて研究開発中の社会基盤「渋滞予測・信号制御システム」へ適用した事例を紹介します．

小こばやし

林 弘ひろあき

明 /北き た の

野 雄たけひろ

大

岡おかもと

本 光みつひろ

浩 /福ふくもと

元 　健たけし

NTTネットワークサービスシステム研究所

NTT技術ジャーナル　2016.8 29

特集

れます．BSPは「Local Com pu ta tion（LC）」「Communication（Com）」「Sync」の ３ つのフェーズで構成される「Super step」と呼ばれる単位で繰り返し処理を行います．交通シミュレーションにおける各フェーズの処理内容は図 ２ のようになります．

MAGONIA分散処理基盤の適用

これまで，MAGONIAの分散処理基盤は電話のような通信系サービスで有効性を実証してきました．通信系サービスではセッション単位（例：通話単位）で負荷分散されます．セッションどうしは元々独立しているため，分散される処理はお互い疎な関係にあり，前述のBSPモデルとは動作特性が大きく異なります．今回，このギャップを埋めるためにBSPにおけるComおよびSyncをサポートするアダプタ

を新たに導入しました（図 ３ ）．これにより，開発済みの交通シミュレーションロジックの改造を最小限に抑え，分散処理基盤上に搭載することに成功しました．■システムの概要

分散処理基盤上へ搭載後のシステム（図 ３ ）では，はじめに，計算ノードクラスタにセル単位で処理を分散させます．各計算ノードは割当てられたセルごとにLCを実行し，LCを完了するとComフェーズに移行し，隣接セルにデータをsendします．そして，Comフェーズを完了するとSyncフェーズに移行し，Syncを完了すると次のSuper stepに進めます．■耐障害性の向上

耐障害性を担保するために，分散処理基盤はチェックポインティングをサポートしています．各セルのチェック

ポイントは複数の計算ノードに複製され，ノード故障時には複製を持つノードに「セル単位」で自動的にフェイルオーバ（処理引き継ぎ）されます．このように「セル単位」でフェイルオーバ先を分散させることで負荷上昇を抑えます．

今回の実験では，交通シミュレーション中に計算ノードに故障が発生しても，迅速にフェイルオーバし，フィードバック周期内にシミュレーションを完了できることが確認できました．これほど高いレベルで故障の影響を抑えられることは，分散処理基盤の大きな特長です．また，計算ノードクラスタ間で完結してチェックポインティングやフェイルオーバを実現しているため，外部のデータストアに依存することなく耐障害性を実現できます．

（a）　交通シミュレーション （b）　BSP

Time

Super step 1 Super step 2

Cell 1

Cell 2

Cell 3

Cell 4

対象エリアをセルに分割

隣接セル間で車が移動LC

経過時間△t におけるセル内の車の動きを計算

Comセル間の車の移動情報を送受信

Sync全体でシミュレーション時刻を同期

セル単位で並列計算

図 2 　交通シミュレーションの処理モデル

NTT技術ジャーナル　2016.830

NetroSphereの普及に向けた取り組み

■スケーラビリティの向上分散処理基盤はシミュレーション無

中断での計算ノードの追加 ・ 削除をサポートします．交通量の変化などに伴う負荷変動に応じて，計算ノードの台数およびセルと計算ノードのマッピングを動的に変えることで，適切なリソース量を確保します．実験では，交通シミュレーションを中断させることなく計算ノードを動的に追加 ・ 削除できることが確認できました．■レスポンスタイムの短縮

分散処理基盤はLCを実行する計算ノードのインメモリにデータを置くことで，ネットワークやディスクへのアクセスを削減します．さらに，LC，

Comのそれぞれに個別にスレッドを割り当てることで，LCとComをオーバラップさせ，時間的オーバヘッドを極力削減します．実験では，これらの高速化により，信号機へのフィードバック周期内に交通シミュレーションを完了できることが確認できました．

今後の展開

今後は，実際のセンシングデータを用いた評価に取り組む予定です．また，通信系や今回の交通系に限らず，耐障害性やスケーラビリティを必要とする多様なサービスへのMAGONIAの展開を推進していきます．

■参考文献（1） 四七：“MAGONIA：サービスの早期創出や

開発 ・ 運用コストの大幅な削減に向けた新たなサーバアーキテクチャ：NetroSphere構想実現に向けて，” 信学技報，Vol.115，No.404，pp.59-6３，2016.

（2） 小 野 ・ 吉 岡 ・ 金 子 ・ 近 藤 ・ 宮 坂 ・ 副 島 ・ 森谷 ・ 可 児 島 ・ 増 田 ・ 古 賀 ・ 土 屋 ・ 山 下 ・ 土川 ・ 山田：“NetroSphere構想の実現に向けた取り組み，” NTT技術ジャーナル，Vol.27，No.8，pp.14-21，2015.

（3） ht tp ://www.nt tda ta . com/jp/ ja/news/release/2016/05３101.html

（4） http://www.ntt.co.jp/news2016/1604/160412a.htm

（5） L. G. Valiant：“A bridging model for parallel computation,” Comm. ACM，Vol.３３，No.8，pp.10３-111, 1990.

（後列左から）岡本 光浩/ 北野 雄大 （前列左から）小林 弘明/ 福元 　健

NTTグループ内外と広く連携し，多種多様なサービスにMAGONIAの価値を提供していきます．ご意見，ご要望をお待ちしています．

◆問い合わせ先NTTネットワークサービスシステム研究所 ネットワーク制御基盤プロジェクトTEL 0422-59-3841FAX 0422-59-5653E-mail　kobayashi.hiroaki lab.ntt.co.jp

シミュレーションロジック（LC）

アダプタ

Com&Sync

障害管理計算ノード

複製

データ管理（インメモリ）

cell

シミュレーションロジック（LC）

アダプタ

スケーリング

障害管理計算ノード

計算ノードクラスタ

青：MAGONIA 分散処理基盤赤：アプリケーション緑：アダプタ

データ管理（インメモリ）

cell

シミュレーションロジック（LC）

アダプタ

Com&Sync

障害管理計算ノード

データ管理（インメモリ）

cell

スケーリングや故障などによるノード追加・削除時はセル単位でノード間の負荷調整を行う

負荷分散 負荷分散負荷分散

図 3 　分散処理基盤搭載版の渋滞予測・信号制御システム