次世代ジオスペースシミュレーション拠点の構築

荻野竜樹

名古屋大学太陽地球環境研究所

共同研究者

梅田隆行、松本洋介（名古屋大学）

深沢圭一郎（九州大学）

藤本桂三（理化学研究所）、他

名古屋大学情報基盤センター

東京大学、九州大学 （基盤センター）

独立行政法人情報通信研究機構 (NICT) 

JHPCN 10‐MD03 計算科学研究機構（神戸） 2011年１月12‐13日

ジオスペース研究とHPC

• 太陽活動によってダイナミックに変化する「ジオスペース」（太陽から地球までの空間）を理解し、「宇宙天気予報」を実現する。

⇒ジオスペースを満たす無衝突プラズマの非線形な振る舞いを理解するためにはHPCが不可欠

KH渦 (Vlasov)

衝撃波 (PIC)

磁気リコネクション (Vlasov)

グローバル磁気圏構造(MHD)

グローバル磁気圏構造と中間スケールの境界層現象とのスケール間結合流体スケールと粒子スケールのスケール間結合

( )BvEv

rvr

×+=∂∂

≡−=∂∂

nn

nn

nn

mq

t

zyxt

),,(

vv

BJvvv

v

⋅∇−∇⋅−=∂∂

×+∇−∇⋅−=∂∂

⋅−∇=∂∂

pptp

pt

t

γ

ρρ

ρρ

)(

11)(

)(

0)( =∂∂⋅×++

∂∂⋅+

∂∂

vBvE

xv f

mqf

tf

Vlasov方程式（６次元）

MHD方程式

（３次元×８変数）

モーメント計算

Maxwell方程式

（電磁場） JBE

EB

02

1 μ−×∇=∂∂

×−∇=∂∂

tc

t

BJ

BvEB

×∇=

××∇=×−∇=∂∂

0

)(

μt

基本方程式粒子の運動方程式（N体）

本プロジェクトで使用・開発するコード

• 磁気流体力学（MHD）コード

– MHD方程式 実空間３次元

• 電磁ブラソフ（無衝突ボルツマン）コード– ブラソフ方程式＋マックスウェル方程式

実空間３次元＋速度空間３次元＝６次元

• 電磁粒子(PIC: Particle‐In‐Cell)コード

– 運動方程式＋マックスウェル方程式

ラグランジュ変数とオイラー変数が混在

MHDコード

FX1/JAXAこれまでに、様々な超並列機で超高効率計算の実績あり– 7.4TFLOPS(92%)

@旧ES

– 2.3TFLOPS(19%)@HPC2500

最大実行効率 Flat MPI• HX600: 21%• HA8000(T2K): 14%• FX1: 21%• SR16000: 21%

計算時間と通信時間の分離 FX1  Flat MPI

1

1

10-1

10-2

101

101 102 103 104

CPU or Core Number

Com

puta

tion

Tim

e (s

ec)

1 dimension2 dimension3 dimension

computation

communication

1536 core

3072 core

A.大粒度多コア計算

計算時間

通信時間

B.通信時間は計算時間に比較して2～3％と小さい

上記のAとBの結果はFX1で更にコア数を増や

した場合も高効率が得られることを示唆する。

成果１：土星磁気圏の高解像度MHDシミュレーション （深沢等）

上：高解像度(0.1Rs) 下：低解像度(0.3Rs)(1800,1200,600)                   (600,400,200)朝側磁気圏においてKH渦の形成を確認

夕側磁気圏境界層ではKH渦の発生を初めて再現

グリッド数：

朝側

夕側

朝側の渦

夕側の渦

成果２：超並列ブラソフコードの開発

PE 0PE 1

・・・

PE nx PE nx+1

・・・

・・・

・・・

x

y

vx

vy

vz

5次元ブラソフコードのハイブリッド

並列：・実空間⇒MPI・速度空間⇒OpenMP

1coreあたり1Gに設定した弱いスケーリング（40x20x30x30x30cells/core）

• HX600で実効効率15.5%• HA8000(T2K)で実効効率14.5%• FX1で実効効率14.0%• SR16000で実効効率10.5%

（梅田）

成果３：並列AMD‐PICコードの開発

AMR‐PICコード

(Adaptive Mesh Refinement)

[Fujimoto & Machida, 2006; Fujimoto & Sydora, 2008]

(Particle In Cell)

( )BvEv

rvr

×+=∂∂

≡−=∂∂

nn

nn

nn

mq

t

zyxt

),,(

JBE

EB

02

1 μ−×∇=∂∂

×−∇=∂∂

tc

t

オイラー変数ラグランジュ変数 混在

（藤本）

(Adaptive Mesh Refinement)

• CPUの負荷バランス

を考慮しつつ、適合格子ブロックを生成

• 並列化率99.8%

• 128コア@FX1で約80%のスケーラビリティを達成

磁気リコネクション領域のプラズマ波動励起と粒子（イオンと電子）加速を解明 （質量比小）

成果４：領域分割PICコードによるKH不安

定性の大規模シミュレーション （松本等）

イオン－電子質量比を変えたときの渦乱流の発生の違い

X方向

（流れの方向）にのみ1次元

領域分割

Y方向には密度

変化があるため、CPUの負荷バラ

ンスをとりにくい

渦乱流の周辺での表面波的構造の発生

実質量比M/m=1836

粒子コードの領域分割

PE0 PE1

• 全データを領域ごとに分割– PE毎にシミュレーション空間がある

• PE間で場の境界データと粒子をやり取り

– 粒子の境界処理がややこしい

• 各PEの粒子数が不均一になる場合がある 今後の課題

高速ネットワーク

SINET3, JGN2plus1 Gbps, 10 Gbps

広域ファイルシステム

Gfarm

スーパーコンピュータ

次世代スパコン

ジオスペース サイエンスクラウドIntegration (Workflow, Network)

先端的IT基盤を有効利用するためにはソフトウエアとのIntegrationが重要

太陽地球環境研究所

スパコンdisk

名古屋大学情報基盤センター

10G SW

JGN2+

Alaxala AX3630S24T2X

NICE名古屋大学キャンパス情報ネットワーク

河口研

ストレージサーバ Gfarm

96TB

サーバ室

NICT OneSpaceNet－名古屋大学接続図（2010/09）

管理用

マウントポイント/backup_tmp/stel の部分だけ限定機に NFS マウントを許可

NFS クライアント兼、スパコン disk から Gfarm へ

のファイル転送を担当

10G SWDELL Power Connect6224

OSN端末

New  SWDELL Power  Connect6224

JGN2plus

計算機システム

GRIDスパコンHX60016ノード

M9000（名大基盤センター管理の I/O nノード）

サイエンスクラウド

まとめ

• 超並列MHDコードによる高解像度グローバ

ル磁気圏シミュレーションを実施

• 超並列ブラソフコードを開発

• 並列AMR‐PICコードを開発

• 領域分割並列PICコードによるKH不安定性の

大規模シミュレーションを実施

• 先端的IT基盤を有効利用するためのジオス

ペースサイエンスクラウドを構築：利用促進