jhpcn 10-md03 the grand hall（品川） 2011...
TRANSCRIPT
次世代ジオスペース シミュレーション拠点の構築
荻野竜樹 名古屋大学太陽地球環境研究所
共同研究者 梅田隆行、松本洋介（名古屋大学）
深沢圭一郎（九州大学） 藤本桂三（理化学研究所）、他
名古屋大学情報基盤センター 東京大学、九州大学 （基盤センター） 独立行政法人情報通信研究機構 (NICT)
JHPCN 10-MD03 THE GRAND HALL（品川） 2011年7月14-15日
粒子：無衝突 衝撃波
MHD：地球磁気圏構造
ブラソフ:磁気リコネクション ブラソフ：KH不安定
shared disk
AIST
Gfarm2
STEL LINUX grc002
STEL Windows PC grc001
Nagoya
Gfarm2
universities
Gfarm2
Manager
Management Gfarm
TiTech
Gfarm2
shared disk
NII
Gfarm2
Supercomputer
M9000 FX1, HX600
Nagoya University Information Technology
Center ( ITC)
shared disk
ssh, WinSCP ssh
sftp RENKEI-POP (TiTech and others)
get put
SINET4 L3VPN/CSI-Grid (no firewall) Gfarm system: 200TB
Public Internet (firewall protection) 24-30 MB/s
ssh sftp
24-26 MB/s
ssh, WinSCP Install of Gfortran and ImageMagick
Fortran compiler
NAGOYA ITC STEL NICT 情報通信研究機構
JGN-X
SINET (名大学内LAN:NICE) - Internet
NICT OneSpaceNet Gfarm領域 ~/osn-cst/
JGN-X 管理域
専用線 (NICE) OSN端末
(VR室)
10G SW
seg-gw (Front Server)
計算機システム Linux
Windows PC
スパコン FX1, HX600, M9000
1G SW
SINET経由
seg-gfarm-n40, n41
Gfarm 100 TB
seg-vis01
seg-vis04
・・・
Shared Disk Mount Point /backup-tmp/stel/ /nfs-spool/
NICT SW ssh
ssh
Gfarm 1 PB
cp
ssh WinSCP
8-20 MB/s
高速ネットワーク SINET4, JGN2plus 1 Gbps, 10 Gbps
広域ファイルシステム Gfarm
スーパーコンピュータ 次世代スパコン
ジオスペース サイエンスクラウド Integration (PSE, Workflow, Network)
High Speed Network SINET4, JGN-X 1 Gbps, 10 Gbps
Wide Area File System
Gfarm
Supercomputer Next-Generation, K-computer
Geospace Science Clouds Integration (PSE, Workflow, Network)
ジオスペース研究とHPC
• 太陽活動によってダイナミックに変化する 「ジオスペース」（太陽から地球までの空間） を理解し、「宇宙天気予報」を実現する。
⇒ジオスペースを満たす無衝突プラズマの 非線形な振る舞いを理解するためにはHPCが不可欠
グローバル磁気圏構造と中間スケール境界層渦乱流のスケール間結合 流体スケールと粒子スケールのスケール間結合
粒子：無衝突衝撃波
MHD：地球磁気圏構造
ブラソフ:磁気リコネクション ブラソフ：KH不安定
KH渦 (Vlasov)
衝撃波 (PIC)
磁気リコネクション (Vlasov)
グローバル磁気圏構造 (MHD)
グローバル磁気圏構造と中間スケールの境界層現象とのスケール間結合 流体スケールと粒子スケールのスケール間結合
KH渦 (Vlasov)
衝撃波 (PIC)
磁気リコネクション (Vlasov)
グローバル磁気圏構造 (MHD)
グローバル磁気圏構造と中間スケールの境界層現象とのスケール間結合 流体スケールと粒子スケールのスケール間結合
( )BvEv
rvr
×+=∂∂
≡−=∂∂
nn
nn
nn
mq
t
zyxt
),,(
vv
BJvvv
v
⋅∇−∇⋅−=∂∂
×+∇−∇⋅−=∂∂
⋅−∇=∂∂
pptp
pt
t
γ
ρρ
ρρ
)(
11)(
)(
0)( =∂∂⋅×++
∂∂⋅+
∂∂
vBvE
xv f
mqf
tf
Vlasov方程式（６次元）
MHD方程式 （３次元×８変数）
モーメント計算
Maxwell方程式 （電磁場）
JBE
EB
02
1 µ−×∇=∂∂
×−∇=∂∂
tc
tBJ
BvEB
×∇=
××∇=×−∇=∂∂
0
)(
µt
基本方程式と使用・開発するコード 粒子の運動方程式（N体） MHDコード 粒子コード
Vlasovコード
MHDコード
1
10
100
1000
10000
100000
1 10 100 1000 10000
HA8000(2GB)
SR16000
FX1(8GB)
HX600(4GB)
Com
puta
tion
Spee
d
Number of Core
（GFlops）
FX1/JAXA
・プログラムの構造を決定
・１、２、３次元領域分割法の導入
・一括転送と条件文の不使用
・通信量最小化 ・Cacheのヒット率の
向上
最大実行効率 Flat MPI • HX600: 21% • HA8000(T2K): 14% • FX1: 21% • SR16000: 21% •Weak/strong scalability
計算時間と通信時間の分離 FX1 Flat MPI
1
1
10-1
10-2
101
101 102 103 104
CPU or Core Number
Com
puta
tion
Tim
e (s
ec)
1 dimension 2 dimension 3 dimension
computation
communication
1536 core
3072 core
A.大粒度多コア計算
計算時間
通信時間
B.通信時間は計算時間に 比較して2～3％と小さい
上記のAとBの結果はFX1で更にコア数を増や した場合も高効率が得られることを示唆する。
３次元可視化（VRML）した地球磁気圏の構造、北向きIMF
３次元可視化（VRML）した地球磁気圏の構造、南向きIMF
高解像度MHDシミュレーション
成果１：土星磁気圏の高解像度MHDシミュレーション （深沢等）
上：高解像度(0.1Rs) 下：低解像度(0.3Rs) (1800,1200,600) (600,400,200) 朝側磁気圏においてKH渦の形成を確認
夕側磁気圏境界層ではKH渦の発生を初めて再現
グリッド数：
朝側
夕側
朝側の渦
夕側の渦
成果１：土星磁気圏の高解像度MHDシミュレーション （深沢等）
成果２：超並列ブラソフコードの開発
PE 0 PE 1
・・・
PE nx PE nx+1
・・・ x
y
vx
vy
vz
5次元ブラソフコードのハイブリッド並列： ・実空間⇒MPI ・速度空間⇒OpenMP
1coreあたり1Gに設定した弱いスケーリング （40x20x30x30x30cells/core）
• HX600で実効効率15.5% • HA8000(T2K)で実効効率14.5% • FX1で実効効率14.0% • SR16000で実効効率10.5%
（梅田）
(Adaptive Mesh Refinement)
• CPUの負荷バランス を考慮
しつつ、適合 格子ブロックを生成
• 並列化率99.8% • 128コア@FX1で約80%のス
ケーラビリティを 達成
磁気リコネクション領域のプラズマ波動励起と粒子（イオンと電子）加速を解明 （質量比小）
AMR-PICコード （藤本）
成果４：領域分割PICコードによるKH不安定性の大規模シミュレーション （松本等）
イオン－電子質量比を変えたときの渦乱流の発生の違い
X方向 （流れの方向） にのみ1次元 領域分割 Y方向には密度
変化があるため、CPUの負荷バランスをとりにくい
渦乱流の周辺での表面波的構造の発生
実質量比 M/m=1836
粒子コードの領域分割
PE0 PE1
• 全データを領域ごとに分割 – PE毎にシミュレーション空間がある
• PE間で場の境界データと粒子をやり取り – 粒子の境界処理がややこしい
• 各PEの粒子数が 不均一になる場合がある 今後の課題
高速ネットワーク SINET3, JGN2plus 1 Gbps, 10 Gbps
広域ファイルシステム Gfarm
スーパーコンピュータ 次世代スパコン
ジオスペース サイエンスクラウド Integration (PSE, Workflow, Network)
先端的IT基盤を有効利用するためには ソフトウエアとのIntegrationが重要