hpc - amazon web services · 2014-07-30 · なぜhpc on awsなのか? awsとは?...
TRANSCRIPT
![Page 1: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/1.jpg)
© 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of Amazon.com, Inc.
TE-08 実用フェーズに入ったHPCクラウドの実力
松尾康博 ( [email protected] )
アマゾン データ サービス ジャパン
ソリューション アーキテクト
![Page 2: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/2.jpg)
自己紹介
• 名前 – 松尾康博( [email protected] )
• 仕事 – ソリューションアーキテクト
– HPC, ビッグデータに関するお客様を担当
• 好きなAWSのサービス – C3.8xlarge , API
![Page 3: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/3.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 4: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/4.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 5: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/5.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 6: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/6.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 7: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/7.jpg)
主要なHPCアプリケーション
トランスコーディング
エンコーディング
モンテカルロ
シミュレーション
計算化学
教育機関・政府機関 モデリング
シミュレーション ゲノム解析
![Page 8: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/8.jpg)
お客様のお悩み
集約した共用計算機だと・・・
• 長い待ち時間
• スペックミスマッチ
• コア数不足
各自で計算機を持つと・・・
• 予算・調達・構築
• 場所・電源・空調・騒音
• 運用管理
![Page 9: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/9.jpg)
AWSなら
![Page 10: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/10.jpg)
気軽に 待たずに 必要な時に
必要なだけのコアで
![Page 11: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/11.jpg)
Corporate Data
Center
Elastic Data
Center
![Page 12: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/12.jpg)
Corporate Data
Center
Elastic Data
Center
データをS3にアップロード
![Page 13: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/13.jpg)
Corporate Data
Center
Elastic Data
Center
マスターノードを起動
M
![Page 14: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/14.jpg)
Corporate Data
Center
Elastic Data
Center
計算ノードを起動してクラスタ稼働
開始
M
![Page 15: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/15.jpg)
Corporate Data
Center
Elastic Data
Center
M
必要に応じて必要な台数でクラスタ
を構成
![Page 16: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/16.jpg)
Corporate Data
Center Elastic Data
Center
M
ジョブが完了したらインスタンスを
Terminate
![Page 17: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/17.jpg)
Corporate Data
Center
Elastic Data
Center
計算結果をダウンロードし、結果の精
査等を行う
![Page 18: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/18.jpg)
![Page 19: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/19.jpg)
プログラムで操作可能
![Page 20: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/20.jpg)
AWS APIを使ったToolkit MIT Starcluster だと
![Page 21: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/21.jpg)
$ starcluster start -s 16 samplecluster
![Page 22: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/22.jpg)
$ starcluster start -s 16 samplecluster
StarCluster - (http://web.mit.edu/starcluster) (v. 0.93.3)
Software Tools for Academics and Researchers (STAR)
Please submit bug reports to [email protected]
>>> Using default cluster template: smallcluster
>>> Validating cluster template settings...
>>> Cluster template settings are valid
>>> Starting cluster...
>>> Launching a 16-node cluster...
>>> Waiting for cluster to come up... (updating every 30s)
20/20 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 100%
>>> Configuring SGE...
>>> Configuring NFS exports path(s):
/opt/sge6
>>> Mounting all NFS export path(s) on 16 worker node(s)
16/16 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 100%
>>> Setting up NFS took 0.198 mins
>>> Installing Sun Grid Engine...
8/8 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||| 100%
![Page 23: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/23.jpg)
![Page 24: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/24.jpg)
コマンド1つでこの構成が!
クラスター
ジョブスケジューラ
兼
NFSサーバ
計算ノード
![Page 25: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/25.jpg)
![Page 26: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/26.jpg)
$ starcluster start -s 16 cluster1 $ starcluster start -s 16 cluster2 $ starcluster start -s 16 cluster3
![Page 27: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/27.jpg)
ジョブごとにクラスタを用意すればジョブの待ち時間ゼロ!
クラスター
ジョブスケジューラ
兼
NFSサーバ
計算ノード
![Page 28: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/28.jpg)
$ starcluster terminate cluster1 $ starcluster terminate cluster2 $ starcluster terminate cluster3 $ starcluster terminate samplecluster
![Page 29: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/29.jpg)
ジョブが終われば、クラスタを削除してコスト削減
![Page 30: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/30.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 31: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/31.jpg)
AWS Summit Tokyo 2013 ( 2013/6/5)
![Page 32: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/32.jpg)
AWS Summit Tokyo 2013 ( 2013/6/5)
![Page 33: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/33.jpg)
2008 2009 2010 2011 2012 2013 2006 m1.small
2007
m1.xlarge m1.large m1.small
m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
cc2.8xlarge cc1.4xlarge cg1.4xlarge
t1.micro m2.xlarge
m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
hs1.8xlarge m3.xlarge m3.2xlarge hi1.4xlarge m1.medium cc2.8xlarge cc1.4xlarge cg1.4xlarge
t1.micro m2.xlarge m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
cc1.4xlarge cg1.4xlarge
t1.micro m2.xlarge m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
c3.large c3.xlarge
c3.2xlarge c3.4xlarge c3.8xlarge
i2.large i2.xlarge
i2.2xlarge i2.4xlarge i2.8xlarge g2.2xlarge cr1.8xlarge hs1.8xlarge m3.xlarge m3.2xlarge hi1.4xlarge m1.medium cc2.8xlarge cc1.4xlarge cg1.4xlarge
t1.micro m2.xlarge m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
c1.medium c1.xlarge m1.xlarge m1.large m1.small
インスタンスタイプの歴史
AWSを開始した2006年より、様々な用途に応じた インスタンスタイプを随時追加し、利用可能
(2014年7月18日時点で37タイプ)
今後も新しいインスタンスタイプを追加予定
2014
t2.micro t2.small
t2.medium r3.large
r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge c3.large c3.xlarge
c3.2xlarge c3.4xlarge c3.8xlarge
i2.large i2.xlarge
i2.2xlarge i2.4xlarge i2.8xlarge g2.2xlarge cr1.8xlarge hs1.8xlarge m3.xlarge m3.2xlarge hi1.4xlarge m1.medium cc2.8xlarge cc1.4xlarge cg1.4xlarge
t1.micro m2.xlarge m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small
![Page 34: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/34.jpg)
c3.8xlarge
32 vCPUs
2.8 GHz Intel Xeon
E5-2680v2 Ivy Bridge
60GB RAM
2 x 320 GB
Local SSD
2013年11月 最新・高速インスタンス登場
C3.8xlarge インスタンス
Intel® Xeon® E5-2680v2 Ivy Bridge
I/O Performance: Very High (10 Gigabit Ethernet)
Enhanced Networking (SR-IOV )
Intel® Turbo Boost Technology
![Page 35: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/35.jpg)
高性能インスタンスの変遷
CC1 CC2.8xlarge C3.8xlarge
vCPU 16 32 32
RAM (GiB) 23 60.5 60
CPU Xeon X5570
(Nehalem)
Xeon E5-2670
(Sandy Bridge)
Xeon E5-2680v2
(Ivy Bridge)
NIC 10Gbps 10Gbps 10Gbps(SR-IOV)
Launch Date Jul, 2010 Nov, 2011 Nov, 2013
$2.000/hour $1.680/hour ※2014年7月18日時点の US-EAST Linuxの価格
![Page 36: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/36.jpg)
10GbE クラスタネットワーク + Enhanced Network
Full bisection 10Gbps
低レイテンシ、低ジッター
プレイスメントグループ内にインスタンスを配備
SR-IOV対応インスタンスはさらなる低レイテンシを実現
![Page 37: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/37.jpg)
Amazon EC2 c3.8xlarge インスタンスクラスタ
1,656ノード(26,496コア)
484.2 TFLOPS TOP500 64位 (Nov 2013) 一時間当たり約29万円から
![Page 38: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/38.jpg)
0.00%
10.00%
20.00%
30.00%
40.00%
50.00%
60.00%
70.00%
80.00%
90.00%
0
100
200
300
400
500
600
2010(CC1) 2011(CC2) 2013(C3)
Efficiency
Linpak (TFlops)
Linpak Score
Linpak(Tflops)
Efficiency
Top500 性能の変遷
![Page 39: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/39.jpg)
実際の計測結果
64コアまではオンプレと同等性能
C3では128コアまでスケール
CC2とC3の性能差は 1.88倍
![Page 40: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/40.jpg)
cg1.8xlarge
33.5 EC2 Compute Units
20GB RAM
2x NVIDIA GPU
448 Cores
3GB Mem
g2.2xlarge
26 EC2 Compute Units
16GB RAM
1x NVIDIA GPU
1536 Cores
4GB Mem
G2
Intel® Intel Xeon E5-2670
1 NVIDIA Kepler GK104 GPU
I/O Performance: Very High (10 Gigabit Ethernet)
CG1 インスタンス
Intel® Xeon® X5570 processors
2 x NVIDIA Tesla “Fermi” M2050 GPUs
I/O Performance: Very High (10 Gigabit Ethernet)
GPU インスタンス
![Page 41: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/41.jpg)
• g2.2xlargeではHDX 3D Proを有効にしてサーバサイドで3Dアプリケーションの実行が可能 – 3D CAD
– プリポスト処理
– アニメーション生成
– 医療用画像処理
G2 + Citrix XenAppによるリモートグラフィックス
![Page 42: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/42.jpg)
HPC on AWS
低価格 & 様々な価格モデル クラスタ運用の効率化
ほぼ無制限のリソース(ノード数/コア数)
計算スループット向上
需要に応じて複数クラスタ起動
共同作業の効率化
![Page 43: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/43.jpg)
✜ なぜHPC on AWSなのか?
✜ AWSとは?
✜ クラスタインスタンスの性能
✜ お客様事例
Agenda
![Page 44: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/44.jpg)
主要なHPCアプリケーション
トランスコーディング
エンコーディング
モンテカルロ
シミュレーション
計算化学
教育機関・政府機関 モデリング
シミュレーション ゲノム解析
![Page 45: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/45.jpg)
Novartis Institutes for Biomedical Research
$44M 相当のスパコンを
$5K で実現
10,000台をSpotで起動
39年かかる計算を
11時間で完了
![Page 46: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/46.jpg)
![Page 47: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/47.jpg)
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
EC
2
Ames 研究センター
超並列MPI
大規模 Embarrassingly Parallel, 小規模MPI
MPI and EP
NASA 研究員
![Page 48: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/48.jpg)
![Page 49: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/49.jpg)
![Page 50: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/50.jpg)
MASTER Node 01
VPC Subnet
Node 01: parameters = set1
Node 02: parameters = set2
Node 03: parameters = set3
Node N: parameters = setN
$ bsub –J “CyArray[1-N]”
Job 投入 シミュレーション結果
取りまとめ
実行プログラムは同一で、インプットパラメータが異なる複数のシミュレーションを並列実行
AWS CloudFormation でJob投入後にクラスタを構築し並列実行
Node 02
Node N
EM シミュレーションのスケーラビリティ
![Page 51: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/51.jpg)
HPC パートナーと対応アプリケーション
![Page 52: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/52.jpg)
![Page 53: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/53.jpg)
![Page 54: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/54.jpg)
54
VT-HCM2(HPC Hybrid Cluster Manager)
主要機能
• Jobの投入とインスタンス起
動終了自動制御
• 大容量高速ファイル転送
• 課金情報収集
![Page 55: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/55.jpg)
CieSpace
Solver: OpenFOAM
Meshing :
CAD Import: CATIA, NX, etc.
Visualization :
OpenFOAM,Star-CCM, Fluent, Flow3D
Nastran, Abaqus, Ansys, Marc, LS-Dyna
WebベースのSaaS CAEサービス
![Page 56: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/56.jpg)
ソフトウェア構築済み環境を
従量課金ですぐに利用可能
http://aws.amazon.com/marketplace/hpc
AWS Marketplace
![Page 57: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/57.jpg)
AWS HPC Test Drives
AWSパートナー様が提供する
無料検証環境
http://aws.amazon.com/testdrive/hpc
http://aws.amazon.com/jp/testdrive/japan/hpc/
![Page 58: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/58.jpg)
まとめ
![Page 59: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/59.jpg)
HPCクラウドを使うことで可能になること
イノベーション
新しいHPC 領域へ
新規研究の検証
新しいHPCアプリ開発
HPCの教育
ベンチマーク調査
待ち時間の削減
ハードウェア更改からの開放
コスト削減
データ共有の容易さ
生産性向上
リードタイム短縮
カイゼン
![Page 60: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/60.jpg)
aws.amazon.com/hpc
aws.amazon.com/life-sciences
![Page 61: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/61.jpg)
2014.09.09 SAVE THE DATE
http://csd.awseventsjapan.com/
検 索 Cloud Storage & DB Day
![Page 62: HPC - Amazon Web Services · 2014-07-30 · なぜhpc on awsなのか? awsとは? クラスタインスタンスの性能 ... 計算化学 モデリング 教育機関・政府機関](https://reader033.vdocuments.site/reader033/viewer/2022050102/5f414f567bf4534b776680a5/html5/thumbnails/62.jpg)
© 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of Amazon.com, Inc.
TE-08 実用フェーズに入ったHPCクラウドの実力
Thank you!
松尾康博 ( [email protected] )
アマゾン データ サービス ジャパン
ソリューション アーキテクト