ipdps & hpdc 報告

Copyright© 2016 NTT Corp. All Rights Reserved.

IPDPS & HPDC 報告

新井淳也日本電信電話株式会社

ビッグデータ基盤研究会 (BDI)

平成28年7月4日

新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 2

自己紹介

新井淳也（アライジュンヤ）

日本電信電話（株）ソフトウェアイノベーションセンタ所属

興味：並列分散処理

頂点順序の最適化による高速なグラフ処理• 昨年8月の BDI や IPDPS’16 等にて発表

リモート DMA による「京」上の分散ファイルキャッシュ• 修論（東大石川裕研究室 ’13）

Haskell プログラムの自動並列化• 卒論（東大米澤明憲研究室 ’11）

趣味：神社巡り, 旅行


最近の研究

Rabbit Order: Just-in-time Parallel Reordering for Fast Graph AnalysisJ. Arai (NTT) et al. IPDPS’16.

グラフ処理の前に頂点を並び替えることで,メモリアクセスの局所性を向上させる手法の提案

頂点の順序を最適化

Graph Algorithms セッションの様子→

• アクセスされるデータの場所がバラバラ• 同じデータの再利用が少ない

キャッシュを活用できない！

• アクセスされるデータが密集• データの再利用が多い

キャッシュを活用できる！


2週連続で国際会議に参加してきました

IPDPS@シカゴ

HPDC@京都


IPDPS’16 概要

並列分散処理・高性能計算 (HPC) 分野の一流国際会議SC (Supercomputing) と IPDPS が HPC 分野で最も重要な会議

正式名：30th IEEE International Parallel and Distributed Processing Symposium

開催地：Hyatt Regency Chicago, シカゴ, 米国

開催日：5/23～27（23, 27 はワークショップ）

論文数：114 (採択率 23%, 1 round)

参加者：約650名ほとんどが大学や研究機関の研究者

日本からの参加組織：筑波大, 東大, 京大, 東工大, 名大, 成蹊大,九州工大, 理研, NTT (合計12名*1)

会場外観

*1) 発表プログラムの確認と日本人参加者からの伝聞による算出


IPDPS’16 写真


HPDC’16 概要

並列分散処理・HPC 分野の一流国際会議IPDPS と比べ小規模ながら質は高い

正式名：25th ACM International Symposium on High Performance Distributed Computing

開催地：京都市国際交流会館, 京都, 日本

開催日：5/31～6/4（5/31, 6/1 はワークショップ）

論文数：20 full + 9 short (採択率 15.5%, 2 rounds) さらにポスター発表28件

参加者：約150名ほとんどが大学や研究機関の研究者

日本からの参加組織：東工大, 理研, 産総研, 京大, 東大, 北大,九大, お茶大, …… (概ね人数順)

ざっと見たところ日本人は参加者の約3割

会場外観

シングルトラックなので全ての発表を聴ける


HPDC’16 写真


HPC の研究分野

IPDPS における4区分 (HPDC のフォーカスも含む)アルゴリズム：数値計算, シミュレーション, 機械学習, リソース管理, 通信

アプリケーション：計算科学 (自然科学シミュレーション等), ビッグデータ, クラウド

アーキテクチャ：プロセッサ, メモリ, インタコネクト, ストレージ, 省電力, 耐故障

ソフトウェア：プログラミング言語, ミドルウェア, OS, リソース管理

ほとんどの論文が分散 or アクセラレータ (GPU, Xeon Phi) 関連CPUによる共有メモリ型並列処理の論文は少数派

実験では HPC クラスタ (スパコン) がよく用いられる大規模 (数十～十万ノード)

低遅延・広帯域のインタコネクト (InfiniBand, Gemini, Tofu, ...)

遅いファイルアクセス (ノード毎のローカルディスクと比べて)

• 全ノード共有の並列ファイルシステム (Lustre 等) を使用するため


スポンサー

http://www.ipdps.org/ipdps2016/2016_partners_exhibitors.htmlより引用

http://www.hpdc.org/2016/sponsorship/より引用

IPDPS HPDC

イリノイ州にあるBI企業


国別論文件数（第一著者の所属で判定）

両会議とも同じ傾向：米が圧倒的多数, 2位は同数で中独

USA 70

China 8

Germany 8

6

33

2

Japan 2

2 211111111

USA China Germany FranceIndia Switzerland Italy JapanSingapore Spain Austria BrazilCanada Greece Ireland NetherlandsSaudi Arabia Sweden

IPDPS114件

USA 22

China 2

Germany 2 1 1

USA China Germany India Switzerland

HPDC28件

理研とNTT


ワークショップ（青字はビッグデータ関連）

IPDPS1. Heterogeneity in Computing Workshop (HCW)2. Reconfigurable Architectures Workshop (RAW)3. Workshop on High-Level Parallel Programming Models & Supportive Environments (HIPS)4. Workshop on High Performance Computational Biology (HiCOMB)5. Advances in Parallel and Distributed Computational Models (APDCM)6. Accelerators and Hybrid Exascale Systems (ASHES)7. Parallel Computing and Optimization (PCO)8. Graph Algorithms Building Blocks (GABB)9. NSF/TCPP Workshop on Parallel and Distributed Computing Education (EduPar)10. High Performance Data Analysis and Visualization (HPDAV)11. Variability in Parallel and Distributed Systems (VarSys)12. High-Performance, Power-Aware Computing (HPPAC)13. Workshop on Parallel and Distributed Scientific and Engineering Computing (PDSEC)14. Dependable Parallel, Distributed and Network-Centric Systems (DPDNS)15. Large-Scale Parallel Processing (LSPP)16. Parallel and Distributed Computing for Large Scale Machine Learning and Big Data Analytics (ParLearning)17. Workshop on Job Scheduling Strategies for Parallel Processing (JSSPP)18. International Workshop on Automatic Performance Tuning (iWAPT)19. Chapel Implementers and Users Workshop (CHIUW)20. High-Performance Big Data Computing (HPBDC)21. Monitoring and Analysis for High Performance Computing Systems Plus Applications (HPCMASPA)22. Emerging Parallel and Distributed Runtime Systems and Middleware (IPDRM)23. Parallel and Distributed Processing for Computational Social Systems (ParSocial)

HPDC1. Workshop on Fault-Tolerance for HPC at Extreme Scale (FTXS)2. High Performance Graph Processing (HPGP)3. Software Engineering Methods for Parallel and High Performance Applications (SEM4HPC)4. Seventh International Workshop on Data-Intensive Distributed Computing (DIDC)5. 6th International Workshop on Runtime and Operating Systems for Supercomputers (ROSS)6. 7th Workshop on Scientific Cloud Computing (ScienceCloud)

多い


基調講演

IPDPS

1. 破壊的な技術とは何か, どうしたら生み出せるのかDisruptive Research and Innovation (Kai Li, Princeton U.)

2. HPC における今後のメモリ技術の方向性Memory, Storage and Processing in Future Parallel and Distributed Processing Systems(Thomas Pawlowski, Micron)

3. 宇宙論研究のためのポータブルなソフトウェアの開発Unlocking the Mysteries of the Universe with Supercomputers(Katrin Heitmann, Argonne National Lab.)

HPDC

1. ムーアの法則の終焉という「第6の波」への対応Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.)

2. 今後のスーパーコンピュータの発展の方向性と研究課題With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee)

3. 将来の計算機に必要なメモリの抽象化, NVM の活用Implications of Heterogeneous Memories in Next Generation Server Systems(Ada Gavrilovska, Georgia Tech.)


基調講演

IPDPS

1. 破壊的な技術とは何か, どうしたら生み出せるのかDisruptive Research and Innovation (Kai Li, Princeton U.)

2. HPC における今後のメモリ技術の方向性Memory, Storage and Processing in Future Parallel and Distributed Processing Systems(Thomas Pawlowski, Micron)

3. 宇宙論研究のためのポータブルなソフトウェアの開発Unlocking the Mysteries of the Universe with Supercomputers(Katrin Heitmann, Argonne National Lab.)

HPDC

1. ムーアの法則の終焉という「第6の波」への対応Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.)

2. 今後のスーパーコンピュータの発展の方向性と研究課題With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee)

3. 将来の計算機に必要なメモリの抽象化, NVM の活用Implications of Heterogeneous Memories in Next Generation Server Systems(Ada Gavrilovska, Georgia Tech.)

「ムーアの法則」の終焉に関連する話題が頻出


基調講演まとめ：

「ムーアの法則」の終焉

ムーアの法則：プロセッサの集積密度は約2年で倍増する

性能向上と省電力化が同時に進行 (デナードスケーリング)

物理学的制約と経済的制約によってムーアの法則は終わる

トランジスタ数∝消費電力に近づく (コア数2倍なら電力も倍)

集積度向上のためのコストが高騰し, 利益に対して割に合わなくなる

2020年半ばには計算機の性能向上が止まる (かも？)

これまでの世界：FLOPS は勝手に上昇する• ただし並列化はソフトウェア側でうまくやる必要がある

ムーアの法則終焉後の世界：FLOPS も増えない• 消費電力の制約で性能を上げられなくなる



「ムーアの法則」終焉への対策 (ハード)

• 計算用途向けに特殊化したアーキテクチャ広義には GPU や FPGA も

組込みでは Digital Signal Processor (DSP) などで以前からやっている

• NVM や, HMC, HBM など低消費電力なメモリ

• 3次元積層 (縦方向への回路の積み重ね) など高度な半導体技術

• 計算ノード間光インタコネクト

• 脳を模したプロセッサ (IBM TrueNorth, SpiNNaker 等)

• 量子計算



「ムーアの法則」終焉への対策 (ソフト)

• データ移動を減らすアルゴリズム設計演算よりもメモリアクセスのほうが多くの電力を消費する

• 複雑なハードを効率的に扱えるシステムやプログラミングモデル深くなるメモリ階層や多様なアクセラレータの活用

64-bit multiply add Read 64 bits from cache Move 64 bits across chip Execute and instruction

Read 64 bits from DRAM

HPDC Keynote 2(by Jack Dongarra) より


セッション構成 (青字はビッグデータ関連)

IPDPS1. Graph Algorithms2. Software Environments and Tools3. Network Architecture4. Application Optimization5. Linear Algebra & Solvers6. Fault Tolerance & Resilience7. Modeling and Evaluation8. Graph Applications9. Cloud Resource Allocation10. Memory Management11. Scheduling and Resource Management12. Scientific Applications (1)13.Clustering & Partitioning14. Accelerated Computing15. Memory Hieracrchy16. Optimization Techniques17. Communication Efficiency & Avoidance

Algorithms18. Distributed Algorithms

19. I/O and Storage20. Scientific Applications (2)21. Numerical Algorithms22.Graphs and Tensors23. Runtime Systems24. GPUs25. Scheduling26. System Software27. Security & Fault Tolerance28.Data Streaming

HPDC1. High Performance Networks2. Parallel and Fault Tolerant algorithms3. Big Data Processing and I/O4. Systems, networks, and architectures for

high-end computing5. Cloud and resource management6. Massively Multicore Systems7. Graph Algorithms8. Potpourri

グラフが目立つが, 疎行列演算や SGD 等は数値計算系のセッションにも含まれる


論文タイトルのワードクラウド

Parallel 23

Memory 16

Algorithm 16

Graph 12

Distributed 12

Data 12

出現回数上位5つ

Aware 5

System 4

Performance 4

Memory 4

Graph 4

Distributed 4

出現回数上位5つ全体のワード数が少ないので浮上

IPDPS

HPDC

Distributed-/Shared-Memory

注目されている


グラフ関連研究の傾向

多数の採択 (全体の約15%), 併催ワークショップなど関心が高いGraph Algorithms Building Blocks (GABB) ― IPDPS 併催

High Performance Graph Processing (HPGP) ― HPDC 併催

アルゴリズムから実験・実測まで広範• Subgraph counting アルゴリズムとその分散実装 [Chakaravarthy+ IPDPS’16],

• MPI と OpenMP による簡潔な分散グラフ処理の実装 [Slota+ IPDPS’16] など

HPC では単純な問題 (PageRank や BFS) の高速化が多い印象だが, IPDPS は多彩な問題を扱う傾向にある (subgraph counting, 極大マッチ, 彩色, ...)

ワークショップでは実世界のタスクを意識した研究が多い特に動的グラフの管理と分析は GABB での発表の半数を占めた

• 実世界のグラフ (ソーシャルネットワークや Web グラフ) は時間経過で変化する

• HPGP でも IBM ワトソン研の鈴村氏より動的グラフの重要性が強調された

会議本体よりも問題設定が DB 分野に近い印象


そのほかビッグデータ関連の発表

Spark 高速化

• 透過的に GPU を利用可能にするライブラリ [Grossman+ HPDC’16],• 動的なメモリ割当て最適化 [Xu+ IPDPS’16] など

機械学習研究者に HPC クラスタの高い計算能力を提供したい

Hadoop MapReduce に関する論文はゼロ (Spark に移行？)

機械学習 (ML)• マルチコア・メニーコアでの CNN 高速化 [Zlateski+ IPDPS’16 best paper],

• 確率的勾配降下法 (SGD) の高速化 [Sallinen+ IPDPS’16]

世の中は AI ブームだが, 論文数は意外と少ない印象

ML を用いたスケジューリング [Ukidave+ IPDPS’16], エラー予測 [Vishnu＋ IPDPS’16] も

DB 感のあるもの• RDMA と SSD を用いた Key-Value Store [Shankar+ IPDPS’16]


まとめ

IPDPS と HPDC について俯瞰したどちらも HPC 分野で重要な国際会議

ムーアの法則の終焉について基調講演をまとめた消費電力問題を解決するためハードウェアとソフトウェア両面の取組みが必要

ビッグデータ関連の研究動向について紹介したグラフは依然注目を集めており, 機械学習に対しても足回りとして関係している

ipdps & hpdc 報告

Technology