boston viridis for hadoop by elsa japan
TRANSCRIPT
低消費電⼒ARMサーバーをオンチップ⾼速インターコネクトで⾼密度に集積したクラスタをHadoopにカスタマイズ
BOSTON Viridis
• Boston Viridis – 電⼒効率に⾮常に優れたサーバーの誕⽣– Calxeda EnergyCore プロセッサーを採⽤
• 1枚のサーバーモジュールに4基のEnergyCoreプロセッサを搭載• 2Uサイズのサーバー筐体に48基のEnergyCoreプロセッサを集約 – 192
コア–
各EnergyCore SoCには4GBまでのDRAMを接続可能
•
Cortex A9プロセッサによる制約•
各SoCを単機能に専⽤化することにより
各コンポーネントが必要なメモリ量だけ に節約でき， OSのメモリ消費量も削減
できるため，制約を極⼩化可能。•
Cortex A15プロセッサではメモリ空間が
1TBまで拡⼤。 CALXEDA-BOSTONもCortex A15
対応モデルをリリース(2013 1Q末予定)
BOSTON Viridis for Hadoop
• Hadoopアプライアンス–
オープンソースによるデータ集中
型分散アプリケーションには， Viridisサーバーが適しています
• Apache Hadoopをプレインストー ルしたクラスターサーバーを，繋 いで即使える状態で提供します
–
⾼いスケーラビリティを提供–
チューニングも可能です
–
展開が容易になります•
数ペタバイトにも及ぶデータを低
消費電⼒のサーバにより利⽤可能 となります
BOSTON Viridisが採⽤している Calxeda EnergyCore SoC のアーキテクチャ
EnergyCoreTM
Management Engine
システム・電⼒・ファブリック
の最適化・管理機構
IPMI・DCMI準拠
I/Oコントローラ
SATA 3Gb/s×5chPCIe gen2 (x4 + x2 + x1)×4eMMC/MMC/SD controller
10GbE controller ×3
プロセッサ複合体
Cortex A9 4コア広帯域メモリコントローラ
EnergyCoreTM
Fabric Switch
ノード間遅延200ns以下トポロジーは透過的
OSは2ポートのNICを認識最大消費電力 5W
アイドル時消費電力 0.5W以下(4GB DRAM搭載時)
EnergyCoreのリファレンスプラットフォーム Calxeda EnergyCard
EnergyCoreTM
4コアSoC
10Gb Ether Link ×8
各SoC専用の4ch SATA I/F
各SoCに供給するDRAM4GB ECC mini-DIMM
一枚の基盤に4基のEnergyCore SoCを搭載消費電力20Wバックボードに挿すだけ; 外部スイッチ不要
EnergyCardの相互接続トポロジー
赤い矢印からシャーシ外への10Gb Ethernetポートに接続。
シャーシ内部は固定的・透過的なトポロジーにより相互に接続し，
各SoCは2ポートの10Gb Ethernetポートをファブリック上に持つ。
hadoophadoop Framework
• Hadoopは⼤きく分けて次の2つのシステムによって構成される– Hadoop Distributed File System
• ⾃⼰修復機能のある広帯域クラスタストレージ– MapReduce
• 分散・耐故障性のある，プログラムによるスケーラブルなデータ抽出機能 を持ったリソースの管理・スケジューリングシステム
• 重要な性質– Flexibility
• いかなるデータも保管・解析可能– Scalability
• 1TB/3ノード〜数PB/数千ノード– Economics
• コストもまた線形にスケールする こと
Hive Pig
HBaseMapReduce
HDFSTM
(Hadoop Distributed File System)
DISK DISK DISK DISK DISK DISK
Hadoop Distributed File System
Master node
Name Nodes
HDFS Server
HDFSClient
Data Nodes
SATA接続ノード SATA不要ノード
ZooKeeperZooKeeper
HBase
ZooKeeperZooKeeper
HDFS
HRegionServers
HMaster
HBaseClient
Javaで構築されており
ノード間はソケットで通信を行う
Memcached
Database Server
InternetInternet
MemcachedServers
WebFrontend
ApacheBench Results and Power Comparison
Boston Viridis Intel Xeon E3- 1240 [1]
Core Frequency 1.1 GHz 3.3 GHz
CPU Coures 4 4Total Requests 1,000,000 1,000,000Requests per Second 5500 6950Latency (Average) 9 ms 7 msPower (Average)[2] 5.26 W 102 W[3]
Performance/Watt Advantage 8-15X
BOSTON Viridis による展開のメリット
• 物理的仮想化–
ユーザごとに物理的なリソースを
専⽤に割り当て，QoSを保証可能–
ポリシーによるリソース割当も可
能–
外部のスイッチ・負荷分散器・
SSLオフロードといったネットワ ークアプライアンスを節約可能
•
内蔵の分散ストレージ–
外部のストレージ専⽤アプライア
ンスが不要に–
電源とネットワークのケーブルを
接続してスイッチを⼊れるだけで 即展開可能
•
低TCO–
装置全体の消費電⼒は300W以下
–
2Uサイズに最⼤48SoC/192コア
ご⽤命は…
•
エルザジャパンにお問い合わせください。– BOSTON製品の⽇本国内のVARです。– HPC&システム事業部
(担当:鈴⽊)
– Tel. (03) 5765-7391– E-mail: [email protected]– URL: http://www.elsa-jp.co.jp
•
プレゼンテーション、デモ、および検証作業のご協⼒に伺 います。
–
ターゲットアプリケーション、評価の規模などをあらかじめ教えて いただければ、BOSTONと連携し、最適な構成を⽤意して検証い
ただけるようセットアップします。–
技術的質問・改修のご要望など、BOSTONとのやりとりはすべて
エルザジャパンにてご対応いたします。
14