softlayerベアメタル + fusion iomemory
TRANSCRIPT
© 2015 IBM Corporation
ベアメタルサーバー+Fusion ioMemory
SOFTLAYER
2015年5月19日
日本アイ・ビー・エム株式会社
クラウド事業統括 高良 真穂
本書に含まれる情報は、貴社内部のご検討、評価の目的のために提供されるものです。貴社内でのご使用,複製、開示はこの目的のために必要な範囲でのみお願いいたします。貴社との間で正式な契約が成立した場合には、それに従ってこれをお取り扱い願います。なお、貴社にて既に取得されている情報については、これらの制限は及びません。
© 2015 IBM Corporation
SanDisk社 Fusion ioMemoryが、ベアメタルで使える様になりました!
2
または
2Uサーバー
4Uサーバー
+Fusion ioMemory SX-300
電源と冷却の関係で、1Uサーバーには装着できないので注意ねがいます。
ベアメタル
ブッチギリの高性能!SSDに比べ5倍SATAに比べ400倍
(グローバル共通サービス)
© 2015 IBM Corporation
Fusion ioMemory とは?
3
PCI Expressバスに接続して利用する超高速ストレージ
一般的 SSDFusion ioMemory
転送速度: 0.6Gバイト/秒インタフェース: SATA3
転送速度: 8Gバイト/秒インタフェース: PCIe x 8
PCI Express 2.0はSATA3の約13倍の転送速度(バスの規格であって、機器の性能ではありません)
>
PCI Express 2.0
SATA3
© 2015 IBM Corporation
Fusion ioMemory の性能差は?
4
実ワークロードに近い ランダム R/Wを使って比較した結果、 fusion ioMemoryは突出した性能差であることが実測されました。
測定方法: fioコマンド条件: ランダム R/W、ブロックサイズ 4K、同時並行数64
サーバー: Xeon E5-2650-V3 20 core
SSDに比べ5倍の早さSATAに比べ400倍の早さ
© 2015 IBM Corporation
Fusion ioMemoryの性能の特徴
5
NAND型フラッシュ・メモリのストレージなのに、ランダム書込みが早い
RDB読取りはチューニング可能であるが、書込みはストレージの性能依存のため難しい
フュージョンは書込みが高速
SSDは書込みが遅い
磁気ディスクをデータ領域に使うのは論外!?
© 2015 IBM Corporation
iSCSI系のストレージサービスとの違い SoftLayerには、エンデュランス・ストレージやパフォーマンス・ストレージといった高速ストレージがありますが、
Fusion ioMemoryを使うことのメリットは?
6
物理ディスク・アレイ(磁気ディスク)
ストレージプール
論理ディスク
RAID化、I/Oの分散高速化のための物理ディスク集合単位
ストレージプールから必要量に小分け
大容量ライト・キャッシュ
データの一貫性と書込み高速化のため停電対策を装備するメモリ
データを複数の磁気ディスクに分散することで、高速化を実現
TCP/IP LAN
iSCSIプロトコル
ベアメタル仮想サーバー
PCIeバスに装着して利用
物理ディスクが故障しても無停止で取り替え
最短パスで性能最優先!
コントローラが故障しても無停止交換
短いパスで最高の性能確保
© 2015 IBM Corporation
ベアメタルでFusion ioMemoryを利用するには?
以下2つのパターンが利用可能
SoftLayerの裏メニューを利用するパターン1. IBM SoftLayer営業経由で、Fusion ioMemoryのモデルと数量、データセンターを指定して、月額
利用料金の見積もりを取得 (案件ベースで推進)
2. 実装するベアメタルのモデルを決めて、チケットからオーダー
3. 利用者は、OSにFusion ioMemoryのドライバをインストールして利用開始
4. 故障時は、SoftLayerのDC常駐技術員が交換等の対応実施
COD(Customer Own Device)サービスを利用1. 利用申請:以下をチケットに書き込んで依頼する
• PCIeカードのモデル、メーカー、数量
• ベアメタルの想定モデルと一台あたりの装着数、サーバー台数
• CODの必要性などの理由
2. 審査: SoftLayerのサーバーエンジニアとDCエンジニアの審査 (かなり厳しい)
3. 条件承諾: CODのPCIeが原因でサーバーを壊した時の弁償、ユーザー責任で問題判別、性能や安定性の無保証
4. 送付手続き: 場所、送付連絡先、配送業者とトラッキング番号、入所時の電話連絡先
5. ドライバ: カードの装着は常駐技術員が実施、ドライバは利用者がインストール実施
6. 問題判別:ユーザー自身で実施、PCIeカードの接続位置の確認などはチケットで問合せ
7. 保守部品:代替部品の送付、故障部品の回収送付依頼などはユーザー責任で実施
7
© 2015 IBM Corporation
ベアメタルの装着したFusion ioMemoryは ポータルのサーバー管理画面から確認可能
8
マザーボードのモデル
SuperMicro社にPCIeの仕様を確認するために利用、マシンのシリアル番号はIPMIの画面から取得する。
Fusion ioMemoryが装着されていれば、ココに表示が出る
© 2015 IBM Corporation
Fusion ioMemoryの最高性能を追求
Fusion ioMemoryの最高の性能を絞り出す条件設定
–電力設定
9
fioinf ioDrive 0000:82:00.0: PCIe Slot reported power limit: 0mWatts
fioinf ioDrive 0000:82:00.0: Warning! PCIe Slot reported power 0mWatts is less than product minimum power 13000mWatts
fioinf ioDrive 0000:82:00.0: PCIe Adapter power limit: 25000mWatts
fioinf ioDrive 0000:82:00.0: PCIe Adapter power Throttle point: 24750mWatts
許容電力が取得できない場合、マザーボードの故障を回避するためパワースロットルを25ワット以下に自主設定最大性能を発揮するには、35ワットの消費電力が必要
オーバーライドするパラメータを設定することで、35ワットを利用可能。 ただし、マザーボードが対応していないと故障の原因となるので、SuperMicro または SoftLayerのチケットに確認した上で実施
SuperMicroに問合せた結果、この2CPU
20コアのサーバーは、45ワットの給電可能と判り、パワースロットル全開で利用できました。
© 2015 IBM Corporation
Fusion ioMemoryの最高性能を追求
2CPU以上のベアメタルのH/Wアーキテクチャは、NUMA(Non-Uniform Memory Access) なので、FIO側にプロセスを集中すると性能アップ!
10
インターコネクト メモリバスCPUメモリバス CPU
I/Oバス
I/Oバス
メインメモリ メインメモリ
I/OデバイスI/Oデバイス
# numactl –H
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9
node 0 size: 32660 MB
node 0 free: 26155 MB
node 1 cpus: 10 11 12 13 14 15 16 17 18 19
node 1 size: 32768 MB
node 1 free: 31936 MB
node distances:
node 0 1
0: 10 21
1: 21 10
Node 0 Node 1コア 0〜9
メモリ 32GB
コア 10〜19
メモリ 32GB
CPU1CPU2
numa コマンドでの確認結果
ベアメタルのマザーボード2CPUタイプ
© 2015 IBM Corporation11
Fusion ioMemory と SSDの性能比較結果
SSDを利用でも改善が難しいDB更新系処理の性能向上に期待される
Fusion ioMemoryは、Node#1のPCIeに装着35ワット利用可能なオーバライド設定済
11〜12倍の性能差
© 2015 IBM Corporation
MySQLをSysbenchでFusionの性能を再確認
12
サーバー Xeon 2650 v3 x 2 (10core x 2) 、64GメモリSysbench条件対象データ18億レコード、 8スレッド、バッファプール 48G
企業向け、読み出し多用負荷用途向け
ポータルのチケットから注文
iSCSI ストレージ
デフォルトのストレージ
(ポータルから注文)
(ポータルから注文)
(ポータルから注文)
ソーシャル・アプリやスマホ・ゲームなどの高負荷を想定したテストでも、他を引き離す結果を得ました。
© 2015 IBM Corporation
物理サーバー+高性能ストレージの効果
13
MySQLサーバーに18億件のデータ生成して、サーバー上のバッファプール(48G)の10倍相当のデータを使って、SysbenchのOLTPテストを実施した比較結果
CPUコアを増やしても、ストレージの性能を高くしてもトランザクション性能は簡単に改善しない
ベアメタル(物理サーバー)+Fusion ioMemory
ベアメタル+SSD
ベアメタル+SATA
© 2015 IBM Corporation
まとめ
2U, 4Uのベアメタルで、Fusion ioMemoryが利用できます!
–グローバル共通サービス
–弊社へご相談後、チケットからオーダー
Fusion ioMemory の特徴–PCI Express 2.0 のバス接続で、SATAの10倍以上の転送速度規格を利用
–SATAの400倍、SSDの5倍のI/O性能
–NAND型フラッシュなのに、書き込みが高速
–最短パスで、性能最優先 (PCIeバス接続、 NUMA Affinity )
利用方法は2通り
–裏メニューからオーダー (ベアメンタルと同じレンタル)
–ユーザーのFusion ioMemory を送付して利用 (要審査合格)
MySQLのOLTPテストにおいて、他ストレージを圧倒する性能値
14