san ブートでベアメタルクラウド
TRANSCRIPT
SAN ブートでベアメタルクラウド
2015 年 4 月 23 日イージェネラ株式会社
はじめに• ベアメアルプロビジョニングは PXE を使
うのが主流ですが, SAN ブートを使えばより用途が拡がりますし,柔軟・迅速な運用が可能です
• ここでは Emulex 社の新型 CNA を使用したベアメタルプロビジョニングについて紹介します
PXE ブート• 主にサービスプロバイダーで同種のサーバーを大量に deploy するのに使用され
ている• 技術要素,設計・運用
– DHCP サーバー, NFS サーバー, PXE 対応 NIC– サーバー NIC の MAC アドレス, IP アドレス, Boot イメージ, Root 領域の関連付けを
設計・運用• 長所
– ハードウェアが安価• 留意事項
– Unix 系 OS ならば PXE ブートのまま運用される (NFS-root) が, Windows 系 OS はインストールにのみ使用されるのが一般的
– NFS-root の場合 SCSI に依存するようなクラスタシステムは構築できない– というような理由から,たとえば
• Windows 系のサーバーには使えない• Oracle RAC は動かせない• などなどの制限
– NFS の通信特性, NFS サーバーのボトルネックによる性能限界
SAN ブート• SAN ストレージを維持,運用できる規模の法人ユーザーで使用さ
れている• 技術要素,設計・運用
– SAN ストレージアレイ, SAN スイッチ, HBA– HBA の WWN と LUN の関連付けを設計・運用
• 長所– SAN ストレージアレイの多彩な機能を活用可能
• クローン• スナップショット
– SAN ストレージアレイが持つ高信頼性– 多様な OS やミドルウェアに対応できる
• 留意事項– ハードウェア,運用費用が高価– サーバーあたりのケーブル数が多くなる (LAN ケーブルと FC ケーブル )
SAN ブートの障壁が低くなっている
• SAN ストレージアレイの低価格化– メーカー間の競争による製品価格下落– セルフ運用可能なストレージアレイが一般的
になっており,メーカー SE への作業依頼が不要に
• CNA ,コンバージドスイッチの登場– NIC と HBA 機能の統合– ケーブル本数の減少
SAN ブートとベアメタルクラウド
• SAN ブートでクラウド実現のための必要条件が満たせる– ユーザーからの指示後,分単位でサーバーのデプロイ完了
• SAN ブートであれば,ストレージアレイのクローン機能が利用できる!
– ユーザーが使用を終了すると直ちにハードウェア資源を解放し,他の用途に転用• SAN ブートであれば, HBA の WWN を変更することで直ちに他の
用途に転用できる!• SAN ブートでクラウドに付加価値をもたらす
– ストレージアレイのスナップショット機能を利用し,エージェントレスでスナップショットを実現
– ストレージアレイのミラーリング機能を利用して DR を実現– SCSI ディスク共有を用いたクラスタリングを実現
「 HBA の WWN の変更」を可能にするEmulex 社製 CNA “OCec14102-UX”
http://www.emulex.com/products/ethernet-networking-storage-connectivity/converged-network-adapters/emulex-branded/ocec14102-ux/overview/
• XE100 (Skyhawk) コントローラー• PCIe 3.0 x8• Network function + FCoE|iSCSI function• ARM プロセッサ搭載 (Emulex
OpenWorks Client として動作 )• 通称 Cloud Card (Cloud Adapter)
Emulex OpenWorks の仕組み• OpenWorks Client (Cloud Card 上の ARM チップ ) は,自身に電源が投入されると Emulex
OpenWorks Server から VLAN 3363 経由で Profile (MAC Address ,WWN ,Boot 設定 ) を pull• サーバーでの BIOS 起動あたりで上記が行われる.完全なプリブートプロビジョニング• OpenWorks Server は REST API で外部連携
OCec14102-UX(Cloud Card)
OpenWorks Server
VLAN3363
- MAC Address- WWN- Boot Configuration
OpenWorksREST API
Profile の例http://<OpenWorks Server>:8080/dmf/ioresource/bootprofile/<DeviceID>
port0 の NIC function の MAC
port1 の NIC function の MAC
port0 の FCoE function の WWN
port0 の FCoE function の boot target
DeviceID
Egenera PAN Manager for Rack ServersEmulex OpenWorks を利用したソリューション
• Egenera PAN Manager が OpenWorks REST API で OpenWorks 内に Profile を作成 (PAN Manager pServer 定義を Profile に変換 )
• OpenWorks Server が Cloud Card に Profile を投入OCec14102-UX
(Cloud Card)
OpenWorks Server
VLAN3363
- MAC Address- WWN- Boot Configuration
OpenWorksREST API
Egenera PAN Manager
PAN Manager for Rack Server の機器構成~ PAN Manager は Cloud Card 搭載サーバーと集線用 ToR スイッチを同時に管理し,ベアメタルサーバーを VM ゲストのように扱う ~
SAN
LAN
pNode
:最大 288台
:
PAN Manager + OpenWorks Server
OOB Mgmt SwitchFabric Switch
10Gbps
pNodeIA サーバーに Cloud Card を搭載したもの
Fabric Switch各社の ¥ToR Converged スイッチIA サーバーを集線し,以下を実施1. FCoE FC ⇔ プロトコル変換2. 適切な VLAN で外部 LAN に接続
OOB Mgmt SwitchPAN Manager が pNode の BMC , Fabric Switch の管理ポートにアクセスする Out-of-band の管理経路を提供
OpenWorks Server は PAN Manager と IA サーバー上に同居
PAN Manager でのサーバー定義,起動の仕組み
• 管理者はまず pServer を定義– どのサーバー (pNode) を使うか– 仮想 NIC (vNIC) をどの仮想スイッチ vSwitch に接続するか– 仮想 HBA (vHBA) をどの仮想 SAN スイッチ (FC vSwitch) に接続するか– どのストレージアレイ ( の LUN0) からブートするか
• pServer を起動 (GUI でボタン押下 ) すると以下が自動的に実行される1. ToR スイッチにログインし,選択したサーバーの Cloud Card が接続され
ているポートに, vSwitch に対応した VLAN 設定を投入2. OpenWorks Server に pServer 定義に対応する Profile を投入3. 選択したサーバーの BMC にログインし,電源 ON4. PCI スロットに電源供給されると Cloud Card の起動が開始する. VLAN
3363 経由で DHCP でのアドレス取得後, OpenWorks Server からプロファイルを取得
5. プロファイルに従って起動すると,ストレージアレイの LUN0 が見えるので,そこから OS のブートが開始される
ラック構成例• 全部入り All-In-One ラック• pNode (pBlade) 枚数 : 24
まとめ• ベアメタルサーバーの迅速なデプロイ,柔軟
な運用のために, SAN ブートを見直してみては?
• Emulex Cloud Card + OpenWorks は SAN ブートをプログラマブルにするので,ベアメタルサーバーによるクラウドが構築できます
• OpenWorks を用いたサーバー管理製品の一例として Egenera PAN Manager をご紹介しました– OpenStack でも使える筈です…