VMwareによる仮想化システム構築の実際

2006年4月14日 デル(株)エンタープライズ マーケティング本部

ソリューショングループ 布谷恒和

30秒で確認: サーバを「仮想化する」とは？

CPU チップセット メモリ HDD NIC、HBA

マザーボード

サーバ

VM: 仮想マシン(仮想的なコンピュータ）

物理サーバを分割して、複数の仮想マシン を

作り出す

仮想化

VMware ESX Server・エンタープライズ向け・ベアメタル

1分で確認: Virtual CenterとVMotionテクノロジ

SANSANストレージストレージ

仮想マシン環境（仮想ディスク）

Virtual Centerサーバ（複数のESX Serverの一元管理)

VMotion (無停止マイグレーション）

AGENDA

•市場トレンド• プラットフォームの選択方法•バックアップの運用方法•段階的導入プロセス• ソリューション

「VMwareによる仮想化システム構築の実際」

2005年11月4日 米IDCの調査

仮想サーバ市場は150億ドル規模に拡大へ――米IDC予想サーバを統合して経費を削減するため、顧客はサーバのスペースを

区切って複数のOSやアプリケーションを実行できるようにするソフトを使い、2／4ウェイのx86ボリュームサーバをパーティション化している。

x86ボリュームサーバ

“Survey respondents using server virtualization technologies saidthey expect 45 percent of the new servers purchased next year will be virtualized”

仮想化サーバーを導入済みの企業は、

2006年に購入するサーバーの 45％を仮想化環境 にする予定

2006年以降の仮想化環境モデル

エッジサーバNTサーバアプリケーションサーバデータベースサーバ

検証、テスト、開発環境バックアップ・DRサイト

ERPアプリケーションバックエンドDB

Virtual

Virtual

Virtual

管理サーババックアップサーバアプリケーションサーバなど

Intel VTVMware Server無償化ESX3.0

仮想化

仮想化

仮想化

事例1: Quraz.com（ピードモント社）

Xeon 4-wayサーバ(PowerEdge 6650)

物理サーバあたり7～8の仮想マシン

開発・テスト・検証用仮想マシン群

SAN Virtual Center(VMotion)

ゲストOS: Windows 2000、2003VM上のAP: Web、Exchange、ERP、SQL ServerなどVM数/ サーバ: 7～8SAN: YES

事例2: 製造業A社

既存ESX環境PE2850

新規増設ESX環境PE2850

Virtual Center&EMC Navisphere Manager

バックアップサーバ

SAN

ゲストOS: Windows 2000、2003VM上のAP: Oracle8、9i、10gなどVM数/ サーバ: 未定SAN: YES

VMware ESX Server導入にあたって注意しておきたいこと

• リスクを最小化する– 使い慣れた、安価なコモディティサーバを選択

• 基本的に、2ソケットのラックマウントサーバで十分

– ぎりぎりのサイジングをしない

• リソースの予備空間を残しておく– できるだけ運用を変えない

• バックアップなど– 仮想化は段階的に導入する

• 仮想化に慣れる、文化を醸成する• カテゴライズして、仮想化対象を決め、段階的なスケジュールを立案

• それなりに初期コストはかかる– SANストレージ、FCスイッチ、VMwareライセンス、要員トレーニング– 本格的なサーバ20台～40台の統合では、約2,500万円の予算が必要

☆

2005年11月30日プレスリリースDell | VMware 仮想インフラストラクチャ・プラットフォーム

VirtualCenter（PowerEdge 1850/ SQL Server)

ESX Server（PowerEdge 2850 デュアルコア×2CPU、8GBメモリ、アドオンNIC）

GbE（PowerConnect 2724）

マルチパスSAN

ストレージ Dell| | EMC CX300（15,000回転 146GB FC HDD ×8）

P2V VC ESX vSMP DPSパッケージサービス

CX SAN導入・設定FastStartシステム構築： ESX、VC （3.5日）

〔CX300 SAN プロダクション・システム モデル〕検証済みのシステム構成、～40VM程度まで対応仮想化に関する全てのテクノロジがオールインワン（vSMP、VMotion対応）システム構築サービス（DPSパッケージサービス）込み

￥23,091,180.-（税込み）

リスクを最小化する:プラットフォームの選択方法

事例から見る、典型的なVMware ESX Serverの仮想化環境構成

☆

ESX

VM VM VM VM VM VM VM VMVM VM

VMシステム領域

（C:ドライブ）

C: C: C: C:

C: C: C: C:

C:

C:

D: D: D: D:

D: D: D: D:

D:

D:

VMFS

RD

M

VMデータ領域（D:ドライブ）

SANストレージ（300万～1,000万クラス)

2U・2ソケットのXeonサーバ（ESXのブートとページファイル）

ESX

ESX

スケールアウト

～ 10VM

背面PCIスロット構成例: 2U 2ソケット サーバ (PowerEdge 2850)の場合

デュアルポート オンボードNIC:Port1: サービスコンソール用Port2: 仮想マシン用外部接続#1

NICの追加:Port1: 仮想マシン用外部接続#2Port2: VMotion用、バックアップ用

2×FC HBA:SAN接続経路の二重化

背面PCIスロットの構成例

2ソケットサーバ vs 4ソケットサーバ比較

EM64T/Xeon DP（2-way)

エントリープロセッサ（2.8GHz） 1枚 3.6万円

エントリープロセッサ（3.16GHz） 1枚 10.5万円

EM64T/Xeon MP（4-way)

PCIe: 4、PCI-X: 3、内蔵FC: 1

100V 200V

2ソケットサーバ 〔2U〕(Dell PowerEdge 2850)

4ソケットサーバ 〔4U〕(Dell PowerEdge 6850)

次期プロセッサ:● Dempsey （2006年夏)● Woodcrest (2006年後半)

次期プロセッサ:● Tulsa (2006年後半)

￥424,200 ～ ￥1,269,450 ～(税込み、デルスタンダードパッケージ) (税込み、デルスタンダードパッケージ)

ライザーPCI-X/PCIe: 3

2ソケット/4ソケットサーバラージSMPサーバ (8ソケット 以上)

サーバのリソースを効率的に使い切る業界標準の安価な薄型サーバVMotionの機能を最大限に活用

サーバリソースの有効活用が困難高コストH/Wメンテナンス時の影響大

VMotionVMotion

〔デファクト・スタンダード構成〕物理サーバあたり6～10程度の仮想マシンを稼動させ、スケールアウト型でサーバファームを構築

大型のSMPサーバを1～2台用意し、大量の仮想マシンをまとめて稼動させる

2/4ソケット vs 8ソケット以上

参考: デュアルコアプロセッサ搭載サーバ

3.6GHz

3.6GHz

2.8GHz

2.8GHz

2.8GHz

2.8GHz

28%～51%の性能向上稼動VM数 1.2倍～1.6倍

デュアルコア・プロセッサ（Paxville DP)

仮想化≠ブレード

「仮想化」を実現するために、「ブレードサーバ」は必須ではない。

≠

ブレードサーバ 1,200台の導入事例HPCクラスタ 2006年3月カットオーバー

KEK 高エネルギー加速器研究機構B-Factory 計算機システムXeon 3.6GHz L2 2MB ×2CentOS Linux

同一スペックのサーバを用いて、大量のジョブを大量のCPUで手分けして計算する

ブレードサーバ導入にあたっての注意点

①200Vの電源環境はありますか？

※4､000W程度の電源容量を確保できるUPSも必要(写真はAPC Smart-UPS RT5000）

②標準機としてのH/Wメーカを決めていますか？

PowerEdge 1855エンクロージャ

ブレード

A社エンクロージャ

A社ブレード

互換性なし

月額電源料金* （出典: NRI)・100V20A: ¥75,000.-・200V20A: ¥150,000.-

ブレードサーバ導入にあたっての注意点2

③信頼性、拡張性に関して認識していますか？

ファイバチャネルHBAドーターカード（単一障害点）

エンクロージャ内側ミッドプレーン（単一障害点）

〔拡張PCIスロットなし〕2ポートのNICのみで・サービスコンソール・仮想マシン・VMotion・バックアップを実現する必要がある（パフォーマンス上の懸念材料）

ミッドプレーンは一枚。2系統の通信ラインを持つのみ。二重化は、されていない。

ブレードサーバ導入にあたっての注意点3

④サーバを10台以上導入しますか？

空きスロット

9ブレード＝ ESX

10VM ×9 ＝ 90VM （サーバ90台分のマイグレーション）

Virtual Centerサーバ

1ブレード

空きスロットがあっても、エンクロージャの保守料はかかる追加ブレードは、リース切れのタイミングが異なる

バックアップサーバ（別途必要: ブレードには外付け用のSCSIインタフェースがないため）

プラットフォーム選択のまとめ

• ミッドレンジクラスのSANストレージをベースとする– 耐障害性、メンテナンス性– バックアップ運用– VMotion

• サーバはインテルXeonの2ソケットサーバ (2Uラックマウント）を基本

– ESXブートイメージとスワップファイル以外はHDD上に置かない– 拡張PCIスロットを有効活用

– デュアルコアの選択も有効

• ブレードサーバの選択は慎重に

☆

リスクを最小化する:バックアップの運用方法

バックアップ環境のベストプラクティス

VMシステム領域

（C:ドライブ）

D: D: D: D:

D: D: D: D:

D:

D: RD

M

VMデータ領域（D:ドライブ）

VM

バックアップエージェント

バックアップサーバ(Bakbone Software社NetVaultを推奨)

該当ファイルや該当フォルダ配下をDailyバックアップ

C: C: C: C: C:

VMFSC: C:

C: C:

C:

C:

C: C:

C: C:

vmsnap.plコマンドシステム領域バックアップ（Weekly）

D: D: D: D: D:

スナップショット・クローン（ストレージベース）

データ領域フルバックアップ（適宜）

①

②

③

DB

Virtual Center サーバ（DBバックアップ必要）

SQL ServerOracle

☆

VMware ESX Server環境におけるBakbone Software NetVaultの導入方法

デルホームページ（共同検証結果） バックボーン・ソフトウエア社ホームページ

http://www.dell.com/downloads/jp/solutions/power_solution/netvault.pdf

http://www.bakbone.co.jp/docs/netvault_implementation_guide_vmware_esx_j.pdf

VMware環境における、ディスクとI/Oデバイス

Mapping file

• Raw Disks

• VMFS

• Raw Device Mappings (RDMs)

Raw Disk

ESX ServerLevel

Virtual MachineLevel

VM1- 5GVM2- 4G

Virtualization

Raw Device Mapping (RDM)Virtual DisksRaw Disk

Open()

Read(), Write()

Raw DiskVMFS Partition – 10 G

.vmdk for VM2-4G

.vmdk for VM1- 5G

出典: 米EMC Corp.

参考: 遠隔地へのレプリケーション（DR）

SAN Copy ターゲットVMVMware ESX Serverware ESX Server

SAN

WindowsWindows VMVM

Admhost CLI Install on VM

Windows 2003 ServerWindows 2003 Server

SAN

ストレージ

SAN Copy ソースVMVMware ESX Serverware ESX Server

WindowsWindows VMVM

SAN Copy ソース

SANCOPY

Raw Device Mapping Volume

ストレージ・ベースのレプリケーション機能の活用（RDM必須）SAN内でLUNをコピー（フルコピー、差分コピーに対応）物理サーバのLUN ←→仮想マシンのLUNを相互にコピー可能SANCOPY定価: ¥2,801,000 （消費税抜き）

物理サーバ

リスクを最小化する:仮想化技術の段階的導入プロセス

VMwareを用いた、統合シナリオ

インベントリ情報

インベントリ情報

※カテゴリ分け

統合①

統合②

統合③

統合④

統合A

統合B

統合

サイジング 統合（コンソリデーション）

カテゴリの分類方法

コスト

サービス テクノロジー

部門リースアップ投資計画TCO

バージョンアプリケーションセキュリティレベル要求リソース難易度

システム用途停止可能 or 不可能稼働率時間帯サービスレベル運用プラン

システム間の結合性が低い＝変更点が少ないので安全性が高い

障害発生時のインパクトが小さい＝運用管理ノウハウを蓄積する余裕が生まれる

移行作業が容易＝初めから難易度の高い移行作業は取り込まない

サイジングのポイント

既存環境スペック

既存環境スペック

モニタリング結果

モニタリング結果

サイジングプロセスサイジングプロセス

カテゴリ分類カテゴリ分類

サーバ機種選定

サーバ機種選定

仮想マシン設計

仮想マシン設計

ストレージ設計

ストレージ設計

対象システムの特定対象システムの特定CPU、RAM、HDD、NICをモニタ

MAX、MIN、AVGを抽出

稼働率に換算

使用しているリソースを算出

分散配置による平均化

リソースを使用しているものは排除

時間軸に展開

VMotion時に必要なリソースを加味

バックアップやリストアを意識

障害時のインパクトを意識

稼動シミュレーションによる最適化

3段階でシステム統合作業を実施する場合(例）サーバ30台～50台の統合

1.システム稼働率が低く、リスクの低いサーバの統合稼働率が低いサーバは統合率が高くなるため、費用対効果が高い

リスクが低い＝作業負荷が低い

2. リースアップ機器の統合OS上の変更点が少なく、移行作業が簡単既存の仮想インフラが稼働中のため、いつでも移行作業が可能

コスト削減効果が高い

3.データベース等の重要なサーバの統合ある程度のシステム停止が必要

難易度が高く、データ移行に関してはリハーサル作業を推奨

データ整合性の確認作業が必要

場合によってはシステムの増強作業が必要

☆

DPS（デル・プロフェッショナル・サービス）VMware ESX 導入パラメータシート 〔サンプル〕

Linux仮想化ソリューション：

Cobaltサーバのマイグレーション

Linux仮想化ソリューション:Cobaltサーバのマイグレーション

ClassCat Cute® Server Manager Enterprise Edition(Cobalt RaQ550 Base for Red Hat Enterprise Linux ES 2.1 & 3.0)

Sun Cobalt RaQ（販売終了)

Sun Cobalt Cube（販売終了)

参加パートナー企業 (株)クラスキャット 様http://www.classcat.com/

Cobaltの管理ツール（オープンソース）をRed Hat Linux上で稼動

ClassCat Cute® Server Manager Series

ソリューション事例 – VMware ESX Server によるサーバ統合

ClassCatClassCat®®

VMware ESX ServerVMware ESX Server

IA Server (Intel® Xeon®)IA Server (Intel® Xeon®)

RHEL3

CuteEE30

• ２U Type (x346) / 3U Type (x366)で、ラックスペース、電源容量などをセーブ• VMware による、ディザスタリカバリーを提供

RHEL ES3 をベースに Cobalt UI を搭載したハイエンドサービスの提供+

VMware を利用したディザスタリカバリーサービスの提供

VMware ESX ServerVMware ESX Server

IA Server (Intel® Xeon®)IA Server (Intel® Xeon®)

RHEL3

CuteEE30

RHEL3

CuteEE30

RHEL3

CuteEE30

RHEL3

CuteEE30

RHEL3

CuteEE30

RHEL3

CuteEE30

RHEL3

CuteEE30

ClassCat Cute® Server Manager ＋VMware ESX Serverベンチマーク結果

COBALT

COBALT

環境：・ESX ServerDell PowerEdge 2850Xeon 2.8GHz × 2メモリ：4GBHDD：73GB × 3 (RAID5)NIC：Intel e1000 × 4

・ESX Server (設定)コンソールOSの割り当てメモリ：384MB

・ゲストOS（設定）OS：RH7.3VCPU：1NIC：2（vmxnet使用）DISK：20GB（vmdkファイル1個）

仮想環境で8VM稼動させても、COBALT一台より高速。

検証済みのノウハウをぜひ活用くださいwww.dell.com/jp/vmware

UPSからのシャットダウン検証（APC社ホームページに掲載）

VMware ESX Server 2.5 環境におけるバックアップ & リストア ガイド (Bakbone NetVault編)

VMware ESX ServerにおけるSANブート構成

Dell PowerEdgeサーバを対象としたVMware ESX Server 2.5.1ソフトウェアの導入デプロイメント・ガイド

Dell PowerEdgeサーバを対象とした、VMware ESX Server ソフトウェアのコンソール・リダイレクション

VMware ESX Server 2.5.1環境を対象としたDell OpenManage 4.4のインストール手順

Dell OpenManageとVMwareのSDK（ソフトウェア開発キット）を使ったフォルトトレランスの実装

ホワイトペーパー集 （19種類* 2006年4月現在） デモンストレーション、説明会（新宿三井ビル55F EMCジャパン JSC内）

Dell | EMC ブリーフィングセンター

DPS (デル・プロフェッショナル・サービス)

VMware 仮想化システムコンサルティングサービス

設計～構築 プロジェクト支援

Thank you

仮想マシンのプロパティ

Virtual CPU: 2

Run on Processor: 0～7