Oracle SPARC / Solaris による エンタープライズ・プライベートクラウド

基盤構築の実践

1

株式会社 NTTぷらら 技術本部

ネットワーク管理部 チーフエンジニア

嶋寺 克彰

自己紹介 & 会社概要

これまでの Solaris への取り組み

仮想化への取り組み

直面していた経営課題と解決シナリオ

Solarisゾーンによるサーバ仮想化の実例

ZFSによる統合バックアップの実例

Oracle VM for SPARC による DB統合の実例

今後の計画

2

Solaris による仮想化の導入の社内説得、構築・運用の一助になれば幸いです。

嶋寺 克彰 (Katsuaki Shimadera) ◦ 2007/7～ (株)NTTぷらら 技術本部 ネットワーク管理部に所属

◦ ひかりTVサービスのシステム設計・構築・運用

◦ 新規技術の検証・導入

◦ 新人教育・社内勉強会の開催

3

4

ISP (1996-) 個人向け・法人向け

IP電話 (2003-)

映像配信（2004-）

●

● カラオケ

● テレビ

●

●

●

●

会員数 ： 579 万人 （2014年3月末現在）

【会員数内訳】 ISP：297万人、ひかりTV：282万人

ひかりTV (2008-)

4thMedia (2004-)

5

ぷららは歴史的にSolarisファンが多く、多くのSolarisサーバが稼働中

事例

◦ 映像配信システム - Ultra SPARC T2 サーバ

NTTぷららの「ひかりTV」を支えるサン・マイクロシステムズのCMTサーバ

http://www.bcm.co.jp/site/2009/04/sun/

◦ コンタクトセンタシンクライアント - Sun Ray

ぷららネットワークスが、個人情報保護法の完全施行をふまえ、 情報漏えい対策の強化を図ったIPコンタクトセンターシステムを導入

http://www.plala.or.jp/access/living/releases/nr05_mar/0050316.html

6

7

8

Apache Tomcat

OS

Web Server

Database Language

Oracle社製品

Solaris

Linux

Windows・その他

ISP黎明期～2000年代前半はSolarisが圧倒的シェア

2000年代後半にLinuxがSolarisを逆転(主にひかりTV)

SolarisとLinuxを適材適所で使い分け

9

ノー

ド数

1996年 ISPぷららサービス開始

2008年 ひかりTV

サービス開始

2012年 仮想化基盤導入

※模式図です

2004年 4th Media

サービス開始

サーバの用途はほぼすべて自社サービス用です。

（今のところクラウドサービスとしては提供していません）

10

データセンタA

サーバ仮想化基盤A

サーバ仮想化基盤構成のポイント ◦ 2つのDCにそれぞれ Solaris 10 と VMware vSphere の環境を構築

◦ Solaris 10 環境は SPARC T4-1 x5台 x2拠点（計10台）

◦ Solaris 11 x86 による統合バックアップサーバ（OSイメージをバックアップし、DC間でレプリケーション）

11

共有SAN

ストレージ

統合

バックアップ

OS OS

OS

OS OS

OS

OS OS

OS

データセンタB

サーバ仮想化基盤B

共有SAN

ストレージ

統合

バックアップ

OS OS

OS

OS OS

OS

OS OS

OS

DB仮想化基盤 （移行中）

2012年度以降、500台超のサーバを仮想化（P2V＋新規）

◦ Solaris 180台

◦ VMware 320台

1億円/年以上のコスト効果（主にデータセンタ費用）

サービス開発のアジリティ（敏捷性）向上

◦ 映像配信、ショッピング、電子書籍、音楽配信、ゲームなどのサービスリリース・設備拡張に貢献

◦ ハードの調達期間はボトルネックではなくなり、アジリティ確保のためにリソースの予測がより重要に

運用の効率化

◦ 負荷状況に応じたフレキシブルなリソース割り当て

◦ クローン機能による高速なサーバデプロイ

◦ 物理サーバ統合によるハードウェア故障件数の低減

仮想サーバの利用状況

◦ ぷらら全体の3割程度のサーバを仮想化済み

◦ 2012年度以降、新規サーバの7～8割は仮想サーバで構築

12

13

仮想化導入の背景

14

ビジネス要求 • 迅速にサービスをリリースしたい • タイムリーに設備拡張したい • 運用コストは削減したい

・暫定構成、暫定運用 ・スパゲッティ化 ・人手不足 ・・・

システム運用は崩壊寸前

仮想化

仮想化導入のロードマップ

15

リソース統合 プライベート

クラウド

ハイブリッド

クラウド

2012 2013 2014

サーバ仮想化

データベース仮想化

標準化・自動化の推進

ネットワーク仮想化（NFV/SDN）

パブリッククラウド活用

2015

社内説得のシナリオ （組織によって差があるかもしれませんが）

◦ 仮想化導入の障壁になりやすい「得られる投資対効果が不明確」

◦ 機能要件や性能要件はその次の話

投資対効果の例 ◦ わかりやすい投資対効果のシナリオが必要

16

開発速度の向上 △費用化しづらい

運用の効率化 △費用化しづらい

データセンタコストの削減 ○費用化しやすい

移行シナリオの一例 ※あくまで例です

17

x 100台 x 4台

移行元 Sun Fire V240

CPU UltraSPARC IIIi x2

スペック 1.5GHz, 2sockets

最大入力電流 6.5A

移行先 Oracle SPARC T4-1

CPU SPARC T4 x1

スペック 2.8GHz, 64threads

最大入力電流 8.57A

コスト効果算出の一例 ◦ サーバ集約効率の算出

CPU（スレッド数・クロック・SPEC値）、メモリ容量、Disk IO、NW帯域

わかりやすいCPUスレッド数で算出

◦ データセンタラックの仕様例

18

サイズ 19インチ、42U

最大入力電流 30A

費用（ラック・電源） 20万円/月

Sun Fire V240 Oracle SPARC T4-1

CPU UltraSPARC IIIi SPARC T4

スレッド数 2 (2sockets) 64 (8cores x 8threads)

サーバ台数 100台 2 x 100 / 64 = 3.125 → 4台

コスト効果算出の続き ◦ ラック費用の算出

19

Sun Fire V240 Oracle SPARC T4-1

最大入力電流 6.5A 8.57A

ラックあたり搭載 30 / 6.5 = 4.61… → 4台 30 / 8.57 = 3.50… → 3台

台数 100台 4台

ラック数 100 / 4 = 25ラック 4 / 3 = 1.33… → 2ラック

月額費用 20 x 25 = 500万円 20 x 2 = 40万円

年間費用 500 x 12 = 6000万円 40 x 12 = 480万円

5年間費用 6000 x 5 = 3億円 480 x 5 = 2400万円

5年コスト効果 3億円 - 2400万円 = 2億7600万円

上記の例ではサーバ仮想化によりデータセンタ費用だけで2億円以上のコスト効果。 実際には、サーバ構築期間の短縮と運用効率化による人的稼働削減も大きい。

¥0 ¥50,000,000 ¥100,000,000 ¥150,000,000 ¥200,000,000 ¥250,000,000 ¥300,000,000

Sun Fire V240

SPARC T4-1

5年間のラック費用

20

作業項目 1w 2w 3w 4w 5w 6w 7w

ファシリティ調整

・ラック、電源

・ネットワーク、配線

物品調達

・要求仕様

・見積取得

・社内稟議

・発注～納入、検品

構築作業

・キッティング、ラッキング

・OSインストール、設定

物理サーバの調達例

仮想サーバの調達例

作業項目 1w

利用申請

構築作業

・OSクローン

・設定、環境構築

サーバ調達にかかる期間： 89% 短縮 サーバ構築の人的稼働： 80% 削減

21

Solarisゾーンとは？ ◦ Solaris 10 で採用されたOSレベルの仮想

化機能（コンテナ型仮想化）

◦ アプリケーションからは、独立したOS（プロセス空間、ファイルシステム空間）が動作しているように見える

◦ 異なるバージョンのSolarisを動作させることも可能（Solaris 10では 8・9・10、Solaris 11では 10・11）

◦ 性能オーバヘッドほぼなし、高速な起動

◦ シンプルな管理 (zoneadm, zonecfg)

22

ZFSとの連携 ◦ Solarisゾーン ＋ ZFS は非常に相性がよい

◦ クローンによる高速なゾーン作成（数秒）、HDD容量の節約

Solarisって高い？

（仮想化して使えば）そうでもない

仮想サーバ1台あたりのコスト比較（対VMware+RHEL）

23

Solaris

VMware

ハードウェア

仮想化ライセンス

OSライセンス

仮想サーバ1台あたり、Solarisゾーンの方が4～5割程度安価。（ぷらら試算） ライセンス費用、物理サーバ1台当たりの統合率の高さが主な要因。

24

前ページの続き

Solaris Zones VMware vSphere + RHEL

ハードウェア例 Oracle SPARC T4-1 CPU: SPARC T4 x1

メモリ: 128GB

一般的な2ウェイサーバ CPU: Intel Xeon E5系 x2

メモリ: 128GB

ライセンス ハードウェアに含む vSphere, RHEL

性能オーバヘッド ほぼなし 10～20%低下

統合率 30～50台/物理サーバ 10～15台/物理サーバ

アプリケーション 動作

主要なOSS等はほぼ動く ベアメタルとほぼ同じ

その他の特徴 ZFSとの統合

リソースマネージャ vMotion, VMware HA

25

Solaris 8

Solaris 10

Zone

Template

Cloned

Zone

Solaris 10

Zone Solaris 9

Zone

Solaris 8

Zone

Solaris 10 P2V Cloned

Zone

Cloned

Zone

Solaris 8 P2V

新規構築して アプリケーション移植

ぷららでのSolarisサーバ仮想化のパターンをご紹介します。

Solaris 10 Solaris 9

Solaris 9 P2V

Solaris 10 Solaris 11

可能ならこの方法がおすすめ

・Solarisの高いバイナリ互換性

・リソース（HDD）節約

将来的な構成

26

ZFSとは？ ◦ Solaris 10 6/06 で採用された革新的なファイルシステム

◦ FreeBSD、Linux、Mac OSX などにも移植

ZFSの特徴 ◦ 拡張性・柔軟性

事実上無制限の容量・ファイルサイズ（16EB）、ファイル数（2^48）

ハイブリッドストレージプール（SSD+HDD）

スナップショット、クローン、圧縮、重複排除、暗号化、、、

◦ 堅牢性

冗長性の確保（Mirror, RAID-Z1～3）

End-to-End のチェックサム

Copy-on-Write によるファイル更新

◦ シンプルな管理

管理コマンドは zpool, zfs の2つ

27

仮想環境のバックアップに求められる機能

28

機能 商用製品A ZFS

スナップショット ○ ○

差分バックアップ ○ ○

ファイル単位リストア ○ ○

仮想マシン単位リストア ○ ○

圧縮 ○ ○

重複排除 ○ ○

暗号化 ○ ○

遠隔レプリケーション ○ ○

管理GUI ○ × （※）

導入費用 数千万円～

（主にライセンス） 数百万円～

（主にサーバ機器）

ZFSはバックアップに必要な機能をほぼ網羅。 要件が合えば、非常に安価で実用的なソリューションになりうる。

※ZFS Storage Appliance という製品もあります。

データセンタB データセンタA

システム構成

29

統合 バックアップ

OS Solaris 11 x86

CPU Xeon E5-2430 x2

Memory 32GB

HDD NLSAS 2TB x36 実効容量約50TB

バックアップサーバスペック

方式 (Solaris) zfs send/recv + SSH

方式 (VMware) VDP+NFS

対象容量 10TB～20TB

頻度 1日1回

変更差分 10%未満

バックアップ仕様

統合 バックアップ

zfs send

Solaris 環境

VMware 環境

zfs send+SSH

VDP+NFS

差分スナップショット転送により短時間でバックアップ取得完了。

ZFSの圧縮機能により 30～40％ 容量を削減。

元々Zone作成にクローンを使っているので、ZFSの重複排除は未使用。

30

性能オーバヘッドがほぼない ◦ ハイパーバイザはハードウェア内蔵（SPARC T・Mシリーズ）

◦ （※Oracle VM for x86 はちょっと違います）

Solarisゾーンより高いリソースの隔離性

ライブマイグレーションが可能

31

Hypervisor

Oracle VM for SPARC Solaris Zones

Server

OS

App

Dynamic Domains

SPARC T5-2 上に Oracle VM for SPARC で仮想サーバを構築

4システムの基幹DBを SPARC T5-2 2台に統合（2014年度中予定）

DB統合により、ライセンス費用、運用コストを大幅削減見込み

32

共有Flashストレージ

Oracle 11g Solaris 11 RAC

RAC

RAC

Oracle 11g Solaris 11

Oracle 11g Solaris 11

Oracle 11g Solaris 11 RAC

Oracle 11g Solaris 11

Oracle 11g Solaris 11

Oracle 11g Solaris 11

Oracle 11g Solaris 11

OVM for SPARC OVM for SPARC

BEFORE

AFTER

33

BEFORE

AFTER 2x

1/2x

BEFORE

AFTER 1/4x

性能

ライセンス費用

運用コスト

Oracleデータベースのライセンス ◦ Processorライセンス（CPU数に応じて課金）

ソフトパーティショニング（物理CPUすべてに課金）

ハードパーティショニング（割り当てたCPUのみに課金）

34

仮想化方式 Dynamic Domains

VMware Hyper-V

…

Oracle VM SPARC/x86

Solaris Zones (dedicated-cpu)

ライセンス 種別

ハード ソフト ハード！ ハード！

ライセンス費用

使用期間 Soft Hard

ライセンス費用の比較 ◦ 段階的にCPU使用数を増やした場合の例

35

ハードパーティショニングでは使用状況に応じてライセンスの追加が可能。 段階的にライセンスを追加することでトータルコストをお得に節約。

36

Solaris 11.2 のさらなる検証と導入 ◦ 2013年よりベータプログラムに参加。

◦ 次期プライベートクラウド基盤の候補として検討中。

◦ Kernel Zone, OpenStack 対応などの新機能に注目。

Oracle VM for SPARC によるDB仮想化の本格展開 ◦ すでに基幹DB 2システムを移行済み。性能が2倍以上向上。

◦ 2014年度、さらに2システムのDBを移行予定。

さらなる仮想化・クラウド化の推進 ◦ サーバ仮想化、DB仮想化は安定運用のフェーズへ。

◦ ネットワーク仮想化、標準化・自動化への取り組みを推進予定。

◦ パブリッククラウドの活用も検討中。

37

38