oracle® database 11g r1 enterprise edition rac real ... ルの参照用構成 - red hat...

ホワイトペーパー

デルの参照用構成

Oracle® Database 11g R1 Enterprise Edition

RAC（Real Application Clusters）のディプロイメント： Dell™ PowerEdge™ サーバ、

Dell|EMCストレージ、 Red Hat ® Enterprise Linux ® 5.1/

Oracle ® Enterprise Linux ®5.1 への導入・展開

概要このホワイトペーパーは、Dell PowerEdgeサーバ、Dell|EMCストレージ、Red Hat Enterprise Linux リリース5 アップデート1（RHEL5.1）/ Oracle Enterprise Linux リリース5 アップデート1（OEL 5.1）を対象とした、2ノードのOracle Database 11g R1 RAC（Real Application Cluster）の導入について、アーキテクチャ概要と構成ガイドラインを示したものです。本書に掲載し

た参照用構成は、デルが、Oracle社との共同開発/検証/サポートを通して蓄積してきた、豊富な知識に基づきます。これらの

「ベストプラクティス（実用上の推奨事項）」を、Oracleソリューションの素早い実装、シンプルな運用、性能と可用性の向上にお

役立てください。

2008 年4 月

デルの参照用構成 - Red Hat Enterprise Linux 5.1/ Oracle Enterprise Linux 5.1に導入するOracle 11g R1

1


2

本ホワイトペーパーは、情報提供のみを目的に執筆されており、誤字脱字や技術上の誤りには責任を負いません。本書の内容は執筆時現在のものであり、明示的または暗黙的を問わず、いかなる内容も保証いたしません。本書で使用している商標： Intel、インテル、Xeonは、アメリカ合衆国およびその他の国におけるインテルコーポレーションおよび子会社の登録商標または商標です。EMC、Navisphere、PowerPathは、EMC Corporationの登録商標です。Microsoft、Windows、Windows Serverは、米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。Oracleは、Oracle Corporationおよび関連会社の登録商標です。Red Hatは、Red Hat, Inc.の登録商標です。Linuxは、Linus Torvalds氏の登録商標です。本書では、マークや名前を届け出た実在のもの、もしくは、その製品のいずれかを参照するため、その他の商標、商号を使用している可能性があります。Dell Inc.は、Dell以外の商標や商号における権益の要求に一切応じません。 2008年4月 Rev. A00


3

目次

概要...........................................................................................................................................................................................1 はじめに......................................................................................................................................................................................4

デルのOracle Database 11gソリューション...........................................................................................................................4 本書の概要...........................................................................................................................................................................4

アーキテクチャ概要 - Red Hat Enterprise Linux 5.1/Oracle Enterprise Linux 5.1 上で運用するデルのOracle 11gソリューション..................................................................................................................................................5 ハードウェア構成.........................................................................................................................................................................7

ストレージ構成......................................................................................................................................................................7 Dell|EMC CX3 ファイバチャネルストレージ、デュアルHBA、デュアルファイバチャネルスイッチの構成...........................7 ディスクグループとLUNの構成...........................................................................................................................................8

サーバ構成......................................................................................................................................................................... 12 Ethernetインターコネクトの完全冗長構成 .................................................................................................................... 12 Dell|EMC CX3 ストレージのデュアルHBA構成............................................................................................................ 13

ソフトウェア構成....................................................................................................................................................................... 13 オペレーティングシステム構成.............................................................................................................................................. 13

プライベートNICのチーミング構成 .................................................................................................................................. 13 全ノードで統一したパブリックネットワークインタフェース名の構成 ................................................................................ 14 SSHの構成................................................................................................................................................................... 14 RAWデバイスインタフェースを使った、Oracle Clusterware向けの共有ストレージ構成.............................................. 14 ASMライブラリドライバを使った、データベース向けの共有ストレージ構成.................................................................... 15

Oracle Database 11g R1 の構成 ................................................................................................................................... 16 構成一覧 – Oracle Enterprise Linux 5.1 で運用するデルのOracle 11g R1 ソリューション ................................................ 17 結論........................................................................................................................................................................................ 18 図表索引................................................................................................................................................................................ 19 参考資料................................................................................................................................................................................ 19


4

はじめに Oracleデータベーステクノロジがも進化を遂げた「Oracle 11g」では、数多くの新機能と機能強化が加わりました。たとえば、

テストシステム上で実業務のワークロードを再現するデータベースリプレイ機能は、テスト環境で本番環境さながらのシミュレー

ションが可能となるため、実際の基幹系システムを危険にさらすことなく、システム設定の変更とその影響を検証することができま

す。このようにOracle 11gテクノロジにはメリットが多いため、11gへの移行・採用がIT業界の流れとなりつつあります。

本書は、デルサーバおよびストレージ上で、ラボの検証結果や実体験から導き出された「ベストプラクティス」を適用しながら

Oracle 11g RACデータベースソリューションを設計、構成される、ITプロフェッショナルの方にご活用いただけます。以降にご紹

介するデルの推奨事項は、第9世代のDell PowerEdgeサーバ、Dell|EMCストレージ、Red Hat Enterprise Linux リリース5 アップデート1（RHEL 5.1）/ Oracle Enterprise Linux リリース5 アップデート1（OEL 5.1）上に実装する、検証/動作確認済み

のOracle 11gデータベースソリューションを対象としています。

デルの Oracle Database 11g ソリューションデルは、随一の価格性能比を誇るサーバ/ストトレージハードウェアのみならず、Oracle Database 11g 向けに充実したソ

リューションも提供しています。シンプルな運用、資源の有効活用、必要に応じて拡張していける経済的なスケーラビリティ等を

設計理念とした本ソリューションには、次のような特長があります。

• デルの検証済みOracle 11g構成 – 特に需要の高いソリューションを対象に、Oracle 11g構成を徹底検証しました。導入をシンプルにする資料やツール群も豊富にご用意しており、今後は、11gの新しい中核機能や強化点を活用しながらソリューションを実装するためのベストプラクティスも、積極的にご紹介していく予定です。

• 統合ソリューション管理 – 標準ベースの管理をサポートするデルのOracle 11gソリューションは、ハードウェアとソフトウェアの統合ディプロイメント/モニタリング/アップデートが可能なため、運用の負担が減ります。

• Oracleサーバライセンス – お客様の購入のしやすさを考え、いくつかのライセンスオプションをご用意しました。

• Oracle 11g向けのデルエンタープライズサポートと、インフラストラクチャコンサルティングサービス – デルのOracle Database 11gソリューション向けに、プランニング、ディプロイメント、メンテナンス等のサービスを提供します。

デルのOracle Database 11gソリューションの詳細は、次をご参照ください。 www.dell.com/oracle

本書の概要本ホワイトペーパーが提供する主な情報は、Red Hat Enterprise Linux 5またはOracle Enterprise Linux 5上にOracle Database 11gを導入するときのデルの参照用構成、ハードウェアおよびソフトウェアコンポーネントを構成する際のベストプラク

ティス、詳細の参照先などです。

http://www.dell.com/oracle

アーキテクチャ概要 - Red Hat Enterprise Linux 5.1/Oracle Enterprise Linux 5.1 上で運用するデルの Oracle 11g ソリューション Red Hat Enterprise Linux 5.1/Oracle Enterprise Linux 5.1とOracle 11gを対象とするデルの参照用構成では、次のソ

リューションコンポーネントで動作確認を行っています。

• Dell PowerEdge 2950 III サーバ（クアッドコア対応）で構成した、2ノードクラスタ • Dell|EMC CX3ファイバチャネルストレージシステム • Red Hat Enterprise Linux リリース5 アップデート1 • Oracle Enterprise Linux リリース5 アップデート1 • Oracle Database 11g R1 Enterprise Edition （11.1.0.6） x86_64

下の図1は、Red Hat Enterprise Linux 5.1/Oracle Enterprise Linux 5.1上で運用するデルのOracle 11gソリューションの

アーキテクチャ概要を示したものです。本アーキテクチャは、次のコンポーネントで構成されます。

Red Hat Enterprise Linux 5.1アーキテクチャ：

• Dell Optiplex™ デスクトップシステム： Oracleデータベース内のデータにアクセスします。 • クライアント-サーバネットワーク：ネットワークコントローラ、ケーブル、スイッチで構成します。 • Dell PowerEdge 2950 III サーバ： RHEL5.1とOracle 11g R1 RAC（11.1.0.6）を実行します。 • Dell|EMC CX3-10、CX3-20、CX3-40、CX3-80ストレージアレイ • 冗長Brocadeファイバチャネルスイッチ： SAN環境用です。

Oracle Enterprise Linux 5.1アーキテクチャ：

• Optiplexデスクトップシステム： Oracleデータベース内のデータにアクセスします。 • クライアント-サーバネットワーク：ネットワークコントローラ、ケーブル、スイッチで構成します。 • Dell PowerEdge 2970 III サーバ： OEL 5.1とOracle 11g R1 RAC（11.1.0.6）を実行します。 • Dell|EMC CX3-10、CX3-20、CX3-40、CX3-80ストレージアレイ • 冗長Brocadeファイバチャネルスイッチ： SAN環境用です。


5

図1. アーキテクチャ概要： RHEL 5.1/OEL 5.1 と Dell|EMC ストレージで運用する Oracle ソリューション


6

ハードウェア構成

ストレージ構成 Dell|EMC CX3 ファイバチャネルストレージ、デュアル HBA、デュアルファイバチャネルスイッチの構成

図2は、データを格納したDell|EMC CX3ストレージアレイと、Oracleデータベースをホストする2ノードのPowerEdgeクラスタを

ファイバ配線した図です。各CX3ストレージアレイには、SPAおよびSPBと呼ばれる2基のストレージプロセッサー（SP）が搭載さ

れており、SPを通じてシステム内の全ディスクにアクセスできます。CX3ストレージアレイは、Oracle 11g RACデータベースに物

理ストレージ容量を提供します。ここにデータを格納するには、まず、CX3の物理ディスクから、RAIDグループやLUNと呼ばれる

コンポーネントを作成しなければなりません。RAIDグループとは、複数の物理ディスクを1つの論理グループにまとめたものです。

各RAIDグループは、1つまたは複数のLUNに分割することができ、サーバは、このLUNという論理的な単位でデータを格納しま

す。RAIDのレベルは、RAIDグループ内で初のLUNを割り当てるときに決まります。データベースワークロードを扱うシステムで

は、ディスクスピンドルの競合を避けるため、RAIDグループごとに1つずつLUNをバインドするようお勧めします1。LUN構成の詳

細は、後述の「ディスクグループとLUNの構成」をご参照ください。

CX3アレイ内では、LUNがOracle 11gクラスタノードに割り当てられ、各クラスタノードは、1基のストレージプロセッサーを通

してLUNに直接アクセスします。ホストを複数のSPポートに接続し、EMC® のマルチパスソフトウェア「PowerPath®」を使用

している場合は、たとえ一方のSPポートに障害が発生しても、同じSP上のもう一方のポートからトラフィックを流すことができます。

また、1基のストレージプロセッサー全体に障害が発生したときも、障害プロセッサー上のLUNは、残りのストレージプロセッサー

からアクセス可能です。このように、Oracle 11g RACデータベースホストとCX3アレイ間のI/Oパスを冗長化していない限り、上

記のいずれの障害も、サービスの中断を招きかねません。したがって、I/Oパス構成内から、シングルポイントの障害原因を完全に

なくすことが大切です。

インターコネクトについては、Oracle 11g RACの各ノードにHBAを2枚ずつ搭載し、それぞれのストレージプロセッサー向けに独

立したパスを渡すようお勧めします。クラスタノードにEMC PowerPathソフトウェアをインストールしておけば、HBA間でI/O負荷

を分散することも可能です。さらに、2台のファイバチャネルスイッチを使用することもお勧めします。これは、ファブリック内に1台の

ファイバチャネルスイッチしか存在しないと、万が一このスイッチが故障した場合、すべてのホストがストレージにアクセスできなくな

るからです。このような状況に陥ると、スイッチを物理的に交換して、構成を基に戻さない限り、アクセスは復旧しません。

図2. Dell|EMC CX3-80 を直接接続したケーブル配線図

1 出典：「Designing and Optimizing Dell/EMC SAN Configurations Part 1」（Arrian Mehis、Scott Stanford著、『Dell Power Solutions』2004年6月号より： http://www.dell.com/downloads/global/power/ps2q04-022.pdf）


7

http://www.dell.com/downloads/global/power/ps2q04-022.pdf

図3は、Oracle 11g RACをホストするPowerEdgeサーバと、データベースを格納するDell|EMC CX3-80ストレージシステム

を、SAN環境で相互接続した構成例です。このトポロジでは、サーバとストレージ間にファイバチャネルスイッチを挟んでおり、こ

れらのスイッチが、HBAポート数の限られたホストシステムと、複数のストレージサブシステムとをつなぐ接続手段となります。この

ように、2台のファイバチャネルスイッチを追加したことでI/Oパス数が増え、冗長性が強化されています。2つのホストバスアダプ

タ（HBA）はアクティブ/アクティブ型に構成しているため、サーバとストレージシステム間を流れるコマンドとデータは、両方のHBAとファイバリンクを使うことが可能です。したがって、いずれか一方のHBAコントローラ、スイッチ、CX3-80ストレージコントローラが

故障しても、もう一方のHBA –スイッチ– CX3-80ストレージコントローラの組み合わせを使って稼働を続けることができます。

図3. Dell|EMC CX3-80 を SAN に接続したケーブル配線図

注：図3に示した色の異なる各線は、ファイバチャネル接続を表しています。スイッチとSPを結ぶ線の色の違いは、スイッチとスト

レージ間のパス（経路）として、これだけの選択肢があることを示しています。

ディスクグループと LUN の構成

アプリケーションデータを格納するには、まず、物理ストレージから、ディスクグループやLUNと呼ばれるコンポーネントを作成しな

ければなりません。LUNとは、いくつかの物理ディスクから作成する論理単位のことで、ホストは、このLUNという形でCX3スト

レージを認識します。作成された各ディスクグループの容量は、1つまたは複数のLUNに分割することができ、サーバは、このLUNという論理的な単位でデータを格納します。

Oracle自動ストレージ管理（ASM）とは、Oracleデータベースファイル専用に構築されたファイルシステムとボリュームマネージャ

を垂直統合する、Oracle Database 11gの一機能です。ASMは、利用できる全リソース間にI/O負荷を分散させて性能を

適化するので、「ホットスポット」をなくすためにデータベースファイルを手動で分散させるようなI/Oチューニングの手間が省けます。

また、データベースのサイズを拡張するときでも、ASMを活用すれば、ストレージの割り当て変更のためにデータベースをシャットダ

ウンする必要がないため、動的なデータベース環境を管理するデータベース管理者（DBA）にとって強力なツールとなります2。

Oracle Database 11g RACデータベース用のストレージは、下記の3つの共有ストレージ領域に分けられます。これらのいずれ

の領域も、ブロックデバイスとして作成するため、Oracle ClusterwareやOracle自動ストレージ管理（ASM）インスタンスから直

2 出典：『Oracle Database 10g – Automatic Storage Management Overview』（Oracle TechNet： http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf）


8

http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf


9

接管理できるようになり、ホストOSの介入を挟まずに済みます。


10

• 第1の共有ストレージ領域は、Oracleクラスタレジストリ（OCR）、Clusterwareのクラスタ同期サービス（CSS）投票ディスク、自動ストレージ管理（ASM）インスタンス用のサーバパラメータファイル（SPFILE）に使用します。OCRには、クラスタ構成の詳細情報として、データベース、関連インスタンス、サービス、ノードアプリケーション（リスナープロセスなど）の名前や現在のステータスが格納されます。CSS投票ディスクは、現在、クラスタ内でどのノードが利用できるか判断するときに使用します。Oracle ASMインスタンス用のSPFILEは、ASMのパラメータ設定が入ったバイナリファイルです。上記の各ファイルは、ASMインスタンスが起動する前にアクセス可能となっていなければならないため、通常のデータベースファイルとは異なり、ASM管理下のディスクに保存することができません。したがって、これらのファイルは、すべてのRACノードから共有されるRAWデバイス上か、ブロックデバイス上に格納してください

3。OCRや投票ディスク用の共有ストレージを外部で冗長化していない場合、推奨するのは、これらをコピーして合計2個のOCRと合計3個の投票ディスクを作成し、それぞれ個別のハードウェアデバイス上に分散させる構成です4。これで、シングルポイントでの障害原因が排除できます。

• 第2の共有ストレージ領域は、実際のORACLEデータベース用に使われ、データファイル（datafile）、オンラインREDOログファイル、制御ファイル、データベースインスタンス用のSPFILE（ASMインスタンス用のSPFILEではなく）、テンポラリテーブルスペース用の一時ファイルなどが保存されます。この領域にあるLUNは、ASMディスクグループの作成に使用され、ASMインスタンスから管理されます。1つのASMグループに1つのLUNを作成するのが小構成ですが、1つのASMグループに複数のLUNを作成することも、1つのデータベースに複数のASMディスクグループを作成することも可能です。

• 第3の共有ストレージ領域は、Oracleフラッシュリカバリ領域（FRA）用です。Oracleの推奨構成に従った場合、この領域が、すべての復旧関連ファイルの格納先となるため、ディスクベースのデータベースバックアップファイルはいずれもこのFRAに保存されますし、アーカイブされたすべてのREDOログファイルも、FRAがデフォルトの保存先となります。データベースデータ領域とフラッシュリカバリ領域は、同じ物理ディスクを共有しないように、それぞれ分離したLAN上に配置するのがベストプラクティスです。このように使用する物理ディスクを完全に分けることで、I/O性能が向上します

4。

表1は、上記3種類のストレージ領域をそれぞれのLUNに割り当てた構成例で、一部、ベストプラクティスと代替案も併記してい

ます4。

図4は、2台のディスクアレイエンクロージャ（DAE）を接続したDell|EMC CX3-80上の、ディスクグループ構成例です。それぞれ

の物理ディスク上で、OCR、クォーラム（QUORUM）、SPFILE、ユーザ定義データベースのデータ、フラッシュリカバリ領域向け

にパーティションを分けています。CX3-80ディスクアレイエンクロージャ（DAE）0内のスピンドル0～4にはストレージ用OSが含ま

れますが、これらのスピンドルには、電源障害時にシステムキャッシュデータを退避するという目的もあります。これらのOS用ス

ピンドルを、データ用やフラッシュリカバリ領域用のドライブとして使用することはお勧めできません。ストレージ容量を増やす必要

性が生じたら、ストレージサブシステムにDAEを追加することができます。Oracle自動ストレージ管理（ASM）を活用すれば、

データやフラッシュリカバリ領域の拡張も簡単迅速です。

3 出典：『Oracle Clusterware 11g』 Oracleテクニカルホワイトペーパー： http://www.oracle.com/technologies/grid/docs/clusterware-11g-whitepaper.pdf 4 出典：『Oracle Clusterware Installation Guide for Linux, Oracle 11g document, B28263-03』 http://download.oracle.com/docs/cd/B28359_01/install.111/b28263.pdf

http://download.oracle.com/docs/cd/B28359_01/install.111/b28263.pdf

http://www.oracle.com/technologies/grid/docs/clusterware-11g-whitepaper.pdf


LUN 小サイズ RAID パーティション数用途 OSマッピング第1領域のLUN （ベストプラクティス）

1,024 MB 300 MB x 3 （RAID 10か1を使用する場合）[6]

3つのRAWデバイス（RAID 10か1を使用する場合）：投票ディスク x 1 OCR x 1 SPFILE x 1

第1領域のLUN （代替案）

2,048 MB

10、または、1

300 MB x 6 （RAID 10か1を使用しない場合）

投票ディスク、Oracleクラスタレジストリ（OCR）、 ASMインスタンス用SPFILE 6つのRAWデバイス

（RAID 10か1を使用しない場合）：ミラーリングした投票ディスク x 3：それぞれ別のディスクに保存ミラーリングしたOCR x 2：それぞれ別のディスクに保存 SPFILE x 1

第2領域のLUN

運用するデータベースより大きなサイズ

10、ただし、読み込み専用の場合 RAID 5 も可

1 データ ASMディスクグループ DATABASEDG

第3領域のLUN

小サイズ＝第2領域のLUNの2倍

10、または、5 1 フラッシュリカバリ領域

ASMディスクグループ FLASHBACKDG

表1. クラスタストレージグループ/RAID グループの LUN

図4. Dell|EMC CX 3-80 ストレージアレイ内におけるディスクグループと LUN の割り当て


11



12

RAID 10は、フォルトトレランスを提供するうえ、読み込み/書き込み性能にも優るため、一般に、Oracle 11g RACのLUNに

適な選択と考えられています5。したがって、データ用のディスクグループ/RAIDグループは、RAID 10で構成してください。

しかし、RAID 10を採用するには、より多くのドライブが必要となるため、RAID 10が必ずしもすべてのアプリケーションで善策と

なるわけではありません。一例として、OCR、投票ディスク、SPFILEであれば、ドライブハードウェアのフォルトトレランスを提供

するRAID 1も検討可能です。ただし、RAID 0構成は、フォルトトレランスを提供しないため、採用すべきではありません。データストレージ領域用のLUNを含むディスクグループ/RAIDグループは、代替案として、コストパフォーマンスの良いRAID 5が検討で

き、特に、データウェアハウスデータベースなどの読み込み専用処理が主流となる場合には向いています。フラッシュリカバリ領

域（FRA）は、データ用領域の2倍のサイズが推奨されていることから、スペースに余裕がない場合、RAID5を選択しても構いま

せん。しかし、RAID 5は、データベース上で発生する通常の負荷に加え、パリティブロックにまつわる読み/書き処理も発生するこ

とから、書き込み性能が著しく低下することがあり、OLTPデータベースのように、書き込み処理が集中するデータベースのデータ

には向きません。

上記構成例の詳細：

• RAID 1では、物理的にディスクを二重化するため、少なくとも2個のスピンドルが必要です。 • 本書の例では、初期構成として、データ用に4台のディスクから成るRAID 10のLUNを2つ割り当て、また、各フラッシュリカ

バリ領域用に、5台のディスクから成るRAID 5のLUNを2つ割り当てました。 • その後、ストレージ増設用のビルディングブロック（＝1単位）として、データ用に4ディスクのLUN（RAID 10）を、また、フラッ

シュリカバリ領域用に5ディスクのLUN（RAID 5）を割り当てました。これは、今後のデータベース拡張に使用します。

ストレージ内にそれぞれのLUNを作成したら、次は、すべてのOracle 11g RACホストから認識できるようにし、OSレベルでの構

成を済ませることになります。OSレベルで行う共有ストレージの構成については、後述の「RAWデバイスインタフェースを使った、

Oracle Clusterware向けの共有ストレージ構成」と「ASMライブラリドライバを使った、データベース向けの共有ストレージ構

成」をご参照ください。

サーバ構成 Oracle 11g RACデータベースクラスタを構成する各ノードには、高可用性への配慮が欠かせません。そこで、以降のセクション

では、EthernetインタフェースとファイバチャネルHBA（ホストバスアダプタ）の適切なセットアップ方法を説明します。ファブリック

は2つ構築することになり、1つはデータベースの相互通信用、もう1つはストレージ用です。これらのインタフェースにもフォルトトレ

ランスを導入することで、システム全体の可用性を上げることができます。

Ethernet インターコネクトの完全冗長構成各Oracle Database 11g RACデータベースサーバには、少なくとも3個のネットワークインタフェースカード（NIC）が必要です

（外部インタフェース用に1つ、プライベートインターコネクトネットワーク用に2つ）。Oracle 11g RAC内の各サーバは、Oracle Clusterwareと呼ばれるクラスタ管理ソフトウェアを通じて互いに連携するため、あたかも1台のシステムとして動作できます。クラ

スタ内のサーバ同士は、「クラスタインターコネクト」や「プライベートインターコネクト」と呼ばれる専用のプライベートネットワーク

を通じて相互通信し、クラスタのステータスを監視します。RACクラスタのうち、必ず1台のサーバは、マスターノードに割り当てら

れます。

プライベートインターコネクト用NICを各サーバに1つずつしか搭載していない環境の場合、いずれかのNICが故障すると、その

サーバはマスターノードと通信できなくなるため、マスターノードが、当該サーバ上で利用不能となったデータベースインスタンスの

復旧処理を開始します。

また、プライベートネットワーク用のスイッチが1台しかない環境で、そのスイッチが故障しても、やはり通信障害が発生するため、

マスターノードを除くクラスタ内の全ノードが故障したのと同じ状況に陥ってしまいます。

5 出典：『Pro Oracle Database 11g RAC on Linux』 Julian Dyke、Steve Shaw著（Apress 2006 年）

この場合、マスターノードは、1ノードからサービスを提供する前に、まず、クラスタ内にある全障害インスタンスの復旧処理から取

り掛かるため、処理能力もサービスレベルも著しく低下します。

以上の理由から、各サーバ上ではプライベートネットワーク用NICを二重化し、さらに、プライベートネットワークスイッチも二重

化して、完全な冗長ネットワーク構成を整えるようにしてください6。

図5は、CAT 5E/6 Ethernetケーブルを使って完全な冗長インターコネクトネットワークを構成した、2ノードのPowerEdge RACクラスタ例です。各サーバには2個のプライベートネットワーク用NICを搭載し、プライベートネットワーク用スイッチも2台接

続しています。この種の冗長構成をスムーズに運用するには、スイッチ同士を連動させて1つ～複数のリンクを提供する「リンクアグリゲーショングループ」の設定が必要です。これら2つのプライベートインターコネクトネットワーク接続は、パブリックネットワー

ク接続から独立して動作します。

完全な冗長インターコネクト構成を整えるには、OS上で、NICのチーミングソフトウェアも構成してください。このソフトウェアは、

ネットワークドライバレベルで動作しながら、2つの物理ネットワークインタフェースを1つのIPアドレス配下で提供することができ

ます7。NICのチーミング構成については、下記「プライベートNICのチーミング構成」をご参照ください。

図5. 完全な冗長プライベートインターコネクトネットワークを実現する Ethernet ケーブル配線図

Dell|EMC CX3 ストレージのデュアル HBA 構成

図2と図3に示したとおり、Oracle 11g RACデータベースをホストするそれぞれのPowerEdgeサーバには、2つのHBAをインス

トールするよう推奨します。ホストに1つのHBAしか搭載していないファブリック環境の場合、そのHBAが故障してしまうと、HBAを

物理的に交換するまで、ホストはストレージにアクセスできません。しかし、デュアルHBA構成なら、CX3ストレージアレイへの冗

長リンクが提供できます。高いI/Oスループットを達成するため、デュアルポートのHBAが求められる場合でも、やはり2つのデュア

ルポートHBAを用意し、2台のスイッチにそれぞれ接続することで、冗長リンクを確保してください。

ソフトウェア構成オペレーティングシステム構成プライベート NIC のチーミング構成

「Ethernetインターコネクトの完全冗長構成」で述べたとおり、システムをプライベートネットワークの通信障害から守るため、

6 出典： Julian Dyke、Steve Shaw著の前掲書 7 出典： Julian Dyke、Steve Shaw著の前掲書


13


14

Oracle 11g RACクラスタ内の各サーバには、物理的に2個のプライベート用NICをインストールするようお勧めします（オンボード

NICもプライベートネットワークに利用可）。また、2個のNICをインストールしたら、NICのチーミングソフトウェアを使って2個のプ

ライベートネットワークインタフェースを結合し、1つのIPアドレス配下で稼働するようにしてください。インテル® 製NICのチーミン

グソフトウェアと、Broadcom® 製NICのチーミングソフトウェアのどちらもサポート対象です。NICチーミングソフトウェアは、

フェールオーバー機能を提供するので、たとえ一方のNICインタフェースが遮断されても（たとえば、スイッチポートの故障、ケーブ

ルの切断、NICそのものの故障など）、ネットワークトラフィックは、稼働中のNICインタフェースに引き継がれます。このフェール

オーバーは、Oracle 11g RACデータベースに何の支障も与えずスムーズに処理されるため、ネットワーク通信が中断されること

も、プライベートIPアドレスを変更する必要もありません。

全ノードで統一したパブリックネットワークインタフェース名の構成

パブリックインタフェース向けにネットワークインタフェース名を付けるときは、Oracle 11g RACクラスタ内のいずれのノードにも、

必ず、同じ名前を付けてください。たとえば、初のノードでパブリックインタフェース名に「eth0」を付けた場合、残りすべてのノー

ドにも、「eth0」を指定する必要があります。この構成は、Oracle Clusterwareソフトウェアのインストール時に設定した仮想IP（VIP）アドレスを正しく動作させるために不可欠です8。インストール上の理由から、RACノードに設定するパブリックIPは、ルー

ティング可能なIPアドレスでなければなりません。したがって、192.xxx.xxx.xxx、172.xxx.xxx.xxx、10.xxxx.xxx.xxx は、利用

できません。ただし、この設定は、Oracle RACのインストール後に変更することができます。

SSH の構成

Oracle 11g RACソフトウェアのインストール中に、RACクラスタ内の1ノードで、Oracleユニバーサルインストーラ（OUI）が起動

されます。OUIは、クラスタ内の別サーバにファイルをコピーし、コマンドを実行します。OUIを正しく動作させるには、まず、セキュア

シェル（SSH）を構成し、OracleユーザとしてSSHホスト間を接続するときにプロンプトや警告メッセージを受信しないようにしてく

ださい。システムへの不正アクセスを防ぐため、Oracleソフトウェアのインストールが完了したら、RSHは無効にするようお勧めしま

す。

RAW デバイスインタフェースを使った、Oracle Clusterware 向けの共有ストレージ構成 Oracle 11g RAC Clusterwareソフトウェアをインストールする前に、まず、全クラスタノードからアクセス可能な共有ストレージを

準備して、OCRとClusterware CSS投票ディスクが作成できるようにしなければなりません。OCRファイルとCSS投票ディスクファイルは、共有のRAWデバイスファイル上に保存可能です。「ディスクグループとLUNの構成」で説明したとおり、ASMインスタ

ンス用のSPFILEに加え、OCR向けには合計2つのLUNを、また、投票ディスク向けには合計3つのLUNを作成することになりま

す。これらのLUNは、RAWディスクデバイスとして構成してください。

Red Hat Enterprise Linux 5とOracle Enterprise Linux 5に対応するLinuxカーネル2.6では、RAWデバイスのサポートが縮

小されています。RHEL 4やOEL 4などの旧Linuxバージョンでは、ブロックデバイスやパーティションを、キャラクタモードのデバ

イスノード（/dev/raw/raw1 など）にバインドすることで、RAWデバイスへのアクセスをサポートしていましたが、この方法は、

OEL5やRHEL5のリリース以降、サポートされません。つまり、/etc/sysconfig/rawdevices ファイルを使用しても、RAWデバイ

スをバインドすることができなくなりました。したがって、OEL5とRHEL5の場合は、OSのインストールに伴い提供されるUDEVの

標準ルールファイルに、カスタムルールを追加することになります。現在、このUDEVファシリティが、永続ファイル名を付け、

RAWデバイスをブロックデバイスにマッピングするための標準的な方法となっています。たとえば、OEL5やRHEL5上の /etc/udev/rules.d 内でカスタムUDEVルールを使えば、ブロックデバイスから /dev/raw/rawN へのマッピングが作成できます。

注： RHEL5/OEL5上でカスタムUDEVルールをセットアップし、RAWデバイスをマッピングする手順は、http://metalink.oracle.com のOracle Metalink Note「No. 443996.1」と「No. 465001.1」をご覧ください。

Oracle 11g RACの場合、OCRと投票ディスクデバイスには、特別な所有権や権限が必要です。その一方で、Red Hat Enterprise Linux 5.1とOracle Enterprise Linux 5.1では、特殊なファイル（ブロックデバイスなどのオブジェクト）を作成するとき

にカーネルが使うデフォルトの制御手段が、UDEVとなるため、これが問題となりかねません。それは、UDEVがブートのたびに、

RAWデバイスへのアクセス許可を設定するからです。これを回避するため、RAWデバイスへのアクセス許可が正しく設定される

ようにUDEV構成を変更することをお勧めします。

8 出典： Julian Dyke、Steve Shaw著の前掲書

http://metalink.oracle.com/



注： OCRと投票ディスクの所有権や権限を正しく設定する、UDEVのセットアップ方法は、http://metalink.oracle.com のOracle Metalink Note「No. 414897.1」をご覧ください。

ASM ライブラリドライバを使った、データベース向けの共有ストレージ構成

「LUNの構成」で提示した構成では、データストレージ領域用と、フラッシュリカバリ領域用に、それぞれ2個のLUNを作成しま

した。これら2つのLUNは、ASMの能力を活かすため、ASMディスクとして構成するようお勧めします。Oracle 11g R1データ

ベースの場合、ASMを利用するには、下記を含むいくつかのRPMパッケージを追加する必要があります。これらの rpm は、

カーネル 2.6.18-53.el5 上で稼働するEnterprise Linux 5.1とOracle Enterprise Linux 5.1の両方でご利用いただけます。

• oracleasm-2.6.18-53.el5-2.0.4-1.el5.x86_64.rpm ：カーネル 2.6.18-53.el5 に対応するASMライブラリ向けのカーネルモジュール

• oracleasm-support-2.0.4-1.el5.x86_64.rpm ： ASMLib の運用管理に必要となるユーティリティ • oracleasmlib-2.0.3-1.el5.x86_64.rpm ： ASMライブラリ

ASMライブラリドライバを使ってASMディスクグループにディスクを加えるには、Oracleasm createdisk コマンドを使って、

そのディスクを、Automatic Storage Management（ASM）ディスクとして作成する必要があります。しかし、EMC PowerPath バージョン5.0.1は、oracleasm が生成するI/Oコールを適切にサポートしないため、oracleasm createdisk コマンドを

実行しても、「marking disk "/dev/emcpowera11" as an ASM disk: asmtool: Device "/dev/emcpowera11" is not a partition [FAILED] 」というエラーが出て、失敗に終わります。この問題を解決するには、asmtool コマンドを直接実行してく

ださい。詳細は、http://metalink.oracle.com に掲載されているOracle MetaLink Note「No. 469163.1」をご覧ください。

データベース管理者（DBA）は、ASMにより、ディスクグループと呼ばれるストレージプールを定義することができます。このスト

レージプール上では、Oracleカーネルが各データベースファイルの命名と配置を管理しますが、DBAが「create diskgroup」「alter diskgroup」「drop diskgroup」などのSQLコマンドを使えば、ディスクを追加/削除したり、スト

レージの割り当て（アロケーション）を変更したりすることができます。また、ディスクグループをOracle Enterprise Manager（OEM）やOracle Database Configuration Assistant（DBCA）で管理することも可能です。図6に示すとおり、各Oracle 11g RACノードにはASMインスタンスが搭載され、ここからバックエンドストレージへのアクセスが提供されます。このASMインスタン

スは、データベースインスタンスと同様、RAC環境内の他のインスタンスと通信することができますし、フェールオーバー機能も提

供します。

図6. ASM インスタンス、ASM ディスク、ASM ディスクグループのレイアウト


15






16

Oracle Database 11g R1 の構成 Oracleクラスタレディサービス（CRS）とOracle Databaseのインストール方法として推奨するのは、Oracleユニバーサルイン

ストーラ（OUI）を使用することです。OUIであれば、Oracle CRSとDBバイナリを、シンプルなウィザード形式でRHEL 5.1/OEL 5.1にインストールできます。CRSやOracleのインストール時は、OUIの指示に従って、インベントリディレクトリ用のパスや、マル

チノード情報などの一般的な情報を入力してください。OUIでは、1台のマスターサーバからRACの各ノードに向けて必要なバイ

ナリがプッシュできる機能なども提供されており、RACが一層導入しやすくなりました。

一般的なインストール手順は、次のとおりです。

1. Oracle 11g R1（11.1.0.6）Clusterwareをインストールします。

2. Oracle 11g R1（11.1.0.6）をインストールし、ASMホーム（home）ディレクトリ上でASMを構成します。

3. Oracle 11g R1（11.1.0.6）Oracle Databaseソフトウェアをインストールし、クラスタデータベースを作成します。


17

構成一覧 – Oracle Enterprise Linux 5.1 で運用するデルの Oracle 11g R1 ソリューション

以降に、RHEL 5.1/OEL 5.1で運用するデルのOracle 11gソリューションをまとめた、ソリューションデリバラブルリスト（SDL）を

掲載します。これは、サーバおよびストレージのハードウェア構成、ファームウェア、ドライバ、OS、データベースバージョン等の詳

細情報を一覧表にしたものです。

ハードウェア/ソフトウェアの小要件（詳細は以下を参照）

検証済みのコンポーネント Oracle RACの小構成

PowerEdgeノード PowerEdge 2950 III 2

メモリ PowerEdge 2950 IIIでサポートする全メモリ構成 1GB （ノードあたり）

Dell|EMC FC ストレージアレイ

CX3-10、CX3-20、CX3-40、CX3-80 1

ファイバチャネルスイッチ Brocade SW4100 なし（直接接続）

HBA QLE 2460 2ポート（ノードあたり）

Ethernetポートインテル® または Broadcom製Gigabit NIC 3 （ノードあたり）

Ethernetスイッチ（プライベートインターコネクト用）

Gigabit専用スイッチ 2

RAIDコントローラ（内蔵ストレージのみに使用）

PERC 6/i 1 （ノードあたり）

内蔵ドライブ PowerEdge 2950 IIIでサポートするすべての内蔵ストレージ構成 73 GB （ノードあたり）

Oracleソフトウェア＆ライセンス Oracle 11g R1 11.1.0.6 Enterprise Edition RAC RAC

オペレーティングシステム Red Hat Enterprise Linux 5 アップデート1

または Oracle Entreprise Linux 5 アップデート1

表2. ソリューション構成ハードウェア/ソフトウェアの小要件


18

検証済みのサーバモデル BIOS* ESM/BMC ファームウェア* 備考

PowerEdgeサーバ PE2950 III 2.0.1 1.77

内蔵ディスクRAID

PERC 6/i ファームウェアバージョン = 6.0.1-0080、ドライババージョン = 00.00.03.10

ネットワークインターコネクトインテル® NICドライバ（1000MT）ドライババージョン = (e1000) 7.3.20-k2-NAPI

Broadcom NICドライバ（5708）ドライババージョン = (bnx2) 1.5.11

Broadcom NICドライバドライババージョン = (tg3) 3.80

NICボンディング Ethernetチャネルボンディングドライバ、バージョン = 3.1.2

ファイバチャネルHBA（ホストバスアダプタ）

Qlogic HBA QLE2460 BIOS = 1.08、ファームウェア = 4.00.150、ドライバ = (QLE2460) バージョン 4.00.150

ファイバチャネルスイッチ Brocade ファイバチャネルスイッチ（SW4100）ファームウェア = v5.2.1以上

ファイバチャネルストレージサポートするストレージアレイ（ソフトウェアを含む）

Dell|EMC CX3-10、CX3-20、CX3-40、CX3-80 （リリース24以降）

データベースソフトウェア： Oracle 11g R1 11.1.0.6 Enterprise Edition

ASMLib oracleasm- 2.6.18-53、oracleasmlib- 2.0.4-1

オペレーティングシステム RHEL 5 QU1 （kernel-2.6.18-53） OEL 5 QU1 （kernel-2.6.18-53）

EMC PowerPath 5.1.0.0-194 （www.emc.com より入手可）

表3. ソリューションの詳細：ファームウェア、ドライバ、ソフトウェアのバージョン注： * これは、低限必要なBIOSとSM/BMCのバージョンです。新のBIOSアップデートは、http://support.dell.com をご参照ください。

結論デルのOracle Database 11gソリューションは、運用をシンプルにし、資源の有効活用を促すだけでなく、必要に応じて段階的

に拡張していけるので、コストパフォーマンスにも優れています。この『参照用構成ホワイトペーパー』は、Dell PowerEdgeサーバ

とDell|EMCストレージアレイ上にOracle 11g RACデータベースをセットアップする際の青写真としてご活用ください。今回は、例

として2ノードのRACを提示しましたが、この導入方法は、3ノード以上のRAC構成にも適用可能です。

Red Hat Enterprise Linux 5.1やOracle Enterprise Linux 5.1上のOracle 11gから適な性能を引き出すには、本書でご

紹介してきたベストプラクティスが参考になります。Dell PowerEdgeサーバとデルストレージを対象とした、Oracle 11g RACの

導入・展開については、www.dell.com/oracle をご参照ください。また、Oracle 11gソリューション向けのデルサーバ、ストレー

ジ、サービスの新情報は、デルの担当営業までお尋ねください。

http://www.emc.com/

http://support.dell.com/

http://www.dell.com/oracle


19

図表索引表1. クラスタストレージグループ/RAIDグループのLUN...................................................................................................... 11 表2. ソリューション構成ハードウェア/ソフトウェアの小要件.................................................................................................. 17 表3. ソリューションの詳細：ファームウェア、ドライバ、ソフトウェアのバージョン......................................................................... 18

図1. アーキテクチャ概要： RHEL 5.1/OEL 5.1 とDell|EMCストレージで運用するOracleソリューション.................................5 図2. Dell|EMC CX3-80 を直接接続したケーブル配線図........................................................................................................7 図3. Dell|EMC CX3-80 をSANに接続したケーブル配線図....................................................................................................8 図4. Dell|EMC CX 3-80 ストレージアレイ内におけるディスクグループとLUNの割り当て ..................................................... 11 図5. 完全な冗長プライベートインターコネクトネットワークを実現するEthernetケーブル配線図......................................... 13 図6. ASMインスタンス、ASMディスク、ASMディスクグループのレイアウト .............................................................................. 15

参考資料 1. 「Designing and Optimizing Dell/EMC SAN Configurations Part 1」

（Arrian Mehis、Scott Stanford著、『Dell Power Solutions』2004年6月号より： http://www.dell.com/downloads/global/power/ps2q04-022.pdf）

2. 『Oracle Database 10g – Automatic Storage Management Overview』（Oracle TechNet： http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf）

3. 『Pro Oracle Database 11g RAC on Linux』 Julian Dyke、Steve Shaw著（Apress 2006年）

4. 『Oracle Clusterware 11g』（Oracleテクニカルホワイトペーパー： http://www.oracle.com/technologies/grid/docs/clusterware-11g-whitepaper.pdf）

5. 『Oracle Clusterware Installation Guide for Linux, Oracle 11g document, B28263-03』 http://download.oracle.com/docs/cd/B28359_01/install.111/b28263.pdf




http://www.oracle.com/technology/products/manageability/database/pdf/asmov.pdf





oracle® database 11g r1 enterprise edition rac real ... ルの参照用構成 - red hat...

Documents