oracle vm環境のoracle real application clusters...oracle...

Oracle VM環境のOracle Real Application Clusters

Oracle ホワイト・ペーパー | 2017 年 1 月

1 | Oracle VM 環境の Oracle Real Application Clusters

目次概要 3

はじめに 4

Oracle Real Application Clusters（RAC）とは 4

Oracle RAC One Node とは 6

拡張クラスタの Oracle RAC とは 7

"Flex Cluster"および"Flex ASM"とは 8

Oracle VM とは 9

Oracle VM 環境で Oracle RAC を運用する理由 12

ビジネス継続性、高可用性、スケーラビリティ 13

ライブ・マイグレーション、Flex Cluster、およびオンライン・データベース再配置

のサポート 15

Oracle VM 環境における拡張クラスタの Oracle RAC 16

ライブ・マイグレーション、または Oracle RAC One Node のデータベース再配置

の使用時期 18

デプロイ方法 19

ハードウェアとソフトウェアの要件 22

本番環境のハードウェア要件 22

開発環境のハードウェア要件 23

Oracle RAC ソフトウェア 23

Oracle VM 全般 23

Oracle VM ゲストの構成 24

Oracle RAC の Oracle VM vCPU 構成 24

vCPU 割当ての例 24

Oracle VM でサポートされている Oracle RAC のストレージ構成 26

Dom-0 管理ストレージ 26

ゲスト管理ストレージ 27

Oracle VM 環境の Oracle RAC – ベスト・プラクティス 28

Oracle のインストール要件と推奨事項 28

Oracle VM ゲスト環境の Linux カーネル・パラメータ 28

時刻の同期 28

ストレージ構成 29

ネットワーク構成 31


一般的な HugePages と透過的な HugePages 33

Orachk ユーティリティとベスト・プラクティス 33

Oracle RAC を運用する Oracle VM 環境のサイジング 33

CPU とコア 33

メモリ 33

ネットワーク 34

ストレージ 34

推奨されるインストール：Oracle VM テンプレート 35

Oracle VM 環境の Oracle RAC：手動インストール 36

ライブ・マイグレーションおよびオンライン・データベース再配置のベスト・プラクティス

37

Oracle VM ライブ・マイグレーションのベスト・プラクティス 37

Oracle RAC One Node のオンライン・データベース再配置のベスト・プラクティス 38

まとめ 39

付録 A – Oracle VM Manager を使用したディスクの永続性 40

付録 B - ボンディング設定の例 41

付録 C – 参考資料 43

Oracle の公式ドキュメント - 一般 43

Oracle の公式ドキュメント – Oracle Real Application Clusters 43

My Oracle Support ノート 43


概要

今日の非基幹系業務アプリケーションを仮想化環境で運用することで、効率が上がり、費用を節約できることが分かっています。反対に、高度で高い可用性が求められるアプリケーションでは、一般的に使用されているソフトウェア・ベースの仮想化ソリューションはほとんどの場合において適していません。

この問題を解消するのが Oracle VM です。オラクルはソフトウェア・ベースの仮想化インフラストラクチャ（Oracle VM）と市場をリードする高可用性ソリューションの Oracle Real Application Clusters（Oracle RAC）から成る、データセンター向けの仮想化ソリューションの提供を開始しました。クラウドに対応したこの高可用性ソリューションは、完全に仮想化された環境の利点をすべて兼ね備えています。

Oracle VM と Oracle RAC を組み合わせると、より良いサーバー統合（CPU リソースの利用率が低い、または CPU の利用率がピークに達している Oracle RAC データベースでは、多くの場合、サーバーを仮想化して他のワークロードと統合することで効果が得られます）、サブキャパシティ・ライセンシング、および迅速なプロビジョニングを実現できます。

また、Oracle VM 上の Oracle RAC は、単一の物理サーバー上に、製品デモ、トレーニング用の設定、およびテスト環境に使用する非本番仮想クラスタを作成するのにも役立ちます。

このデプロイの組合せによって、統合環境に共通したサービス・レベル要件の変化に迅速に対応できるように、事前に構成されたデータベース・リソースを動的に変更することが可能になります。

x86-64 ハードウェア・プラットフォームでは、Oracle VM が、Linux 上の Oracle Real Application Clusters に対して完全に認定されている唯一のソフトウェア・ベースの仮想化ソリューションです。

このホワイト・ペーパーでは、Oracle RAC のさまざまなデプロイ・シナリオに関する説明と、Oracle VM 環境（バージョン 3.2 以降）での Oracle RAC の最適化されたデプロイに関するベスト・プラクティスを提供しており、これらに応じた具体的な対応について記載しています。

Note

Oracle VM と Oracle Real Application Clusters を組み合わせることにより、高可用アプリケーションのための仮想化データセンター・インフラストラクチャの利点を得られるようになります。

Note

オラクルは、Oracle RAC とともに使用する Oracle VM の追加機能や拡張機能のテストを常に実施しています。新しいテスト結果に応じて、本書は定期的に改訂されます。


はじめに Oracle Real Application Clusters1は、受賞歴のある Oracle Database Enterprise Edition の関連製品です。Oracle RAC は、従来のシェアード・ナッシング構成や共有ディスク構成の限界を克服した共有キャッシュ・アーキテクチャを基盤とするクラスタ・データベースであり、すべての業務アプリケーションに対応する高いスケーラビリティと可用性を備えたデータベース・ソリューションを実現します。数年にわたって革新を遂げてきた Oracle RAC は、包括的な高可用性（HA）スタックに基づいています。このスタックは、Oracle VM 上でデータベース・クラウド・システムの基盤として使用できるほか、データセンター内のあらゆるアプリケーションで高可用性、スケーラビリティ、柔軟性、俊敏性を実現する共有インフラストラクチャとしても使用できます。

Oracle Real Application Clusters のソリューション・ファミリには、グループ・メンバーシップ、高可用性、アプリケーション・リソース管理を提供する Oracle Clusterware 2が含まれています。Oracle Clusterware は、サーバー・ファームをクラスタに変換するテクノロジーです。一般に、クラスタは独立したサーバー（仮想または物理）のグループであり、1 つのシステムとして連携して機能することで、堅牢な高可用性と俊敏なスケーラビリティを実現します。Oracle Clusterware は、このシステムで必要な連携を実現するためのインテリジェント機能であり、Oracle エンタープライズ・グリッド・アーキテクチャの主要コンポーネントです。

Oracle RAC では、Oracle Automatic Storage Management（Oracle ASM）3を利用して、効率的に共有ストレージにアクセスしています。Oracle ASM は、基盤となるクラスタ・ボリューム・マネージャとして機能します。これによって、データベース管理者は、すべてのサーバーとストレージ・プラットフォームに共通する単純なストレージ管理インタフェースを使用できます。また、Oracle ASM は、Oracle データベース・ファイル専用の垂直的に統合されたファイル・システムとボリューム・マネージャとして、Raw I/O のパフォーマンスの高さに加えて、ファイル・システムの管理の容易さも備えています。Oracle ASM は、オラクルのエンタープライズ・グリッド・アーキテクチャにおける共有ストレージ・プールの基盤となります。

オープン・クラウド・インフラストラクチャのために設計された Oracle VM4は、仮想化テクノロジーの利点を生かすための機能を完備した環境を提供するプラットフォームです。Oracle VM を使用することで、サポートされている仮想化環境にオペレーティング・システムとアプリケーション・ソフトウェアをデプロイできます。Oracle VM は、Oracle RAC の認定を受けた仮想化環境を提供することで、データベース・クラウド・システムの基盤を補完します。

Oracle Real Application Clusters（RAC）とは

Oracle RAC Database は、クラスタ化されたデータベースです。クラスタは、独立したサーバーのグループであり、1 つのシステムとして連携して機能します。クラスタは、単一の対称マルチプロセッサ（SMP）システムを超える高い耐障害性とモジュール型の段階的なシステム拡張を実現します。

1 Oracle Real Application Clusters（RAC）ホームページ

2 Oracle Clusterwareについての詳細

3 Oracle Automatic Storage Management（ASM）についての詳細

4 Oracle VMホームページ

Note

Oracle Database に Oracle RAC を適用すると、一般的なパッケージ製品（Oracle E-Business Suite、PeopleSoft、Siebel、SAP など）や、OLTP、DSS、または混合ワークロードのための自社開発アプリケーションを含めて、クラスタ上のあらゆる種類の主流業務アプリケーションを運用できます。

http://www.oracle.com/technetwork/jp/database/options/clustering/overview/index.html

http://www.oracle.com/technetwork/jp/database/database-technologies/clusterware/overview/index.html

http://www.oracle.com/technetwork/jp/database/database-technologies/cloud-storage/index.html

http://www.oracle.com/jp/virtualization/index.html


システム障害が発生した場合、クラスタリングによって、ユーザーに対する最高の可用性と、ミッション・クリティカルなデータへのアクセスが確保されます。追加ノード、インターコネクト、ディスクなどの冗長ハードウェア・コンポーネントにより、クラスタで高可用性を実現できます。このようにハードウェアが冗長化されたアーキテクチャはシングル・ポイント障害を防ぎ、システムの耐障害性がきわめて高くなります。

図1：Oracle Real Application Clustersの概要


Oracle RAC により、ユーザーはクラスタのあらゆるインスタンスから、共有ストレージに保存されたデータにアクセスできます。

ただし、クラスタ化されたデータベース（複数のインスタンスを使用）は、複数のインスタンスから同時にアクセスできる点において、1 つのインスタンスを使用するデータベースとは異なります。それぞれのインスタンスは、Oracle Clusterware で構成されたクラスタ内の個々のサーバー上で実行されます。

追加のリソースが必要な場合は、停止時間なしで、ノードとインスタンスをクラスタに容易に追加できます。新たなインスタンスが起動されると、サービスを使用するアプリケーションは、そのインスタンスをすぐに利用できます。アプリケーションおよびアプリケーション・サーバーに変更を加える必要はありません。

Oracle Real Application Clusters は、Oracle Database の拡張機能であるため、Oracle Database に組み込まれている管理性、信頼性、セキュリティ機能の利点を享受できます。

Oracle RAC One Nodeとは

Oracle Real Application Clusters One Node5は、Oracle Database 11g Release 2 Enterprise Edition で導入されたオプションです。サーバーの仮想化によって得られるさまざまな利点を改良し、そうした利点を物理サーバー環境で実行されるデータベースにまで拡張したものです。Oracle RAC One Node により、以下が実現します。

• より優れたサーバーの統合

• 障害からの保護の強化

• 柔軟性とワークロード管理の向上

• オンライン保守の向上

また、データベース・ストレージの仮想化とデータベース環境の標準化を行うことができ、必要に応じて完全なマルチノードの Oracle RAC データベースにアップグレードできます。アップグレード中に停止時間が発生したり、ユーザーの作業が中断したりすることはありません。さらには、Oracle Virtual Machine（Oracle VM）と完全に共存可能であり、かつ相補的な関係にあるため、Oracle RAC One Node と Oracle VM Server 仮想化の両方の強みを生かした環境を構築できます。

図2：Oracle RAC One Node – 一般的なアーキテクチャの概要

5 Oracle RAC One Nodeについての詳細

http://www.oracle.com/goto/racone


図 2 に示した構成では、3 台のサーバーで構成されるクラスタ内で、4 つのシングル・インスタンスの Oracle RAC One Node データベースが実行されています。サーバーA は Oracle RAC One Nodeデータベース DB-A および DB-B をホストしています。同様に、サーバーB はデータベース DB-C を、サーバーC はデータベース DB-D をホストしています。各サーバーは 1 つの OS を実行しています。上記のサーバーA と C では、複数のデータベースが 1 つの OS 上に統合されています。

拡張クラスタのOracle RACとは

拡張（ストレッチ）クラスタの Oracle RAC は、サイト障害からのきわめて迅速なリカバリを実現するアーキテクチャです。拡張クラスタの Oracle RAC により、すべてのサイトに含まれるすべてのノードにおいて、トランザクションを単一のデータベース・クラスタの一部として、アクティブに処理できるようになります。

拡張クラスタの Oracle RAC は、ローカルに実装された Oracle RAC よりも優れた可用性をもたらします。ただし、完全なディザスタ・リカバリを実現するわけではありません。実行可能な分離は、一部の災害（局地的な停電、サーバー室の浸水など）にとっては有効な保護策ですが、すべての障害に有効というわけではありません。地震、暴風雨、洪水などの災害は、広範な地域に影響を及ぼす可能性があります。拡張クラスタの Oracle RAC は、人的エラーや共有ストレージの破損から保護されません。Oracle RAC システムは、たとえ拡張クラスタであっても、密結合されて閉じられたシステムであるためです。

図3：拡張クラスタのOracle RAC – アーキテクチャの概要

破損や地域的な災害からの保護を含む包括的なデータ保護には、オラクルの Maximum Availability Architecture（MAA）のビルディング・ブロックとして、Oracle RAC とともに Oracle Data Guard を使用することを推奨します。地理的に離れたデータセンターにデプロイされるアクティブ/アクティ


ブ構成のデータベースには、Oracle GoldenGate を使用することが MAA の推奨事項です。Data Guard と GoldenGate は、アップグレードや移行といった保守作業に伴う停止時間を最小限に抑えるなど、さらなる利点をもたらすことにも留意してください。

この種のクラスタは、"キャンパス・クラスタ"、"メトロ・クラスタ"、"ジオ・クラスタ"、"ストレッチ・クラスタ"、"長距離クラスタ"など、さまざまな名前で呼ばれています。

Oracle RAC One Node は、拡張クラスタ製品を補完します。Oracle RAC One Node は、Oracle RACなど（すなわち Oracle Clusterware や Oracle ASM）と同様のインフラストラクチャを使用していますが、アクティブ/アクティブ構成の Oracle RAC データベースがもたらす HA やスケーラビリティが不要であり、かつ統合され完全にサポートされる Oracle データベース向けフェイルオーバー・ソリューションの利点を享受する環境やアプリケーションに最適です。

Note

Oracle VM のクラスタ化されたプール 6は、ストレッチ/拡張構成としてはサポートされませんが、拡張クラスタの Oracle RAC は、それぞれが 1 つのデータセンターに存在する 2 つの異なる Oracle VM プール上にデプロイできるということを知っておくことが重要です。

"Flex Cluster"および"Flex ASM"とは

Oracle RAC は、すべてのバージョンで改良を重ねてきており、今回も例外ではありません。12c リリースには、クラウド・コンピューティング指向の環境に求められる要件をサポートする、"Flex ASM"および"Flex Cluster"と呼ばれる 2 つのプロパティが組み込まれています。Oracle RAC 12c には、次に示す 2 つの新しい概念が導入されています。

• ハブ・ノード：プライベート・ネットワーク経由で相互に接続され、以前のバージョンと同様に、共有ストレージに直接アクセスできます。Oracle Cluster Registry（OCR）と投票ディスク（VD）のそれぞれにアクセスするノードです。

• リーフ・ノード：これらのノードは軽量で、相互に接続されておらず、ハブ・ノードのように共有ストレージにはアクセスすることはできません。各リーフ・ノードは、接続されたハブ・ノードと通信し、リンクされたハブ・ノード経由でクラスタに接続されます。

ハブ・サーバーは密結合されたサーバーであり、データベース、OCR、および投票デバイスのストレージのほか、クラスタ内の他のハブ・サーバーと Peer-to-Peer 通信を共有します。リーフ・サーバーは疎結合されたサーバーであり、クラスタ内の単一のハブ・サーバーと通信上疎結合されています。共有ストレージと、クラスタ内の他のハブ・サーバーやリーフ・サーバーとの Peer-to-Peer通信（関連付けられたハブとの通信は除く）は不要です。12.1 では、リーフ・サーバーは、アプリケーションの可用性と複数層のリソース管理を向上させるように設計されています。

6 Oracle VM Concepts Guide: understanding Server Pools and Oracle VM Servers

http://docs.oracle.com/cd/E64076_01/E64081/html/vmcon-server-pool.html


アーキテクチャの観点からは、Oracle Flex Cluster はハブとリーフのアーキテクチャで構成され、ハブ・ノードのみが Oracle Cluster Registry（OCR）と投票ディスク（VD）に直接アクセスできます。ただし、アプリケーションは、ASM インスタンスがリーフ・ノードで実行されていなくても、リーフ・ノード経由でデータベースにアクセスできます。データベースとの接続は、ハブ経由で行われるため、接続はアプリケーションに対して透過的となります。

図4：Oracle Flex Cluster - アーキテクチャの概要

Oracle 12c より前のバージョンでは、データベース・インスタンスが ASM を使用するには、データベース・インスタンスが起動される前に、ASM インスタンスがすべてのノードで実行されていなければなりません。ASM インスタンスが実行されていない場合、ストレージ・レベルで ASM を使用するデータベース・インスタンスの起動は不可能です。つまり、使用されるテクノロジー（すなわちRAC、ASM、共有ストレージ）とは関係なく、データベース・インスタンスにアクセスできません。

Oracle 12c の登場により、上記の制約が、クラスタ内の他のノードにフェイルオーバーを行うOracle Flex ASM と呼ばれる機能によって対処されています。基本的にハブとリーフのアーキテクチャでは、障害の発生したノードの接続性は、Oracle Clusterware によって ASM インスタンスが交換されることで、別の参加ノードにシームレスに転送されます。あるクラスタで実行されているASM インスタンスの数は、ASM カーディナリティと呼ばれ、デフォルト値は 3 に設定されています。ただし、カーディナリティの値は Clusterware のコマンドを使用して変更できます。

Oracle VMとは

Oracle VM7は、仮想化テクノロジーがもたらす最新の利点をすべて備えた環境を提供するプラットフォームです。Oracle VM を使用することで、サポートされている仮想化環境にオペレーティング・システムとアプリケーション・ソフトウェアをデプロイできます。Oracle VM は、ユーザーと管理者を基盤となる仮想化テクノロジーから分離し、目的が明確な GUI インタフェースを使用して日常業務を実行できるようにします。Oracle VM は次のコンポーネントから構成されています。

7 Oracle VMホームページ

http://www.oracle.com/jp/virtualization/index.html


• Oracle VM Manager：Oracle VM Manager は仮想化環境を制御して、Oracle VM Server と仮想マシンを作成、監視します。Oracle VM Manager は、Oracle VM Server の唯一の管理インタフェースとして機能します。Oracle VM Manager 3 は、Oracle WebLogic Server アプリケーション・サーバーに基づく Oracle Fusion Middleware アプリケーションです。Oracle VM Manager では、管理リポジトリとして MySQL Database Enterprise Edition を使用します。Oracle VM Manager は、64 ビットの Oracle Linux で稼働します。

• Oracle VM Server：仮想マシンを実行する軽量で安全なサーバー・プラットフォームを提供する、マネージド型仮想化環境です。ドメインとも呼ばれます。少なくとも 1 つの Oracle VM Server が必要ですが、クラスタリングを活用するには、複数のサーバーが必要です。Oracle VM Server は、ベアメタル・コンピュータにインストールされ、Oracle VM Managerとの通信を管理する Oracle VM Agent が含まれています。x86 ベースのシステムでは、Oracle VM Server は最新バージョンの Xen ハイパーバイザー・テクノロジーを基盤としています。また、Linux カーネルが dom0 として実行され、1 つまたは複数の domU 仮想マシン（それぞれには、Oracle Linux、Oracle Solaris、Microsoft Windows や、他の Linux ディストリビューションが考えられます）を管理しています。

• クライアント・アプリケーション：Oracle VM Manager に対するさまざまなユーザー・インタフェースが、Web ブラウザを使用してアクセスできるグラフィカル・ユーザー・インタフェース（GUI）、SSH クライアントを使用してアクセスできるコマンドライン・インタフェース（CLI）、または Oracle Enterprise Manager や Web サービス API（WS-API）を使用したカスタム構築のアプリケーション/スクリプトなどの外部アプリケーション経由で提供されます。Oracle VM Manager とのすべての通信では、鍵または証明書に基づくテクノロジーが使用され、保護されています。


図5：Oracle VMの概要


Oracle VM環境でOracle RACを運用する理由

Oracle VM 環境で Oracle RAC を運用すべき理由はいくつか存在します。以下に、一般的な理由をいくつか挙げます。

• サーバーの統合：CPU リソースの利用率が低い、または CPU の利用率が変化しやすい Oracle RAC、Oracle RAC One Node、またはシングル・インスタンス・データベースでは、多くの場合、サーバーを仮想化して他のワークロードと統合することによって効果が得られます。このシナリオの一般的なユースケースは、ホストする Oracle VM ゲストごとに事前定義のリソース制限（CPU リソースなど）が設定されている場合に、複数の Oracle データベースを単一または複数の Oracle RAC データベースへと統合することです。Oracle RAC インスタンスをホストする各 Oracle VM は、すべての Oracle VM と Oracle RAC インスタンスの合計容量を最大化するように、リソース数を事前定義、固定、および制限して設定できます。各 Oracle VM とホストされる Oracle RAC インスタンスは、同じ物理ハードウェアを共有する他のOracle インスタンスと干渉することがないように、十分に分離されます。Oracle Database 12c の新しいオプションである Oracle Multitenant は、マルチテナント・コンテナ・データベースが多くのプラガブル・データベースを持つことができる新たなアーキテクチャを実現します。Oracle Multitenant は Oracle Real Application Clusters や Oracle Active Data Guardなど、他のオプションを完全に補完します。

• サブキャパシティ・ライセンシング：現在の Oracle ライセンシング・モデルでは、クラスタ内に存在する各サーバーのすべての CPU について、Oracle RAC データベースをライセンスする必要があります。ところが、顧客は特定の Oracle RAC データベースについて、サーバー上の一部の CPU だけを使用するように構成したいと考えている場合があります。Oracle VMをハード・パーティションとして認識させることで、そのような構成が可能になります。ハード・パーティションを使用すると、そのパーティションが使用する CPU についてのみOracle RAC データベースをライセンスすれば済みます。物理サーバー上のすべての CPU についてライセンスする必要はありません。Oracle VM を使用したハード・パーティショニングの詳細については、『Oracle VM Server for x86 でのハード・パーティショニング』8ホワイト・ペーパーを参照してください。

• 仮想クラスタの作成：Oracle VM を使用すると、単一の物理サーバー上に仮想クラスタを作成できます。このユースケースは、製品デモ、トレーニング向けの設定、テスト環境などに特に有用です。この構成は、Oracle RAC の本番環境の運用には使用しないでください。以下が、このユースケースに有効なデプロイです。

o テスト/開発用クラスタ

o デモ用クラスタ

o トレーニング用クラスタ

8 Oracle VM Server for x86でのハード・パーティショニング

http://www.oracle.com/technetwork/server-storage/vm/ovm-hardpart-168217.pdf


• 迅速なプロビジョニング：新規アプリケーションのプロビジョニングにかかる時間には、サーバー（物理または仮想）のデプロイ時間と、ソフトウェアのインストールおよび構成時間が含まれます。Oracle VM を使用すると、これらの両方にかかるデプロイ時間を短縮できます。Oracle VM には、デプロイ・テンプレートを作成する機能が用意されています。これらのテンプレートを使用すれば、新規の（Oracle RAC）システムを迅速にプロビジョニングできます。オラクルでは、事前設定済みの認定ゴールド・イメージに加え、Oracle VM 3.2 以降向けのデプロイ・テンプレート 9（Oracle Real Application Clusters、アプリケーション、およびオペレーティング・システム用）の豊富なポートフォリオを用意しています。

ビジネス継続性、高可用性、スケーラビリティ

ビジネス継続性は今日のビジネスの主要な要素です。Oracle データベースに関して言えば、Oracle RAC は依然として最高のソリューションですが、仮想化テクノロジーを考慮すると選択肢は増えます。

Oracle 仮想環境では、高可用性（HA）メカニズムは、Oracle VM HA（外部 HA）と、Oracle Clusterware ベースの内部 HA（Oracle RAC で使用）の 2 種類に分けられます（図 6 を参照）。

図6：Oracle VM HAとOracle RAC

9 Oracle VM Templates for Oracle Database - Single Instance, Oracle Restart and Oracle RAC（KM 1185244.1）

Note

その他の例を参照するには、HOL（ハンズオン・ラボ）（通常はサンフランシスコでの Oracle Open World カンファレンスで実施）に関する以下のリンクをご覧ください。http://www.oracle.com/technetwork/server-storage/vm/downloads/hol-oraclevm-2368799.html

https://support.oracle.com/epmos/faces/DocumentDisplay?id=1185244.1

http://www.oracle.com/technetwork/server-storage/vm/downloads/hol-oraclevm-2368799.html


一般に、Oracle VM HA を使用すると、サーバー・プール内に複数の物理マシンが登録されている場合は、同じ物理マシン上または異なるマシン上のどちらでも Oracle VM ゲストを再起動できます。ただし、どちらの場合も Oracle VM は Oracle VM ゲスト全体を操作しており、ゲスト内で実行中のアプリケーションすべてを再起動します。

これは、Oracle VM ゲストは通常、仮想化環境で実行中のアプリケーションを認識しておらず、また、アプリケーション側も通常、自分がどの Oracle VM ゲスト上で実行されているのかを認識していないからです。

Oracle Clusterware を使用すると、ゲスト内のプロセス/アプリケーション障害から迅速かつきめ細かくリカバリできます。

こうしたソリューションでは、アプリケーション固有のエージェントを使用することで、障害ごとに個別に修正措置を施すため、Oracle VM ゲスト全体を再起動するというオーバーヘッドを回避できます。

内部アプリケーション HA と外部 VM HA との両方の組合せによって、さまざまな HA 機能が提供されますが、Oracle VM HA および Oracle VM のポリシー・ベースのリソース管理である Distributed Resource Scheduling（DRS）が、Oracle RAC 固有のインスタンス配置ルールと干渉しないように留意する必要があります。特に、ミッション・クリティカルな本番環境の場合は、Oracle VM ゲストのフェイルオーバーや自動 DRS 配置ポリシーの理由から、同じ Oracle RAC データベースのインスタンスをホストしている Oracle VM ゲストを単一の OVS 物理サーバー上の同一の場所に配置することはサポートされていません。Oracle RAC インスタンスのこの基本的な配置ルールは、Oracle VMゲストのフェイルオーバーや DRS 配置ポリシーより優先される必要があります。このような理由から、Oracle VM の"アンチアフィニティ・グループ"を構成することが常に推奨されます。アンチアフィニティ・グループでは、特定の複数の仮想マシンが同じ Oracle VM Server 上で実行されないことを指定します。アンチアフィニティ・グループは、サーバー・プール内のすべての Oracle VM Server に適用されます。

以下の HA の組合せを使用できます。

• Oracle Real Application Clusters の高可用性とスケーラビリティ

o 追加 Oracle VM ゲスト HA なし

o Oracle VM ゲスト HA との組合せ（Oracle RAC インスタンスの配置ポリシーが優先）

• Oracle Clusterware（フェイルオーバー・クラスタ）による高可用性

o 追加 Oracle VM ゲスト HA なし

o Oracle VM ゲスト HA との組合せ（Oracle RAC インスタンスの配置ポリシーが優先）

• スタンドアロン Oracle VM ゲスト HA（シングル・インスタンス・データベース、またはOracle RAC One Node データベース）本番環境は、上記のソリューションを基盤とする必要があります。

Oracle VM の有無にかかわらず、Oracle Clusterware ベースのソリューションについては、Oracle Metalink Note 790189.1 - Oracle Clusterware and Application Failover Management に最新のサポート状況が掲載されています。詳細については、Oracle Clusterware ホームページを参照してください。





ライブ・マイグレーション、Flex Cluster、およびオンライン・データベース再配置

のサポート

Oracle Virtual Machine 環境での Oracle RAC のビジネス継続性と可用性を向上するその他のソリューションとして、Oracle VM ライブ・マイグレーションと、Oracle RAC One Node のオンライン・データベース再配置があります。

Oracle VM ライブ・マイグレーションは、同一サーバー・プール内で、ある物理ノードから別の物理ノードに仮想マシンを移動します。Oracle RAC One Node のオンライン・データベース再配置は、あるサーバーから、同じクラスタ内の他のサーバーに Oracle データベース・インスタンスを再配置します。Oracle VM 環境では、これらのサーバーは仮想マシンであり、Oracle Clusterware ベースのクラスタをホストしています。

現在のところ、仮想マシンに基づくクラスタ・メンバーと物理サーバーに基づくクラスタ・メンバーが混在する混合クラスタ環境は、移行（ベアメタルから Oracle VM への移行、またはその逆）の目的でサポートされています。したがって、Oracle RAC One Node のオンライン・データベース再配置を使用して、物理環境と Oracle VM に基づく仮想環境との間の移行が可能です。混合クラスタ環境は、"リーフ・ノード"が Oracle VM で実行されている VM で、"ハブ・ノード"がベアメタル・システムを基盤とする Oracle Flex Cluster でもサポートされています。

ただし、Oracle VM ライブ・マイグレーションには、サーバー・プール内の物理ノード間で Oracle VM ゲストを手動で移動するための制御されたメカニズムが備わっています。Oracle VM ライブ・マイグレーションは、Oracle RAC の配置ルールと CPU の割当てルールを遵守しながら Oracle VM ゲストを再配置できるため、アクティブな Oracle RAC インスタンスをホストする Oracle VM ゲストに適用できます。

図 7：ライブ・マイグレーションと、Oracle RAC One Node のデータベース再配置の図解


Oracle VM環境における拡張クラスタのOracle RAC

Oracle VM サーバー・プールは、1 つまたは複数の Oracle VM Server で構成されており、特定の仮想マシン・セットを実行できるサーバーの論理的なグループ化を表しています。すべてのサーバー・プールでは、プール内の Oracle VM Server が同じ CPU アーキテクチャを共有する必要があります。

図 8：Oracle VM 環境における拡張クラスタの Oracle RAC - アーキテクチャの概要

サーバー・プール内のすべてのサーバーは、同じ物理ロケーションに存在する必要があります。地理的に離れた複数のロケーションにまたがる Oracle VM サーバー・プールはサポートされていません。

Oracle VM サーバー・プールが 2 つ（またはそれ以上）の異なるデータセンターにまたがることはできませんが、Oracle RAC を 2 つ以上の Oracle VM プール上に、各サイトに 1 つずつ、長距離にデプロイすることは可能です（上記の図 8 を参照）。

このアーキテクチャでは、Oracle VM Manager のインストール/構成に関して、次の複数の選択肢が存在します。

• 1 つのデータセンターに唯一の Oracle VM Manager

Oracle VM Manager は、利用可能なデータセンターのいずれかにインストールおよび構成され、ローカルまたはリモートにデプロイされたすべての Oracle VM プールを管理します。リモートのサイトでは、同じ UUID10を使用して別の Oracle VM Manager をインストールする必要があります。災害時には、"パッシブ"の Oracle VM Manager がローカルの Oracle VM プールを管理します。リモートの Oracle VM プールも、再検出し、サーバーやリポジトリといったすべてのコンポーネントをリフレッシュすることで利用可能になる場合は、同様に管理します。

10 Oracle VM Manager recovery installation

http://docs.oracle.com/cd/E64076_01/E64078/html/vmiug-appendix-script.html


Oracle VM Manager は、Oracle Clusterware を使用して、クラスタ化されたアプリケーションとしてインストールすることもできます。11

図 9：Oracle VM 環境における拡張クラスタの Oracle RAC – 単一の Oracle VM Manager インタフェース

• データセンターごとに 1 つの Oracle VM Manager（Private Cloud Appliance12エンジニアド・システムにも有効）

Oracle VM Manager は、データセンターごとにインストールおよび構成されます。各Oracle VM Manager インストールは、1 つの固有の UUID と構成を持ちます。Oracle Enterprise Manager Cloud Control 13c Release 2 が、Oracle VM Manager インストール上で、アーキテクチャ全体のデプロイと管理を行う唯一のポイントとして機能します。

11 Oracle VM 3: using Oracle Clusterware to protect Oracle VM Manager

12 Oracle Private Cloud Applianceについての詳細

http://www.oracle.com/technetwork/server-storage/vm/ovm3-clusteredmanager-2864434.pdf

http://www.oracle.com/us/products/servers/private-cloud-appliance/oracle-private-cloud-appliance-ds-2595915.pdf


図 10：Oracle VM 環境における拡張クラスタの Oracle RAC – Oracle Cloud Control

上記のアーキテクチャでは、Oracle Cloud Control 向けのディザスタ・リカバリおよびビジネス継続性アーキテクチャに関するさらなる選択肢を利用できます。13

ライブ・マイグレーション、またはOracle RAC One Nodeのデータベース再配置の使用時期

Oracle VM ライブ・マイグレーションと Oracle RAC One Node を組み合わせて使用すると、継続的で中断のない HA をサポートする補完的なソリューションを提供できます。

Oracle VM のライブ・マイグレーションでは、オペレーション・システム（OS）レベルの移行により、ワークロード管理、障害管理、システム保守操作を容易に実行できるようにします。たとえば、ライブ・マイグレーションでは、Oracle RAC データベースの VM へのアクセスを維持したまま、サーバー・レベルの保守を行うことができます。オラクルのライブ・マイグレーションでは基本的に、サービスの中断なしに、ソース VM のメモリの内容をある物理ホストからリモート・ホスト上の別のターゲット VM に反復的に事前コピーします。

Oracle RAC One Node とオンライン・データベース再配置により、適切に構成された VM 間でのインスタンス・レベルの移行が可能になります。これによって、VM 内の保守作業とワークロード管理を容易に実行できるようになります。Oracle RAC One Node のオンライン・データベース再配置

13 Enterprise Manager Cloud Control 13.2のディザスタ・リカバリについての詳細

https://docs.oracle.com/cd/E73210_01/EMADV/GUID-9C6111F7-8367-4B78-AC57-27E83667FBD6.htm#EMADV13331


を使用することにより、現在のサーバーでリソース不足が発生したり、OS パッチの適用などの保守操作が必要になったりした場合に、Oracle RAC One Node インスタンスを別のサーバーに再配置できます。

オンライン・データベース再配置では、Oracle RAC One Node データベースもターゲット VM に移行します。そうすることで、ソースまたはターゲット VM で実行されている可能性がある他のデータベース・インスタンスに対するサービスを中断することなく、ソース VM でのデータベース保守作業を容易に実行できます。このような操作の一般的な例は、データベースのローリング・パッチ・アップグレードです。

デプロイ方法

Oracle VM Server を基盤とする仮想化ソリューションの一般的な使用や適応性を表す良い例は、Virtualized Exadata Database Machine や Oracle Database Appliance といったオラクルのエンジニアド・システムです。

さまざまなテストを行ったために現在の環境の"能力が低下"した場合、以前に保存したベース・イメージやテンプレートを再度デプロイすることで、その環境を簡単に再インストールできます。

Oracle VM では、これらの利点を仮想クラスタの作成および迅速なプロビジョニング手法の一部として提供しています。これらの利点は、前のセクションで説明したとおり、Oracle RAC と組み合わせて使用した場合に提供されます。

図 11 は、Oracle VM を基盤とする開発またはテスト環境での一般的な Oracle RAC のデプロイを表しています。仮想のテスト用または開発用クラスタでは、2 つの Oracle VM ゲスト・ドメインを用意して、それぞれのドメインで 1 つの Oracle RAC データベース・インスタンスをホストし、しかもすべてのインスタンスを 1 つの Oracle VM ホスト上のみで実行できる点に注意してください。

Note

Oracle VM は、Oracle RAC の理想的なサーバー・インフラストラクチャであり、単一の Oracle VM ホストのみを基盤とする仮想の開発用、テスト用、デモ用、またはトレーニング用クラスタで使用されます。

https://docs.oracle.com/cd/E50790_01/doc/doc.121/e27442/ch6_virtualization.htm#EMXIG321

http://www.oracle.com/jp/engineered-systems/database-appliance/overview/index.html


図 11：Oracle VM 環境の Oracle RAC：開発環境でのデプロイ例

Oracle VM 3.2.x から Oracle VM 3.4.x までの本番環境を対象とした Oracle VM 環境の Oracle RACが、認定テストに基づき認定されています。これは、Linux 上の Oracle Real Application Clusters に対して認定されている唯一の x86 サーバー仮想化テクノロジーであり、純粋な開発環境やテスト環境の範囲を超えて使用できます。

本番環境では通常、テスト環境や開発環境とは異なり、各 Oracle VM ゲスト・ドメイン（最低 2 つ）に対して 2 つ以上の Oracle VM Server を使用し、各ゲスト・ドメインが Oracle RAC データベース・インスタンスをホストしています（図 12 を参照）。このような構成は、サーバー統合環境でも同様に使用される可能性が高くなります。

基盤となるハードウェア・プラットフォームとして 2 つ以上の Oracle VM Server を使用し、Oracle VM ゲスト・ドメインと Oracle RAC データベース・インスタンスをホストすることによって、ホスト・ハードウェアがシングル・ポイント障害になるのを防ぐことができます。

Note

Oracle VM と Oracle RAC を組み合わせることにより、サーバーの統合と高可用性アプリケーションの基盤として完全に仮想化された環境を利用できます。シングル・ポイント障害を防ぐには、少なくとも 2 つの Oracle VM Server を使用する必要があります。


図 12：Oracle VM 環境の Oracle RAC：本番環境でのデプロイ例


ハードウェアとソフトウェアの要件

Oracle VM 環境の Oracle RAC は、次に示すハードウェアとソフトウェアの要件に基づいて認定されています。これらの要件を満たしていない構成は、現在のところサポートされていません。

注：本番環境に、Oracle VM を基盤とする Oracle RAC をデプロイするには、最低でも Oracle RAC ドキュメントに記載されているハードウェアとソフトウェアの要件を満たしている必要があります。14

注：オラクルは、Oracle RAC とともに使用する Oracle VM の追加機能や拡張機能のテストを常に実施しています。新しいテスト結果に応じて、本書は定期的に改訂されます。

本番環境のハードウェア要件

• 最低 2 つの Oracle VM Server を使用することを強く推奨します。

o 各ホストでは、Oracle VM"管理ネットワーク"用、Oracle RAC パブリック通信用、Oracle RAC プライベート（インターコネクト）通信用に、物理イーサネット NIC がそれぞれ少なくとも 2 つずつ必要です。最低 6 つ（ネットワーク・ベースのストレージ接続性を使用する場合は最低 8 つ）の物理イーサネット NIC が必要です。

o すべてのロール（"管理ネットワーク – Oracle VM"、"パブリック・ネットワーク – RAC"、"プライベート・ネットワーク – RAC"）に対して、上記で推奨した 6 つまたは 8 つの物理イーサネット NIC を使用する代わりに、2 つの物理イーサネット 10GbE NIC を使用するオプションは、外部ソリューションが専用の帯域幅と有効な QoS を使用して vNIC（各 NIC に対して最低 3 つ）を作成できる場合に限ってサポートされます。

o イーサネット NIC の各ペアは、Oracle RAC 冗長インターコネクトの使用や HAIP15に依存することが可能な Oracle RAC プライベート・インターコネクト以外は、Oracle VM Server（dom0）のボンド・ドライバによって H/A で構成されます。

o 10GbE ネットワーク・インタフェース 16が完全にサポートされます。また、サーバーVLAN タギングを構成する場合は、これらの NIC で IEEE データセンター・ブリッジングをサポートすることを強く推奨します。

o Oracle Clusterware のインターコネクト・トラフィックまたは Oracle ASM のストレージ・トラフィックには、1GbE が必要であり、10GbE を推奨します。

o Oracle Clusterware のインターコネクト・トラフィックでは、Oracle RAC のプライベート通信専用の NIC にジャンボ・フレーム（MTU=9000）を実装することを推奨します。同じ変更を仮想マシンの構成（/etc/sysconfig/network-scripts）にも適用し、検証する必要があります。

• ストレージ・アクセスの冗長性には、少なくとも 2 つの HBA/SCSI コントローラ、またはiSCSI/NFS ストレージ・ベースのソリューションと同じ水準の冗長性が必要です。

14 Support questions： How to use Oracle RAC in a Cloud Solution

15 Oracle® Clusterware管理およびデプロイメント・ガイド12cリリース1（12.1）

16 Oracle VM 3： 10GbEネットワークのパフォーマンス・チューニング

http://de.slideshare.net/MarkusMichalewicz/how-to-use-oracle-rac-in-a-cloud-a-support-question

https://docs.oracle.com/database/121/CWADD/toc.htm

http://www.oracle.com/technetwork/server-storage/vm/ovm3-10gbe-perf-1900032.pdf


• Oracle VM のクラスタ化プールが設定されている場合は、ストレージ・アクセスのタイムアウトを一定の制限時間に設定する必要があります。推奨されるタイムアウト値は、ストレージ・ベンダーによって決定されます。起こり得るパス・フェイルオーバーは、所定の制限時間（OCFS2 のタイムアウト/投票ディスクのタイムアウト）内に実行される必要があります。17

• 単一サーバーの Oracle VM プールを使用すると、Oracle VM"管理ネットワーク"専用の物理イーサネット NIC を 2 つ持つという要件が緩和され、Oracle VM"管理ネットワーク"と Oracle RAC"パブリック通信"は、2 つの同じ物理イーサネット NIC を使用できます。

開発環境のハードウェア要件

• 単一の Oracle VM Server 上の開発環境または非本番環境には、外部ストレージを使用することを推奨しますが、必須条件ではありません。

• 外部クライアント接続が不要な場合は、Oracle VM Server 内で仮想ネットワーク接続を確立できます。

オラクルでは、開発および本番前の品質テスト環境には、本番環境を正確にモデル化した同一のハードウェア構成を使用することを推奨します。

Oracle RACソフトウェア

• Oracle RAC と Oracle Clusterware 11.2.0.3、11.2.0.4、12.1.0.2 の 64 ビット・ソフトウェア・バージョンが現在サポートされています。これらのリリースを、常に最新の CPU（Critical Patch Update18）と PSU（Patch Set Update19）でアップデートすることを推奨します。

Oracle VM全般

Oracle VM リリース：3.2.x～3.4.x

新たに実装する場合、Oracle RAC と Oracle Clusterware はこれより前のリリースに対応していません。

Oracle RAC の使用について：

• vCPU とメモリの動的な変更はサポートされていません。

• Oracle RAC 仮想マシンの一時停止と一時停止解除はサポートされていません。

• Oracle RAC VM のライブ・マイグレーションは、以下ではサポートされていません。

o 3.2.10 より前の Oracle VM リリース

o Oracle RAC One Node は、Oracle Database 11.2.0.4 以降でサポートされています。

17 Oracle VM：clustering for x86 Server Pools

18 Critical Patch Updates, Security Alerts and Third Party Bulletin

19 Oracle Recommended Patches - Oracle Database（文書ID 756671.1）

http://docs.oracle.com/cd/E64076_01/E64081/html/vmcon-svrpool-cluster-x86.html

http://www.oracle.com/technetwork/topics/security/alerts-086861.html



Oracle VMゲストの構成

• ゲストは、PV ドライバを使用したハードウェア仮想化（PVHVM）ゲスト、または準仮想化（PVM）ゲストである必要があります

• Oracle Linux 6 および Oracle Linux 7（PV ドライバを使用した HVM のみ）

• 64 ビット Linux は現在、Oracle Database の Oracle VM ゲストでのみサポートされています

• Oracle VM Server リリース 3.2 以降には、64 ビット x86 ハードウェアが必要です

Oracle RACのOracle VM vCPU構成

テスト結果によると、物理 CPU に少量の過負荷を与えた程度では、システムまたはクラスタ・スタック全体の安定性は低下しないことが分かっています（リソースがオーバーサブスクライブする場合の競合ワークロードを十分に理解した上で、同時実行要求が物理的な容量を超えない場合）。それでも、CPU に過負荷を与えることは推奨されません。マルチコア CPU は、すべてのコアを仮想CPU（vCPU）として扱い、マルチスレッドがサポートされたマルチコア CPU は、各スレッドをvCPU として扱います。そのため、Oracle RAC/VM 環境での vCPU の割当ては、次のルールに従って行う必要があります。

• VCPU = vCPU の計算は、スレッドではなく、物理コアに基づいて行います。マルチスレッドでない CPU では、"1 vCPU = 1 コア"です。

• ベアメタル・システムでハイパースレッディングが有効な場合は、"1 vCPU = 2 スレッド"です。

• ゲスト・ドメインに割り当てられる vCPU の合計数は、Oracle VM Server に含まれる実際のコア数の 2 倍を超えてはなりません。

• 単一のゲスト・ドメインに割り当てられる vCPU の合計数は、Oracle VM Server の実際のコア/スレッド数を超えてはなりません。

• CPU の固定化は、ハード・パーティショニングと NUMA 認識の場合に推奨されます。詳細については、Optimizing Oracle VM Server for x86 Performance を参照してください。

• Oracle VM Server の dom0 のデフォルト vCPU 割当てを変更してはなりません。

vCPU割当ての例

以下の例では、Oracle VM Manager の Web インタフェースを使用して、CPU の容量と優先順位の定義を検討することもできます。

CPU の優先順位：優先順位の値が大きいほど、多くの物理 CPU サイクルが仮想マシンに与えられます。

プロセッサの容量（%）：仮想 CPU がスケジュール時間を割り当てられるパーセンテージを増加または減少させます。このパラメータでは、仮想 CPU がスケジュール時間を割り当てられる最大のパーセンテージを定義します。

http://www.oracle.com/technetwork/server-storage/vm/ovm-performance-2995164.pdf


有効な構成の例

2 ソケット、各 4 コア（合計 8 コア）、HT が有効な 16 スレッドのサーバー。

仮想マシン割り当てられた vCPU

Guest1 6 vCPU（6 スレッド、3 コア）



4 ソケット、各 10 コア（合計 40 コア)、HT が有効な 80 スレッドのサーバー。





無効な構成の例





Note

ゲスト・ドメインに割り当てられた vCPU の合計数が、Oracle VM Server に含まれる実際のコア数の2 倍を超えていないため、これは有効な構成です。ゲスト vCPU の合計数 = 16（使用可能なコア数の 2 倍と等しい）

Note

ゲスト・ドメインに割り当てられた vCPU の合計数が、Oracle VM Server に含まれる実際のコア数の 2 倍を超えていないため、これは有効な構成です。ゲスト vCPU の合計数 = 60（使用可能なコア数の 2 倍より少ない）

注意

ゲスト・ドメインに割り当てられた vCPU の合計数が、Oracle VM Server に含まれる実際のコア数の2 倍を超えているため、これは無効な構成です。ゲスト vCPU の合計数 = 24（使用可能なコア数の 2 倍より多い）







Oracle VMでサポートされているOracle RACのストレージ構成

Oracle VM では、さまざまなストレージ構成が可能です。Oracle RAC と Oracle Clusterware の組合せでは、Oracle VM で提供されている一部のストレージ構成がサポートされていません。

図 13：Oracle VM のストレージ構成オプション

一般的に、ストレージ構成は次の 2 つのグループに分類できます。

Dom-0管理ストレージ

このストレージ構成方法では、ストレージがまず dom-0 で使用可能になり、次に、ゲストの構成ファイルを使用してゲスト・ドメインで使用可能になります。dom-0 で使用可能になったストレージは、Oracle VM リポジトリとして構成できます。または、Oracle VM Manager インタフェースによってゲストに提供されます。

注意

ゲスト・ドメインに割り当てられた vCPU の合計数が、Oracle VM Server に含まれる実際のコア数の2 倍を超えているため、これは無効な構成です。ゲスト vCPU の合計数 = 100（使用可能なコア数の2 倍より多い）


ゲスト管理ストレージ

このストレージ構成方法では、ストレージはゲスト・ドメイン内で直接利用可能になります。dom-0 内ではストレージは見えません。この方法のオプションは、iSCSI と NFS です。

ストレージ構成方法 Oracle Real Application Clusters でのサポート

Dom-0 管理ストレージ

SAN/ブロック・デバイス（ゲストにマッピングされた物理ディスク）あり（推奨）

iSCSI/ブロック・デバイス（ゲストにマッピングされた物理ディスク）あり（推奨）

SAN/OCFS2（リポジトリの仮想ディスク）あり（下記のNoteを参照）

iSCSI/OCFS2（リポジトリの仮想ディスク）あり（下記のNoteを参照）

NFS（リポジトリの仮想ディスク）あり（下記のNoteを参照）

ゲスト管理ストレージ

iSCSI あり（推奨）

NFS あり（推奨）

表 1：Oracle Real Application Clusters でサポートされているストレージ・オプション

Note

オラクルは、Oracle VM に構築され、OCR ファイル、投票ファイル、データベース・ファイル用の物理ディスクと仮想ディスクを備えた、本番環境向け Oracle RAC をサポートしています。I/O パフォーマンスが重要な要件ではない場合、仮想ディスクを Oracle VM の Oracle RAC 本番環境に使用できます 20。I/O パフォーマンスが重要な要件の場合は、Oracle VM 環境の Oracle RAC デプロイには物理ディスクを推奨します。各 Oracle VM Server（物理サーバー）は、同じ Oracle Real Application Clusters の一部である、複数の Oracle Database 12c ハブ・ノードまたは Oracle Database 11gR2 ノードをゲストとして使用することはできません。単一の Oracle VM Server（物理サーバー）に Oracle RAC と複数の仮想マシンを構築することは、デモまたはトレーニング目的に限って可能です。

デモ環境の例は、以下のハンズオン・ラボで参照できます。


20 How to Troubleshoot I/O Performance under Oracle VM (dom0/domU) （文書 ID 2212880.1）




Oracle VM環境のOracle RAC – ベスト・プラクティス

オラクルは、Oracle VM 環境の Oracle RAC の認定過程で実施されたテストに基づき、最適な仮想化環境で Oracle RAC を運用するためのベスト・プラクティスの推奨事項を作成しました。これらのテストから導かれた推奨事項の一部を以下に紹介します。

Oracleのインストール要件と推奨事項

Oracle VMゲスト環境のLinuxカーネル・パラメータ

カーネル・パラメータ vm.min_free_kbytes を vm.min_free_kbytes = 51200 に設定します（UEK カーネルには不要）。これにより、OS がメモリを素早く再利用し、LowMem のひっ迫を回避するために、512MB が確保されます。詳細については、以下の"My Oracle Support"ドキュメントを参照してください。

• Linux Kernel Low-Mem Pressure Issues and Related Kernel Structures（文書 ID 452326.1）

• Linux: Out-of-Memory (OOM) Killer（文書 ID 452000.1）

• Top 5 Issues That Cause Node Reboots or Evictions or Unexpected Recycle of CRS（文書ID 1367153.1）

カーネル・リビジョン 2.6.18 以前では、カーネル・パラメータ vm.swappiness を vm.swappiness = 100 に設定します。ストレス・テストによると、カーネル・バージョン 2.6.18 以前でvm.swappiness = 100（デフォルトは 60）に設定した場合、クライアント接続の増加やログインの集中によってメモリが非常にひっ迫した状態において、ノード排除の削減または遅延が可能であることが明らかになっています。

Oracle Linux 6.x では、nproc を設定する場合に limits.conf が無視されることがあります。詳細については、ドキュメント 1487773.1 を参照してください。

時刻の同期

デフォルトでは、Oracle VM ゲストの時刻は、自動的に Domain-0 と同期されます。この時刻の同期により、Oracle RAC を実行しているゲスト・ドメイン内で時刻のずれが多少発生する可能性があります。そのため、Oracle VM 環境で Oracle RAC を実行する際には、次の推奨事項に従う必要があります。

• 11gR2 より、NTPD の代わりにクラスタ時刻同期化デーモン（CTSSD）を使用できます。CTSSD は、NTPD が構成されていない場合に、時刻をクラスタの参照ノードと同期させます。外部の時刻ソースと同期させる必要がある場合は、NTPD を使用する必要があります。NTPDを使用すると、CTSSD は"オブザーバ"モードで実行されます。ただし、NTP が実行されている場合は、ドキュメント 551704.1 に記載されているように、slew オプションを使用して構成する必要があります。

• VM のサーバーには、外部構成された NTPD を使用します。






ストレージ構成

Oracle VM ゲストの制限事項

Oracle VM 環境における Oracle RAC のデプロイでは、ソリューションそのものによって課される最大値 21を考慮する必要があります。そのため、Oracle VM 環境における Oracle RAC のインストールを評価する際は、最大値も評価することが必須です。

データベース・サイズと、推測に基づく増加分のデータベース・サイズを考慮し、それらに基づき、ディスクの数と各ディスク・サイズのバランスを適切にとることが最適かつ可能なソリューションです。

使用されるストレージが、ゲスト管理ストレージ（VM に直接提供される NFS 共有または iSCSI デバイス）の場合、Oracle VM を構成する上での制限事項は、ディスク・デバイス数に関連するものが大部分であり、無視しても安全です。ベアメタル・システムで有用なベスト・プラクティスは、Oracle VM 環境におけるこの種の構成にも有用です。

Domain-0 のマルチパスとデバイスの永続性

Oracle VM 環境の Oracle RAC には、（SAN）ストレージへのマルチパス・アクセスを強く推奨します。マルチパスは、ゲスト・ドメインではなく Domain-0 にデフォルトで設定されています。

デバイスの永続性は、該当デバイスのストレージ WWID に依存している Oracle VM Server のDomain-0 自体によって付与されます。ゲスト VM にデバイスの永続性を設定する必要はありません。ゲスト・ディスクに対する Oracle VM ディスクのマッピングは、Oracle VM Manager または CLIインタフェースを使用して、動的に管理できます（付録 A の例を参照）。

Oracle Database/Clusterware 11.2 以降、Oracle ASM は、従来型のボリューム・マネージャ、ファイル・システム、および RAW デバイスの代替となる、オラクル推奨のストレージ管理ソリューションです。

Oracle ASM ボリューム・マネージャの機能により、柔軟性のある、サーバーベースのミラー化オプションが提供されます。Oracle ASM の標準冗長性または高冗長性のディスク・グループを使用すると、双方向または 3 方向のミラー化がそれぞれ可能になります。外部冗長性を使用する場合、Redundant Array of Independent Disks（RAID）ストレージ・サブシステムでミラー化保護機能を実行できます。

Oracle Database/Clusterware 12.1 以降、ゲスト VM のストレージ・オプションとして、Oracle ASMフィルタ・ドライバ（Oracle ASMFD）を使用できます。

Oracle ASMFD は、Oracle ASM ディスクの I/O パスに常駐するカーネル・モジュールです。Oracle ASM は、フィルタ・ドライバを使用して、Oracle ASM ディスクに対する書込み I/O リクエストを検証します。

Oracle ASMFD により、Oracle ASM とともに使用されるディスク・デバイスをシステム再起動のたびに再バインドする必要がなくなるため、ディスク・デバイスの構成と管理が簡素化されます。

21 Oracle VM 3： Configuration Limits for Release 3.4

http://docs.oracle.com/cd/E64076_01/E64077/html/vmrns-limits.html


Oracle ASM フィルタ・ドライバは、無効な I/O リクエストをすべて拒否します。このアクションにより、ディスク・グループ内のディスクやファイルが破損する原因となる可能性がある、Oracle ASM のディスクへの誤った上書きがなくなります。たとえば、Oracle ASM フィルタ・ドライバは、誤った上書きの原因となる非 Oracle の I/O をすべてフィルタリングして取り除きます（例：ASMFDが使用されている場合、dd if=/dev/zero of=/dev/oracledisk は単純に失敗に終わります）。

既存の Oracle ASM ライブラリ・ドライバ（Oracle ASMLIB）構成がある場合は、Oracle ASMLIB または Oracle ASMFD のどちらを使用するかに応じて、Oracle Database 12c ドキュメント 22に基づき、必要な変更を加えます。

図 14：Oracle VM 環境の SAN ストレージ

クラスタ・ファイル・システムの要件

一部のアプリケーションでは、クラスタ・ファイル・システム上で Oracle RAC データベースを実行したり、いくつかのファイルを使用したりする必要があります（これらのファイルは各ノードに用意する必要があります）。このようなアプリケーションでは、Oracle ASM Cluster File System（Oracle ACFS – 11g Rel. 2 以降）をゲスト・ドメイン内で使用する必要があります。

22 Oracle Database 12.1：Oracle ASMLIBかOracle ASMフィルタ・ドライバかの決定

Note

最新のベスト・プラクティスとその詳細については、以下の"My Oracle Support"の KM ドキュメントを参照してください。 Oracle RAC and Oracle Clusterware Best Practices and Starter Kit （Linux）（文書 ID 811306.1）

https://docs.oracle.com/database/121/OSTMG/GUID-9C4245E0-279B-4832-A2FA-00E57B34D604.htm#OSTMG95908



ネットワーク構成

必要なネットワーク

Oracle VM Server には、少なくとも 2 つの個別ブリッジを提供するのに十分な数の NIC と、ゲスト・ドメインに対する仮想 NIC が必要です。本番システムの各 Oracle VM Server の NIC 数は、本書の「ハードウェアとソフトウェアの要件」セクションで指定されています。NIC の実際の数は、全体の構成と求められる冗長のレベルによって異なります。

他の Oracle RAC 構成では、次の各ネットワークを本番環境で分離する必要があります。

• Oracle VM 管理ネットワーク

• パブリック・ネットワーク

Note

Oracle VM Server などの仮想化環境では、ネットワーク・コンポーネントが仮想化される場合があります。その結果、ネットワーク障害がゲスト VM に反映されないことがあります。このような場合、HW ネットワーク・カードに障害が発生しても、ゲスト内で使用可能な"パブリック・ネットワーク"の仮想 NIC は作動したままになります。リリース 12.1.0.2 以降、"Ping ターゲット"23の拡張機能でこの問題を解決できます。

• プライベート・ネットワーク（クラスタ・インターコネクト）

• ストレージ・ネットワーク（該当する場合）

そのため、Oracle VM Server では、それぞれの通信が相互干渉しないように配慮する必要があります。

ただし、これらのネットワークは Oracle VM Server 内の複数の Oracle RAC VM ゲストと共有できます。ネットワーク・トラフィックの統合は、'類似の'トラフィックの場合にのみサポートされています。たとえば、プライベート・インターコネクト・トラフィックを他の Oracle VM ゲストからのプライベート・インターコネクト・トラフィックと統合することや、パブリック・トラフィックを他の Oracle VM ゲストからのパブリック・トラフィックと統合することが可能です（どちらのトラフィック・タイプも、対応する仮想ブリッジからアービトレートされている場合）。Oracle RAC のパブリック・トラフィックとプライベート・トラフィックは、物理的かつ論理的に分離されなければなりません。ネットワークを統合する場合、レイテンシ、帯域幅、容量を慎重に見積もり、監視する必要があります（本書の「Oracle RAC を運用する Oracle VM 環境のサイジング」の推奨事項を参照）。

Oracle VM 管理ネットワークは、独自の物理ネットワーク・セグメント、または QoS が有効で専用の帯域幅を使用する独自の vLAN になければなりません（「ハードウェアとソフトウェアの要件」を参照）。

23 12.1.0.2 Ping Target for Oracle Clusterware VIP（文書ID 1958241.1）



ネットワーク・ボンディング

番環境では、各ネットワークに 2 つのネットワーク・インタフェース・コントローラ（NIC）を使用し、それらの可用性を高めるために、Dom0 で構成された Linux ボンディングを使用することを強く推奨します。その結果、Oracle RAC ネットワーク HA には、Oracle RAC を実行する OracleVM Server ごとに最低 4 つの NIC（パブリック・ネットワークとプライベート・ネットワーク用）が必要になります（図 15 を参照）。付録 B において、ボンディング・デバイスの設定手順について段階を追って説明しています。

Oracle Clusterware のプライベート・インターコネクトの場合、Dom0 を使用した Linux ボンディングの代わりに、構成済みの各 Oracle VM ゲストへのプライベート・インターコネクトに対して 2～4つの vNIC を使用します。各 vNIC は、Oracle Clusterware のインターコネクトによって可用性を高めるために、単一のサブネットまたは複数のサブネット上で、物理ネットワーク・インタフェースにマッピングします。この機能（冗長インターコネクトの使用 24、または HAIP）は、複数の通信エンドポイントを持つフェイルオーバー・モデルであり、各 OracleVM ゲストの Oracle Clusterware によって管理され、Oracle Clusterware のプライベート・インターコネクト通信では、自動割当ての、経路指定されないリンク・ローカル・アドレスを使用します。許容範囲内の構成は、Dom0 で構成された Oracle Clusterware のインターコネクトの Linux ボンディングと、Oracle VM ゲストで構成された HAIP との組合せです。

図 15：Oracle VM のフル・ネットワーク・ボンディング

24 Oracle® Clusterware管理およびデプロイメント・ガイド12cリリース1（12.1）

https://docs.oracle.com/database/121/CWADD/toc.htm


一般的なHugePagesと透過的なHugePages

Oracle Linux 6/7、RedHat Enterprise 6/7、SLES 11/12、または UEK2 カーネル以降を実行している場合、パフォーマンスの問題とノード/インスタンスの排除を防止するために、透過的な HugePagesを必ず無効にしてください。一般的な HugePages を使用する上での推奨事項は、長年にわたり変更されていません（透過的な HugePages は、一般的な HugePages とは異なる実装です）。詳細については、以下のドキュメントを参照してください。

• Oracle VM 3.4： How is the HugePages Feature Enabled for Virtual Machines?

• Disable Transparent HugePages on SLES11, RHEL6/7, OL6/7, and UEK2 and above（文書 ID 1557478.1）

Orachkユーティリティとベスト・プラクティス

オラクルは、RAC、CRS、ASM、GI などの構成を監査する ORAchk ツールを提供しています。バージョン 10.2～12.1 のデータベースに対応しているため、ほとんどの分析において有用な糸口となります。詳細については以下を参照してください。

• ORAchk - Health Checks for the Oracle Stack（文書 ID 1268927.2）

• ORAchk and EXAchk User’s Guide

Oracle RACを運用するOracle VM環境のサイジング

一般に、Oracle VM 環境のサイジングは、Oracle VM 以外の環境のサイジングと同じ要領で実行する必要があります。Oracle VM システムのサイジングでこのルールに従えば、ほとんどの最適化は、Oracle RAC で行うことになります。以下のパラメータには特に注意する必要があります。

CPUとコア

本書で述べた要件に従って、vCPU を dom-0 とゲスト・ドメインに割り当てます。CPU には通常の2 倍まで負荷を与えることができますが、お勧めできません。

複数のデータベースを単一の Oracle RAC 仮想マシンに構成している場合、Oracle Database Resource Manager の構成と"インスタンス・ケージング"のベスト・プラクティスを評価してください 25。

メモリ

Oracle VM のドメイン間でメモリが共有されることはありません。Oracle RAC VM システムのメモリをサイジングする場合には、システムに搭載されているメモリで、Domain-0 と、各ゲスト・ドメインの Linux オペレーティング・システム、Oracle Clusterware、Oracle RAC データベースに必要なメモリ領域を十分にまかなえることを確認してください。

25 Oracle Database 12.1：単一のサーバーにおける複数のデータベース・インスタンスの管理

http://docs.oracle.com/cd/E64076_01/E64081/html/vmcon-vm-hugepages.html




http://docs.oracle.com/cd/E68491_01/OEXUG/quick-start-guide.htm#OEXUG-GUID-097A1AB9-3D56-4F60-A787-3551F46C1397

https://docs.oracle.com/database/121/ADMIN/dbrm.htm#ADMIN13332


Domain-0 に必要なメモリの量は、以下の計算式を使用して容易に見積もることができます。

dom0_mem = 502 + int(physical_mem * 0.0205)

詳細については、Oracle VM ドキュメントを参照してください 26。

ネットワーク

Oracle VM 環境の Oracle RAC の場合、Oracle VM Server マシンごとに最低 3 つの NIC をインストールすることが一般的に推奨されています。本番環境では、Oracle VM Server に最低 6 つのネットワーク・カードをインストールし、ボンディングを使用することを推奨します。デモを目的とする環境は、単一の物理 NIC に構築できます。

共有ネットワーク・ブリッジでは、単一の Oracle VM Server にインストールされたさまざまなゲスト・ドメイン間で帯域幅が共有されることに留意してください。本番環境では、これらのネットワーク・インタフェースは、最低でも 1 ギガビット・イーサネット（1000BASE）である必要があります。ただし、10GbE、10GBASE が完全にサポートされ、推奨されています。先ほども述べたように、類似のネットワーク・トラフィックを統合できますが、パブリック/プライベート/管理/ストレージ・ネットワーク間の物理的かつ論理的な分離が必要です。つまり、この NIC の統合トラフィックが VLAN タグによって論理的に分離されている場合、各トラフィック・タイプに専用の10GbE カードを使用することになります。この構成は、Oracle VM Manager または Oracle VM CLI インタフェースを使用して、Dom0 で行う必要があります。

1 つのホストに多数のゲスト VM を構成する場合、あるいは多くのネットワーク帯域幅を必要とするゲスト VM をデプロイする場合、NIC またはスイッチ上でのパケット損失につながるオーバーサブスクリプション・イベント、長いレイテンシ、帯域幅の低下に対して、入念な監視機能を実装する必要があります。

ストレージ

Oracle VM 環境の Oracle RAC に SAN ストレージを使用する場合、複数の HBA を使用して、Oracle VM ホスト上のストレージの帯域幅を増やすことができます。通常は、マルチパス・ドライバによって各パスの帯域幅が自動的に結合されます。

NAS または iSCSI ストレージを使用する場合は、専用のネットワーク・インタフェースを使用することを推奨します。

パブリック・ネットワークやインターコネクト・ネットワークと同じ方法で、専用のストレージ・ネットワークを構成する必要があります。複数の NIC を使用することで、1 つの NIC でシングル・ポイント障害が発生するのを防ぐことができ、適切なボンディング・モードを使用することで、帯域幅を増やすことができます 27。

26 Oracle VM Official Documentation – Dom0 Memory configuration 27 How is Network Bonding used on Oracle VM Server

http://docs.oracle.com/cd/E64076_01/E64083/html/vmadm-config-ovs-dom-memory.html

http://docs.oracle.com/cd/E64076_01/E64081/html/vmcon-network-bonding.html


推奨されるインストール：Oracle VMテンプレート

Oracle Database 用の Oracle VM テンプレートを使用すると、Oracle シングル・インスタンス、スタンドアロン・サーバー用の Oracle Grid Infrastructure（旧称 Oracle Restart）、Oracle VM を基盤とするテストおよび本番環境用 Oracle RAC クラスタのいずれの構成も、容易かつ迅速にデプロイできます。

Oracle Database 用の Oracle VM テンプレートは、Deploycluster と呼ばれる自動化されたツールを使用してデプロイします。Deploycluster ツールは、Oracle VM Manager に自動的に接続し、VM を起動し、自動デプロイを開始します。次に、シングル・インスタンスや 20 ノードの Oracle RAC クラスタなど、必要とする構成を完成させます。コマンド 1 つで、どのような数のノードやインスタンスもクラスタに追加、またはクラスタから削除できます。

インストール作業全体が自動化されており、ユーザーは最小限の情報（ノード名、IP アドレスなど）の入力を求められるだけです。最終的な n ノード・クラスタ（またはシングル・インスタンス・データベース）構成は、本書で説明した本番システム用のベスト・プラクティスに準拠しています。

Oracle Database 用の Oracle VM テンプレートは、64 ビットの最新の Oracle Linux システム・イメージを使用しており、デプロイ時にリアルタイムでアップデートすることも可能です（Yum@Deployサポートを参照）。OS イメージには、Oracle Linux の最小インストール構成が含まれており、本書ですでに説明した事前インストール RPM を使用して、基本的な RPM パッケージがインストールされます。

構成と利点の概略は次のとおりです。

• シングル・インスタンス、スタンドアロン・サーバー用の Oracle Grid Infrastructure（Oracle Restart）、および Oracle RAC の 3 つの運用モードをサポートします。

• Enterprise Edition と Standard Edition 2 の双方でテンプレートを使用できます。

• テンプレートは、OS や Oracle ディスクを備えた、完全に運用可能な"キット"として公開されますが、"さまざまな組合せ"が可能なため、どのような組合せでもデプロイできます。

• Oracle Flex Cluster、Flex ASM、プラガブル・データベース、コンテナ・データベース、管理者またはポリシーが管理するデータベース、Oracle ACFS での ACFS ファイル・システムの自動作成（データベースを含む）など、データベースと Oracle RAC の機能の大部分を完全にサポートしています。また、専用の ASM ネットワーク・インタフェースなどもサポートしています。

• デプロイ時に OS のリアルタイム・アップデートが可能です（テンプレートのドキュメントの Yum@Deploy サポートを参照）。

• この環境には、Swingbench や OS Watcher などのツールがロードされます。

• 全く同一のテンプレートや、テンプレートから作成された VM は、簡単なクリーンアップを実施し、VM を再構築することで、別の用途のシングル・インスタンスや Oracle RAC クラスタのメンバーとして再利用できます。

テンプレートをダウンロードし、Deploycluster ツールを使用してテストまたは本番システムでOracle VM を基盤とする Oracle Database を構成するには、次の OTN ページを参照してください。

http://www.oracle.com/technetwork/server-storage/vm/database-templates-12c-11gr2-1972804.html

http://www.oracle.com/technetwork/server-storage/vm/documentation/dbrac12102160719-ovm-test-config-3101962.html

http://www.oracle.com/technetwork/server-storage/vm/documentation/dbrac12102160719-ovm-prod-config-3101961.html




図 16：Oracle テンプレートによるデプロイ

Oracle VM環境のOracle RAC：手動インストール

Oracle VM 環境に Oracle RAC を完全にインストールする手順を次に説明します。

• インストールを入念に計画します。本書や Oracle の公式ドキュメントに記載されているガイドラインとベスト・プラクティスを使用して、新たな環境での必要事項を検討し、それに応じて計画を立てます。

Oracle RAC をインストールするマシンに Oracle VM Server バイナリをインストールします。この手順の詳細については、『Oracle VM Server インストール・ガイド』28を参照してください。

• Oracle VM Manager GUI から、サーバーを検出し、ストレージ、ネットワーク、およびOracle VM Server に関連するすべてのコンポーネントを構成します。

• オペレーティング・システムと Oracle Database/Clusterware ソフトウェア用の仮想ディスクを使用して、Oracle RAC インストール用の"PV ドライバを使用したハードウェア仮想化"（PVドライバを使用した HVM）（Oracle Linux 6 および 7）ゲスト・ドメインを作成します。

• ゲスト・オペレーティング・システム（Oracle Linux 6/7）をインストールして構成します。Oracle Clusterware と Oracle RAC のインストール要件に記載されているとおりに、必要なすべての構成変更をゲスト・オペレーティング・システムに加えます。Oracle Linux では、Oracle Database/Oracle Clusterware の OS 設定を自動的に行う専用の"事前インストール"RPMを使用するオプションもあります。詳細については以下を参照してください。

『Linux OS Installation with Reduced Set of Packages for Running Oracle Database Server without ULN/RHN』（文書 ID 579101.1）

• 非仮想化環境に Oracle Clusterware と Oracle RAC（11g Rel. 2 または 12c Rel. 1）をインストールする場合は、製品のインストール・ガイドに従ってください。

28 Oracle VM Installation Guide

http://docs.oracle.com/cd/E64076_01/E64078/html/index.html


ライブ・マイグレーションおよびオンライン・データベース再配置

のベスト・プラクティス

Oracle VMライブ・マイグレーションのベスト・プラクティス

Oracle VM のライブ・マイグレーションでは、オペレーティング・システム・レベルの移行により、ワークロード管理、障害管理、システム保守操作を容易に実行できるようにします。オラクルのライブ・マイグレーションでは基本的に、実行中のサービスの中断を最小限に抑えながら、ソースVM のメモリの内容をある物理ホストからリモート・ホスト上の別のターゲット VM に反復的に事前コピーします。

この反復的なメモリの事前コピーは、ソース・マシン上のダーティ・ページ率が、ターゲット・マシンへのメモリ転送率を定常的に超えていると判定されるまで継続されます。この時点で、Oracle VMが停止され、残りのすべてのダーティ・ページがソース VM からターゲット VM にコピーされます。

この stop-and-copy 操作によってライブ・マイグレーションが完了するまでの時間が、Oracle VMの一時停止時間になります。大部分のアプリケーションではダーティ・ページ率が低いため、一時停止時間は数ミリ秒～数秒程度で済みます。ただし、ダーティ・ページ・セットのサイズが 2.7GBを超える可能性がある大規模で非常にアクティブなアプリケーションでは、Oracle VM の一時停止時間がかなり長くなる可能性があります。結果として、クラスタウェアのハートビートしきい値の設定に違反し（しきい値の範囲内にハートビートが届かなくなり）、Oracle Clusterware レベルでノード・フェンシングがトリガーされる場合があります。

Oracle VM のライブ・マイグレーションの実行中にこうした問題が発生するのを避けるには、次のベスト・プラクティスに従う必要があります。

• Oracle RAC 本番環境でライブ・マイグレーションを開始する前に、Oracle Clusterware のmisscount（ミスカウント）をデフォルトの 30 秒から 60 秒に変更します。root として次のコマンドを実行してください。

`crsctl set css misscount 60`

これにより、ダーティ・ページ・セットのサイズが 2.7GB を超える可能性があるアプリケーションでもライブ・マイグレーションを実行できるようになります。1 本の 1 ギガビット・イーサネット共有リンクの最大スループットを低めに見積もって 90MB/秒とすると、60 秒の misscount で、5.4GB（90MB/秒 * MC。MC は misscount、すなわち 60 秒）に相当する一時停止期間が許容されることになります。

• ライブ・マイグレーションが完了したら、Oracle Clusterware の misscount をデフォルト値に戻します。root として次のコマンドを実行してください。

`crsctl unset css misscount`


同時に 2 つ以上のライブ・マイグレーションを実行することはできません。クラスタ環境内で複数の Live Migration を同時に実行すると、上記の停止期間しきい値に違反する可能性があります。

ライブ・マイグレーションには専用の広い帯域幅のネットワークを使用し、各 Oracle VM ゲストを同一ネットワークおよび IP サブネット内に設置する必要があります。ライブ・マイグレーションに使用されるデフォルトのネットワークは、Oracle VM 管理ネットワークであり、パブリック・ネットワークである可能性があります。頻繁に発生する保守操作としてライブ・マイグレーションを使用する場合は、ボンディングされたインタフェースをデプロイして、Dom0/ovs-agent/OCFS2/ライブ・マイグレーションの各トラフィックを他のアプリケーション・トラフィックから分離することを推奨します。

デフォルトでは、セキュアなライブ・マイグレーションが有効になっていますが、SSL を使用してリモート・ゲストに対するセキュリティ保護された接続を確立すると、ライブ・マイグレーション操作のオーバーヘッドが大きくなります。したがって、このようなセキュリティ保護された接続は、可能であれば使用しないでください。一般に、ライブ・マイグレーション・ネットワーク自体がセキュリティ保護されていれば、セキュアな接続を確立する必要はありません。

Oracle RAC One Nodeのオンライン・データベース再配置のベスト・プラクティス

Oracle RAC One Node のオンライン・データベース再配置のベスト・プラクティスは、物理マシン上ではなく、Oracle VM ベースの環境内でオンライン・データベース再配置操作を実行する場合は、これまでと変わりありません。Oracle RAC One Node のオンライン・データベース再配置の詳細については、Oracle RAC One Node のユーザー・ガイド 29を参照してください。2 つの Oracle VM ゲスト間でオンライン・データベース再配置を実行する場合は、次の点を考慮してください。

• オンライン・データベース再配置イベントのターゲット VM に、Oracle RAC One Node インスタンスを実行できる十分な OS/システム・リソースが搭載されている必要があります。

• 同時に 2 つ以上のオンライン・データベース再配置イベントを実行することはできません。

• ターゲット VM は構成済みのクラスタ・メンバーでなければなりません。

29 Oracle RAC/RAC One Node 12c Rel. 1 (12.1.0.2) installation guide

Note

Oracle ACFS が使用されている場合にライブ・マイグレーションが失敗する可能性がある問題が報告されています。MOS Note: 2202282.1 を参照してください。

Note

ゲスト・ドメイン内にアクティブな本番 Oracle RAC インスタンスが存在する場合は、ゲスト・ドメインの Oracle VM 管理機能を一時停止および再開することは避ける必要があります。一時停止操作を実行すると、Oracle Clusterware によって、一時停止中の Oracle VM 仮想マシンのフェンシングがトリガーされる可能性があり、最悪の場合はブロック破損につながります。

https://docs.oracle.com/database/121/RILIN/racinstl.htm#RILIN1006


まとめ

リリース 3.2 以降の Oracle VM 環境に認定済み Oracle RAC をインストールし、本書に記載されている推奨事項に従うことで、図 13 で説明している（オラクルの）エンタープライズ・グリッド・インフラストラクチャ構成や、将来的にはより高度な構成において、これらの標準化されたテクノロジーを使用した実装が可能になります。

図 17：本番環境のアーキテクチャ例


付録A – Oracle VM Managerを使用したディスクの永続性

Oracle VM Manager を使用すると、VM を編集して適切な仮想ディスクまたは物理ディスクを関連付け、以下のような構成を得ることができます。

Note

1 つの仮想ディスクまたは物理ディスクが複数の VM に提供されるようにするには、"共有"として編集および構成する必要があります。本番環境や質の高い環境では、データベース・ファイル用として物理ディスクを推奨します。


付録B - ボンディング設定の例

Oracle RAC 仮想マシンが作成される Oracle VM プールのすべての Oracle VM Server（dom0）の部分には、ボンディング構成を適用する必要があります。Oracle VM Server（dom0）に関連するすべてのネットワーク構成は、Oracle VM Manager の Web または CLI インタフェースを使用して実行しなければなりません。

、、などのボタンを使用して、各 Oracle VM Server でボンド・インタフェースを

作成、編集、削除

できます。多数の Oracle VM Server に同じ操作を実行する場合は、Oracle VM Manager の CLI インタフェースを使用して、その構成を自動化できます。

各ボンド・インタフェース（Oracle VM 管理用、Oracle RAC パブリック・ネットワーク用、およびOracle RAC プライベート・ネットワーク用にそれぞれ 1 つ）には、以下の例のように、少なくとも2 つの異なる NIC を使用する必要があります。

• Bond0 = eth2 および eth4（Oracle VM 管理専用）

• Bond1 = eth1 および eth3（Oracle RAC パブリック・ネットワーク – VM 専用）

• Bond 2 = eth0 および eth5（Oracle RAC プライベート・ネットワーク – VM 専用）

上記の例で使用されるボンディング・モードは、モード 1 のアクティブ・バックアップです。これは、もっとも簡単なモードであり、ほとんどのスイッチで問題なく機能します。その他のモードは、所定の構成を行った特定のスイッチが必要な場合があります。

すべてのボンド構成を定義したら、Oracle VM Manager を使用して、それらのインタフェースをネットワーク・ロールに適切に関連付ける必要があります。Oracle VM Manager の「Networking」タブで、仮想マシン専用の 2 つ（またはそれ以上）の異なるネットワーク・ロールを作成します。




作成したネットワークを使用して、Oracle Real Application Clusters 専用の独自の仮想マシンを作成できます。

仮想マシンを作成している間に、必要な各ロールに対して vNIC を 1 つ関連付ける必要があります。以下の例では、パブリック・ネットワーク専用の vNIC とプライベート・ネットワーク専用の vNICという 2 つの異なる vNIC を持つ VM を示しています。

本書で説明しているように、Oracle RAC 12c Release 1 以降、2 つの異なる vNIC を作成し、HA-IP を使用して Oracle Database を構成できるようになりました。

HA-IP を使用する場合は、Oracle VM Server（dom0）にプライベート・ネットワーク専用のボンド・インタフェースを作成する必要はありません。代わりに、各 NIC を特定のネットワーク・ロールに関連付け、次に 2 つの異なる vNIC を VM に関連付ける必要があります。

• Eth0 → ネットワーク・ロール："HA-IP（1/2）" → プライベート・ネットワーク用 vNIC（1）

• Eth1 → ネットワーク・ロール："HA-IP（2/2）" → プライベート・ネットワーク用 vNIC（2）


付録C – 参考資料

Oracleの公式ドキュメント - 一般

製品/参照 URL

oracle.comに掲載されている Oracle VM http://www.oracle.com/jp/technologies/virtualization/overview/index.html

Oracle VM の公式ドキュメント http://www.oracle.com/technetwork/documentation/vm- 096300.html

oracle.comに掲載されている Oracle RAC https://www.oracle.com/database/real-application- clusters/index.html

Oracle VM Templates for Oracle Database http://www.oracle.com/technetwork/server- storage/vm/database-templates-12c-11gr2-1972804.html

oracle.comに掲載されている Oracle Clusterware http://www.oracle.com/technetwork/jp/database/database-technologies/clusterware/overview/index.html

Oracle ASM http://www.oracle.com/technetwork/articles/database/asm- odb12c-enhancements-2206102.html

Oracle ASMLib http://www.oracle.com/technetwork/topics/linux/asmlib/index- 101839.html

Oracle ASMLib 対 ASMFD https://docs.oracle.com/database/121/OSTMG/GUID- 9C4245E0-279B-4832-A2FA-00E57B34D604.htm#OSTMG95908

Oracleの公式ドキュメント – Oracle Real Application Clusters

製品/参照 URL

Oracle RAC 11.2 –インストレーション・ガイド https://docs.oracle.com/cd/E16338_01/install.112/b56272/toc.htm

Oracle RAC 12c Release 1 –インストレーション・ガイド https://docs.oracle.com/cd/E49329_01/install.121/b71325/toc.htm

My Oracle Supportノート

Information Center: Oracle Scalability Grid Infrastructure/Clusterware and Real Application Clusters (RAC) （文書 ID 1452965.2）

RAC Cluster is Experiencing Node Evictions after Kernel Upgrade to OL6.6（文書 ID 2011957.1）

Requirements for Installing Oracle Database 12.1 on RHEL6 or OL6 64-bit (x86-64) （文書 ID 1529864.1）

ALERT: Disable Transparent HugePages on SLES11, RHEL6, RHEL7, OL6, OL7, and UEK2 and above（文書 ID 1557478.1）

Information Center: Known Issues for Oracle Cluster Verification Utility (CLUVFY) for Oracle Database - RAC/Scalability（文書 ID 1605365.2）

Top 5 Issues That Cause Node Reboots or Evictions or Unexpected Recycle of CRS（文書 ID 1367153.1）

Oracle Clusterware and Application Failover Management（文書 ID 790189.1）

12.1.0.2 Ping Target for Oracle Clusterware VIP（文書 ID 1958241.1）

Oracle VM Templates for Oracle Database - Single Instance, Oracle Restart (SIHA) and Oracle RAC（文書 ID 1185244.1）

http://www.oracle.com/jp/technologies/virtualization/overview/index.html

http://www.oracle.com/technetwork/documentation/vm-096300.html

http://www.oracle.com/technetwork/documentation/vm-096300.html

http://www.oracle.com/jp/database/real-application-clusters/overview/index.html

https://www.oracle.com/database/real-application-clusters/index.html






http://www.oracle.com/technetwork/articles/database/asm-odb12c-enhancements-2206102.html



http://www.oracle.com/technetwork/topics/linux/asmlib/index-101839.html

http://www.oracle.com/technetwork/topics/linux/asmlib/index-101839.html





https://docs.oracle.com/cd/E16338_01/install.112/b56272/toc.htm

https://docs.oracle.com/cd/E49329_01/install.121/b71325/toc.htm














Oracle Corporation, World Headquarters

500 Oracle Parkway

Redwood Shores, CA 94065, USA

海外からのお問い合わせ窓口

電話：+1.650.506.7000

ファクシミリ：+1.650.506.7200

C O N N E C T W I T H U S

blogs.oracle.com/oracle

facebook.com/oracle

twitter.com/oracle

oracle.com

Copyright © 2017 Oracle and/or its affiliates.All rights reserved.本文書は情報提供のみを目的として提供されており、記載内容は予告なく変更されることがあります。本文書は一切間違いがないことを保証するものではなく、さらに、口述による明示または法律による黙示を問わず、特定の目的に対する商品性もしくは適合性についての黙示的な保証を含み、いかなる他の保証や条件も提供するものではありません。オラクルは本文書に関するいかなる法的責任も明確に否認し、本文書によって直接的または間接的に確立される契約義務はないものとします。本文書はオラクルの書面による許可を前もって得ることなく、いかなる目的のためにも、電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません。 Oracle および Java は Oracle およびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標です。 Intel および Intel Xeon は Intel Corporation の商標または登録商標です。すべての SPARC 商標はライセンスに基づいて使用される SPARC International, Inc.の商標または登録商標です。AMD、Opteron、AMD ロゴおよび AMD Opteron ロゴは、Advanced Micro Devices の商標または登録商標です。UNIX は、The Open Group の登録商標です。0117 Oracle VM 環境の Oracle Real Application Clusters 2017 年 1 月著者：Simon Coter、Markus Michalewicz 共著者：Anil Nair、Saar Maoz、John McHugh、Honglin Su、Sebastian Solbach Revision:1.0

oracle vm環境のoracle real application clusters...oracle...

Documents