oracle data integrator 10.1.3.5 技術概要1 oracle data integrator 10.1.3.5 技術概要...

1

<Insert Picture Here>

Oracle Data Integrator 10.1.3.5 技術概要技術概要技術概要技術概要

日本オラクル株式会社

皆様、こんにちは。日本オラクル株式会社 Fusion Middleware事業統括本部より、Oracle Data Integratorの技術概要についてご説明します。

2

Copyright© 2009, Oracle. All rights reserved. 2

本資料本資料本資料本資料のののの使用上使用上使用上使用上のののの注意事項注意事項注意事項注意事項1

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

3


アジェンダアジェンダアジェンダアジェンダ

• Oracle Data Integratorの概要

• Oracle Data Integratorの詳細

• 利用シーン

こちらが本セッションでお伝えする内容になります。まずはじめに、Oracle Data

Integratorの概要をご説明いたします。続いて、より詳細な内容についてご説明いたします。そして最後に、Oracle Data Integratorの特長を生かす利用シーンについてご紹介いたします。なおセッションの中でOracle Data Integrator をODIと略させていただく場合があります。あらかじめご了承ください。

4


アジェンダアジェンダアジェンダアジェンダ：：：：Oracle Data Integratorのののの概要概要概要概要



• 利用シーン

それではまず最初に、Oracle Data Integratorの概要についてご説明します。

5


データウェアハデータウェアハデータウェアハデータウェアハウスウスウスウス

マスターデータマスターデータマスターデータマスターデータ管理管理管理管理

リアルタイムリアルタイムリアルタイムリアルタイムメッセージングメッセージングメッセージングメッセージング

フェデレーションフェデレーションフェデレーションフェデレーション移行移行移行移行

様様様様々々々々なななな異異異異なるなるなるなるシステムシステムシステムシステムにににに分断分断分断分断されたされたされたされたソースデータソースデータソースデータソースデータ様様様様々々々々なななな異異異異なるなるなるなるシステムシステムシステムシステムにににに分断分断分断分断されたされたされたされたソースデータソースデータソースデータソースデータ

ERPERPERPERP

------------------

------------

------------------------

CRMCRMCRMCRM

- - -

レガシーシステムレガシーシステムレガシーシステムレガシーシステム

------------------

------------

------------------------ ---

---------------------------

------------------------

カスタムアプリケーションカスタムアプリケーションカスタムアプリケーションカスタムアプリケーション

データデータデータデータ活用活用活用活用データデータデータデータ活用活用活用活用

Business Business Business Business IntelligenceIntelligenceIntelligenceIntelligence

Corporate Corporate Corporate Corporate Performance Performance Performance Performance ManagementManagementManagementManagement

Business Business Business Business Activity Activity Activity Activity

MonitoringMonitoringMonitoringMonitoring

Business Business Business Business Process Process Process Process

ManagementManagementManagementManagement

- - -- - -

- - -- - -

データデータデータデータ同期化同期化同期化同期化

データデータデータデータ統合統合統合統合////連携連携連携連携データデータデータデータ統合統合統合統合////連携連携連携連携

Oracle Data Integratorはビジネス・インテリジェンスとデータ・ウェアハウス、マスターデータ管理、サービス指向アーキテクチャ（SOA）、アプリケーションの移行と統合など、業務を遂行するために必要不可欠な機能を実現するデータ統合（ETL）ツールです

Oracle Data Integratorとはとはとはとは？？？？

Oracle Data Integratorは、このスライドの中央、データ統合/連携のレイヤーに位置するデータ統合基盤製品で、一般的にETLツールと呼ばれる製品カテゴリに分類される製品です。

分断されたソースデータを統合・連携し、ビジネスインテリジェンスなどのデータ活用への道を開けます。

6


[ごごごご参考参考参考参考] ETL（（（（Extract / Transform / Load））））とはとはとはとは？？？？

ETL （（（（Extract /

Transform / Load））））

各処理各処理各処理各処理ステップステップステップステップのののの詳細詳細詳細詳細

• E（抽出）: 情報源となるシステムからデータを抽出

• T（変換）: 抽出したデータに規則や関数を適用し、ターゲットにロード可能なデータに加工

• L（ロード）: データを最終ターゲットにロード

企業企業企業企業にににに蓄積蓄積蓄積蓄積されたされたされたされたデータデータデータデータをををを抽出抽出抽出抽出しししし、、、、ターゲターゲターゲターゲットットットットのののの利用利用利用利用しやすいしやすいしやすいしやすい形形形形にににに加工加工加工加工しししし、、、、対象対象対象対象となとなとなとなるるるるデータベースデータベースデータベースデータベースにににに書書書書きききき出出出出すすすす一連一連一連一連のののの処理処理処理処理

E:抽出 T:変換 L:ロードソースソースソースソースターゲットターゲットターゲットターゲット

RDBMS

基幹基幹基幹基幹

システムシステムシステムシステム

フラットフラットフラットフラット

ファイルファイルファイルファイル

ご存知の方も多いかと思われますが、ETLツールのETLとは、データ統合の際に必要となる各処理ステップであるExtract、Transform、Loadという英単語の頭文字を取った言葉です。デー

タを抽出し、ターゲットが利用しやすい形に加工し、その加工したデータを最終ターゲットにロードするこの一連のETL処理を支援するツールをETLツールと呼びます。

7


Oracle Data Integratorのののの3つのつのつのつの特長特長特長特長

• 高高高高いいいい処理処理処理処理パフォーマンスパフォーマンスパフォーマンスパフォーマンスをををを実現実現実現実現– 各各各各DBののののネイティブコードネイティブコードネイティブコードネイティブコード、、、、バルクロードバルクロードバルクロードバルクロード・・・・ユーティリティユーティリティユーティリティユーティリティにににに対応対応対応対応

– ボトルネックボトルネックボトルネックボトルネックになりがちなになりがちなになりがちなになりがちな中間中間中間中間サーバーサーバーサーバーサーバーがががが不要不要不要不要

• マルチデータソースマルチデータソースマルチデータソースマルチデータソースにににに対応対応対応対応

ルールベースルールベースルールベースルールベースのののの設計開発設計開発設計開発設計開発をををを行行行行うだけでうだけでうだけでうだけで、、、、テンプレートテンプレートテンプレートテンプレート（（（（ナナナナレッジモジュールレッジモジュールレッジモジュールレッジモジュール））））がががが異機種間異機種間異機種間異機種間ののののテクノロジテクノロジテクノロジテクノロジのののの差異差異差異差異をををを埋埋埋埋めめめめ、、、、中間処理中間処理中間処理中間処理ステップステップステップステップをををを自動生成自動生成自動生成自動生成。。。。これによりこれによりこれによりこれにより高高高高いいいい開発生産開発生産開発生産開発生産性性性性、、、、可読性可読性可読性可読性をををを実現実現実現実現

EE--LTLT

LoadExtract

A

B

C Transform

ステージングステージングステージングステージングテーブルテーブルテーブルテーブル

ターゲットターゲットターゲットターゲットテーブルテーブルテーブルテーブル

SOA連携連携連携連携、、、、Change Data Capture（（（（CDC））））によるによるによるによる準準準準リアリアリアリアルタイムルタイムルタイムルタイム連携連携連携連携にににに標準機能標準機能標準機能標準機能でででで対応対応対応対応

DBををををデータデータデータデータ変換変換変換変換エンジンエンジンエンジンエンジンととととするするするする「「「「E-LT」」」」アーキテクチャアーキテクチャアーキテクチャアーキテクチャ11

高高高高いいいい開発生産性開発生産性開発生産性開発生産性22

多様多様多様多様なななな連携連携連携連携タイミングタイミングタイミングタイミングへのへのへのへの対応対応対応対応33

RDBMSエンジンエンジンエンジンエンジンををををデータデータデータデータ連携連携連携連携エンジンエンジンエンジンエンジンとしてとしてとしてとして最大限最大限最大限最大限にににに活用活用活用活用

Oracle Data Integratorの特長ですが、以下の3つが挙げられます。

１．データベースを変換エンジンとする「E-LT」アーキテクチャデータベースのエンジンを利用してデータ変換を行うため、高いパフォーマンスを実現します

２．高い開発生産性テンプレートを利用した設計開発によって、中間処理ステップをコーディングする必要がありません

３．多様な連携タイミングへの対応 ETLツールの主な利用用途であるバッチ処理だけでなく、様々な連携タイミングに対して標準機能で対応します

次のスライド以降で、これらの特長についてご説明いたします。

8


中間中間中間中間サーバサーバサーバサーバーーーー

従来従来従来従来のののの「「「「従来従来従来従来のののの「「「「ETLETLETLETLETLETLETLETL」」」」」」」」

ODIODIODIODIODIODIODIODIではではではでは「「「「ではではではでは「「「「EEEEEEEE--------LTLTLTLTLTLTLTLT」」」」」」」」

•中間サーバーが不要•ネットワーク負荷が軽い•DBの処理性能を最大限に活用

• 中間サーバーを経由• 毎回すべてのデータをロード

LLLLoadoadoadoadEEEExtractxtractxtractxtract

TTTTransformransformransformransform

コスト削減

リアルタイム

コスト削減

速い

LLLLoadoadoadoadEEEExtractxtractxtractxtract

中間サーバーがボトルネックに

AAAA

BBBB

CCCC

AAAA

BBBB

CCCC

EExtract�LLoad�TTransform の処理ロジックにより、中間サーバーを必要としないアーキテクチャ

DBををををデータデータデータデータ変換変換変換変換エンジンエンジンエンジンエンジンとするとするとするとする「「「「E-LT」」」」アーキテクチャアーキテクチャアーキテクチャアーキテクチャ

TTTTransformransformransformransform

ステージングステージングステージングステージングテーブルテーブルテーブルテーブル

ターゲットターゲットターゲットターゲットテーブルテーブルテーブルテーブル

- 中間サーバーのH/Wを必要とせず、既存のRDBMSのリソースを統合エンジンとして活用

- 各RDBMSのネイティブのコードを発行し、バルクロード・ユーティリティをサポート

- ネットワーク転送処理がETLに比べ少ないため、データ連携鮮度が高い

11

「E-LT」アーキテクチャとは、中間サーバーを必要とせず、既存のデータベースをデータ変換エンジンとして利用可能なアーキテクチャを意味します。従来のETLのアプローチではデータの抽出、変換、ロードを専用のETLサーバーで行ってきました。この場

合すべてのデータが中間サーバーを経由するため中間サーバーがボトルネックになる懸念があります。 OracleのELTアプローチは、中間のETL変換サーバーを介してす

べてのデータをロードするのではなく、ソースからターゲットへデータを直接ロードし、ターゲット・データベースのエンジンの能力を活用して変換を実行します。中間サーバーを経由せずにダイレクトでデータをロードするので、ネットワークの転送処理がETLア

プローチに比べ少なくなります。これにより、データ連携のパフォーマンスおよびリアルタイム性が向上します。また、中間サーバーを保有するコストが必要ないため、企業のTCOを削減することも可能となります。加えて、ODIでは各RDBMSベンダーが提供し

ているバルクロード・ユーティリティを使用し大量のデータを高いパフォーマンスでロードすることが出来ます。バルクロード・ユーティリティにはOracleのSQL*Loaderなどが

例として挙げられます。

9


高高高高いいいい開発生産性開発生産性開発生産性開発生産性をををを実現実現実現実現するするするする宣言型設計宣言型設計宣言型設計宣言型設計

連携方法連携方法連携方法連携方法をををを選択選択選択選択: ビルトインテンプレートビルトインテンプレートビルトインテンプレートビルトインテンプレート

連携対象連携対象連携対象連携対象をををを指定指定指定指定

自動的自動的自動的自動的ににににデータフローデータフローデータフローデータフローをををを生成生成生成生成

11 33

22

11 連携先連携先連携先連携先ののののデータソースデータソースデータソースデータソースをををを指定指定指定指定

22 連携方法連携方法連携方法連携方法をををを選択選択選択選択：：：：ビルトインテンプレートを選択

33 データフローデータフローデータフローデータフローをををを自動生成自動生成自動生成自動生成

CSVファイルファイルファイルファイルののののデータデータデータデータをををを、、、、Oracle Database にににに、、、、

・・・・SQL Loaderでででで取取取取りりりり込込込込みたいみたいみたいみたい・・・・差分抽出差分抽出差分抽出差分抽出してしてしてして、、、、格納格納格納格納したいしたいしたいしたい etc.

・・・・Oracle SQL*Loader Script をををを生成生成生成生成・・・・PL/SQL Script をををを生成生成生成生成・・・・Oracle 用用用用SQLをををを生成生成生成生成 etc.

各種DBに最適な中間処理ステップが事前定義されており（ナレッジモジュール）、連携対象と方式を指定するだけで、各DBのネイティブな処理コードを自動生成

従来従来従来従来のののの「「「「従来従来従来従来のののの「「「「ETLETL」」」」」」」」設計設計設計設計設計設計設計設計

OracleOracleではではではでは「「「「ではではではでは「「「「宣言型設計宣言型設計宣言型設計宣言型設計宣言型設計宣言型設計宣言型設計宣言型設計」」」」」」」」

22

2つ目の特長は開発生産性の高い宣言型設計です。従来のETLアプローチでは、ソ

ース・テーブルからターゲット・テーブルにデータを挿入する場合、データ・フローの各ステップをすべて設計する必要がありました。 ODIの宣言型設計アプローチでは３つのステップで設計を行います。まずはじめにソース、ターゲットの連携対象を指定します。

続いて、連携方法をテンプレートから選択します。連携方法のテンプレートとは、バルクロード・ユーティリティを利用してデータを取り込みたい、や、各RDBMS固有のSQLを

利用してデータを統合したい、など要件に応じたものが提供されています。この連携方法を選択すると、データフローはODIによって自動生成されます。これにより、従来のア

プローチで必要であった中間手順やベンダー固有の言語といったものを意識することなく、データ統合フローを作成することが出来ます。この連携方法のテンプレートをナレッジモジュールと呼びます。設計開発手順とナレッジモジュールの詳細については、

続いての章でご説明いたします。

10


SOASOASOASOASOASOASOASOA連携連携連携連携連携連携連携連携

リアルタイムリアルタイムリアルタイムリアルタイム連携連携連携連携リアルタイムリアルタイムリアルタイムリアルタイム連携連携連携連携

バッチバッチバッチバッチ連携連携連携連携バッチバッチバッチバッチ連携連携連携連携

多様多様多様多様なななな連携連携連携連携タイミングタイミングタイミングタイミングへのへのへのへの対応対応対応対応33

バッチ、イベント駆動化、サービス指向といった幅広い統合要件に対応

バッチバッチバッチバッチ

変更変更変更変更

リアルリアルリアルリアル

SOA

Oracle Data Integrator

• バッチ処理の定時スケジューリング実行• Job管理ツールからバッチ処理の起動

• データ変更をトリガーに、リアルタイムにデータ統合を行うイベント駆動化

• データ変更差分のみを抽出

• SOAプロセスからのバッチ処理起動• データ統合フローへの外部SOAサービスの

組み込み

3つ目の特長は多様な連携タイミングに対して標準機能で対応している点です。データ

連携は、バッチで一括処理を行うというのがよくある要件ですが、これ以外にも、データの変更を検知した際に即座に同期を取りたい、というリアルタイム連携の要件や、SOAプロセスからバッチ処理を起動させたい、というSOA連携の要件のように多様な連携タイミングが求められるようになってきています。Oracle Data Integratorでは、こ

れらの要件に対して標準機能で対応しております。

11


アジェンダアジェンダアジェンダアジェンダ：：：：Oracle Data Integratorのののの詳細詳細詳細詳細



• 利用シーン

Oracle Data Integratorの概要については以上になります。続いて前の章でご紹介したODIの特長の詳細についてご説明いたします。

1212


<<<<Insert Picture Here>Insert Picture Here>Insert Picture Here>Insert Picture Here>

「「「「E-LT」」」」アーキテクチャアーキテクチャアーキテクチャアーキテクチャ

Oracle Data Integratorのアーキテクチャ

まず、1つ目の特長でご紹介したE-LTアーキテクチャについて詳しく見ていきます。

13


④④④④運用管理運用管理運用管理運用管理ツールツールツールツール

「「「「E-LT」」」」アーキテクチャアーキテクチャアーキテクチャアーキテクチャ：：：：ODIのののの全体構成全体構成全体構成全体構成

: Data Flow

③③③③ステージングステージングステージングステージング領域領域領域領域

②②②②ODIリポジトリリポジトリリポジトリリポジトリスキーマスキーマスキーマスキーマ

ターゲットターゲットターゲットターゲット表表表表

①①①①ODI Agent

①①①①ODI Agent

ファイルファイルファイルファイル・・・・サーバーサーバーサーバーサーバーFile Excel

� ODIののののコンポーネントコンポーネントコンポーネントコンポーネント

①①①① ODI Agent （（（（Java process））））

②②②② ODI リポジトリリポジトリリポジトリリポジトリ用用用用DBスキーマスキーマスキーマスキーマ

: リポジトリリポジトリリポジトリリポジトリのののの参照参照参照参照/書込書込書込書込みみみみ

ターゲット・データベース

ソースソースソースソース１１１１

ソースソースソースソース２２２２

③③③③ODI ステージングステージングステージングステージング用用用用DBスキーマスキーマスキーマスキーマ

④④④④ODI クライアントツールクライアントツールクライアントツールクライアントツール（（（（開発開発開発開発ツールツールツールツール、、、、運用管理運用管理運用管理運用管理ツールツールツールツール））））

※※※※リポジトリリポジトリリポジトリリポジトリややややAgentののののロケーションロケーションロケーションロケーションはははは任意任意任意任意

SQL*Loader

ソース・データベース

④④④④ODI開発開発開発開発ツールツールツールツール

クライアントPCWebアプリケーション

ODIはデータベースを変換エンジンとするELTアーキテクチャ構成です。このスライドでは、ELTアーキテクチャの全体構成についてご説明いたします。スライド下部の絵をご覧ください。ここでは、左側にある３つのソースから右側のターゲット・データベースに対してデータをロードする構成を描いています。ご覧いただけるとおり、中間サーバーを構成せずにデータ統合を実現できます。実際のデータ統合フローの流れは以下のようになります。まず、①のODI Agentというコンポーネントが②のODIリポジトリスキーマにアクセスして、発行するSQL

コマンドやOSコマンドなどを取得します。そして、各ソースおよびターゲットに対して取得したコマンドの実行命令を行います。実行命令を受けて、ソースからターゲット・データベース内にある、③のステージング領域にデータが集約されます。このステージング領域の中で変換処理が行われ、ターゲット表にデータがロードされます。以上がデータ統合フローの流れになります。 ④のクライアントツールを利用して、開発及び運用管理を行います。これらクライアントツールも②のODIリポジトリ・スキーマを参照します。開発ツールで作成したデータフローもそのデータフローの実行ログも、このリポジトリにて一元的に管理されます。リポジトリには一般的なOracle Databaseを含むRDBMSを利用することが出来ます。利用可能なデータベースの詳細につきましては、巻末のリファレンス・スライドのシステム要件のリンクをご参照ください

1414



宣言型設計：ナレッジモジュールの詳細

宣言型設計宣言型設計宣言型設計宣言型設計

� ナレッジモジュールの詳細

� 設計開発

ODIの全体構成の説明は以上になります。続いて、宣言型設計の中でキーとなる、ナレッジモジュールの詳細についてご説明いたします。

15


ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールのののの利用利用利用利用メリットメリットメリットメリットととととアーキテクチャアーキテクチャアーキテクチャアーキテクチャ

・DBの種類によらない統一した設計開発手順- 習得が容易- 複数PG言語スキルの習得が不要- 高い開発生産性

・各DBに最適なSQLを自動生成- コード品質が一定以上担保できる- パフォーマンスがよい- ノンプログラミングのためバグ減少

ソースソースソースソースからからからから差分差分差分差分データデータデータデータ読取読取読取読取

ソースソースソースソースからからからから一時領域一時領域一時領域一時領域へへへへロードロードロードロード

ロードロードロードロード前整合性前整合性前整合性前整合性チェックチェックチェックチェック変換変換変換変換のののの統合統合統合統合、、、、最適化最適化最適化最適化さささされたれたれたれた手法手法手法手法によるによるによるによるターゲッターゲッターゲッターゲッ

トトトトへへへへ移動移動移動移動

データデータデータデータ処理処理処理処理/変換変換変換変換ををををサービスサービスサービスサービス化化化化してしてしてして公開公開公開公開

メタデータメタデータメタデータメタデータののののリバースリバースリバースリバースエンジニアリングエンジニアリングエンジニアリングエンジニアリング

リバースリバースリバースリバース

ジャーナライズジャーナライズジャーナライズジャーナライズ

ロードロードロードロード

チェックチェックチェックチェック

統合統合統合統合サービスサービスサービスサービス

CDC

ソース

ステージング領域

エラー表

ターゲット表

WSWS

WS

IBM DB2

Oracle Database

IBM JournalOracle

SQL*LoaderOraclePL/SQL

OracleMERGE文文文文

Web Service

SAP/R3Siebel

Log MinerDB2 Journals

SQL Server Triggers

Oracle DBLink DB2 Exp/Imp

JMS Queues

Check MS Excel

Check Sybase

Oracle SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

ナレッジモジュール

データデータデータデータ統合統合統合統合にににに必要必要必要必要なななな中間処理中間処理中間処理中間処理ステップステップステップステップをををを各種各種各種各種DBののののネイティブコードネイティブコードネイティブコードネイティブコードでででで自動生成自動生成自動生成自動生成

IBM DB2メタデータメタデータメタデータメタデータ抽出抽出抽出抽出

ナレッジモジュールはODIが提供する事前定義済みのテンプレートで、データ統合に必要な中間処理ステップを自動生成するモジュールです。

ナレッジモジュールを利用して開発するステップは、連携対象となるデータベースや環境に依存せず、統一した設計開発手順を踏襲することが出来ます。開発手順の習得も容易で、複数のプログラミング言語スキルを習得する必要がありません。また、ナレッジモジュールが各DBに最適なSQLを自動生成するため、後でチューニングが必要になることがほとんどなく、高いパフォーマンスを提供します。

ナレッジモジュールは、データ統合の各ステップごとに提供されています。

スライドの例ではIBMのDB2からOracle Databaseに対して差分だけを抽出してロードし、データ統合処理をサービス化して公開するまでの一連の処理が描かれています。点線の四角で囲まれているものが各ステップを表します。リバースならIBM DB2のメタデータ抽出をするステップを、ジャーナライズならIBM

DB2から差分データを取得するためのステップを、といったように、各ステップにおいて必要なナレッジモジュールが提供されています。

ソースやターゲットのDBの種類が変わっても設計開発手順は同じです。すなわち連携対象の表とKMを選ぶだけなので、個別のDBに対しての深いスキルを必要としません。これにより、開発生産性を高められます。

16


データデータデータデータ統合処理時統合処理時統合処理時統合処理時にににに利用利用利用利用するするするするナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュール

ターゲットターゲットターゲットターゲット表表表表

ソースソースソースソース・・・・データベースデータベースデータベースデータベース

抽出抽出抽出抽出/ロードロードロードロード

C0

C1

LKM

LKM

LKM

IKM

Target Image

IKM

エラーエラーエラーエラー表表表表

CKMIKM

CKM

統合統合統合統合

ターゲットターゲットターゲットターゲット・・・・データベースデータベースデータベースデータベース

ローディングローディングローディングローディング・・・・ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールソースソースソースソースからからからからターゲットターゲットターゲットターゲット・・・・データベースデータベースデータベースデータベースののののステージステージステージステージングングングング領域領域領域領域にににに抽出抽出抽出抽出/ロードロードロードロードをををを行行行行いますいますいますいます

統合統合統合統合ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールステージングステージングステージングステージング領域領域領域領域ででででデータデータデータデータのののの統合統合統合統合をををを行行行行いいいい、、、、ターターターターゲットゲットゲットゲット表表表表へへへへデータデータデータデータををををロードロードロードロードしますしますしますします

ステージングステージングステージングステージング領域領域領域領域

コントロールコントロールコントロールコントロール・・・・ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールデータデータデータデータ・・・・ストアストアストアストアののののデータデータデータデータ統合統合統合統合ををををコントロールコントロールコントロールコントロールしししし、、、、不品質不品質不品質不品質ののののデータデータデータデータををををエラーエラーエラーエラー表表表表にににに移行移行移行移行しますしますしますします

ORDERS

ORDER LINES

ソースソースソースソース・・・・ファイルファイルファイルファイル

データデータデータデータ品質品質品質品質チェックチェックチェックチェック

データ統合処理（ETL処理）の際に利用する３つのナレッジモジュールの詳細についてご紹介します。

LKMはソースからターゲット・データベース内のステージング領域へデータを抽出およびロードする役割を担います。スライドの中央にある、C0, C1というテーブルの中にソースからロードされたデータが格納されます。このC0, C1というテーブルはODIがデータ統合用に一時的に作成するテーブルです。データがターゲットに正常にロードされた後、LKMによって自動的に削除されます。

ステージング領域にロードされたデータの変換処理を行い、ターゲット表へデータをロードするがIKMの役割です。

CKMは、データフローの中で定義された制約条件や、ターゲット表のNot Null制約など制約条件に合致しないデータをエラー表に移行する役割を持っています。制約条件を指定する場合のみ、CKMの設定を行います。

ユーザーはこれら３つのナレッジモジュールを選択するだけでよく、後はODIがソースからターゲットにデータをロードする一連の処理を選択したナレッジモジュールに応じた形で自動生成します。

17


ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールによってによってによってによって生成生成生成生成されるされるされるされるステップステップステップステップ例例例例

統計情報統計情報統計情報統計情報のののの作成作成作成作成Analyze work table

制御制御制御制御ファイルファイルファイルファイルのののの生成生成生成生成Generate CTL file

作業作業作業作業テーブルテーブルテーブルテーブルののののドロップドロップドロップドロップ

SQLLDRコマンドコマンドコマンドコマンドのののの実行実行実行実行

作業作業作業作業テーブルテーブルテーブルテーブルのののの作成作成作成作成

作業作業作業作業テーブルテーブルテーブルテーブルののののドロップドロップドロップドロップ

目的目的目的目的

Drop work table

Drop work Table

Call sqlldr via Jython

Create work table

コマンドコマンドコマンドコマンド

（（（（例例例例）））） Load Knowledge Module File to Oracle (SQLLDR)

各ステップで実行されるSQL等を確認、編集可能各ステップで実行されるSQL等を確認、編集可能

• 製品固有のユーティリティを利用するために必要なステップも自動生成

• 必要に応じてカスタマイズや拡張も可能• ODIのAPI

• OSのシェルスクリプト

• データベースの言語（SQL, PL/SQL, Transact SQLなど）

• 互換性のあるBeansスクリプト・フレームワーク言語（Java, JavaScript, Jython (Java Python), Perl など）

• 作成したナレッジモジュールを他のプロジェクトで使用可能

このスライドでは、ナレッジモジュールによって生成されるステップを「LKM File to Oracle (SQLLDR)」を例にご紹介します。

このナレッジモジュールを利用するとSQL*LOADER コマンドライン・ユーティリティと呼ばれるバルクロード・ユーティリティを使用して、ファイルからOracle ステージング領域へデータをロードすることができます。

スライド左側の絵は、 ODI開発ツールで表示されるナレッジモジュールの詳細画面のスクリーンショットです。この中の各コマンドをドリルダウンすると各ステップで実行されるSQL等を確認し、編集することが出来ます。スライド右側の表には、左側の詳細画面の各コマンドを切り出したものとその目的が書かれています。

SQLLDRを利用してデータをロードする場合、制御ファイルを作成し、コマンドを実行するというステップが必要となります。このように、製品固有のユーティリティを利用する場合、一般的に製品ごとにそのスキルを習得する必要があります。しかし、ODIを使用することで、このようなDB固有のスキルがなくてもツール上でナレッジモジュールを選択するだけで、最適化されたステップが各DBのネイティブコードとして自動生成されます。

また、ナレッジモジュールが自動生成するコマンドをカスタマイズすることも可能です。

カスタマイズする際はスライドに書かれているようなプログラムを利用して開発します。カスタマイズしたナレッジモジュールは再利用可能で、他のプロジェクトで利用することももちろん可能です。

18


多種多様多種多様多種多様多種多様ななななデータソースデータソースデータソースデータソースにににに対応対応対応対応

• Generic SQL DB

• Oracle Database

• Oracle Exadata

• Oracle Database Machine

• IBM DB2/400

• IBM DB2/Mainframe

• IBM DB2/UDB

• IBM Informix SE

• IBM Informix DS

• Microsoft SQL Server

• Microsoft Access

• Microsoft Excel

• Microsoft Active Directory

• Sybase AS Anywhere

• Sybase AS Enterprise

• Sybase IQ

• Teradata

• Netezza

• PostgresSQL

• MySQL

• Adabas

• VSAM CICS

• Oracle BIEE Suite

• Oracle Hyperion Essbase

• Oracle Hyperion FM

• Oracle Hyperion Planning

• Oracle E-Business Suite

• Oracle PeopleSoft

• Oracle Siebel CRM

• Oracle JD Edwards EO

• Oracle OLAP

• Oracle Internet Directory

• Oracle ESB

• Oracle BAM

• Oracle Tuxedo

• SAP ERP

• SAP BW

• Salesforce App Exchange

• SAS

• OpenLDAP

• WebSphere MQ

• IBM MQ Series

• などなど

事前定義済事前定義済事前定義済事前定義済みみみみナレッジナレッジナレッジナレッジ

モジュールモジュールモジュールモジュール

多様なデータソースへの接続により、拡張性の高いシステム連携を実現

※※※※詳細詳細詳細詳細ののののバージョンバージョンバージョンバージョンにつきましてはにつきましてはにつきましてはにつきましては別途別途別途別途ごごごご確認確認確認確認くださいくださいくださいください

こちらのスライドでは、どのようなデータソースを利用できるかを一覧にしています。ご覧いただけますとおり、 Oracle Applications （EBS, People, Hyperionなど）を含む多種多様なデータ間連携に対応可能です。

データベースとの接続はデータベース・ベンダーが提供しているJDBCドライバを利用します。そして、パッケージ・アプリケーションやメインフレームとの連携にはOracleや外部ベンダーが提供するアダプタを利用します。これらのデータソースに対して、事前定義済みのナレッジモジュールを提供しています。ナレッジモジュールは、製品リリースごとにベストプラクティスに合わせて常に進化を続けています。

各製品の詳細対応バージョンについては巻末のリファレンス・スライドのシステム要件のリンクをご参照ください

1919



宣言型設計：設計開発

宣言型設計宣言型設計宣言型設計宣言型設計


� 設計開発

続いて、Oracle Data Integratorの設計開発についてご説明いたします。

20


ERP/CRM

DWH OLAPフラットフラットフラットフラット・・・・ファイルファイルファイルファイル

XMLMOM

JCA JDBC JNDIJDBC JDBC/OSJMS JDBC/OS

LDAP Directory

ODIOPERATOR

ODITOPOLOGY

ODIDESIGNER

ODISECURITY

DBMS

リポジトリリポジトリリポジトリリポジトリ

開発

ユーザー権限管理

インフォメーション・システムの設定

ジョブ実行のモニタリング

ODIMETADATANAVIGATORリモートで実行

メタデータ参照

Agent

Oracle Data Integratorののののコンポーネントコンポーネントコンポーネントコンポーネント全体像全体像全体像全体像

コードの実行命令を

ソースおよびターゲットに送信

連携連携連携連携データソースデータソースデータソースデータソース

まず、Oracle Data Integratorに含まれるコンポーネントをご紹介します。スライド中央のリポジトリにアクセスしているのがOracle Data Integratorの各コンポーネントです。リポジトリの右側にあるAgentがアクセスしている水色の点線以下は、データベースやフラット・ファイルなどの連携対象を示しています。 ODI全体構成のスライド中でご紹介したODIの開発ツールは、Designer、Topology、Operator、Securityの４つのコンポーネントです。各コンポーネントはタブを切替えるようなイメージで、ワンクリックで切り替えて利用できます。

Metadata NavigatorはWebアプリケーションベースの運用管理ツールです。続いてのスライド以降、ODIの設計開発手順をご説明します。

21


Oracle Data Integrator 開発手順開発手順開発手順開発手順

1. アーキテクチャアーキテクチャアーキテクチャアーキテクチャのののの定義定義定義定義

• アーキテクチャの定義

2. メタデータメタデータメタデータメタデータのののの抽出抽出抽出抽出（（（（Reverse-engineering））））

• テーブル定義

• 制約

3. インタフェースインタフェースインタフェースインタフェースのののの設計設計設計設計

• ソースとターゲットの選択

• 変換ルール

• データ・コントロール（データ品質）

• ナレッジ・モジュールの選択

4. 単体単体単体単体テストテストテストテスト

• デバッグ

5. 実行実行実行実行フローフローフローフローのののの設計設計設計設計

• パッケージの設計

• 統合テスト

• シナリオの生成

• バージョニング

• スケジューリング

Topology

モデルモデルモデルモデル

インタフェースインタフェースインタフェースインタフェース

Operator

パッケージパッケージパッケージパッケージ

シナリオシナリオシナリオシナリオ

Operator

Designer

Designer

対応対応対応対応するするするするODIのののの開発開発開発開発ツールツールツールツール

ODIを利用したデータ統合フローの開発手順は、スライド左側に書かれている通り、大きく５つのステップに分かれます。本セッションでは、インタフェースの設計部分、赤枠で囲まれている部分を中心にご説明します。

スライド右側の各コンポーネントは、各開発ステップで利用するODIの開発ツールを表しています。

開発手順の概要は以下の通りです。

まずはじめに利用するデータソースの接続情報の設定をTopologyで行います。次に、 Designerを利用して、実際のDBに格納されている表からODI開発ツール上で扱えるように表定義や制約などの情報をリバース(インポート)し、リポジトリでメタデータとして管理します。このメタデータを利用してデータフローの開発を行います。そして、テスト実行を行う際のモニタリングにOperatorを利用します。

Designerモジュールの四角の中に書かれている、「モデル」、「インタフェース」、「パッケージ」、「シナリオ」とはODI固有の用語です。これらの用語説明については、次のスライドでお話いたします。

22


ODIのののの開発開発開発開発ツールツールツールツール：：：：Designer（（（（用語説明用語説明用語説明用語説明））））

①モデルモデルモデルモデルデータソースのメタデータ（表定義や制約等）をODIのツール（Designer）で扱えるよ

うに抽出した一覧

②プロジェクトプロジェクトプロジェクトプロジェクトODIの処理プログラムの一覧。下記が代表的なコンポーネント。

・インタフェースインタフェースインタフェースインタフェース・・・データフローの最小単位。ソース表とターゲット表のマッピングや処理方法を指定する(単純挿入、差分同期、ローダーによるバルクロード等処理に応じてKnowledge Moduleを選択)

・パッケージパッケージパッケージパッケージ・・・ ODIで最大の実行単位。上記で定義したインタフェースやODIのAPI、OSコマンド、実行コマンドを直書きしたプロシージャ等の要素を並べてジョブフローを作成することが可能

・シナリオシナリオシナリオシナリオ・・・パッケージやインタフェース、プロシージャ等をコンパイルしシナリオを作成。シナリオは、スケジュール可能な本番環境用の実行単位。外部からの呼出も可能。

Designerモジュールの中で、モデルとプロジェクトを主に使用します。モデルではTopologyモジュールの中で定義した表定義や制約などのメタデータをDesignerモジュールで扱えるように抽出して、管理します。プロジェクトでは、ODIの処理プログラムを各プロジェクト単位でまとめて管理しています。この中には、複数のコンポーネントが含まれており、インタフェース、パッケージ、シナリオはそれらの代表的なコンポーネントです。インタフェースは、データフローの最小単位です。ソース表からターゲット表へのデータ統合処理をインタフェースで定義します。パッケージでは、定義した複数のインタフェースやODIのAPI、OSコマンドなどのデータ統合フローを作成する際に必要となる各要素を並べて配置し、データ統合フローを作成できます。例えば、インタフェース１が正常終了した場合は、インタフェース２を実行、万一、インタフェース１実行時にエラーが発生した場合は、インタフェース３を実行する、といったジョブフローをパッケージで定義します。このようにして定義したインタフェースやパッケージをコンパイルしたものをシナリオと呼びます。本番環境ではこのシナリオを実行し、データ統合を行います。外部スケジューラや外部システムがODIで作成したデータ統合フローを呼び出す際は、このシナリオを呼び出します。それでは、実際のデータ統合フローの設計手順について次のスライドでご説明します。

23


STEP3: STEP2ののののインタフェースインタフェースインタフェースインタフェース等等等等をををを並並並並べてべてべてべてジョブフロージョブフロージョブフロージョブフロー(パッケージパッケージパッケージパッケージ)をををを設計設計設計設計

緑線緑線緑線緑線(ok)はははは成功時成功時成功時成功時ののののフローフローフローフロー赤線赤線赤線赤線(ko)はははは失敗時失敗時失敗時失敗時ののののフローフローフローフロー

データフローデータフローデータフローデータフロー設計設計設計設計のののの流流流流れれれれ：：：：Designer

インタフェースインタフェースインタフェースインタフェース等等等等のののの要素要素要素要素をををを並並並並べてべてべてべてジョブフロージョブフロージョブフロージョブフローをををを作成作成作成作成

STEP2:表表表表のののの連携連携連携連携(インタフェースインタフェースインタフェースインタフェース)をををを設計設計設計設計

ソースソースソースソースターゲットターゲットターゲットターゲット

表定義表定義表定義表定義のののの一覧一覧一覧一覧からからからからDrag&Drop

STEP1：：：：モデルモデルモデルモデルのののの抽出抽出抽出抽出(リバースリバースリバースリバース)

はじめに、左下の黄色いふきだしのSTEP１の「モデルの抽出」を行い、モデルの定義を行います。そして、定義したモデルをソースおよびターゲットの各エリアにドラッグ＆ドロップして、表の連携（インタフェース）を設計します。このようにして作成したインタフェース等を並べてジョブフロー（パッケージ）を設計します。

これが、データ統合フローを設計する際の大まかな流れです。続いてのスライドで、インタフェースを設計する手順の詳細をご説明します。

24


インタフェースインタフェースインタフェースインタフェースのののの設計設計設計設計（（（（データデータデータデータ変換変換変換変換、、、、マッピングマッピングマッピングマッピング））））

「「「「ダイアグラムダイアグラムダイアグラムダイアグラム」」」」タブタブタブタブではではではでは、、、、ソースソースソースソース表同士表同士表同士表同士ののののJoinややややフィルタフィルタフィルタフィルタ、、、、ターゲットターゲットターゲットターゲット表表表表とのとのとのとのマッピングマッピングマッピングマッピング、、、、データデータデータデータ変換等変換等変換等変換等をををを設計設計設計設計

ソースソースソースソースターゲットターゲットターゲットターゲット

ソース表のJOIN

フィルタ：SQLのWhere句に該当

ターゲット表のカラムを選択すると下段にマッピングの詳細が表示される。DBの関数等を用いてデータ

変換の定義を行う。

インタフェースを設計する際、まずモデルで抽出したメタデータの一覧からソースとターゲットのエリアにドラッグ＆ドロップして配置するということを前のスライドでお話しました。このスライドでは配置したソースとターゲットのデータ変換およびマッピングの定義方法をご説明します。

スライドにあるイメージはインタフェース設計時に利用する「ダイアグラム」タブの画面イメージです。この「ダイアグラム」タブでは、ソース同士の結合条件やフィルタの設定やソースとターゲットのマッピング定義を行います。

まず、ソース・エリアの中で、ソース同士の結合（Join）やフィルタを定義します。フィルタとは、SQLのWhere句に該当するものです。ターゲット・エリアで、ターゲット表のカラムのマッピングやデータ変換を実行する場所の設定を行います。デフォルトでは、ターゲット・データベースで変換を行うよう指定されていますが、ソースで変換を行ったりあるいは、まったく異なるサーバーにデータ変換の処理を行わせることも可能です。

25


インタフェースインタフェースインタフェースインタフェースのののの設計設計設計設計（（（（ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールのののの選択選択選択選択））））

ターゲット＋ステージング

「「「「フローフローフローフロー」」」」タブタブタブタブではではではでは、、、、処理方法処理方法処理方法処理方法をををを指定指定指定指定するするするする（（（（単純挿入単純挿入単純挿入単純挿入、、、、差分同期差分同期差分同期差分同期、、、、ローダローダローダローダーーーーによるによるによるによるバルクロードバルクロードバルクロードバルクロード等処理等処理等処理等処理にににに応応応応じじじじててててナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュールをををを選択選択選択選択））））

②ターゲット側を選択し、ステージング表からターゲット表にデータを統合する統合ナレッジモジュール（IKM）を指定

ソース

①ステージング表までのロード処理を行うローディング・ナレッジモジュール（LKM）を指定

マッピングやデータ変換の定義に続いて、使用するナレッジモジュールを選択します。

ナレッジモジュールの選択は「フロー」タブと「フロー」タブの隣にある「制御」タブで行います。「フロー」タブでは、データ統合の処理方法（LKMとIKM）を選択します。「制御」タブではデータ整合性の確認（CKMの設定）を行います。

「フロー」タブの中でも「ダイアグラム」タブの中で表示されていた際と同じように画面左側にソース、右側にターゲットが表示されます。スライドの例では、ターゲットの中で変換処理を行っているため、ステージング領域がターゲット・エリアの中に包含されています。

まず、ステージング表までのロード処理を行うLKMを選択します。続いて、統合処理を行う、IKMを選択します。

ユーザーは使用するナレッジモジュールを選択するだけで、後はODIが自動でデータフローを生成をします。ODIのナレッジモジュールを利用した宣言型設計は、開発生産性を高め、開発工数の削減を実現します。

26


ODIののののモニタリングモニタリングモニタリングモニタリング・・・・ツールツールツールツール：：：：Operator

• アイコン:• 実行中:

• 警告:

• 成功:

• 失敗:

• 待機中:

再実行再実行再実行再実行

セッションのステータス

SQLを編集して再実行することでOperatorからデバッグが可能

正常に処理が完了

作成したインタフェースやパッケージの実行状況のモニタリングをOperatorで行います。Operatorでは各セッションの実行ログを一覧で確認できます。また、各ステップでかかった処理時間や実行しているSQLなどの詳細も確認できるので、エラーが発生した際のデバッグ用途で利用することも可能です。必要に応じてOperator上でSQLを編集してセッションを再実行することも可能です。

セッション・ステータス部分の各アイコンでステップのステータスが確認できます。アイコンの種類とその意味はスライド左下のとおりです。例えば、赤色のアイコンは失敗、エラーが発生したことを示します。

27


構成情報管理構成情報管理構成情報管理構成情報管理：：：：メタデータメタデータメタデータメタデータ・・・・ナビゲータナビゲータナビゲータナビゲータ

• リポジトリに格納されているメタデータの情報をグラフィカルに表示するコンソール

• 構成変更時の影響度の確認に使用

• エージェントの実行状況を確認可能

• シナリオの実行/再実行を行うことが可能

エラーエラーエラーエラーのののの詳細表示詳細表示詳細表示詳細表示

データフローデータフローデータフローデータフローのののの理解理解理解理解

テーブルテーブルテーブルテーブルととととインタフェースインタフェースインタフェースインタフェースのののの依存関係依存関係依存関係依存関係をををを表示表示表示表示

シナリオシナリオシナリオシナリオのののの実行実行実行実行とととと実行結果実行結果実行結果実行結果のののの表示表示表示表示

本番環境に移行したシナリオなどの構成情報を管理するために、メタデータ・ナビゲータと呼ばれるWebアプリケーションを提供しています。開発ツールをインストールすることなく利用可能で、ビジネスユーザーの利用にも適しています。メタデータ・ナビゲータでは、ODIのリポジトリに格納されているメタデータの情報をグラフィカルに確認することが出来ます。例えば、検索対象のテーブルがどのインタフェースに利用されているのか、あるいは、検索対象のインタフェースはどのソースおよびターゲットを参照しているのか、といった情報をグラフィカルに確認できます。この機能を利用して、構成に変更が生じる際の影響度を分析することも可能です。この他にも、エージェントの実行状況の確認や、作成したシナリオを実行し、その実行結果を確認するという機能も兼ね備えたODIの運用管理ツールです。

2828



� チェンジ・データ・キャプチャ（CDC）

� SOA連携

多様な連携タイミングへの対応：「チェンジ・データ・キャプチャ（CDC）」

多様多様多様多様なななな連携連携連携連携タイミングタイミングタイミングタイミングへのへのへのへの対応対応対応対応

ここまでODIの設計開発方法についてお話しました。続いては、チェンジ・データ・キャプチャの詳細についてご説明します。

29


チェンジチェンジチェンジチェンジ・・・・データデータデータデータ・・・・キャプチャキャプチャキャプチャキャプチャ（（（（CDC））））とはとはとはとは？？？？

• チェンジ・データ・キャプチャ（CDC）とは• ソース・テーブルの更新/追加/削除データのうち必要なデータだけを収集し、蓄積する機能

• 変更データのみを抽出することができ、データ転送のボリュームを削減

• ETL処理でのCDCの利用• CDC実装による差分情報をETL処理に組み込む必要がある

差分差分差分差分のみをのみをのみをのみをETL処理処理処理処理

データウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスソースソースソースソース・・・・データベースデータベースデータベースデータベース

CDCによるによるによるによる

差分情報差分情報差分情報差分情報のののの取得取得取得取得

チェンジ・データ・キャプチャとは、ソーステーブルの中で更新、追加、削除されたレコードだけを抽出する機能です。この機能を使用することにより、全件検索から必要なレコードを抽出するよりも検索時間の削減や転送のボリュームを低減することができ、パフォーマンスの向上が見込めます。 ETL処理の中でこのチェンジ・データ・キャプチャを利用する場合、差分情報を抽出するためのロジックをETL処理の中に組み込む必要があります。

30


ODIでのでのでのでのCDCのののの実装実装実装実装

• ソースデータベース毎にCDCを実装するためのKM（ナレッジ・モジュール）を提供• CDCに必要なDBオブジェクトを自動生成

• 重複データのチェックやInsert/Update/Deleteの制御等

⇒ ツール上でソース・データベースに対してのCDCの設定とETL処理への組み込みが可能

開発開発開発開発ツールツールツールツールによるによるによるによるCDCのののの実装実装実装実装ETL処理処理処理処理のののの設計設計設計設計・・・・実行実行実行実行

CDCのののの実装実装実装実装

ナレッジモジュールナレッジモジュールナレッジモジュールナレッジモジュール

差分差分差分差分のみをのみをのみをのみをETL処理処理処理処理

データウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスソースソースソースソース・・・・データベースデータベースデータベースデータベース

ツール上で実装が可能なので、DB側での

開発工数削減が可能

Oracle Data Integratorでは、この差分抽出のロジックを予め実装したナレッジ・モジュールをソース・データベースごとに提供しています。この中には、CDCを実行するうえで必要なDBオブジェクトの作成や、重複データのチェックおよびInsert/Update/Deleteの制御などが含まれます。

ユーザーは、追加のコーディングをする必要がなく、開発ツール上でチェンジ・データ・キャプチャの設定を行い、ETL処理へ組み込むことが出来るため、実装にかかる開発工数を削減することができます。

31


データデータデータデータのののの更新更新更新更新

ターゲット・スキーマターゲット・スキーマ



リポジトリスキーマ

リポジトリスキーマ

ジャーナルジャーナルジャーナルジャーナル表表表表

①Triggerが変更履歴をジャーナル表に追加

②ステージング領域へデータをロード

③ターゲット表を更新

監視監視監視監視

アプリケーションアプリケーションアプリケーションアプリケーション

ODIで定義したバッチ処理（インタフェース）に、GUI上でノンプログラミングで追加設定をするだけで、差分更新（CDC）が実現可能

ODIののののCDC処理処理処理処理のののの流流流流れれれれ（（（（トリガートリガートリガートリガー・・・・ベースベースベースベースのののの場合場合場合場合））））

ターゲットターゲットターゲットターゲット・・・・データベースデータベースデータベースデータベース

ODI Agent

ソースソースソースソース・・・・データベースデータベースデータベースデータベース

実際のCDC処理の流れを絵に表したものがこちらのスライドです。ODIでは、トリガーおよびデータベース・ログから変更データを取得する方法を用いてCDC

を行うことが出来ます。

スライドの処理の流れは、トリガー・ベースの場合を表しています。

まず、ソース・データベースのデータが更新されると、ソース・データベース内部のトリガーが変更を検知し、その変更履歴をジャーナル表に追加します。ODI

Agentはそのジャーナル表を一定間隔で監視します。ジャーナル表の更新を検知すると、更新されたデータのみをステージング領域にロードします。続いて、ステージング領域とターゲット表のデータを比較し、増分データのみをターゲット表に統合します。

このような仕組みで変更データのみを取得することで、リアルタイムにより近い形でターゲット・データベースにデータを反映させることができます。

3232



� チェンジ・データ・キャプチャ（CDC）

� SOA連携

多様な連携タイミングへの対応：「SOA連

携」

多様多様多様多様なななな連携連携連携連携タイミングタイミングタイミングタイミングへのへのへのへの対応対応対応対応

チェンジ・データ・キャプチャについては以上となります。続いてSOA連携についてご説明します。

33


SOA連携連携連携連携

ODIのWebサービスを利用することで、外部システムと連携可能

• Webサービスサービスサービスサービス起動起動起動起動

- 外部のWebサービスを呼び出すツール（ODIInvokeWebService）を提供

• 公開公開公開公開Webサービスサービスサービスサービス

- ODIのシナリオをWebサービスとして実行可能

OdiInvokeWebService

ツールツールツールツールのののの設定設定設定設定

外部アプリケーション(Webサービス・

クライアント)

Javaアプリケーションアプリケーションアプリケーションアプリケーション・・・・

サーバサーバサーバサーバーーーー

Apache Axis2

SOAP

シナリオシナリオシナリオシナリオのののの開始開始開始開始

ODI Agent

公開公開公開公開Webサービスサービスサービスサービス

バルクデータ処理

ODIでは、SOA環境のシステムと連携するために２つの機能を提供しています。

１つ目のWebサービス起動は、ODIから外部のWebサービスを呼び出す機能です。ODIInvokeWebServiceと呼ばれるODIのツールを利用して外部のWebサービスを呼び出します。スライド左下のイメージのように、このWebサービス起動の機能をパッケージの中に組み込むことも可能です。

２つ目の公開Webサービスは、ODIのシナリオをWebサービスとして公開する機能です。この機能により、外部アプリケーションから、Oracle Data Integratorで開発されたデータ統合フロー（シナリオ）をWebサービス経由で起動できます。

これらの機能により、ODIと外部Webサービスとの双方向の連携を実現します。

34


アジェンダアジェンダアジェンダアジェンダ：：：：利用利用利用利用シーンシーンシーンシーン



• 利用シーン

これまで、Oracle Data Integratorの概要および詳細について３つの特長を軸にお話してきました。最後に今までお話したODIの特長を生かす、４つ利用シーンをご紹介します。

35


①①①① バッチバッチバッチバッチ連携連携連携連携

データウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスデータウェアハウスデータウェアハウス

• 特長•• 多種多様多種多様多種多様多種多様なななな多種多様多種多様多種多様多種多様ななななデータソースに対応• バルクロード・ユーティリティを使用した高高高高パフォーマンスパフォーマンスパフォーマンスパフォーマンス高高高高パフォーマンスパフォーマンスパフォーマンスパフォーマンスのロード• ネットワーク負荷の軽減軽減軽減軽減軽減軽減軽減軽減

• 主な適用用途• データウェアハウスの構築• データ移行（初期移行）• スケジューリング（定時バッチ）


データソース

（例）多種多様なデータソースを利用したデータウェアハウスの構築

１つ目の利用シーンは、バッチ連携です。バッチ連携の適用用途には、データウェアハウスの構築、データ移行時の初期移行、夜間バッチ等の定時スケジューリングなどが例として挙げられます。詳細の部分でご紹介したとおり、Oracle Data Integratorは、多種多様なデータソースを利用可能です。多岐にわたるソースを利用するデータ統合の場合でも、ナレッジモジュールによって中間処理が生成されるので、ソース言語を意識する必要がありません。また中間サーバーを置かないELT構成は、バルクロードユーティリティを使用した高パフォーマンスのロードを実現し、かつネットワーク負荷を軽減します。

36


統合統合統合統合マスターマスターマスターマスター・・・・データベースデータベースデータベースデータベース統合統合統合統合マスターマスターマスターマスター・・・・データベースデータベースデータベースデータベース

②②②② リアルタイムリアルタイムリアルタイムリアルタイム連携連携連携連携• 特長

•• 多種多様多種多様多種多様多種多様なななな多種多様多種多様多種多様多種多様ななななデータソースに対応

• CDC設定時の開発工数開発工数開発工数開発工数のののの削減削減削減削減開発工数開発工数開発工数開発工数のののの削減削減削減削減

• 主な適用用途• マスター・データ管理（MDM）

• データ・レプリケーション

• データ移行時の新旧環境の並行運用

• リアルタイム・データウェアハウス

システムシステムシステムシステムシステムシステムシステムシステムDD

システムシステムシステムシステムシステムシステムシステムシステムCC

システムシステムシステムシステムシステムシステムシステムシステムBB

システムシステムシステムシステムシステムシステムシステムシステムAA


顧客管理（Master）








顧客管理（Master）顧客管理（Master）

（例）複数システム間の顧客管理マスターのリアルタイム連携

続いての利用シーンはリアルタイム連携です。

適用用途には、マスターデータ管理、データ・レプリケーション、新旧環境の並行運用、リアルタイム・データウェアハウスなどが例として挙げられます。

リアルタイム・データウェアハウスとは、ソース・データに更新があった場合にリアルタイムに近い形でデータを反映させるデータウェアハウスです。ビジネス・ユーザーは、意思決定に際してより現実に近い、鮮度の高いデータを分析に利用することができます。

スライドの例にあるような、複数のシステム間において、データ同期をリアルタイムで取る場合、ODIでは、GUI上でノンプログラミングで設計することができるので、開発工数を削減できます。

37


③③③③ SOA連携連携連携連携

• 特長• SOAプロセス内のボトルネックボトルネックボトルネックボトルネックのののの解消解消解消解消ボトルネックボトルネックボトルネックボトルネックのののの解消解消解消解消

• Oracle SOA関連製品とのシームレスシームレスシームレスシームレスなななな連携連携連携連携シームレスシームレスシームレスシームレスなななな連携連携連携連携

• 外部SOAサービスをODIのデータ統合フロー内に組組組組みみみみ込込込込みみみみ可能可能可能可能組組組組みみみみ込込込込みみみみ可能可能可能可能

Oracle BPEL PMOracle Service Bus


バルクデータ処理

①①①① 公開公開公開公開Webサービスサービスサービスサービス経由経由経由経由でででで呼呼呼呼びびびび出出出出されるされるされるされる

②②②② ODIシナリオシナリオシナリオシナリオのののの実行実行実行実行③③③③ 実行結果実行結果実行結果実行結果をををを送信送信送信送信

（例）Oracle SOA関連製品からのODIシナリオの呼び出し

3つ目の利用シーンはSOA製品との組み合わせです。SOAを導入されている、もしくは検討されているお客様が年々増加傾向にあります。このSOAのシステムの中でよく課題として挙げられるのは大容量のデータの受け渡しの部分です。Oracle Data IntegratorはSOA製品と組み合わせることでSOAの中でボトルネックになりがちな、大容量のデータを扱う処理を肩代わりし、SOAプロセスの中でのボトルネックを解消することができます。例えば、弊社のSOA製品である、Oracle BPEL Process ManagerやOracle Service Busから、詳細の部分でご説明した「公開Webサービス」を利用して、Oracle Data Integratorで作成したシナリオ（バッチ処理）を実行することができます。シナリオ完了後、ODIからSOAプロセスに対して実行結果を送信します。この結果を受けて、その後のプロセスを進めることができます。

38



④④④④ パッケージパッケージパッケージパッケージ・・・・アプリケーションアプリケーションアプリケーションアプリケーション連携連携連携連携

• 特長

• データ統合フロー作成時の開発生産性開発生産性開発生産性開発生産性のののの向上向上向上向上開発生産性開発生産性開発生産性開発生産性のののの向上向上向上向上を実現

• 個々のアプリケーション用のナレッジモジュールを利用してパッケージ・アプリケーションとの容易容易容易容易なななな連携連携連携連携容易容易容易容易なななな連携連携連携連携を実現

（例）Oracle E-Business Suiteとの連携

オープンインタフェース表

Oracle E-Business Suite

①①①①データデータデータデータ統合統合統合統合フローフローフローフローをををを実行実行実行実行しししし、、、、オープンインタフェースオープンインタフェースオープンインタフェースオープンインタフェース表表表表にににに

データデータデータデータををををロードロードロードロード

②②②②コンカレントコンカレントコンカレントコンカレント・・・・プログラムプログラムプログラムプログラムををををODIののののKMからからからから自動実行自動実行自動実行自動実行

コンカレント・プログラム

（バッチ処理）

最後にご紹介する利用シーンは、パッケージ・アプリケーションとの連携です。Oracle Data Integratorは、個々のパッケージ・アプリケーション用に特化した、メタデータを抽出するナレッジモジュールやデータ統合をするためのナレッジモジュールを提供しています。このナレッジモジュールを利用することでデータ統合フロー開発時の開発生産性の向上とアプリケーションとの容易な連携を実現します。パッケージ・アプリケーションには膨大な表が存在します。アプリケーションの表定義（メタデータ）を抽出する際、それぞれに最適化されたナレッジモジュールを利用してメタデータを抽出することで、インベントリやオーダー管理など各モジュール単位で関連する表をひとまとめにして表示させることできます。これにより、データ統合フロー開発時の生産性を高めます。データ統合時には、各アプリケーション用のナレッジモジュールを利用することで容易な連携を実現できます。下の例はOracle E-Business Suiteをターゲットとした連携を絵に表したものです。 E-Business Suite用の統合ナレッジモジュールでは、まずオープンインタフェース表にデータをロードします。続いて、コンカレント・プログラムと呼ばれるE-Business Suite内のバッチプログラムをODIのナレッジモジュールから起動させ、最終ターゲットである実表にデータをロードします。

39


まとめまとめまとめまとめ

• Oracle Data Integratorとは？

� 企業が抱えるデータ統合における課題を解決するデータ統合基盤製品

• Oracle Data Integratorの特長� 「E-LTアーキテクチャ」による高速処理

� ナレッジモジュール利用による高い開発生産性

� 様々なデータ統合要件へ標準機能で対応

• Oracle Data Integratorの詳細� Oracle Data Integratorのアーキテクチャ


� Oracle Data Integratorの設計開発手順

� 様々な連携タイミングへの対応（リアルタイム連携、SOA連携）

• 利用シーン� バッチ連携

� リアルタイム連携

� SOA連携

� パッケージアプリケーション連携

最後に本セッションの内容をまとめます。 Oracle Data Integratorとは、企業が抱えるデータ統合における課題を解決するデータ統合基盤製品です。 Oracle

Data Integratorの特長としてスライドに記載している３つの特長をご紹介しました。詳細の部分では、ODIのアーキテクチャ、ナレッジモジュールの詳細、設計開発手順と運用管理ツール、Change Data CaptureとSOA連携についてご説明しました。最後に、ODIの特長を生かす４つの利用シーンについてご紹介いたしました。

40


リファレンスリファレンスリファレンスリファレンス

• 製品紹介- http://www.oracle.com/lang/jp/products/middleware/oracle-data-integrator.html

• システム要件- http://www.oracle.com/technology/products/oracle-data-

integrator/10.1.3/htdocs/documentation/odi_certification.xls

• OTN（Oracle Technology Network）• 技術資料、マニュアルの公開、トライアル版のダウンロードなど

- http://www.oracle.com/technology/global/jp/products/oracle-data-integrator/index.html

• Oracle Data Integrator オンライン・マニュアル- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/index.htm

• Oracle Data Integrator – ETLプロジェクト・スタート・ガイド- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/oracledi/doc/webhelp/ja/printa

ble/gs_etl.pdf

• Oracle University 研修コース• Oracle Data Integrator 開発・管理

- http://education.oracle.com/pls/web_prod-plq-dad/show_desc.redirect?dc=D48459JP30&p_org_id=70&lang=JA

製品情報の詳細などをご希望の方はスライドの各リンクをご参照ください。

41

Copyright© 2009, Oracle. All rights reserved.

日本オラクル株式会社無断転載を禁ずこの文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。日本オラクル社は本書の内容に関していかなる保証もいたしません。また、本書の内容に関連したいかなる損害についても責任を負いかねます。Oracle、PeopleSoft、JD Edwards、及びSiebelは、米国オラクル・コーポレーション及びその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標の可能性があります。

本プレゼンテーションは、情報提供を唯一の目的とするものであり、いかなる契約書または合意書に組み込むことはできません。

本資料本資料本資料本資料のののの使用上使用上使用上使用上のののの注意事項注意事項注意事項注意事項2

本セッションではOracle Data Integratorの技術概要についてご説明しました。ご静聴

ありがとうございました。

oracle data integrator 10.1.3.5 技術概要1 oracle data integrator 10.1.3.5 技術概要...

Documents