Oracle ExadataとOracle Advanced Analyticsでビッグ・データをより大きなインサイトへ
Senior Director、Product Mgt. OAA、Charlie BergerProduct Manager、OAA、Marcos Arancibiadunnhunby、Science Director R&D、Michael Bramley
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.2
オラクルのビッグ・データ・ソリューション・アーキテクチャ
ストリーム 取得 - 体系化 - 分析
Oracle BI Foundation Suite
Oracle Real-TimeDecisions
Endeca Information Discovery
決定
Oracle Event Processing Oracle Big Data
Connectors
Oracle DataIntegrator
Oracle Advanced Analytics
OracleDatabase
Oracle Spatial & Graph
Apache Flume
OracleGoldenGate
Oracle NoSQL Database
Cloudera Hadoop
Oracle R Distribution
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.3
オラクルのデータベース内分析
統計関数データ・マイニングと予測分析 テキスト・マイニング テキスト検索グラフ分析空間分析 セマンティック分析 In-Database
MapReduce
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.4
おもな機能
Oracle Advanced Analyticsスケーラブルで全社的な予測分析を最短期間で提供
データベース内のデータ・マイニング・アルゴリズムとオープンソースのRアルゴリズム
SQL、PL/SQL、R言語
スケーラブルなデータベース内パラレル実行
ワークフローGUIとIDE 統合データベース・コンポーネント
エンタープライズ分析アプリケーションの実現
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.5
データはデータベース内のまま SQLカーネルでのスケーラブルなパラレル・データ・マイニング・アルゴリズム
データベース内でのデータ準備によるRオープンソース・パッケージの効率的な実行
データ・マイニング・モデルとRオープンソース・モデルの高パフォーマンスなパラレル・スコアリング
データからインサイトまでの最短パス 統合GUIによる予測分析
データベース・スコアリング・エンジン
最小のTCO データの重複排除
単独分析サーバーの不要化
Oracle Advanced Analytics低い総所有コストでパフォーマンスとスケーラビリティを実現
節約
モデルの"スコアリング"組込みデータの準備
データの準備
モデルの構築
Oracle Advanced Analytics
数秒/数分/数時間
従来の分析
数時間/数日/数週間
データの抽出
データの準備と
変換
データ・マイニング
モデルの構築
データ・マイニングモデルの“スコアリング"
データの準備と
変換
データのインポート
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.6
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.7
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.8
アルゴリズム 適用範囲
分類
ロジスティック回帰(GLM)ディシジョン・ツリーNaive Bayes サポート・ベクター・マシン
従来の統計手法人気/規則/透明性組込みアプリケーション範囲が広い/狭いデータ/テキスト
回帰線形回帰(GLM)サポート・ベクター・マシン(SVM)
従来の統計手法
範囲が広い/狭いデータ/テキスト
異常検出 1クラスSVM 未知の不正ケースまたは異常
属性の重要度最小記述長(MDL)主成分分析(PCA) 属性縮約、データ・ノイズの低減
相関ルール アプリオリ マーケットバスケット分析/次善策の提案
クラスタリング階層型k-means階層型O-Cluster期待値最大化(EM)クラスタリング
製品分類/テキスト・マイニング遺伝子およびタンパク質分析
特徴抽出非負行列因子分解(NMF)特異値分解(SVD) テキスト分析/特徴削減
Oracle Advanced Analyticsデータベース内のデータ・マイニング・アルゴリズム
A1 A2 A3 A4 A5 A6 A7
F1 F2 F3 F4
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.9
Oracle Advanced Analytics
データの理解と視覚化– サマリー統計と記述統計– クロス集計– 相関テスト(t検定、ピアソン、ANOVA)– ヒストグラム、散布図、箱ひげ図、棒グラフ– Rグラフィックス:3Dプロット、リンク・プロット、特殊なRグ
ラフ・タイプ– 選択されたBase SASと同等の機能
データの選択、準備、変換– 結合、表、ビュー、データ選択、データ・フィルタ– 複数データベースの結合– 選択、フィルタリング、ランク付け– SQL時間枠– サンプル– コード変更、値の欠落– 集計– 空間データ– RからSQLへの透過性とプッシュ・ダウン
幅広いデータベース内のデータ・マイニングと統計関数
データベース内のアルゴリズム– 分類モデル– 回帰モデル– クラスタリング– 異常検出– 対応付け/マーケットバスケット分析– テキスト・マイニング
– ほとんどのOAAアルゴリズムが非構造化データをサポート(顧客のコメント、電子メール、要約など)
Rの統合:– Oracle DatabaseとHadoopに対して実行可能なアルゴリズ
ム(ニューラル・ネットワークやステップワイズ回帰など)を含む追加のカスタムOracle Rパッケージ
– オープンソースRパッケージ - オープンソースのR CRANパッケージを実行可能
* すべてのOracle Databaseに含まれる
Copyright © 2012, Oracle and/or its affiliates.All rights reserved. Insert Information Protection Policy Classification from Slide 1310
OAA SQL DMの不正例
POLICYNUMBER PERCENT_FRAUD RNK------------ ------------- ----------6532 64.78 12749 64.17 23440 63.22 3654 63.1 412650 62.36 5
For Automated Monthly “Application”!Just add:CreateView CLAIMS2_30AsSelect * from CLAIMS2 Where mydate > SYSDATE – 30
begindbms_data_mining.create_model('CLAIMSMODEL', 'CLASSIFICATION',
'CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET');end;/
R
-- Top 5 most suspicious fraud policy holder claimsselect
POLICYNUMBER,
round(prediction_probability(CLAIMSMODEL, '0' using *)*100,2) prob_fraudfrom
CLAIMSwhere
PASTNUMBEROFCLAIMS in ('2to4', 'morethan4')order by
prob_fraud descfetch first 5 rows only;
Copyright © 2012, Oracle and/or its affiliates.All rights reserved. Insert Information Protection Policy Classification from Slide 1311
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.12
使いやすさ– データ分析用のOracle Data Miner GUI– "ワークフロー"パラダイム
高性能– さまざまなアルゴリズムとデータ変換
– 100%データベース内で実行
– モデルの構築、評価、適用
自動化とデプロイ– 分析ワークフローの保存と共有
– デプロイ用SQLスクリプトの生成
SQL Developer 4.0の拡張機能OTNから無料でダウンロード可能
Oracle Data MinerのGUI
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.13
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.14
すべての予測、インサイト、モデルはデータベース内に - SQLを使用した任意のBIツールからアクセスおよび問合せが可能
OBIEEの統合空間マッピングを使用したマップ予測
OBIEEダッシュボードからパラメータ化したR計算を起動し、データまたは視覚表現を表示
SQLをサポートする任意のBIツールまたはアプリケーションで利用可能
SQLとRを使用した統合
ビジネス・インテリジェンスと高度な分析
将来的に価値が「高い」または「非常に高い」顧客となる"可能性
がもっとも高い"顧客
ダッシュボードに直接出力された高度なR統計
グラフィック
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.15
すべての予測、インサイト、モデルはデータベース内に - SQLを使用した任意のBIツールからアクセスおよび問合せが可能
OBIEEの統合空間マッピングを使用したマップ予測
OBIEEダッシュボードからパラメータ化したR計算を起動し、データまたは視覚表現を表示
SQLをサポートする任意のBIツールまたはアプリケーションで利用可能
SQLとRを使用した統合
ビジネス・インテリジェンスと高度な分析
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.16
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.17
予測アプリケーションの実現Oracle Advanced Analyticsを使用したOracleアプリケーションの例
• HCM Fusion– 労働力の予測 - 従業員の離職率とパフォーマンス予測、"What if" 分析
• CRM Fusion– 販売予測エンジン - 販売機会、販売製品、販売数、タイミングなどの予測
• サプライ・チェーン・マネジメント
– 支出の分類 - 経費申請における違反や異常のリアルタイム・フラグ付け
• ID管理– Oracle Adaptive Access Manager—リアルタイム・セキュリティと不正分析
• 業種別データ・モデル– 通信データ・モデル - 顧客の解約予測、セグメント化、プロファイリングの実装
– 小売データ・モデル - ロイヤルティとマーケットバスケット分析の実装
– 航空会社データ・モデル - 高頻度利用者の分析とロイヤルティの分析の実装
• Oracle Fin.Services Analyticアプリケーション– 顧客インサイト、企業リスク管理
– エンタープライズ・パフォーマンス、金融犯罪およびコンプライアンス
• OFSAA CI Retail Customer Analytics– 減少分析- ローンの繰上げ返済、普通預金の減少、定期預金、カード・・・
– 生存分析
– 顧客生涯価値
– 傾向モデル - クレジット・カード<->自動車ローン、貯蓄額<->カード
• 小売分析
– Oracle Retail Customer Analytics — "ショッピング・カート分析"と次善策の
提案
• カスタマ・サポート– Predictive Incident Monitoring(PIM) - Oracle Database顧客に対するカスタマ・サービス
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.18
スケーラブルな全社的予測分析を最短期間で提供
OAAのクラスタリングと予測をデータベース内でOBIEE用に利用可能
顧客の自動セグメント化、解約予測、感情分析
事前構築済みの予測モデル
オラクルの通信業界データ・モデル
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.19
OCDM、OBIEEとの統合、特殊なSNAコードを使用したOracle Data Miningの利用
ソーシャル・ネットワーク・コミュニティの識別
ノード・レベルでの顧客離れと影響力に対する予測スコア、潜在的なリスクのある収益/価値
ビジネス・ユーザー向けのユーザー・インタフェースと柔軟な非定型レポート
大量のCDRデータに対するソーシャル・ネットワーク分析
SNA分析によって改善されたOCDMの通信顧客離れ分析
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.20
Oracle Advanced Analyticsに事前インストールされた予測分析
離職しそうな従業員
おもな理由、期待される実績
リアルタイムの"What-If"分析
OAAを利用したFusion Human Capital Management
Fusion HCMの労働力予測
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.21
OBIEE
Oracle Database Enterprise Edition
Oracle R Distribution
Oracle Advanced Analyticsアーキテクチャ
Oracle Advanced AnalyticsネイティブSQL-PL/SQLの分析ライブラリと高パフォーマンスなRインタフェース
スケーラブルな分散パラレル実行
SQL Developer アプリケーションRクライアント
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.22
高性能
拡張可能
グラフィカル
幅広い統計
'ツマミ'が多数あり、デフォルト設定でも優れた性能を発揮するOOTB機能
容易なインストールと使用
無料
R環境は・・・
統計学者/データ・アナリストがRを使用する理由RはBase SASまたはSPSS Statisticsに似た統計言語
©2012 Oracle – All Rights Reserved
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.23
オラクルのR戦略スケーラブルで高パフォーマンスなR環境をOracle RDBMSおよびHadoopと緊密に統合
• Oracle DatabaseとHDFSオブジェクトに対するフル・アクセス
• すべてのR操作で高いパフォーマンスとスケーラビリティを実現
• スケーラブルなネイティブの統合マシン学習アルゴリズム
• Oracle DatabaseまたはHadoop内でのRスクリプトのデプロイとR計算結果の保存
Rユーザー向け
• 任意のRアルゴリズムまたは計算を含む組込みRスクリプトの実行
• Oracle DatabaseまたはHadoop内に保存されたR結果へのアクセス
• XMLやPNGなどのグラフィカル形式でのR計算結果の取得
• BIアプリケーションへのR結果の統合
Oracle Databaseおよびビッグ・データ開発者向け
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.24
Oracle Databases
Oracle Advanced Analytics:Oracle Databaseとの統合データベース内統合とオープンソースRパッケージの使用
Advanced Analyticsオプション
SQLによる基本統計
データ・マイニング・アルゴリズム
SQLから登録済みRスクリプトをコール
クライアント・インタフェース
Oracle R Distribution• 線形代数パフォーマンスの向上
• R言語構文を利用したパラレル分散分析技術
• カスタムRアルゴリズム:ニューラル/ステップワイズ
• オープンソースRパッケージへのアクセス
Rクライアント・インタフェース
Oracle R Enterpriseパッケージ
• 透過性
• 組込みR
SQLインタフェース
SQL、PL/SQLまたはR
Oracle Databaseサーバー
パラレルのExtProcインターコネクト
• 任意のSQLとPL/SQL• ODM GUIでの新しい
"SQL問合せノード"
∂(x)
Σ(x)
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.25
Oracle R Connector for Hadoop
Oracle Advanced Analytics:Hadoopとの統合Hadoop-HDFS統合とカスタムのオープンソースRパッケージの使用
Hadoopに対するRリクエストの変換:• HDFSユーティリティ:データの移動と統計、
Rへのデータ・プッシュ、データのサンプリング
• ORCHユーティリティ:Rセッションの接続/切断
• HIVEインタフェース:表のメタデータとインタフェースのロード
• ORCHのカスタムRアルゴリズム:ニューラル、GLM、kMeans、NMF、LMF
• マッパーおよびリデューサ・フレームワーク向けにカスタムR分析を一度作成すると、そのまま再利用可能。Oracle DatabaseとHadoopの両方に対するI/Oが構築される。
クライアント・インタフェース
HDFSエンジン
Rクライアント・インタフェース
Oracle R Connector for Hadoopパッケージ:
• Hadoop• MapReduce• HIVE透過レイヤー
Oracle R Enterpriseパッケージ
• 透過性
• 組込みR
R、Java
Hadoopクラスタ
パラレルのMapReduceコール
∂(x)
Σ(x)
Oracle Databases
Advanced Analyticsオプション
Oracle R Distribution
SQL、PL/SQL、R
Oracle Big Data Connectors
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.26
Oracle Advanced Analytics
Oracle Advanced Analytics 12c– 新しいSQLデータ・マイニング・アルゴリズム(期待値の最大化、PCA、特異値分解、テキスト・マイニング、
その他のアルゴリズムの改善)
– 予測的SQL問合せ - SQL問合せ内で自動的に構築、適用
Oracle Data Miner/SQL Developer 4.0(Oracle Database 11gおよび12c向け)
– 新しいグラフ・ノード(箱ひげ図、散布図、棒グラフ、ヒストグラム)
– SQL問合せノード+Rスクリプトの統合
– デプロイ用SQLスクリプトの自動生成
Oracle R Enterprise 1.4(Oracle Database 11gおよび12c向け)– Oracle Databaseデータに対してore.neural()を使用した、パラレル化ニューラル・ネットワーク
– オープンソースRモデルを使用したデータベース表のスコアリング、データベース内のサンプリング
– 日付および時刻のデータ型サポートによる時系列分析
– データベース内でのRオブジェクトの永続化と管理、OBIEEとの統合の強化
新機能サマリー
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.27
OAAについての詳しい情報
Google:“Oracle Advanced Analytics”– OTN:http://www.oracle.com/technetwork/database/options/advanced-analytics/index.html
Oracle Demo Campgroundsデモ・ポッド
– OOW展示ホール、営業時間(月~水)、Moscone South, Left Workstation ID:SL-063、Database、Data Warehousing
OAAハンズオン・ラボ:– Big Data, Bigger Insights with Oracle Advanced Analytics and Oracle SQL Developer [HOL10074]
9月23日(月)午後3時15分~4時15分、Marriott Marquis - Salon 3/4
– Make the Right Offers to Customers Using Oracle Advanced Analytics [HOL10075]
9月24日(月)午前10時30分~11時30分、Marriott Marquis - Salon 3/4
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.28
Copyright © 2013, Oracle and/or its affiliates.All rights reserved.29