[oracle cloud days tokyo2015]成功事例に学べ!...

43
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 成功事例に学べ! ビッグデータ活用のための 最新ベストプラクティス 日本オラクル株式会社 クラウド・テクノロジー製品戦略統括本部 担当マネジャー 大橋 雅人 Oracle Cloud Days Tokyo

Post on 16-Apr-2017

425 views

Category:

Technology


2 download

TRANSCRIPT

Page 1: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

成功事例に学べ! ビッグデータ活用のための 最新ベストプラクティス

日本オラクル株式会社 クラウド・テクノロジー製品戦略統括本部 担当マネジャー 大橋 雅人

Oracle Cloud Days Tokyo

Page 2: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

2

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。

Page 3: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

カスタマーエクスペリエンス 向上による売上拡大

業務の効率化 によるコスト削減

新たなビジネスモデル の創出

44% 30% 26%

ビッグデータから生み出される価値

Source: Sloan Review, MIT 2013

3

Page 4: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

2015/10/29 日本オラクルプレスリリース

セブン&アイ・ホールディングス様

4

• ネットとリアルの融合と複数事業体のシームレスな連携を可能にするオムニチャネルを実現するため、IT基 盤を新たに構築

• 2015年11月1日

「omni7(オムニセブン)」を開設

• オラクルのエンジニアド・システムやクラウドなど最先端の技術を駆 使した、オラクル製品の 包括的な導入

2015/10/29 日本オラクルプレスリリースより抜粋

Page 5: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

構造データ

5

MES

機器ログ

ERP

ソース 収集 蓄積

DWH

Data Visualization

Analytics Platform

分析 • これまでの取り組み

– ERPをグローバルシングルインスタンス化

• Oracle Applicationsを活用

• 業務プロセス標準化、ITコスト削減($7.7M)

– グローバルKPIシステム(DWH)を構築

• Exadata、Exalyticsを活用

• 世界中の各生産ラインの生産状況や歩留情報、 在庫情報、販売情報のKPIを可視化

• 影響分析等、効率的な工場管理が可能に

• 新たな課題 – 長期間データの蓄積、分析が不可

• 毎24時間毎にデータ収集が必要

– サマリデータのみが分析対象のため、 詳細かつ正確な分析ができない、工数増大

バッチデータフロー インテラクティブなデータフロー

お客様 事例

機器データ活用により、詳細な生産状況の分析を実現

某グローバル製造業様

Page 6: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

非構造 データ

構造データ

6

MES

機器ログ

ERP

音声

ビデオ

テキスト

ソーシャル

ソース 収集 蓄積

DWH

データ 貯蔵庫

Data Visualization

Analytics Platform

分析 • 新たな取り組み

– 既存DWHの隣に、データ貯蔵庫を構築 • Oracle Big Data Applianceを活用 • MES、装置の詳細かつ長期間データを

リアルタイムに取得

• 効果 – 生産工程における新たなデータ分析を実現

• 長期間でのデータ分析の実現 • 生産条件最適化のための分析 • 操業率低下の原因分析 • 複数のセル-モジュールをまたいだ原因分析 • 品質の可視化

– データ分析の効率化 • データ分析作業の期間短縮 • 対象データのカバレッジ(種類、量、期間)

バッチデータフロー インテラクティブなデータフロー

マスター、 サマリー、 詳細データ

サマリー 分析結果

アーカイブ

お客様 事例

機器データ活用により、詳細な生産状況の分析を実現

某グローバル製造業様

Page 7: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 7

• 課題 – 高コストなメインフレーム – 散在化するデータ、一貫性の欠如 – レポート作成まで多大な時間、工数が必要 – 新たなデータ活用ニーズの高まり

• 施策 – DWH+データ貯蔵庫(Hadoop)の

ハイブリッドなデータマネジメント基盤 – “Capture the Data First” まずはデータ蓄積

• 効果 – MIPS:30%削減、OPEX:約40% 削減 – バッチ処理時間:50%削減

– マーケットシェアの拡大 10.5%(2011)→ 14.6%(2013)

– 顧客360°、リアルタイムオファー、 ATM/出店計画、リスク不正管理精度向上

お客様 事例

ITコスト削減と、情報の一元化によるビジネス変革実現

La Caixa様 メインフレーム テープ サブシステム・DWH バッチ処理 レポート

データ貯蔵庫 (Hadoop)

ソーシャル データ

顧客情報

決済情報

バッチ処理 削減による コスト削減 メインフレーム

およびテープ上の ストレステスト データの移行

レポート

顧客360°

DWH (RDBMS)

ATM Webログ

データの 一元化

サポート 問い合わせ

Page 8: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Page 9: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

業務 アプリケーション

オペレーショナル レポーティング

DWH (RDBMS)

成功のポイントはデータベースとの共存にあり!

HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる

9

ソーシャル メディア

Internet of Things

73° ビッグデータ

マネジメント基盤

Data Reservoir (Hadoop)

アナリティクス

• Hadoopの特長 – Schema-On-Readによる柔軟性

• 格納時にデータスキーマの考慮不要、 利用時に定義

• レイアウトが変わるデータに向いている

– 高速なデータ加工・編集・集計処理 • 並列分散処理システム

• Sparkなどの豊富なエコシステム

– 低いバイト単価 • ストレージコストの低下の恩恵

• Oracle Big Data Appliance X5-2 – 事前最適化されたビッグデータ活用に

最適なHadoopプラットフォーム

Page 10: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

成功のポイントはデータベースとの共存にあり!

Oracle’s Big Data Management System データの特性による典型パターン 適材適所のデータ配置例

目的 パターン・データ

特性 Hadoop

(Big Data Appliance) DWH/Database

(Exadata)

データ 分析

データ密度・ データ価値

低い 高い

フォーマット 変更頻度

多い 少ない

粒度 細かい 粗い

参照頻度 少ない 多い

ETL処理・ データ加工

ETL処理と 生データ保持

ETL処理、生データ 処理後データ

インフラ SAS 高速化基盤 Hadoop上のデータ DB上のデータ

センサーデータ、 ログデータ、GPSデータ、SNS等

既存のRDBMS内のデータ (マスターデータ/

トランザクションデータ)

明細データ サマリデータ

経年データ アクティブデータ

ETL処理・データ加工前の 生データ

ETL処理・データ加工後の データ

SAS アナリティクス高速化基盤

10

Page 11: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

オラクルが提供するHadoopソリューション

Hadoop活用の8+1つの勘所

11

Hadoop活用の障壁を もっと下げたい

HadoopとRDBMSを もっと密に連携させたい

Hadoop環境構築・運用・管理をもっと簡単に、安く

もっと多くの人に開放、使ってほしい

もっと簡単に有益な データを見つけだしたい

Map Reduce処理を もっと簡単に構築したい

Oracle Big Data Appliance

Oracle Big Data SQL

Oracle Big Data Discovery

Oracle Data Integrator

両者間のデータ移動を もっと早く

Oracle Big Data Connectors

HadoopからDBのデータを使いたい

Oracle Table Access for Hadoop and Spark

ライフサイクルを見越したデータ管理をしたい Copy to BDA

他システムとだって 密に連携したい

Oracle’s Big Data Integration

ビッグデータ/IoT環境をセキュアな クラウド環境で実行したい Oracle Cloud

Page 12: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

Hadoop活用の障壁を もっと下げたい

Hadoop環境構築・ 運用・管理をもっと 簡単に、安く

Oracle Big Data Appliance

Page 13: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Appliance X5-2

13

ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より21%安価に、33%短期で構築

構築・運用・管理を もっと簡単に、安く

Oracle Big Data Appliance

コストを節約

出典: ESGホワイト・ペーパー

21% コスト削減

33% 構築期間短縮

TCO削減も実現 • Hadoopエンタープライズ実績の豊富な

Cloudera搭載

• コマンド一つでノード追加などの拡張や アップグレードが可能、運用コスト削減

• オラクルによるH/WからS/Wまでの 一元サポート

• ベストプラクティスに基づいた事前調整、 テスト済

• Oracle Enterprise Managerによる一元管理

Big Data Appliance

Page 14: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Appliance X5-2

14

ESG(第3者機関)調査に裏付けられた優位性:DIY(手組)より21%安価に構築

構築・運用・管理を もっと簡単に、安く

Oracle Big Data Appliance

コストを節約

出典: ESGホワイト・ペーパー

21% コスト削減

33% 構築期間短縮

「Oracle Big Data Applianceは、Clouderaが提供している主要なHadoopベース技術のフル・スイートを 使用したいと考えている顧客にとっては 素晴らしい選択肢です。DIY( Do It Yourself )クラスタよりも低コストかつ短期間での導入が可能です。」

⁻ Mike Olson Cloudera founder, Chief Strategy Officer, and Chairman of the Board

Page 15: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Open World 2015 発表

Oracle Big Data Appliance X5-2 Hardware及びSoftwareの両面からのさらなる最適化を推進

15

構築・運用・管理を もっと簡単に、安く

Oracle Big Data Appliance

手組Hadoop環境に比べ 2倍の高速化(*)

• Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with minimal changes. 21% Cost Savings and 30% Faster Time to Value figures based on ESG Report: Getting real about Big Data: Build versus Buy

(*) Intel実施のパフォーマンステストより。Whitepaperで公開中 Cloudra HPにも記載( http://vision.cloudera.com/big-performance-gains-for-big-data/)

Page 16: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Appliance 事前最適化されたビッグデータ活用Hadoopプラットフォーム

16

•36のCPUコア (2 ×18 Core Intel ® Xeon ® E5-2699 v3 Processors (2.3 GHz)

•96TBのストレージ容量 (12 x 8 TB 7.2K RPM 高容量 SAS (hot-swap)

•128GBのメモリ (8 x 16GB DDR4 Memory) 768GBまで拡張可能

Oracle Big Data Appliance ノード Oracle X5-2L Server

Oracle Big Data Appliance Starter Ruck:6ノード

• 6台のOracle X5-2L Serverで構成 • 合計216のCPUコア • 合計576TBのストレージ容量 • 合計768GBのメモリ(最大4608GBまで拡張可能)

Oracle Big Data Appliance Full Ruck:18ノード

• 18台のOracle X5-2L Serverで構成 • 合計648のCPUコア • 合計1728TBのストレージ容量 • 合計2304GBのメモリ(13824GBまで拡張可能)

1ノードずつ 追加可能

•40Gb/sec InfiniBand 合計 100 port (内部接続、Exadataへの接続)

•10Gb/sec Ethernet 合計16 ports (データセンター機器との接続)

•Oracle Linux 6.7 •Oracle Java JDK 8u66 •Cloudera Enterprise Data Hub Edition 5

• Cloudera Distribution including Apache Hadoop (CDH) v5.4.7

•Cloudera Impala, Cloudera Search, Apache HBase, Apache Spark •Cloudera Manager,Cloudera Navigator

•Oracle R Distribution •Oracle NoSQL Database v3.4.7

構築・運用・管理を もっと簡単に、安く

Oracle Big Data Appliance

*ハードウェアのサポート契約で、 上記ソフトウェアのサポートを追加料金なしでご提供 (Oracle NoSQL Database EEを除く)

ソフトウェア

Page 17: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

Hadoop活用の障壁を もっと下げたい

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

Page 18: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL

18

Smart Scan クエリをExadataの

ストレージサーバーにオフロード

Storage Index クエリに必要な

データブロックのみをスキャン

SQL一つで、 必要なデータが

高速にセキュアに返される

Smart Scan クエリをBig Data Applianceの

データノードにオフロード

Storage Index クエリに必要な

データブロックのみをスキャン

SQL

必要データ のみ移動

SQL

Big Data Appliance +

Hadoop/NoSQL

Exadata +

Oracle Database 12c

Hive metadata

ビッグデータの活用をよりシンプルに、しかも迅速に、そしてセキュアに

既存のアプリ、ツール、スキル

そのままで全てのデータがクエリ可能

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

Page 19: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

next = lineNext.getQuantity();

}

if (!q.isEmpty() && (prev.isEmpty() || (eq(q, prev) && gt(q, next)))) {

state = "S";

return state;

}

if (gt(q, prev) && gt(q, next)) {

state = "T";

return state;

}

if (lt(q, prev) && lt(q, next)) {

state = "B";

return state;

}

if (!q.isEmpty() && (next.isEmpty() || (gt(q, prev) && eq(q, next)))) {

state = "E";

return state;

}

if (q.isEmpty() || eq(q, prev)) {

state = "F";

return state;

}

return state;

}

private boolean eq(String a, String b) {

if (a.isEmpty() || b.isEmpty()) {

return false;

}

return a.equals(b);

}

private boolean gt(String a, String b) {

if (a.isEmpty() || b.isEmpty()) {

return false;

}

return Double.parseDouble(a) > Double.parseDouble(b);

}

private boolean lt(String a, String b) {

if (a.isEmpty() || b.isEmpty()) {

return false;

}

return Double.parseDouble(a) < Double.parseDouble(b);

}

public String getState() {

return this.state;

}

}

BagFactory bagFactory = BagFactory.getInstance();

@Override

public Tuple exec(Tuple input) throws IOException {

long c = 0;

String line = "";

String pbkey = "";

V0Line nextLine;

V0Line thisLine;

V0Line processLine;

V0Line evalLine = null;

V0Line prevLine;

boolean noMoreValues = false;

String matchList = "";

ArrayList<V0Line> lineFifo = new ArrayList<V0Line>();

boolean finished = false;

DataBag output = bagFactory.newDefaultBag();

if (input == null) {

return null;

}

if (input.size() == 0) {

return null;

}

Object o = input.get(0);

if (o == null) {

return null;

}

//Object o = input.get(0);

if (!(o instanceof DataBag)) {

int errCode = 2114;

String msg = "Expected input to be DataBag, but"

SELECT first_x, last_z

FROM ticker MATCH_RECOGNIZE (

PARTITION BY name ORDER BY time

MEASURES FIRST(x.time) AS first_x,

LAST(z.time) AS last_z

ONE ROW PER MATCH

PATTERN (X+ Y+ W+ Z+)

DEFINE X AS (price < PREV(price)),

Y AS (price > PREV(price)),

W AS (price < PREV(price)),

Z AS (price > PREV(price) AND

z.time - FIRST(x.time) <= 7 ))

250行以上の Java UDF 12 行のOracle SQL

Oracle SQLなら、20倍もコードが少なくて済む

しかも標準機能としてサポートされる

10:00 10:05 10:10 10:15 10:20 10:25

Oracle SQLの豊富な分析関数 例:パターンマッチング 例:機器ログでのDouble Bottom (W)パターンを検出するパターンマッチング

19

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

Page 20: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析

20

BOM 製造/ MES

サービス 出荷

• RDBMS上にトランザクションデータを蓄積

• 新たにHadoop上に複数工場生産ラインの機器ログ、 センサーデータを蓄積、RDBMS上の既存アプリと連携

• ISO22400(IEC62264)、ISO18435を視野

製造業での活用例

ロット特定

関連する 生産条件

既存アプリケーション

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

• さらにロットに紐付いた制御系、さらには 実行系のセンサー情報(外気温)をトレース、可視化

• 顧客からの不良品の問い合わせが複数発生

• RDBMS上のデータにより、クレームに紐付いた 特定ロットNo、シリアルNoまで特定

- 拠点、工場、工程、ロットNo、シリアルNo Big Data Appliance

(Hadoop) Exadata

(RDBMS)

機器ログ MES

Page 21: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析

21

• 特定ロット内で、外気温の怪しい挙動が発生しており、そのタイミングでの不良品が発生

• ただし、既存のアラートのしきい値を超えていない

製造業での活用例

時間 特定ロット

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

電圧 • 外気温のみならず、使用電圧もプロット

特定ロットの前で、許容範囲内での電圧降下が発生 →新たな要因の発見

• 隣の建屋の生産ラインの電圧と比較 隣の建屋の生産ラインにおいて、分電盤の異常が 発生、微細な影響を受けていたことが判明

→複数ラインをまたいだ詳細な要因分析

隣のラインの電圧

外気温

閾値

Page 22: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL 活用例 製造業におけるトレーサビリティ、原因分析、予兆分析

22

今後の想定展開

• パターンマッチングにより、センサーデータから、 類似パターンが発生した製品の有無確認、該当ロット、顧客先、担当営業、担当サービス員の特定

– 不具合が起きる前の点検・交換サービスによる 顧客満足度の向上

– サービス員作業計画が作成可能、二度手間の省略、非計画サポートの削減

• 新たな複合条件によるアラートしきい値の設定

– 将来の歩留り向上

– 問題発生前の予兆、早期発見

製造業での活用例

ロット特定/ 作業指示

類似パターン の発見

既存アプリケーション

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

BOM 製造/ MES

サービス 出荷

Big Data Appliance (Hadoop)

Exadata (RDBMS)

機器ログ MES

Page 23: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data SQL Oracle Exadataで培った高速化技術、強固なセキュリティ機能をHadoopにも実装

HDFS Data Node

HDFS Name Node

DB

H

ado

op

23

B1 – Movie_ID Min: 1001 Max: 1609

B2 – Movie_ID Min: 1909 Max: 13010

✗ HDFS Data Node

• Storage Index: スキャン対象を絞込み、クエリ時間とデータIOを削減 –データブロック毎のIndexの最大値と最小値を作成 –スキャン前に目的のデータがブロック内にあるか確認 –なければスキャン対象から外す

• Smart Scan: ローカルでの絞り込み・データ転送の極小化

–Hadoopのデータノードに並列にデータアクセス –Hadoopのデータノードで行と列の絞り込みを実行 –移動するデータを極小化

• データベースのセキュリティ制御:

–マスキング/リダクション –仮想プライベートデータベース –ファイングレインアクセス制御

SSN SALARY

111-11-XXXX 125275

222-22-YYYY 250950

333-33-ZZZZ 32000

Movie_ID=1109

もっと多くの人に 開放、使ってほしい

Oracle Big Data SQL

Page 24: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Open World 2015 お客様 講演内容

ログデータを活用し、顧客満足度の高度化を図る

24

某コーヒーチェーン様

・顧客情報 ・購入履歴 ・プロモーション ・ポイント

・プロモーション分析 ・顧客行動 ・モバイルアプリ改善 ・商品、サービス改善

• 顧客の“待ち時間”解消を目的に、2015年9月よりモバイル注文&決済サービスを全米で展開 – 近くの店舗を選択、受け取りまでの時間表示、

注文と決済まで可能

– 決済完了と同時にお店ではレシートがプリントアウ ト され、カップに貼って準備

• 顧客満足度向上のための更なる取り組み

– DWH上の顧客データと、Hadoop上のアプリ、ビーコン、Wifiなどのログデータを横断した分析

– プロモーション効果、顧客行動、顧客ニーズを より詳細に把握、分析可能に

– 製品やサービスの改善、顧客満足度のさらなる向上

SQL アプリログ

Beacon Wi-Fi

Page 25: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

Hadoop活用の障壁を もっと下げたい

もっと簡単に有益な データを見つけだし たい

Oracle Big Data Discovery

Page 26: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Discovery

26

データ分析前の1000本ノックをいかにアジャイルに迅速に繰り返すか

大量にあるデータのうち、どのデータを使えばいいかわからない (データの把握、データの理解)

属性の関係性有無など、データを どう使えばいいのかわからない (変数の選択、把握)

後工程の分析に必要なデータ加工がむずかしい (データの加工)

データの理解

データの準備

Hadoopによるビッグデータ活用で生じる新たな課題

データ分析の80%もの 工数と時間が費やされる

20%に削減するソリューション

Oracle Big Data Discovery

もっと簡単に有益な データを見つけだしたい

Oracle Big Data Discovery

Page 27: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Discovery

27

直感的なUI画面でデータサイエンティストの生産性を向上

1.Hadoop上のデータ を可視化、タグ付け

2.データの値特性、 品質、分析価値 有無を可視化

3.データの因果関係、 説明変数のシミュ レーションと把握

4.次の分析のために データ加工

もっと簡単に有益な データを見つけだしたい

Oracle Big Data Discovery

Page 28: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

お客様 事例

顧客行動データを集約し、機械学習により顧客DNAを構築 適切な人に、適切な商品を、適切なタイミング、適切な方法で確実に届ける

28

年齢 家族人数

家族収入

不満 離反度

ロイヤリティ

平均消費額

ライフタイム バリュー

利用期間

満足度

反応度

クロスセル イベント

直近アップセル ポートフォリオサイズ

お財布サイズ

直近の応対

週次の出金

ファッション

ビジネスや 経済ニュース

投資積極度合い

リアルタイムな顧客DNA

提案メニュー項目 受入可能性

商品に対する受入可能性も計算 直近の傾向

Page 29: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

Hadoop活用の障壁を もっと下げたい

Map Reduce処理をもっと簡単に構築 したい

Oracle Data Integrator

Page 30: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Data Integrator Oracle Data Integrator Application Adapters for Hadoop Oracle Data Integrator Advanced Big Data Option

• ファイル/RDBMSからHiveへのロード • Hive を利用したデータの検証と変換 • FileもしくはHiveからOracleへのロード

30

Map Reduceによるデータ加工やETL処理、DBへのデータロードをGUIで定義可能

Hadoop Cluster

f(x) MapReduce

Data Load

Oracle Database

Oracle Data Integrator

Application Adapters for Hadoop

• 追加オプションでSparkやPigのコードを 生成する事が可能

• Hadoopの最新技術を活用した、 高速なインメモリ処理がGUIで定義可能に

Map Reduce処理を もっと簡単に構築したい

Oracle Data Integrator

本日のOracle DBA &Developers Day2015 D2セッションでさらに詳しく!

Page 31: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda HadoopとRDBMSを もっと密に連携させたい

両者間のデータ移動を もっと早く

Oracle Big Data Connectors

HadoopからDBのデータを使いたい

Oracle Table Access for Hadoop and Spark

ライフサイクルを見越したデータ管理をしたい Copy to BDA

他システムとだって 密に連携したい

Oracle’s Big Data Integration Solutions

Page 32: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

HadoopとRDBMSの密連携ソリューション

32

①両者間のデータ移動をもっと早く

Oracle Big Data Connectors Hadoop上のデータをOracle DBへ 高速ロード(15TB/時間)

②HadoopからDBのデータを使いたい

Oracle Table Access for Hadoop and Spark データの移動の必要なく、Hadoop からOracle DBのデータにアクセス

③ライフサイクル を見越したデータ 管理をしたい

Copy to BDA Exadata上の過去データをBDAに 安価に保持

④他システムと密に連携したい

Oracle’s Big Data Integration Solutions データ連携、メタデータ管理、データ ガバナンス:ヘテロな環境にも対応

BDA(Hadoop) Exadata(RDBMS)

本日のOracle DBA &Developers Day2015 D2セッションでさらに詳しく!

Page 33: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

Hadoop活用の障壁を もっと下げたい

HadoopとRDBMSを もっと密に連携させたい

ビッグデータ/IoT環境をセキュアなクラウド環境で実行したい

Oracle Cloud

Page 34: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Cloud Service エンタープライズ向けビッグデータ活用環境をクラウドで

34

Big Data Cloud Service

・高パフォーマンスかつセキュアなHadoopの専用環境 を数クリックですぐに構築 ・必要に応じて柔軟なスケールアップ/ダウンも可能

1.高パフォーマンスな 専用環境をすぐに 構築・活用

・データ加工やデータ分析のための最新ビッグデータ 製品を含有 ・インフラ層のコストや管理コスト削減だけでなく、 ソフトウェアも含めたTCO削減を実現

2.ビッグデータ活用 のための製品を含有

・他クラウドサービスとの高速連携により、クラウド上で ビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL Cloud Service により、クラウド上の ビッグデータマネジメント基盤にSQLでアクセス可能

3.クラウド上でビッグ データマネジメント 基盤を実現

Page 35: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

データの蓄積・加工・分析など、クラウド上での全ての機能実現を支えるBig Data Cloud

Big Data Cloud + IoT + SaaS + PaaS

Gateway software 2G/3G/LTE

ネットワーク

WWAN

Database

Hadoop

NoSQL

Big Data SQL

Big Data Discovery

SCM

ERP

Sales Marketing

HCM PLM

ファイアウォール

IoT Cloud Service Big Data

Cloud Service SaaS/DaaS

Docs

Data Prep.

Java BI

Dev DB

Integ ration

Process Mobile

PaaS

IoT Cloud Service Gateway & SDKs

Device Virtualization

High Speed Messaging

Endpoint Management

Stream Processing

Event Store

Enterprise Connectivity

35

Page 36: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

蓄積

把握・加工

分析

意思決定

アクション

収集

クラウドでのデータ活用のハブとなるBig Data Cloud Services データの蓄積・加工・分析など、クラウド上での全ての機能実現を支える中核基盤

36

Database

Business Intelligence

Big Data Discovery

SaaS

IoT

GoldenGate

Big Data SQL

and other PaaS, SaaS, IaaS ..

Big Data Cloud Service

Data as a Service

Big Data Preparation

NoSQL Other Cloud

Venders

Page 37: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

Agenda

本日のまとめ

Page 38: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

本日お伝えさせて頂いたこと

38

• ビッグデータからの価値創出には、情報を集約、いつでも利活用できるようにし、企業のメインストリームで利用可能とするデータマネジメント基盤の構築が重要

• データマネジメント基盤には、データ特性や活用方法に応じて、適材適所のテクノロジーを選択し、組み合 わせることがポイント

• オラクルは、ビッグデータ/IoT時代に必要とされる、

データの集約、蓄積、分析、アクションといったデータ活用のソリューションを、クラウドを含め網羅的に ご提供させていただいております

Page 39: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |

オラクルが提供するHadoopソリューション

(再掲)Hadoop活用の8+1つの勘所

39

Hadoop活用の障壁を もっと下げたい

HadoopとRDBMSを もっと密に連携させたい

Hadoop環境構築・運用・管理をもっと簡単に、安く

もっと多くの人に開放、使ってほしい

もっと簡単に有益な データを見つけだしたい

Map Reduce処理を もっと簡単に構築したい

Oracle Big Data Appliance

Oracle Big Data SQL

Oracle Big Data Discovery

Oracle Data Integrator

両者間のデータ移動を もっと早く

Oracle Big Data Connectors

HadoopからDBのデータを使いたい

Oracle Table Access for Hadoop and Spark

ライフサイクルを見越したデータ管理をしたい Copy to BDA

他システムとだって 密に連携したい

Oracle’s Big Data Integration

ビッグデータ/IoT環境をセキュアな クラウド環境で実行したい Oracle Cloud

Page 40: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 40

ご質問・ご相談等ございましたら、終了後もお受けしております

0120-155-096 (平日9:00-12:00 / 13:00-18:00)

http://www.oracle.com/jp/direct/index.html

各種無償支援サービスもございます。

Oracle Direct 検索

Oracle Direct あなたにいちばん近いオラクル

Page 41: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Page 42: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 42

Page 43: [Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス