how to use the powerpoint template · –cloudera商业化hadoop版本及选件 –cloudera manager...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Oracle数据库与大数据新技术

吕磊资深架构师甲骨文（中国）软件系统有限公司

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 3

大数据在企业

大数据是大量的，高速增长的，多样性的信息资产，它需要以高效，创新的信息处理形式，以促成实现更强的洞察力和决策力。

--Gartner IT 术语

企业级大数据通常是指以下类型的数据：

•传统企业数据— 包括 CRM 系统中的客户信息、ERP系统中的事务性数据、网店交易数据、总账数据。•机器生成的数据/传感器数据— 包括呼叫详情记录 (CDR)、Web 日志、智能仪表、制造业传感器、

设备日志（常称为数字化输出信息）、交易系统数据。•社交数据— 包括客户反馈、微博网站、社交媒体平台数据

--白皮书《Oracle：企业大数据》

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

大数据分析帮助全球领先信息资讯提供商为客户创造更多价值

• 搭建了互联网资讯和社交媒体大数据分析平台

• 实时采集5万个新闻网站和400万社交媒体渠道的资讯

• 汇总路透社新闻和其他专业新闻，进行自然语义处理

• 结合数据仓库和结构化数据，通过基于行为金融学模型多维度的度量标准

• 全面评估分析市场情绪，形成可操作的分析结论

• 支持其专业金融机构客户的交易、投资和风险管理

• 基于全数据管理架构/统一数据访问/统一安全管控和集成化系统构建


Oracle BDA

某国际大型飞机制造商

大规模传感器数据捕获和分析

客户挑战

解决方案

客户收益

•有效处理新数据，提高数据存储加载的可扩展性，满足试验业务实时数据分析需求

•与结构化数据集成，重复利用已有模型和工具，节省成本，加速上线，提供更高并发性的分析数据访问

•加强产品质量管理，降低产品上市风险

•Oracle NoSQL DB的分布式和扩展性保证实验传感器数据的低延迟并发存储

•Oracle Bigdata大数据一体机提供高效可管理性和最低的总体拥有成本

•在BDA上对NoSQL中的存储数据进行预处理，与已有关系型数据库中数据集成

•基于RDBMS的挖掘分析，并且连接到企业系统和已有展现工具

•提高飞行试验传感器数据的存储规模•利用已有基于关系型数据库的模型和工具•增加分析数据访问的并发性和可用性

加快创新改进运营精准营销提升服务

√

客户解决方案相关产品：BDA/NoSQL DB/DB

Oracle No SQL

Hadoop

Oracle Database

分析

访问

√

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 6Oracle Confidential – Internal/Restricted/Highly Restricted

企业大数据建设的不同之处

互联网公司

新数据为主开源软件

一切从头组装技术即价值

大量的人力堆积失败了推倒重来

企业级客户

传统业务数据为主，扩展到新数据商业化服务支持

更多精力在业务层面简化架构和集成简化管理和维护逐步积累和完善

数据以结构化为主

多年IT建设积累，量>80%

高密度，高价值

开发和维护人员相对有限

聚焦管理和高层次分析

安全和可用性要求

与已有系统（数据仓库/业务系统）的集成

拥抱新数据和新技术，创新但不是颠覆

考虑总体拥有成本和投资回报

企业级客户的特点


企业采用大数据面临的挑战

全数据管理

关注新数据，融合全数据，深入的洞察

力创造更大价值

Hadoop/NoSQL需要与现有数据架构

相融合，避免形成另一个“烟囱”架构

开发和分析

快速响应业务的需求，加快上线，支持

业务创新和提高竞争力

Hadoop/NoSQL等开源技术开发困难，

IT人员需要新的技能和经验积累

安全遵从

法律法规遵从的要求；避免数据泄漏，

防止负面事件响应企业形象，

Hadoop/NoSQL等开源技术需要遵从

企业IT的合规、审计和安全要求

管理和运维

更关注在端到端的业务流程和模型，IT

人员总量相对控制，不会大幅度扩张

大型Hadoop/NoSQL集群的建设、管

理维护的难度和复杂性很高

业务部门 IT部门

7


大数据满足企业业务战略的转变

全面数据驱动的企业商务智能

8

更全面的数据

更强的挖掘方法和处理能力

新的业务价值和决策支持

+ =

信息特征传统数据分析大数据分析

问题特点已知的 + 未知的

时间性历叱的、现实的 + 未来的，预测的

来源主要内部 + 内外结合

综合性具体、详细 + 综合、概括

范围明确、狭窄 + 广泛探索

精确度高要求 + 相关性

使用范围领导 + 各条业务线

数量性 G/T + 百G/T/P

相关技术关系型数据库

BI工具+

RDB+Hadoop+NoSQL

数据挖掘和发现

相关数据 CRM/DMS/ERP + 社交网络/行业互联网


统一的数据资源池

Oracle大数据解决方案端到端的解决方案加快上市时间和降低风险

• 单项先进和集成化 • 加速上线获得回报• 简化架构和管理 • 单一客户服务支持

数据源获取组织分析决策行动

Oracle Database

Oracle IndustryModels

Oracle Advanced Analytics

Oracle Spatial & Graph

大数据一体机

Hadoop商业版

NoSQL DB

Oracle R

关系型数据库

内存选项/多租户

高级分析

地理和图形选件

Exadata

Big Data Connectors

OD

I/O

GG

Oracle Big Data Discovery

BIG DATA SQL

ADG/OGG（灾备）SECURITY（安全）OEM（管理）EDQ（数据质量）

Exalytics

BIEE/DV

流数据Stream Explorer/

Coherence大数据应用


Oracle提供实时/批量大数据收集工具

Flume/KafkaHive on MR, Tez, Spark

Logs

OLTP DB

SQOOP

OGG

Pig on MR, Tez, Spark

ODI

SQOOP

Any DW

OGG

Spark

Oozie

OEDQ OEMM

Data Validation & Cleansing

Metadata Mgmt& Lineage

API/File

Hive/HCat,HDFS,HBase

Hive/HCat,HDFS,HBase

NoSQL

Flume/Kafka

Load to Oracle

Oracle DBBig Data SQL

批量数据收集（ODI）

• 下一代E-LT技术，装载速度比普通工具快10倍以上

• 支持超过200种不同的数据源和目标数据库，支持Hadoop平台

• 和其他工具相比总体拥有成本更低• 对Oracle数据库提供先进性能

实时数据同步（OGG）

• 更快的数据同步和复制工具• 无停机，保证事物可靠性• 支持多种数据源和目标• 灵活的1对1/1对多/多对1配置• 更小化影响数据源

HDFS (Files)

HBase (NoSQL)

Hive / Hive Streaming (SQL)

Flume & Storm (Streaming)

Kafka (MPP Pub/Sub)

Spark Streaming (Machine Learning)

Capture Database Transactions and Deliver to Big Data in Real-Time

Cap

ture

Tra

il

Ro

ute

De

live

r

Pu

mp

GoldenGateJMS JMS

10

Oracle DB

获取

组织

分析

决策

http://hadoop.apache.org/

http://hadoop.apache.org/


• 灵活的数据模型– 键值，Avro配置，RDF图，类Table

– 读取/插入/更新/删除

• 扩展性– 水平扩展、劢态的数据分区与分发

– 通过智能驱劢进行优化的数据访问

• 高可用性– 一个或者多个数据副本

– 快速的主节点切换，没有单点故障

– 通过不同地点的数据副本实现灾备

• 透明的负载均衡– 数据可以从主节点或者数据副本节点读取

• 适用性广泛– 可配置的事务支持，持久化和一致性策略

Oracle NoSQL 数据库分布式的、高可扩展性的键-值数据库

分片 0

复制节点（主）

复制节点（副本）


分片 N

复制节点（主）



…

分区

哈希函数

键空间

SN1 SN2 SN3

获取

组织

分析

决策


Hadoop的先进支撑平台

Big Data Appliance X6-2

StarterFull

Multi-Rack

•软硬一体化集成设计，规避开源自建高风险•全栈调优、先进实践、性能卓越•完整的非结构化数据存储/计算/分析/挖掘/管理的平台

•开箱即用，快速上线部署，缩短项目周期•全线商业支持，简化后期维护•与数据库生态系统极佳融合•企业级的安全管控•方便的水平扩展，适应长远发展•绿色环保，高密度存储，占地面积小

• 集成的软件：– Oracle Linux和Oracle Java VM– Cloudera商业化Hadoop版本及选件– Cloudera Manager– Oracle R distribution– Oracle NoSQL 数据库

• 硬件：– 18台Sun PC服务器，每台

• 2C*22核 E5 2699 V3，总792核• 8*32 =256GB内存，总4608GB内存• 12块 8TB SAS盘，总1728 TB存储容量

– 内置40Gb InfiniBand交换机– 用于管理的万兆交换机

– 初始化配置6节点，可按需扩展，– 到18个机架不需要外购网络设备

获取

组织

分析

决策


集成：强强联手，卓越性能，市场认可

13

简化融合

安全集成


Oracle Big Data SQL实现跨平台统一数据访问

• 统一查询数据：跨不同平台：Oracle数据库，Hadoop 和NoSQL DB

•保护现有投资：不需要任何修改就可以直接运行Oracle SQL查询

• 卓越性能：Hadoop和NoSQL上的智能扫描通过解析和智能地过滤各自节点数据，存储索引快速定位数据，这些都有助于大幅度提高性能

• 适用广泛：支持用户自建的系统和Oracle集成化设备；支持目前主流领先的Hadoop版本

• 安全管控：Oracle数据库安全特性扩展到新技术平台，控制对敏感数据的访问

• 功能丰富：提供从Oracle数据库复制数据到Hadoop的工具：Copy to Hadoop；以及通过Hadoop可以直接访问Oracle数据库中的数据的工具Oracle Table Access for Hadoop and Spark

{MapReduce} {APIs} SQL

Oracle Big Data SQL 3.0

获取

组织

分析

决策

Cloudera 5.5及更高Hortonworks 2.3及更高 Database 12C

BDA Exadata

X86集群（Linux OL6，RHEL6）

或

14


Oracle为企业提供丰富的大数据分析工具合理的成本投入获得更好业务受益

传统分析解决方案

数小时、数天或数周

数据提取

数据准备和转换

数据挖掘模型构建

数据挖掘模型“计分”

数据准备以及转换

数据导入

模型“计分”

嵌入式数据准备

数据准备

模型构建

Oracle 数据挖掘和探索

数秒、数分钟或数小时

基于机器学习的数据挖掘（OAA）

基于人员经验的数据探索（BDD）

利用数学算法，从数据特征和已有结果中推演数据模型和进行预测，提供图形化界面和企业级R语言支持，满足不同分析人员需求

•实现对于全数据的挖掘和探索

•利用服务器并行处理能力和内存计算能力，高性能

•直接访问Hadoop或者Oracle数据库中数据

•所见即所得•图形化，简单易用，快速实现

节省

共享探索转换浏览发现

获取

组织

分析

决策

16


Big Data Discovery：Hadoop的可视化和探索工具

不需要进行建模即可以交互式访问和探索

17

发现浏览转化探索共享

上传数据，对数据集摘要进行概要查看对数据集各个字段分布进行浏览

支持基于web方式对数据集的字段进行处理和转化建立项目，对数据集从不同角度探索和发现


Oracle高级分析支持企业深度挖掘分析

满足不同角色需求，合理的成本投入带来数据收益更大化

客户特征分组客户流失预测

客户价值分组

产品购买关联

客户购买预测

趋势预测分析

Oracle R Enterprise

• 十分流行的统计分析编程语言与环境，广泛的统计与高级分析函数

• 但开源有诸多不足，Oracle做了企业级优化

• 与Oracle数据库集成以获得扩展性，可直接访问Oracle数据库内数据，利用Oracle数据库服务器的并行处理能力

• 分析结果直接展示在BI工具• 可使用Hadoop数据和并行能力

Oracle Data Mining

• 完整的库内数据挖掘解决方案• 自动化数据库内的知识发现过程• 15个内置的核心数据挖掘算法• 全新的图形化界面和流程实现• 不需要编程，通过拖曳和配置即可利用数据挖掘，实现预测分析

• 可利用Oracle数据库和Exadata强大的处理能力

• 利用内存计算获得极速性能• 与OBIEE完美集成

R

获取

组织

分析

决策

http://search.oraclecorp.com/search/search


OBIEE

Oracle Database Enterprise Edition

Oracle Advanced Analytics：统一数据挖掘和分析

满足不同角色需求，合理的成本投入带来数据收益更大化

Oracle Advanced Analytics - Database Option数据库内挖掘+企业版 R语言

可扩展、分布式、并行、库内机器学习

SQL Developer/ Oracle Data Miner

ApplicationsR Client

数据与业务分析师R 程序员业务分析师、决策者应用用户用户

平台 Hadoop

ORAAH并行分布式算法 X86服务器

R

19

Big Data SQL

http://search.oraclecorp.com/search/search


Oracle 完整的大数据展现平台

•交互式仪表盘，即席查询, 通过ROLAP工具进行数据钻取

查询，报告和分析

•随时随地对数据洞察的能力移动商务智能

•提供战略地图、绩效树、绩效轮多种KPI监控

平衡积分卡与战略管理

•多维度的联多维度工具, what-if 分析, 情景预设, 规划

多维度的联机分析技术

•大容量，完美像素的布局和印刷产品报告

•数据混搭及全新的图形化信息探索工具可视化分析

OBISE

BI Publisher

ODV

BI MobileOracle BI Suite

Foundation Edition

Oracle Data Visualization

Essbase

OSSM

获取

组织

分析

决策


Exadata企业应用/数据仓库

统一的数据资源池

Big Data Appliance分布式大数据平台

新型数据业务数据

15TB / hour10x Faster

Oracle解决方案支持构建企业级全数据池

助力数据获取和组织，集成和管理

Oracle Big Data Connectors

商业化Hadoop

Oracle R

Oracle NoSQL DB

Oracle数据库

内存选项/多租户

高级分析

地理和图形选件

Oracle Big Data SQL

OGGODI

OGGODI

X86服务器

X86服务器

X86服务器

X86服务器

X86服务器

X86服务器

简化融合

安全集成


统一SQL访问全数据。丰富的SQL语法支持，高性能数据访问，重复利用已有工具和技能，快速开发和上线，加快分析成果转化，提高竞争力。

结构化和非结构化数据统一安全管控。帮助企业构建统一的数据安全体系。防止数据泄漏，增强访问审计。保证数据安全，降低风险。

工程化系统开箱即用，简化架构和管理。生态系统完善，提供一系列商业化成熟工具支持，提供企业级特性支持，总体拥有成本低。

企业全数据管理平台。支持结合结构化和非结构化数据，进行探索，分析和挖掘。预测更准确，洞察更深入。更好支持业务，增加收入。

简化融合

安全集成

Oracle企业级大数据解决方案的价值

22

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 23Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

客户使用平台云加速业务创新和实现业务价值

• 提供了安全/快捷的大数据组织和分析环境

• 展现了大数据云作为技术变革的潜力

• 为客户带来了新的数据能力，如数据即服务

• 集成完整的Iaas, PaaS, Saas, BPaaS 一站式技术架构

• 促进企业外的数据快速增长

• 并为物联网提供大数据云平台支撑

Oracle Cloud公有云

让客户能在2周时间能加载和集成超过25个结构化和非结构化数据

国际领先日用消费品公司


Oracle大数据在全球成功案例（部分）

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 25

Oracle Cloud

数据云服务

Data as a Service

应用软件云服务

Software as a Service

平台云服务

Platform as a Service

基础设施云服务

Infrastructure as a Service

通过Oracle Cloud为全球客户和合作伙伴供应最先进的基础设施云服务、技术平台云服务、业务应用软件云服务和数据云服务

综合的

同类最佳

SaaS

公有云 &

私有云全面的

PaaS &

IaaS


Oracle 数据管理云产品集合

Oracle Database DataGuard RAC In-Memory NoSQL Enterprise

Manager


相同的架构相同的软件相同的技能

内部部署 Oracle 云

为内部部署和云提供同样的管理

Oracle 数据管理云战略

跨混合云的全面可移植性

运用数据创造价值


NoSQL

Oracle 数据管理云战略

支持和利用内部部署和云平台中任意规模的任何数据


Oracle 数据库云 — 服务概述

Oracle Exadata 服务性能和可用性更高的数据库平台

主要用例：业务关键应用和高密度数据库整合

Oracle 数据库备份服务通过按需扩容消除存储硬件计划

透明的管理、冗余性和高可用性

主要用例：企业级数据安全保护和隐私

Oracle 数据库即服务功能齐备的专用单节点/集群(RAC)数据库

主要用例：开发、测试和部署新的和现有的企业应用

Oracle 多租户（模式）服务全托管数据库模式即服务

通过 APEX、SQL Developer、Java 云服务和 RESTful Web 服务实现全面应用开发

主要用例：开发和部署部门应用

100% 兼容内部部署应用

完全自动化或托管式备份、补丁安装和工具

易于移动位置或创建混合云

只需点击几下鼠标即可进行供应

所有Oracle 数据库服务


一键式补丁安装

备份/恢复以及HA 和 DR

供应简单

所有语言高级安全性本地和远程管理

数据库即服务 — 自动化的云工具

BP 12.1.0.2.1


更快的上线和投入使用，相同的技术，支持根据需要进行迁移

Oracle大数据相关云服务

• 专用的– 专有的实例交付持续化高性能

– 相互不会干扰

• 有弹性的– 从小开始，根据需要扩展

• 安全的– 扩展Oracle数据库安全到Hadoop和NoSQL

• 全面的

– 包括：集成工具，准备工具，数据存储和组织，R，地理和图形选件，大数据连接器等

Big Data CloudBig Data

Preparation CloudBig Data

Discovery Cloud

Store, Manage & Query Prepare & Enrich Discover & Analyze

SQL

GoldenGate CloudData Integration

CloudDV & BI Cloud

ETL

35


Oracle Management Cloud

•愿景：完整套件：ITaaS

为异构应用设计

快速交付价值

监控

诊断

性能管理

流程编排

调度

配置管理

报告

通知

日志

分析

资源管理

洞察

• 目前仅关注IT运营，而没有IT维护• 维护工作都交由Oracle Public Cloud

自劢完成：安装、升级、补丁、备份、恢复、扩容…

• 或者由 OEM 本地完成


Oracle 已经有了世界上最安全的功能级

当前的安全技术问题: Not Always-On, Performance Penalty…

治理风险&合规管理，接入&认证检查，异常检查，用户开通管理，授权管理

移动化安全管理，特权用户管理，目录服务管理，身份识别治理，授权管理，接入访问管理

数据加密，企业密钥管理，数据库防火墙，数据掩映，数据安全修订，特权用户监控，数据审计，安全配置

基于用户沙箱的应用安全，委托管理权，反恶意软件系统，基于网络保护的数据安全，零停机打补丁，合规性报告，应用的安全生命周期管理，安全的在线迁移，不可变安全区，独立的安全控制台

密码计算加速，应用数据完整性，启动验证，磁盘加密，安全备份，存储密钥管理

应用软件

中间件

数据库

服务器, 存储& 网络

操作系统& 虚拟机

基础设施

平台

应用

Oracle云中的安全机制（部分）


唯一具备超强的性能和可用性的云

专门针对云进行了优化的数据库基础架构

全面支持混合云标准平台— 自动化云工具

在云中实现极具竞争优势的数据管理

无缝集成Oracle SaaS、IaaS 和 PaaS

集成数据和分析

how to use the powerpoint template · –cloudera商业化hadoop版本及选件 –cloudera manager...

Documents