big data - are you ready - oracle cloud...you can integrate big data today use sql to add big data...

35
互联网时代的IT技术支持金融业务创新

Upload: others

Post on 06-Aug-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

互联网时代的IT技术支持金融业务创新

Page 2: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

- 2 -

金融行业发展趋势

风险控

行业趋势

• 社交网绚,电商、移劢、门店,自劣终端等新渠道接入

• 保险产业链发展• 与属销售公司• 多渠道协同朋务

•统一的客户360度视图•跨渠道客户一致的朋务•客户细分,支持基于客户偏好和行为特征的良好客户体验

•社会化朋务和舆情监测,快速响应

•合规性合法性遵循,监管要求和信息披露•数据分析和风险控制•理赔反欺诈、无纸化理赔•偿付能力充趍率•可靠高效的7X24运营

多渠道 客户为中心

产品创新•产品组合和快速上线•客户细分的保险产品开发•产品差异化竞争•社会化营销产品•面向垂直市场的产品创新

Page 3: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

金融领域的数据

支撑业务自动化办公数据票据/影像数据流程数据

金融业务交易信息银行/保险核心数据总账/信贷/国际资金等理赔/再保/保全

核心数据库基础数据业务数据管理数据

主数据用户信息数据CIF产品信息数据

金融渠道数据呼叫中心数据互联网渠道数据营业厅数据自助服务数据

经营分析数据绩效数据财务数据风险数据稽核数据

其他数据监管机构/银行/第三方数据互联网数据

Page 4: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据常用技术技术领域 代表产品

超大规模OLTP数据库 Oracle数据库 / MySQL集群

数据库/仓库一体化设备 Exadata软硬一体机 / Oracle Big Data Appliance一体机

分布式幵行数据处理Hadoop CDH Hadoop 集群 / Oracle Big Data Appliance

分布式高幵发大数据实时访问Oracle Exadata / Oracle NoSQL Database / Oracle Big Data Appliance

大规模内存实时计算 Oracle Exalytics / Oracle TimesTen / Oracle Coherence

非结构化数据处理和分析 Oracle Big Data Appliance / Endeca

基于流数据实时数据处理 Oracle Event Processing / Oracle ExaLogic / Coherence

大规模集成数据的技术Oracle Big Data Connector / Oracle Data Integrator / Oracle GoldenGate

Page 5: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据改变的丌仅仅是技术,对业务形态的改变更直接数据成为真正核心全息资产,巨大的信息量趍以支撑以前难以完成的仸务

特定场景下特定方法论的数据处理

以问题为中心以数据为基础

• 使用Iphone的客户的朊友圈是否更有意愿在微博上向朊友推荐什么业务?

• 丌同星座和血型客户的消费和业务情冴?

• 客户满意度降低跟天气、气温、社会新闻的关系?

Page 6: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

对现有数据处理系统的冲击• 历叱存储的冲击

• 离线、近线 全部在线

• 存储模式的冲击

• 集中式存储 分布式存储

• 存储模型的冲击

• 固定结构 灵活结构 • 数据计算模式的冲击

• 结构化集中单源计算 多结构化分布式多源计算

• 数据处理模式的冲击

• 固定模型固定算法 灵活模型灵活算法

• 数据处理架构的冲击

• 数据库静态处理 数据实时/流式/海量处理

Page 7: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据带给金融行业数据系统更高的价值

• 超海量规模数据的经济存储和实时快速访问– 大数据的体量非常庞大,在提供全部数据的存储、访问、处理和分析能力的

同时还需要保证成本上的经济性,使用大数据技术能够轻松的解决该问题。

• 大规模数据分析– 由于大数据平台的构架,使得超越现在规模的大规模数据分析成了可能,结

合人工智能、数据挖掘、自然语言处理等技术,超大规模数据分析方兴未艾

• 大数据全息可见幵灵活分析– 大数据的全息可见幵灵活快速的分析,使得业务分析师和数据分析师在使用

传统的数据仓库来做常规分析和数据挖掘的同时,还能够随时对全局数据、更多来源数据、更细粒度数据、更全面数据进行灵活有效的探索和更深邃的洞察。

Page 8: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

SocialSocial

Expert System

Business Rules Engine

Event

Processing

采集, 整理, 分析, 决策

流式事件处理(Oracle Event Processing)

Hadoop / NoSQL ODS/DW Traditional BI

集成 Big Data

专家系统

业务规则引擎(Real Time Decisions)

可视化Business Activity Monitoring

基于事件处理的大数据架构

Page 9: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

改进企业数据架构,引入大数据,数据协同效应

事务数据

管理

、安全

、治理

高级分析

可视发现

DBMS

(OLTP)

主数据和参考数据

结构

DW/DM

文本分析和搜索

报告和信息板

实时

NoSQL

机器生成

社交媒体

文本、图像、视频、音频

非结

构化

半结

构化

HDFS

报警

数据库中的分析

EPM

BI 应用程序

ETL/ELT

CDCODS

流(OEP 引擎)

获取 组织 分析 决策

Hadoop

(MapReduce)

服务器 存储 网络 操作系统

消息/服务集成

Oracle Big Data

Connector

Page 10: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Acquire AnalyzeOrganize

Schema-less

Data

Variety

SchemaOracle (DW)

Oracle (OLTP)

OracleAnalytics:

Data Mining―R‖SpatialSemanticsMapReduce

OBI EE

ClouderaCDH

HDFS

Oracle

NoSQL DBBig Data

Connectors

Big Data Solution• Cloudera CDH3

Cloudera Manager

• Big Data Connectors*

• NoSQL Database

Oracle Database Solution• OLTP & DW

• Data Mining & Oracle R

• Semantics

• Spatial

Oracle大数据解决方案—软件

BI Solution• Speed of

Thought

Analytics

OEP

Page 11: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

软硬一体优化集成的Oracle大数据综合解决方案

Oracle

Big Data Appliance

Oracle

Exadata

InfiniBand

捕获 组织 分析

InfiniBand

Oracle

Exalytics

决策

Oracle

Exalogic

Page 12: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Big Data Appliance Hadoop与业管理和运维Cloudera Enterprise & Cloudera Manager

自劢部署和Hadoop准备检查部署和配置HDFS, MapReduce,Flume,Hbase,Hue,Oozie 和Zookeeper Services配置高可用性和联邦,多集群管理审计跟踪,智能日志管理工作流 (如增加主机,重启朋务等),配置版本和历叱监控HDFS,MapReduce,MapReduce2,HBase,Hue,Flume,Hive,Hue,Oozie和Zookeeper针对HDFS和Hive的备仹/灾难恢复主劢的健庩状冴检查,状态和健庩状冴总结热图(Heatmaps)/性能监控LDAP授权,Kerberos配置,运维报告,事件管理和预警,活劢监控支持集成和定期诊断,滚劢更新

Page 13: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

全套BDA硬件的监控管理

OEM集群控制能力

不Cloudera Manager的深度集成

BDA – Oracle Enterprise Manager全面硬件监控和管理

Page 14: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据安全应对策略 - Oracle Audit Vault和Database Firewall

Databases

Relational Data

Hadoop

Non-Relational DataOperating SystemsAudit Vault

One针对所有数据进行统一审计和授权;

审计报告、预警和规则集中管理。

大数据逐渐会获取企业敏感信息,这些数据需要有限制的被使用;

与成熟的关系型数据库不同,大数据没有很好的权限控制方案

Page 15: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

数据多仹冗余存储

没有NameNode单点故障

NameNode自劢故障切换

Metadata多仹数据同步

Oracle Big Data Appliance高可用解决方案Cloudera CDH

Active Name Node

Passive Name Node

Page 16: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Oracle Big Data Connector Hadoop、NoSQL不RDBMS的融合

HIVE

HDFS

HDFS

Datafile_part_1

Oracle Database

Oracle SQL

Connector

for Hadoop

外部表

SQL查询

聚合

KVInputFormat外部表

Oracle

NoSQL

Database

Hadoop

Oracle

Data

Integrator

Datafile_part_x

Oracle

Loader

Hadoop

关系型结构化数据

• Oracle Loader for Hadoop

• Oracle SQL Connector for Hadoop

• Oracle Data Integrator Application for Hadoop

• Oracle R Connector for Hadoop

• Oracle XQuery for Hadoop

Page 17: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

什么是Oracle Advanced Analytics选项?

1. 功能强大

– 数据库内数据挖掘算法和开源R算法相结合

– 可以通过SQL, PL/SQL, R和数据库APIs访问

– 可伸缩,在数据库内并行执行

2. 易用

– 针对从业务用户到数据科学家不同用户的GUI和IDE

选择

3. 企业级

– 集成Oracle数据库特性

– 企业分析应用与BI环境的无缝集成

最快的交付企业级预测分析的方法

Page 18: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Big Data SQL

FastMassive Parallelism

存储索引本地过滤最小的数据移动

You can exploit Big Data today

Use SQL to access Hadoop and beyond

You can integrate Big Data today

Use SQL to add Big Data to your apps

You can govern Big Data today

Use SQL to extend your policies to Big Data

Page 19: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Oracle NoSQL 数据库主要特性

• 简单数据模型 — 键值对(主键 + 次键模式)

• 简单操作 — 读取/插入/更新/删除

• 事务范围 — 主键内的记录、单一 API 调用

• 无序扫描所有数据(非事务)

简单数据模型

用户 ID

地址订阅

电子邮件 ID电话号码到期日

主键:

次键:

值:

字符串

字节数组

Page 20: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

利用大数据丰富客户360画像,深化客户洞察力

经常在外吃饭

上网活跃度:高

住酒店

上海

终端:iPhone

男性

28岁

爱旅游喜爱理财

经常出差

电子渠道

自驾活动

炒股微博控

爱社交

出险日志

位置信息

点击流

渠道接触

社交媒体

搜集调查

客朋记录 整合处理分析挖掘

精确推荐

维系挽留

产品设计

广告投放

内容引入

行为特征:网上购物、订阅分析报

告、搜索、邮件等

终端属性特征:手机品牌、型号等

偏好特征:美食、旅游、高尔夫、

养狗等

驾驶行为:外地自驾、常违章

基础属性特征:年龄、性别、单位等

业务服务:玻璃险、意外伤害、宠

物、投诉、订单

购买习惯:历叱购买情冴、位置出现规律、付费习惯等

险种偏好:险种、风险倾向、交易渠道等

位置信息:出没规律、出行规律、商圈级别、差旅习惯等

社交网络:交往人群、圈子、影响力

可视化

行为不风险

社会活劢

兴趌点爱好

浏览习惯和爱好

购买意向不满意度

圈子不热点

相关信息

养宠物家庭状况:

家人、亲戚、家庨资产、消费习惯等

Page 21: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

基于用户360度全面画像的精细化经营

Page 22: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据应用场景——客户信息全量分析---个性化刻画支持精确个性化服务

外部数据(微博)

传统ACRM平台

导入

客户宽表全量导入

大数据分析平台(Hadoop)

近5000万客户

全量聚类

1小时!!!

传统分类方法对个性化服务的指导意义很有限

CanopyKmeansApriori

流失预警模型

Page 23: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据应用场景——辅助ACRM进行大数据量运算,进行事件式营销

ACRM

客户信息持有产品信息信用卡概要信息

信用卡交易其他(评级,利润贡献度……)

大数据分析平台(Hadoop)

生成名单

ACRM系统

信用卡系统 • 在过去半年内没有交易发生,或者过去半年内平均每月交易数量小于3笔

• 透支消费金额大于信用卡永久额度的70%(如果名单过多,可以加上绛对数额限制,例如3万)

• 近一周发生消费(名单少可以放宽到两周)• 如果客户数过大,首先优先选择拥有本行借记卡或

其他产品的,其次优先选择拥有第三方存款账户或理财产品的,再次选择客户评分较高的

信用卡账单分期营销

营销目标唤醒沉睡或丌活跃客户

提高手续费收入

Page 24: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Sentiment

indicator

Multiple

Dimension

Influence Vs. Message

Sentiment by banks Sentiment analysis on

map

Hot words

Reputation Alert

Demo:

采集、监控和分析过去一

个月新浪微博的公共消息

• 定位事件(时间/地点/人物)

• 了解人们在事件中的感受

和评论

• 热诋统计

• 地区搜索

• 实时时间窗口监测

• …

甚至可以结合实时智能引擎

触发相应行动

大数据应用场景——监控社会化媒体,了解用户情感和品牌声誉

Page 25: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

大数据应用场景——微博与CRM集成,社会化客户服务社交媒体实时响应,提高客户满意度

Page 26: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

技术方案架构 -聆听社交媒体

Exalytics

Exadata

Big Data Appliance

Exalogic

Acquisition Organization Analysis

MDEX

REST

ETL

Public API / Clawer

Connector

OEP

HDFS

Batch Analysis

MapReduce

Oracle Loader

Full text

index

NoSQLWeblogic

MapViewer

Web Service

Stream

Service Request

NLP

Classify

Statistics

Page 27: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

金融业需要从更大的数据中发现价值

Marketing and Sales

6

3

2

8

Provide QuoteService

Customer Care

Remote Monitoring

Renewal & Recommendations

Performance Metrics

Performance Management

Content & Document Mgmt

Service Delivery and Fulfillment

Customer Care

4

9Back Office Report

Customer Interaction

Auto Mgt.

7

5 Warranty Management

1 Strategy

电子邮件

医疗档案

社交媒体

竞争对手报告

行业数据

政府报告

运维日志

天气数据

客服中心语音记录

票据影像

访谈记录

网站浏览行为

新闻

位置信息

财产评估报告

交管违章

Page 28: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Oracle大数据机成功案例

Page 29: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

成功案例: Liberty Mutual

汽车,家庭和寿险供应商

综述• Liberty Mutual需要在提高整体的客户满意度的同时,减少理赔欺诈和滥用

挑战和机遇• 现有的BI标准(MicroStrategy的)无法整合保险理赔的文本记录内容和结构化数据源

•通过提供一流的客户服务,来区分廉价供应商的竞争压力

SOLUTION• Endeca为超过1000万人的活跃个人市场索赔提供了一套跨结构化和非结构化数据的全景视图

•针对单个索赔360度的视图可以更快,更准确地识别欺诈和滥用索赔•前台理赔分析师可以迅速访问非结构化数据,提高手机在线客户的响应速度和满意度

RESULTS

• Initial go-live 10/21/2011• internal launch Q1 2012

Page 30: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

汤森路透 – 更有效的交叉销售和增加销售基于客户行为的更好精准推荐

技术考虑

•分析海量客户行为日志

•日志非结构化,数据价值低

•客户分类模型精准推荐

•海量在线实时精准推荐

•稳定健壮企业级端到端平台方案

业务目标

•最大化的增加销售和交叉销售

•更精准的有效的推荐销售

•成本更低,降低复杂度

Page 31: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

确定交叉销售和增加销售的机会

解决方案

经济的捕获所有的客户行为日志

Oracle Big Data Appliance和Oracle NoSQL Database轻松满趍每秒5千万消息的输入和处理

数据高速加载到Exadata数据仓库

通过Oracle Advanced Analytics在Exadata数据仓库上实现客户分类和利润分析

在Oracle Exalytics上做更深度的精准分析和销售统计

Rick KingChief Operating Officer for TechnologyThomson Reuters

“Oracle's engineered systems… are geared toward high performance big data delivery -and that is exactly the type of work we do”

BDA Exadata Exalytics

EDWSandbox & DR

Event Capture & Store

Interactive Analytics

Research Applications

增加销售/交叉销售

Page 32: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

甲骨文能力之一:完整的CXX框架Only Oracle Delivers an End-to-End Customer Lifecycle Solution

S

O

C

I

A

L

Experience Applications (CX)

Operational Applications (CRM)

Master Data Management (MDM)

I

N

S

I

G

H

T

Direct SalesAgency/Branch Customer Care

co

llec

tive

inte

lle

ct

CRMRTD

Customer HubProduct Hub

BI

OPA

Page 33: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

Oracle云计算数据基础设施

甲骨文能力之二:完整的企业基础设施架构

海量管理能力 多结构 高可用 水平扩展 按需服务

并 行 架 构

企业应用

应用中间件云平台

ORACLEExaLogic

(应用网格)

SOA云服务支撑平台

集成SOA

流程管理BPM

安全性Identity

用户交互Web

JAVA开源

应用中间件

核心业务数据

大数据

海量,多结构变化快,低密度PB+ 级

多结构非关系模型

结构化关系模型

C-level

实时BI

OLTP百TB+级

价值数据提练上移

热点数据上移

•ODI For Hadoop•Oracle Hadoop Loader•Oracle NoSQL•Hadoop MapReduce

•混合列压缩•智能扫描•Flash Cache•RAC•Advanced Analytics

内存数据库内存列压缩Essbase in MemoryOBIEE Foundation

Page 34: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big

地理信息平台

态势绘制不展示Oracle大数据解决方案

内容 获取 组织 分析 决策

Hadoop

Open Source R

Oracle NoSQL

Database In-D

atab

ase

An

alyt

ics

Data

Warehouse

Oracle

Advanced

Analytics

Oracle

Database

BIEE+

EssBase

TimesTen

Endeca

Oracle Data

Integrator

Oracle Big Data

Connector

Page 35: Big Data - Are You Ready - Oracle Cloud...You can integrate Big Data today Use SQL to add Big Data to your apps You can govern Big Data today Use SQL to extend your policies to Big