东航实时数据平台 - oracle · 业务痛点. 航班计划. 收益管理. 销售....
TRANSCRIPT
![Page 2: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/2.jpg)
目 录
一、东航介绍 二、项目介绍
三、项目POC测试 四、解决方案 五、上线运行情况
2
![Page 3: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/3.jpg)
一、东航介绍
3
![Page 4: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/4.jpg)
旅客运输量:全球第5
机队规模:全球第9
飞机架数:近502架
每天航班量:超过2000班
航线网络通达187个国家
1024个城市
全球约8万名员工
资产规模:约1312亿元
PVG
LHR CDG
AMS
FRA
MEL
LAX
JFK
YVR
东航自营航线 依托天合联盟进行代码共享航线
《WPP》最具创新力中国公司25强 《财富》中国最具价值品牌50强
东方航空介绍
![Page 5: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/5.jpg)
东航愿景
打造世界一流的现代航空服务集成商
“精准、精致、精细、精彩”的服务理念
产品转型 从卖座位到卖服务
服务
集成商
服务转型 从规范化到个性化
5
![Page 6: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/6.jpg)
东航IT战略规划
6
客户网
营销网 服务网
管控网
运行网
旅客
航班 飞机 设备 人员 产品
电商平台
运价 收益管理 CSM
ERP
AOC
MRO HCC
物流网 (新业务)
航班
飞机
构建整合的6张网应用架构,支持全流程服务和一体化运营
管控网
![Page 7: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/7.jpg)
东航IT战略规划
7
客户产品数据中心
营销 数据洞
察
服务
ECIF
客服 CC
电商 数据
生产运行数据中心
运控 AOC
服务
HCC
机务 MCC
管控 规划
构建集成的企业数据模型、整合为两大高度集成的东航数据中心
每个数据中心组成:实时交易数据库+分析型数据仓库
![Page 8: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/8.jpg)
8
二、项目介绍
![Page 9: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/9.jpg)
航班计划 业务痛点 收益管理 销售 运行保障 地面服务 客舱服务
对外
对内 难以及时调整销售策略;
难以进行精准营销;
难以实时航班监控、餐食机供品精确预配、旅客自动保护
部分贵宾服务的准备不够充分;
个性化服务体验不好;
非及时的航班变更通知、值机提醒通知、中转提醒等
非实时全渠道数据,无法提供统一服务;
官网 移动APP ECIF
自助值机 中转 移动客舱
贵宾室 运行网 不正常航班
营销洞察 座控决策
9
项目介绍
大数据营销
业务痛点—缺乏订座和离港实时事件数据,场景应用不实时
![Page 10: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/10.jpg)
系统痛点—关系复杂、难扩展、难以满足业务发展需求
10
项目介绍
订座
离港
电商
不正常航班
ECIF
B2M
营销洞察
座控决策
贵宾室
HCC
数据获取 操作方式 问题
Eterm仿真 定时指令提取 实用配置资源多、数据非实时、稳定性差
航信每日标准数据文件 批量处理 每日提供一次,无法适应
新业务需要
![Page 11: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/11.jpg)
航信提供五类实时数据,更好地服务于营销和运行
11
项目介绍
INV:座位存量
PNR:旅客订座
TKT:旅客出票
DCS:离港航班和旅客
SCH:航班计划
![Page 12: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/12.jpg)
12
项目介绍
消息数据量大,需要高速接收的数据库和处理平台
数据类别 \项目
平均消息长度
高峰条数
高峰吞吐量(字
节)
每日条数
每日吞吐量(字
节)
DCS-FLT 2K 240 480K 210万 4.2G
DCS-CKI 3K 240 720K 150万 4.5G
PNR 5K 215 1.1M 250万 12.5G
INV 8K 300 2.4M 480万 38.4G
TKT 5K 400 2M 140万 7G
SCH 2K 5 10K 200 <0.1G
合计 650 3.2M 1230万 77G
原始XML消息:
![Page 13: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/13.jpg)
13
项目介绍
消息数据量大,需要高速接收的数据库和处理平台
离港 • 峰值:1200条/秒 • 日累计:1800万条,预计3.5G存储
订座 • 峰值:9000条/秒 • 日累计:1.7亿条,预计22G
合计 • 峰值:10200条/秒 • 日累计:1.8亿条,预计25.5G
解析XML后:
![Page 14: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/14.jpg)
14
项目介绍
评估后的指标要求
SQL IOPS:20,000
SQL MBPS:15G/s
Storage Capacity:40T/year
Streams Capability:600/s
![Page 15: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/15.jpg)
必要性:建立新平台,满足不断发展的业务需求
15
离港数据 DCS
座位存量 INV
旅客订座 PNR
航班计划 SCH
旅客出票 TKT
实时数据处理平台
项目介绍
WEB服务 批量数据 服务 消息服务
![Page 16: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/16.jpg)
16
三、项目POC测试
![Page 17: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/17.jpg)
17
项目POC测试
测试场景
1.数据采集 XML解析入库 解析,然后插入到数据库
定时ETL 定时处理采集数据,生成旅客概要
2.单用户查询 单表查询、大表关联、聚合计算
执行单SQL操作
3.多用户混合负载 1、8、16、32个4种并发用户
分别提交5、40、80、160个SQL
4.模拟生产运行 数据采集和混合负载同时运行
![Page 18: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/18.jpg)
18
项目POC测试
参与测试的平台,运行Oracle数据库
1.Oracle Exadata X4-2 1/4 Rack
2.IBM PureFlex 260 (RAC of 2 node)
VS
![Page 19: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/19.jpg)
19
项目POC测试
测试结果:Exadata Win!
Exadata X4-2 IBM PureFlex
数据采集 XML解析入库
675个消息/秒, 555Procs/s
250个消息/秒,20Procs/s
定时ETL 3分14秒 30分钟仍未结束
单用户及负载
单表查询、大表关联、聚合计算,1、8、16、32个4种并发用户
36分钟完成 180分钟只完成1/5
模拟生产运行
1小时27分钟 5小时只完成1/5
![Page 20: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/20.jpg)
20
四、解决方案
![Page 21: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/21.jpg)
21
业务解决方案
解决方案
机供品
不正常航班管理
中转服务
贵宾室
ECIF
营销数据集市
座控决策支持
运行网
现场保障
离港数据DCS
座位存量INV
旅客订座PNR
航班计划SCH
旅客出票TKT
移动APP
![Page 22: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/22.jpg)
22
解决方案
系统架构
![Page 23: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/23.jpg)
23
解决方案
数据流处理逻辑
![Page 24: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/24.jpg)
24
解决方案
网络部署架构
生产Exadata环境:X5-2 ½配,测试备份Exadata环境:X5-2 ¼配
![Page 25: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/25.jpg)
五、上线运行情况
25
![Page 26: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/26.jpg)
26
解决方案
疑问:以下压力是否会超负荷?
每秒1万条并发插入
同时,每秒650个存储过程调用
而且,外部系统50个并发读访问
而且,TB级大IO批处理作业运行
![Page 27: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/27.jpg)
27
解决方案
目前上线约1/3,负载情况
数据量10TB,每秒: • 执行SQL16,000多次 • 事务数1400多 • 8MB/s日志大小,意味着30GB/小时
![Page 28: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/28.jpg)
28
解决方案
我们发现
• DB Server CPU:<10%
• Storage CPU: <10%
• IOPS:16000
• MBPS:150MB
生产Exadata 提供的能力还有很大空间可以优化利用: • IOPS(1.3M Flash + 16K Disk) • MBPS(70GB/s Flash + 10GB/s Disk)
![Page 29: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/29.jpg)
1.按月分表空间存储,只读历史月份数据
29
解决方案
目前性能改进点
2.临时表空间使用FLASHCACHE
3.启用WRITE-BACK FLASHCACHE 正在实施…
4. 大表使用本地索引 即使有主键,主键结合分区键作为新主键
![Page 30: 东航实时数据平台 - Oracle · 业务痛点. 航班计划. 收益管理. 销售. 运行保障. 地面服务. 客舱服务. 对外. 对内. 难以及时调 整销售策略 ;](https://reader034.vdocuments.site/reader034/viewer/2022042508/5f517a90227e5209486adcd8/html5/thumbnails/30.jpg)
谢 谢!