国家气象局 气象信息架构 - oracle · 监控信息采集和展现,支...
TRANSCRIPT
<Insert Picture Here>
国家气象局
气象信息架构劳虎 Tiger Hsiao大中华区 首席解决方案架构师
3
业务需求 - 新一代天气雷达信息共享平台 (WRISP)
1. 建立分布式气象信息共享业务系统,提供天气雷达资料在内的、涵盖综合气象探测数据和信息产品的高质量共享服务
业务挑战 技术需求
1. 服务虚拟化,目录管理和服务异地请求
2. 自动化业务流程流转,支持跨系统和闭环优化
5. 实现统一的用户身份管理,用户认证和授权访问,支持跨系统单点登录
4. 实现统一的用户访问管理和个性化的内容展现,业务处理
3. 实时进行业务和技术框架监控信息采集和展现,支持手工/自动异常处理流程
4. 满足气象、水利、民航、国防等相关行业,以及社会个领域、各层次用户对天气雷达资料共享需求:实时,全面,有效;提供WEB检索应用服务
2. 根本改变部分气象数据流程混乱的情况,改变对部门内外气象资料服务情况,尤其是实时资料的高质量数据实时服务,建立数据从采集到服务全过程的规范业务流程
3. 建立业务监控系统,实现统一的系统业务监控与统计分析体系,提供异常处理、业务监控和监控信息分析,实现关键指标如错报量,重复资料量,订购服务订单量、共享分发及时率等实时业务监视和统计分析
5. 建立安全系统,提供统一的安全保护,为应用系统提供安全的网络运行环境
4
技术需求
1. 服务虚拟化,目录管理和服务异地请求 服务总线
业务流程引擎2. 自动化业务流程流转,支
持跨系统和闭环优化
企业门户框架4. 实现统一的用户访问管理
和个性化的内容展现,业务处理
业务活动监控3. 实时进行业务和技术框架
监控信息采集和展现,支持手工/自动异常处理流程
身份管理5. 实现统一的用户身份管
理,用户认证和授权访问,支持跨系统单点登录
参考架构
业务需求 - 新一代天气雷达信息共享平台 (WRISP)
5
总结欧美国家气象信息平台近几年的发展趋势
• 原有的操作平台基本上相当坚实,但难以满足未来的操作需求
• 原有架构难以应付以下挑战: 越来越大的数据量、更多协作需求,和需要缩短从科研到作业的转换时间
• 需要更弹性和更稳固的基础设施
6
关键需求
• 数据交付和信息架构• 一个更弹性的数据提取模式
• 能力扩展,不再仅限于只有推 (Push) 的方式• 探索利用OpenDap 科技,作为推+拉 (push-Pull) 的模式基础
• 可视化• 为数据和产品可视化提供一个统合的基础
• 协作• 为单位内部,和与外部可靠的合作伙伴间的服务协作,提供基础设施
• 信息生成
• 生成气象产品及服务的平台进行统一和标准化
• 能更快地采用、整合新的信息传播技术
• 对客户驱动的产品变更,能更快地响应
7
分析/熔合
Quality ControlRetrieval of Unobserved
QuantitiesCreation of Gridded Fields
预测/侦测
PCs to Teraflop Systems
产品生成,展现, 播送
最终用户
局内
企业
科研人员、学生
固化观测
传统协作方式
Radar DataMobile Mesonets
Surface ObservationsUpper-Air BalloonsCommercial Aircraft
Geostationary and Polar Orbiting Satellite
Wind ProfilersGPS Satellites
整个流程完全是串行、固化方式 (事先排定):
未能对气象的变化作出响应!
整个流程完全是串行、固化方式 (事先排定):
未能对气象的变化作出响应!
8
分析/熔合
Quality ControlRetrieval of Unobserved
QuantitiesCreation of Gridded Fields
预测/侦测
PCs to Teraflop Systems
产品生成,展现, 播送
远景: 动态调适的网络基础设施
动态观测
由模式和演算法来驱动感应器
最终用户
技术挑战技术挑战: : 创建具备调适力、可伸缩性、高可用性,和实时响创建具备调适力、可伸缩性、高可用性,和实时响
应能力的网络基础设施服务应能力的网络基础设施服务局内
企业
科研人员、学生
9
从 1990 年代架构逐步转型至 2010 年架构
1990s 2010演化转型计划
操作管理经费节约
转移用于资助新架构
气象预报操作 (WFO) 为中心的架构
主系统平台间集成度低
高软件维护成本
实施操作 (RTO) 效率极低
固化的数据传送管道
支持新的操作概念
产品交付更具弹性
主系统平台集成度提高
提高 RTO 效率
数据访问能力提高,支持决策分析
降低软件管理维护成本
弹性的数据交付
10
信息共享平台
参考架构
11
气象信息共享平台参考架构 (逻辑视图)
展现/表示服务 (门户)
数据基础设施层
任务服务层
数据访问层
元数据索引
数据持久存储
企业服务总线、通信
安全服务
空间索引
水利模式
LAPS
FORTRAN/C/C++程序
外部程序
统合平台监控仪表盘
Java 数据对象
海量数据存储HDF5
数据抽象
SQLHDF5 接口
摄取服务
目录服务
产品服务
适配器服务
通知服务
订阅服务
自动创建服务
清除服务
监控 agent
用户界面
持久服务
工具服务
服务目录/注册库
档案服务
应用网格
流程服务
12
Oracle 相关中间件产品
13
Oracle Fusion Middleware 融合中间件
网格
安全
应用
内容管理/门户
BI面向服务
集成
14
Oracle Fusion Middleware 产品战略最高指导原则
• Complete 完整
• Integrated 预先整合
• Open, Hot-Pluggable 开放、热插拔
15
ESB企业服务总线
16
个性化
Portlets复合应用
共享模块
AirepBinlighteningBufruaGfeGribObsPirepRadarReccoSatelliteSfcobsShefTafText
ESB 代理服务和插件框架
摄取订阅
清除
档案
自动创建工具
企业服务总线
代理
核心服务
索引 路由
适配器通知
产品
数据类型 插件 可视化、复合式界面
门户
胖 /薄 客户端模式
17
Oracle 服务总线提供…地点透明
流程整合
服务消费者
服务供应者
应用
门户
应用
实例 2
应用 1
系统 1
流程系统 2
OSB
应用
实例 1
P
P
代理服务对实际的 endpoint 地点透明
Endpoint 端点服务的物理实现
B
B
逻辑业务服务多个物理端点的视图
18
信息平台 ESB 工作实例
消息
接收连接 格式转换
EDEX SOAService
安全检查
日志
路由流入 Pipeline
Data数据
负载均衡队列
共享工具服务
Profiler
中间处理模块
消息
加工连接转换
流出 Pipeline 路由
Data数据
ESB
• JMS• Files• HTTP• FTP• E-Mail• ***
19
ESB 做服务共享的用例、场景
• 客户用例: • 门户应用消费后台应用提供的服
务• 利用一个基于服务的桥梁架构,
来消除点对点连接所造成的紧耦合
• 需要的 ESB 特性:• 跨异构的消息骨干• 基于内容的路由 (Content based
routing)• 丰富服务功能 (“加油添醋”)• 监控和报表• 基于WS-Security 规范的安全支持
• 服务工作量管理• 消息可靠性保证• 服务合奏、编制• 支持分布在跨企业各处的服务• 服务发掘
getProduct_B getProduct_CgetProduct_A
C# 代码 C, C++ 代码Java 代码
JMS SOAP Socket
Unix / Linux.NETWebLogic / WAS
门户
20
高级整合模式平行 Action 的拆分和结合
• 进来的 payload 可拆分成多个服
务调用
• 多个服务响应可聚合成一个payload
• 并发 action 功能带来高度的效能
提升
Split ForEachProcessOrder
Oracle Service Bus
JoinProcessOrder
15
Order 1 Order 2 Order 3
拆分Response
1Response
2Response
3
结合
请求Payload
响应Payload
21
总部
• 全局管理的业务流程
• 本地管理的服务
ESB
Enterprise Level Services
SVC2SVC1 SVC4SVC3
ESB
SVC2SVC1
City Level Services
地市
ESB
SVC2SVC1
City Level Services
复合式应用
省级
地市
部署架构实例: 分布架构下的服务调用/协作流程集中管理,调用分布的服务
22
BPEL / BPM业务流程管理
23
业务流程管理
24
可编排系统、亦可编排人员的协作过程:工作流即服务
(1) 指派任务给某个用户/角色
(2) 等待任务完成,作为端到端流程的一部分
待办事宜
指派任务
任务完成
工作流服务
更新任务
BPEL流程
WSDL 服务契约
25
将业务规则外化:规则引擎作为决策服务
(1) 调用规则引擎,输入资料和参数
(2) 规则处理后返回结果
规则库
指派任务
任务完成
决策服务
BPEL流程
WSDL 契约
26
RETE Rules “引擎”
CA
Java FactsXML Facts
Dec
isio
nSe
rvic
e
BPEL Java 应用
/** @Foo **/method Foo(....){
Rules SDK
Rules Repository 规则库
Oracle Rule 编辑工具 客户化编辑 (结合应用界面)
客户化编辑方式
Rul
es A
PI(J
SR 9
4)
Oracle Business Rules 业务规则
决策服务 Java API
27
BAM业务活动监控
28
Business Activity Monitoring 业务活动监控监控 并 优化
29
客户名 美国联邦航空管理局 Federal Aviation Administration (FAA)
业务环境现状
产品组件 • Oracle Business Activity Monitoring (BAM)
• Oracle SOA Suite
• Oracle Enterprise Manager
• Oracle 数据库和 Times Ten 内存数据库
业务问题/期待成果
部署方式 • 实现一个面向服务的平台,来整合 FAA 的各个作业系统
• Oracle BAM 用于关联增量气象模式和空中交通模式,生成实时警
告和警示
• 全名为 United States Air Traffic Control System Manager
• 每年在全国各大机场,有超过六千二百万次个起降
• 新的飞行程序,每56天出版一次,新的变化告示,每28天发布一次
• 减少空中交通管制员使用的屏幕数
• 提高飞行控制时数据的准确性
• 通过 SWIM 项目,可支持到 2025 年空中交通量的高度增长
Public Sector: Operations
30
Oracle BAM at the FAA
31
FAA SWIM 项目拓扑
32
应用网格
33
数据中心的压力
低效 管理增长
难以预测的效能和可用性
34
如何扩展,提升服务质量?光加硬件不见得都有作用
OSJVM
应用服务器
定制应用
OSJVM
应用服务器
套装应用
OSJVM
应用服务器
服务
OS
交易中间件
C/C++/ COBOL
OS
交易中间件
遗留系统
加剧低效的问题
有限的水平扩展
效能下降
35
新趋势 新手段: 应用网格
应用网格
定制应用 套装应用 服务C/C++/ COBOL 遗留系统
成本效率 无风险水平扩展
更高的效能和可靠性
36
池子化、共享、动态调整随着世界朝服务化迁移,更显重要
应用网格
服务 A 服务 B 服务 C 服务 D 服务 E
应用 1应用 3
应用 2
37
什么是应用网格?
它 不是
x一个单一产品
x一个标准
x一个全有或全无的东西
而 是
一种方法
一种架构
一项远见
一套最佳实践
多重科技
多种产品
38
应用网格基礎核心能力
10/3/2008 ©2008 Oracle Corporation 38
1. 资源共享
应用 应用 应用 服务 服务
3. 监视行为
2. 控制分配
4. 调整分配配置管理
39
应用网格科技基础层中间件
10/3/2008 ©2008 Oracle Corporation 39
管理
Java C/C++/COBOL
应用服务器
内存数据网格
OLTP交易中间件
Java 虚拟机
40
Fusion Middleware 应用网格完整, 热插拔, 预先整合
10/3/2008 ©2008 Oracle Corporation 40
Enterprise Manager
WebLogic Operations
Control
JRockitMission Control
Tuxedo System
Application Monitor
应用服务器
内存数据网格
OLTP交易中间件
Java 虚拟机
41
Oracle WebLogic Server®效能
根据行业最公正的 jAppServer2004 效能评测
应用服务器/平台/CPU/Cores JOPS (每秒交易量) 服务器节点数
提交日期
结 果
HP-UX Integrity BL870 Server Blade Cluster, Dual Core Itanium 9100, 96 Cores 17,046 12 Sep
2008 世界纪录, 多核
HP-UX Integrity BL860c Server Blade Cluster, Dual Core Itanium 9100, 44 cores 9,459 11 Nov
2007世界纪录, 多核, 搭配数据库RAC
Dell PowerEdge 2950Xeon 5470, 16 cores 4,794 2 Aug
2008 世界纪录, 双核
HP Proliant DL580 G5Intel(R) Xeon(R) CPU X7460, 24 cores 4,410 1 Aug
2008 世界纪录, 但核
Sun SPARC Enterprise T5220 Sun UltraSPARC T2, 8 cores 2,000 1 Oct
2007 单 CPU 最佳记录
8439
14004
17046
Sun IBM Oracle
多节点结果第一
搭配 RAC 结果第一
双节点结果第一
单节点结果第一
单 CPU 结果第一
可访问: http://www.spec.org/jAppServer2004/results/
42
解耦的应用网格资源运用增加标准、简化、低成本、通用的硬件
10/3/2008 ©2008 Oracle Corporation 42
更低的成本、复杂度降低,更容易诊断故障
43
JRockit Real Time效能 和 可预测性
0
15
30
45
60
75
90
105
120
0 2000 4000 6000 8000 10000 12000 14000 16000 18000
在低负载时: 垃圾收集活动 (GC) 衝高,并不时出现逾时现象
在高负载时: GC 战停会导致无法
接受的响应时间
0
15
30
45
60
75
90
105
120
0 2000 4000 6000 8000 10000 12000 14000 16000 18000
传统 Java
JRRT 让垃圾收集变成 决定性, 使服务水平协议(SLA) 获得保障
JRockit Real Time
JRockit Real Time: 应用网格的基础组件
44
Tuxedo: 最早的应用网格动态性较以往更为出色; 充分运用 Coherence
• 在分布式便宜硬件上,达到与大机对等的服务质量 QoS
• C/C++/COBOL 程序达到>100,000 的 tps
• 通过增加/移除集群节点,达到动态水平横向扩展
• 利用 Coherence 作为内存
数据网格
适配器
交易处理
C/C++/COBOL 容器
应用
消息队列
事件出版/ 订阅
集群/负载均衡
45
应用网格的关键: 管理层次和自动化必须适当
应用网格
应用服务器应用服务器
应用
内存网格
Java虚拟机
数据库
Enterprise Management
网格管理
OS
硬件
46
跨堆栈的可视化/控制/自动化在每层都进行监控; 智能合成
Management
这个应用是否已逼近关键服务水平协议 (SLA) 临界
点?
是否需要调整这台机器的参数?
是否需要调整内存数据网格?
是否能跨所有的应用, 更佳优化网格?
应用服务器
内存网格
Java虚拟机
应用网格
47
WebLogic Operations Control将应用部署从底层硬件抽象出来
JVM 虚拟机池
多重独立的应用
需求
应用 应用 应用 应用
共享的硬件资源
供给
服务质量指标
资源要求
可用的资源
WebLogic Operations
Control
48
AAAAAABBBBBB
WebLogic Operations Control使应用需求能匹配资源供给
共享的计算资源共享的计算资源
AAAAAABBBBBB
CCCCCC
应用应用 AA 应用应用 BB 应用应用 CC
WebLogic Operations ControlWebLogic Operations Control
应用和服务元数据驱动的部署方式
多应用、多域的管理
所有的域都通过单一主控台来管理
资源分配演算法根据应用需求, 来考虑目前可用的资源如何分配
初始分配, 和后续规则驱动的动态调整
应用
需求
资源
供应
49
AA
应用应用 AA
WebLogic Operations Control保护应用的服务水平
AAAAAABBBBBB
计算资源池计算资源池
应用
需求
AAAAAA BBBBBB
CCCCCC
应用应用 BB 应用应用 CC
资源
供应
WebLogic Operations ControlWebLogic Operations Control
警报警报 警报警报
主动监视、报警
• 只要是由 WLOC 启动的服务器, 便会由它来监控, 保护
• 基于代理人 (Agent) 的框架
动态伸缩性管理
• 通过 WLOC 上定义的政策和规则来控制服务水平 (SLA)
• 持续评估规则
保护应用可用性
• 在一个计算池中作故障转移
• 跨池转移、恢复
• 规则可根据效能和高可用性进行保护
50
门户
WebLogic Portal
51
WebLogic Portal 涵盖完整的门户生命周期
Portal访客
Portal管理员
应用开发人员IT
最佳实践
J2EE开发人员
Portal管理员
开 发
界面设计人员
内容提供者
设 计
组装与部署
管 理
Portal 应用及
项目模板
Portal 模板
Web Services
业务流程
52
安全和身份管理
53
Oracle 有最完整身份管理/安全解决方案
信息安全官, 审计员最终用户 管理员
报告与分析
证明
责任隔离
诈欺侦测
强认证
基于风险的授权
联邦
自助服务
身份管理
帐号管理
组织管理
角色管理
委派管理
业务应用, HR
配置
调解
口令管理
Web 服务安全
(WS-Security)
注册库, DB
LDAP 存储
LDAP 同步
LDAP 虚拟化
DB 用户安全
应用服务器, OS
Java 平台安全
操作系统认证
Oracle 身份管理/安全平台
54
访问管理 – 运行期认证, 授权, SSO 单点登录, 联邦
认证Session 管理
用户
政策管理
联邦和 信赖
Web应用
合作伙伴应用和 Web 服务
Authorization
Web SSOeSSO
遗留应用
诈骗监控风险日志Web
Service
访问审计
55
身份管理 – 生命周期管理开通, 角色管理, 自助式服务
人力资源系统
CRM
LDAP
自助式服务自助式注册
委派管理
身份 和 角色
生命周期管理
身份同步
帐号开通
帐号同步
密码同步
基础设施
应用
DB
身份审计
56