科学数据网格和虚拟天文台 —— 进展报告

科学数据网格和虚拟天文台——进展报告

中科院计算机网络信息中心秦欣

2004 年 11 月

提纲• 科学数据网格（ SDG ）• 科学数据网格最新进展• 虚拟天文台应用的最新进展

科学数据网格的背景• 科学技术推动人类社会的发展• E － Science 使得全球性的、跨学科的、

大规模科研合作，跨越时间、空间、物理障碍的资源共享与协同工作成为可能

四大文明之指南针 工业革命的标志——蒸气机 信息时代之网络

科学数据资源的共享• 当前数据共享方式的不足（ ftp ， web ）

– 不方便（口令，得到的数据格式 /web ，异构性）– 不完整（缺乏如何使用数据的信息，关联信息，等等）– 不安全（不够安全，难于计费）– 效率低（不能按用户具体需求提供准确的数据）– 太原始（原始数据输出，没有增值服务）

• 数据网格技术– 统一访问接口– 信息服务– 安全体系– 面向学科领域的增值功能（数据挖掘等）

科学数据网格（ SDG ）• 以中国科学院科学数据库为主要基础

– 科学数据库是从 1983 年开始建设的一个大型综合性数据库群，是目前国内信息量最大、学科专业最广、服务层次最高、综合性最强的科技信息服务系统。

• 通过网格计算的相关技术，特别是数据网格技术，促进大量分布式异构数据资源的共享

• 开发对科学研究有直接实用意义的应用系统

科学数据网格资源建设情况• 数据中心

– 万亿次的计算能力

– 60TB 存储容量

• 科学数据库– 45 个建库单位– 388 专业数据

库– 13TB 数据总

量

科学数据网格数据服务架构

Internet

Internet

Oracle

SQLServer

FileSystem

mySQL

DB2

Foxpro

Information Service

……

Mem

ber Institutes

Mem

ber Institutes

Application Clients Grid Level Services

SDG 系统平台软件组成结构图

通用元数据管理工具

安全体系

通用数据管理工具

数据目录管理工具

访问控制工具包

数据访问服务

科学数据库CA 系统

数据量统计分析工具

系统平台中间件

应用服务

与工具集 存储共享

工具

网格门户

信 息 服 务 存 储 服 务

系统平台软件最新进展• 科学数据网格中间件

– 网格信息服务系统– 科学数据网格统一访问接口– 科学数据网格安全体系– 存储服务

• 科学数据网格应用工具集

网格信息服务系统 1.0 版通用元数据管理工具 2.0

版及建库单位版数据量统计工具 1.1 版网站访问量统计分析工具

系统平台软件最新进展• 科学数据网格中间件

– 网格信息服务系统– 科学数据网格统一访问接口– 科学数据网格安全体系– 存储服务

• 科学数据网格应用工具集

数据访问服务 1.0α 版通用数据访问工具 2.1 版

系统平台软件最新进展• 科学数据网格中间件

– 网格信息服务系统– 科学数据网格统一访问接口– 科学数据网格安全体系– 存储服务

• 科学数据网格应用工具集

CA 管理系统 1.0 版资源访问控制工具包 1.1 版

系统平台软件最新进展• 科学数据网格中间件

– 网格信息服务系统– 科学数据网格统一访问接口– 科学数据网格安全体系– 存储服务

• 科学数据网格应用工具集存储服务 1.0β 版

系统平台软件最新进展• 科学数据网格中间件

– 网格信息服务系统– 科学数据网格统一访问接口– 科学数据网格安全体系– 存储服务

• 科学数据网格应用工具集 网格门户……

• 实现证书颁发机构 CA （可信第三方）的密钥分配、密钥管理和证书签发、撤销等功能。

科学数据网格 CA 系统

科学数据网格 CA 系统

科学数据网格 CA 系统用户接口（ PUB ）部

分 科学数据网格 CA 系统注册中心（ RA ）部分

数据访问服务系统• 数据访问服务的范围

– 基于内容的数据发现– 查询和更新– 元数据管理和变更– 事务– 分布式查询和更新– 通知

用户

用户

用户关系数据库

数据访问服务

文件系统

XML数据库

接口透明性 :

一个 DAS支持多种数据库类型

数据访问服务系统 V1.0 结构图

Search Engine

Grid Service Interface

GetMetadata

GetData

MySQL

GlobalSchema

LocalSchema

Oracle SQL Server

User Query Application

Transform

ing P

rocessor

MappingB

uilder

数据访问服务—— MappingBuilder 的用户界面

存储服务系统• 前提——保证数据安全，数据完整，使用方便• 目的——有效利用数据中心的海量存储资源• 提供一套具有数据传输、存储管理以及配额分

配功能的存储共享工具集• 三大部分

– 文件存储服务– 数据库服务– 上网服务

存储服务架构图

GSI安全框架

用户

存储系统（ Storage System ）

操作系统（ OS ）

其它服务数据库服务 上网服务文件服务

备份

科学数据网格和虚拟天文台• 科学数据网格的一个重要研究内容是开

发示范应用系统——虚拟天文台，并提出一种科学研究领域的网格应用框架 。

• 虚拟天文台的建设将利用网格技术和科学数据网格中间件所提供的服务，实现国内天文数据的无缝透明融合，并与国际资源进行互联共享。

科学数据网格和虚拟天文台• 互联网是世界上最好的望远镜• 天文数据为网格技术提供了很好的测试

平台

IRAS 100ROSAT ~keV

DSS Optical

2MASS 2 IRAS 25

NVSS 20cmWENSS 92cm

GB 6cm

计算资源 数据资源软件平台

SDSS

(美国 )LAM

OST

( 中国 )

可视化、

数据挖掘

传感器、数据源

高速网络

虚拟天文台最新进展• 整理接近 200G 的天文数据• Hipparcos星表、 Tycho2星表和 2mass星表导入的数据库系统集成到科学数据网格；

• GSC_1.2星表检索网格服务• USNO_A2星表检索网格服务• DSS 图像检索网格服务

示例•银河系铁元素丰度梯度的统计分析• GSC星表译码和查询功能的网格服务• USNO-A2星表查询功能的网格服务

银河系铁元素丰度梯度的统计分析• 铁元素丰度梯度统计分析是虚拟天文台

应用系统中在大量数据资源的基础上开展深层次的分析和处理的一个示例。

• 完整的网格应用系统 – 注册服务– 数据服务– 恒星轨道计算服务– 可视化服务

银河系铁元素丰度梯度的统计分析• 数据服务

– 网格环境下银河系铁元素丰度梯度统计分析示例的数据源是两个异构的数据库，一个采用 Postgres数据库管理系统，存储恒星的化学元素丰度信息，一个采用MySql数据库管理系统，存储恒星在银河系中初始的位置及运动速度。这两个数据库分布在两台计算机上。通过网格数据服务分别对这两个数据库进行封装。

银河系铁元素丰度梯度的统计分析•恒星轨道计算服务

– 利用银河系质量分布模型导出的银河系引力场函数拟合出恒星样本在银河系中的运行轨道，把计算得出的最大银心距（ DGmax）、最大银盘径向距（ Rmax）、最大银盘法向距（ Zmax）作为恒星样本的动力学参数，有利于真实反映银河系演化的过程。

银河系铁元素丰度梯度的统计分析

HD MaxDG MinDG MaxR MinR MaxZ MinZ

400 9.417724979 7.359853302 9.417712117 7.359839485 0.02315704131 -0.02315864969

3454 12.90799519 8.180644823 12.9057315 8.175776174 0.4946127570 -0.4945968310

6834 10.63136987 8.425455728 10.62976865 8.422575452 0.3284933682 -0.3285850230

6840 8.882434716 5.668196142 8.881220688 5.666863401 0.2367993813 -0.2367939522

10307 8.758476619 6.520187255 8.758358689 6.520068895 0.06737815629 -0.06737717094

11007 11.45421300 8.14144423 11.44715744 8.123503068 0.8571721439 -0.8571155595

11592 10.10630223 6.366070751 10.10429491 6.363433894 0.341395952 -0.3415754221

19373A 10.25461737 6.657543681 10.25176439 6.653210030 0.4364442012 -0.4365446729

银河系铁元素丰度梯度的统计分析• 可视化服务

– 为了进行丰度梯度分析，对试验的样本进行线性拟合，采用 Linear Regression 算法拟合样本数据

银河系铁元素丰度梯度统计分析的可视化结果

GSC星表译码和查询功能的网格服务 • GSC （ Guide Star Catalog ）导星目录为望远镜的观测提供引导星体的信息，也是其他星表的索引。

•封装 GSC星表译码和查询功能的网格服务，为其他的天文运用提供支持，也是虚拟天文台实现的基础

GSC星表译码和查询功能的网格服务• 提供 DecodeService 和 GSCService 服务

接口• 命令行• Web 方式

DecodeService

DecodePortType

DecodeServiceGridLocator

DecodeServiceLocator

DecodeServiceSoapBindingStub

GSCService

GSCPortType

GSCServiceGridLocator

GSCServiceLocator

GSCServiceSoapBindingStub

GSC星表译码和查询功能的网格服务• 提供 DecodeService 和 GSCService 服务

接口• 命令行• Web 方式

GSC星表译码和查询功能的网格服务• 提供 DecodeService 和 GSCService 服务

接口• 命令行• Web 方式

JNI

动态链接库

WEB 服务器最终用户 GT3 服务器

请求服务 请求服务

译码服务查询服务

GSC星表译码和查询功能的网格服务用户界面

USNO-A2星表查询功能的网格服务• USNO-A2星表是由位于美国海军天文台

的一台名为 PMM的观测设备采集的天文数据的一部分。

•将这些数据资源以网格服务的使用方式提供给更多的人使用具有很重要的意义。

USNO-A2星表检索网格服务的用户界面

• DEMO!

谢谢 !