第二章 网格体系结构

龚 斌山东大学计算机科学与技术学院

山东省高性能计算中心

什么是体系结构 ?Architecture

• 各个组成部分的搭配和排列• 建筑物上承载重力或外力部分的构造• 建造的艺术或者科学（ The art or science of buildi

ng ）• 建造的方法或者风格（ a method or style of buildi

ng ）• 计算机或者计算机系统各部分组织与集成的方式（ the manner in which the components of a computer or computer system are organized and integrated ）

Art and Architecture

What’s the difference between Art and Architecture?

Lyonel Feininger,Marktkirche in Halle

Art and Architecture

What’s the difference between Art and Architecture?

Notre Damede Paris

内 容

• 五层沙漏结构

• 开放网格服务体系结构 OGSA

– Open Grid Service Architecture

• Web Service 资源服务框架 WSRF

– Web Service Resource FrameWork

网络计算体系结构的发展• 网格计算体系结构

– 层次体系结构– 开放网格服务体系结构 OGSA– OGSI→WSRF （ WS － Resource Framework ）

八十年代中后期 2004

自治多域服务联合计算九十年代中期 2001 2002

多层网格体系结构

开放网格服务体系结构 OGSA技术体系 OGSI

OGSA技术体系 WSRF

元计算 计算网格

Grid 的主要问题• 在动态变化的、多机构组成的虚拟组织（ VO)

内的协作资源共享和问题求解

1. 允许分布的服务和资源集成2. 采用通用的协议和基础支撑3. 获得较好的QoS服务

一个虚拟组织例子 : CERN’s Large Hadron Collider

1800 Physicists, 150 Institutes, 32 Countries

100 PB of data by 2010; 50,000 CPUs?

Grid Communities & Applications:Data Grids for High Energy Physics

Tier2 Centre ~1 TIPS

Online System

Offline Processor Farm

~20 TIPS

CERN Computer Centre

FermiLab ~4 TIPSFrance Regional Centre

Italy Regional Centre

Germany Regional Centre

InstituteInstituteInstituteInstitute ~0.25TIPS

Physicist workstations

~100 MBytes/sec

~100 MBytes/sec

~622 Mbits/sec

~1 MBytes/sec

There is a “bunch crossing” every 25 nsecs.There are 100 “triggers” per secondEach triggered event is ~1 MByte in size

Physicists work on analysis “channels”.

Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server

Physics data cache

~PBytes/sec

~622 Mbits/sec or Air Freight (deprecated)

Tier2 Centre ~1 TIPS

Tier2 Centre ~1 TIPS

Tier2 Centre ~1 TIPS

Caltech ~1 TIPS

~622 Mbits/sec

Tier 0Tier 0

Tier 1Tier 1

Tier 2Tier 2

Tier 4Tier 4

1 TIPS is approximately 25,000

SpecInt95 equivalents

www.griphyn.org www.ppdg.net www.eu-datagrid.org

网格技术挑战• 网格体系结构和网络计算模型

– Internet 活动规律和特性• 网格计算的资源共享和协同的基础理论

– Agent ？– 协同优化理论？

• 标准和协议体系• 建立一个开放的信息处理基础设施平台

– 一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统基础平台

– 屏蔽异构平台、异构语言

网格技术挑战（续）• 虚拟组织的管理和协同工作

– 基于服务的协作集成技术等；– 多个系统的协调和集成– 服务和应用的自治管理和优化– 自动配置和部署

• 网格的高可靠和可用性技术– 资源多层次和多方面的异构性– 系统状态的不确定性 – 异构分布的环境高可靠的保证– 单点失败不导致系统崩溃

• 网格的安全机制和可信技术– 多域的安全问题– 访问控制模型– 可信技术

网格技术挑战（续）• 高度灵活的共享关系定义和共享资源的复杂高级控制– 细粒度访问控制、代理– 灵活，可应付许多资源类型和共享方式– 可扩展大量资源、许多的参与者和程序模块

• Ｑ o Ｓ的调度和联合分配• 记帐技术• 各个站点同时履行资源分配的合约，具有事务性原则

网格技术挑战（续）• 海量分布数据的存储、分发、访问和管理– 高速透明访问多个地点的海量存储系统– 统一的数据操作和管理空间– 结构化数据访问和管理– 非结构化数据访问和管理– etc

• 网格资源与服务的发现、组织和调度与管理的方法和算法

• 在线设备的数据自动注释和分类目录

网格技术挑战（续）• 高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线（如下图）

• 高速系统的精确监控– 对于算法分析、问题监测和动态自适应配置非常重要– 资源、系统、应用的监控

• 网格系统的自治管理技术– 灵活的、自治的资源管理（自动的服务器重启、数据迁移、拥塞避免等）

流水线举例（指令）

取指 分析 执行

k K+1

k

k

K+1

K+1

K+2

K+2

K+2

部件

分析

取指

执行

时间

网格技术挑战（续）• 网格的编程模型和语言

– 我们需要突破传统的程序设计和并行程序设计语言与编程模型

– MPI － G ？• 网格环境下网格服务的应用形态和高层 shell 语言• 网格工作流语言和机制

– 面向服务的工作流？– 多域环境下的工作流

• 网格系统的自适应技术和机制– 应用系统在异构分布环境中优化执行；

• 基于构件技术的网格应用开发环境和工具• 面向应用领域的基础支撑工具和服务。

对体系结构基本要求在技术上，从应用的角度看：• 不能破坏现有系统，不能重蹈覆辙（分布操作系统 ）

• 为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统

• 不导致应用程序的重新编写– 移植简单

对体系结构基本要求 不同组织之间的资源共享互操作是必不可少的

– 对资源直接访问，不单单是文件共享和交换– 体现在各种资源构件之间和机制之间

• 标准的协议是至关重要的– 允许跨节点的 interoperability互操作– 允许 shared infrastructure 共享设施

需要标准的协议、服务是重要的

• 标准的 APIs/SDKs是重要的– 允许应用可移植– 没有标准协议互操作很难 (every SDK speaks ever

y protocol?)

• 基本服务的定义– 可共享，避免重复开发和安装– E.g., one port/service/protocol for remote access to co

mputing, not one per tool/application

– E.g., Certificate Authorities: expensive to run

网格与 WWW 工作方式的区别

www Grid

服务器的驱动

先后驱动，同时只有一个 同时驱动

客户与服务器

界限明显 界限不明显

客户端 浏览器 不限制，客户端多样化

资源 网页，数据库 计算、存储、软件、仪器等

网格的层次• 分布式资源

• 网格系统

• 网格用户

Classic Grid Architecture

Database Database

Netsolve

Computing

SecurityCollaboration

CompositionContent Access

Resources

Clients Users and Devices

Middle TierBrokers Service Providers

Middle Tier becomes Web Services

网格的多方参与性• 资源的的归属于不同的管理域• 资源种类繁多，接口和使用方式不同• 网格的建设需多方参与• 网格用户的多样性• 一个网格用户要在多个资源上活动

分布式系统与网格特征 分布式系统 网格

开放性 需求和技术有一定确定性、封闭性

开放技术、开放系统

通用性 专门领域、专门技术 通用技术集中性 统一规划、集中控制 自然进化、非集中控制使用模式 主机终端、 C/S 服务模式标准化 领域标准、行业标准 通用标准（ + 行业标

准）平台性 应用解决方案 平台或基础设施

网格的协议层次

Internet 协议（ HTTP,FTP,SMTP,… ）

XML 协议（ SOAP,WSDL,… ）

网格系统（系统软件，工具集， API,… ）

网格应用

通信与安全管理

网格系统的基本管理功能

界面管理

资源管理

作业管理

数据管理

信息管理

公共管理

网格系统的基本管理功能（续）

• 信息管理：为网格中的活动提供依据• 资源管理：管理资源• 数据管理：管理数据的存储、表示和副本• 通信与安全管理：活动合法，信息通达• 界面管理：用户与网格的接口• 作业管理：作业的执行管理• 公共管理：用户的管理，系统监控，记账等

网格的层次结构• 面向协议的网格层次结构

• 面向服务的网格层次结构

面向协议的网格层次结构

Internet （分布式资源， Internet 协议 ,… ）

网格协议（描述，表示，组织 ,… ）

网格软件（系统软件，工具集，…）

应用接口（ API ，命令，开发语言，…）

网格应用

面向服务的网格层次结构

Internet （分布式资源， Internet 协议 ,… ）

服务协议与标准（描述，发现，访问，…）

基本服务

通用服务

应用支持环境

网格应用

网格体系结构设计• 在技术上，从 Grid 实现者的角度：

– 一个层次型中间件服务集合（ like 现行的系统）– 按照现代软件系统的设计原则，以服务的方式为应用工具和应用的开发提供支持；

– 服务的实现必须能够自由地使用各个层次上的功能和服务进行构造。（这和许多系统的设计原则不同）

Grid “ 体系结构”• 从标准协议、服务角度分析 Grid 系统

• 结果是一个层次协议体系结构

• 五层沙漏体系结构– Ian Foster 等描述了一种具有代表性的体系结构

沙漏结构设计原则• 保持参与的开销最小

– 核心协议较少的，要普遍支持– 提供一些核心服务为基础– 类似 OS 内核，移植方便

• 管辖多种资源，允许局部控制

• 用来构建高层的、特定领域 的应用服务

• 支持适应性• “IP hourglass” model

Diverse global services

核心服务

Local OS

A p p l i c a t i o n s

高 层 功 能 向瓶 颈 部 分 的映射

瓶 颈 部 分 功能 向 底 层 的映射

瓶 颈 部分

Hourglass （沙漏）

并行作业执行系统

What is Nexus ?

• Nexus is a library providing the multithreaded communication facilities required to implement advanced languages, libraries, and applications in heterogeneous parallel and distributed computing environments.

• Its implementation supports multiple communication protocols and resource characterization mechanisms that allow automatic selection of optimal protocols.

Grid Architecture比较 Internet Architecture

Application

构造层 Fabric“Controlling things locally”: Access to, & control of, resources

连通层“Talking to things”: 通讯 (Internet protocols) & 安全

资源层 Resource“ 共享单个资源” : 协商访问 , 控制使用

聚合层 Collective“ 管理多个资源” : 无处不在的底层基础服务 services

应用层“Specialized services”: 面向用户或面向应用的分布式服务 services

InternetTransport

Application

Link

Inte

rnet P

roto

col

Arc

hite

ctu

re

每一层存在的协议、服务和接口

Languages/Frameworks

Fabric Layer

Applications

Local Access APIs and Protocols

Collective Service APIs and SDKs

Collective ServicesCollective Service Protocols

Resource APIs and SDKs

Resource ServicesResource Service Protocols

User Service ProtocolsUser Service APIs and SDKs

User Services

Connectivity APIs

Connectivity Protocols

详细构成 工具与应用

目录代理诊断与监控等

资源与服务的安全

访问

应用层

汇聚层

资源与

连接层

各种资源，比如计算机，存储介质，网络，传感

器等

构造层

网格工具包 Globus Toolkit Making Grid computing a reality

• 主要组成部分– 资源管理– 信息服务– 数据管理

安全

Grid 体系结构各层说明• 构造层 (Fabric)：提供一套对局部资源控制的工具和接口；– 计算、存储、网络、数据和目录等– 对所控制的共享资源进行局部管辖和调度– 实现各种资源本身的一些控制管理机制– 不同类型资源不同的控制管理机制

Linux Cluster资源和作业管理系统 (OpenPBS)

SGI资源和作业管理系统

IBMp690资源和作业管理系统 (Loadlevel)

特定构造层资源及其功能特性构造层资源举例 功能特性

计算资源 启动程序，监控和控制进程的执行，控制进程资源分配的管理机制，提前预留机制，查询功能 .

存储资源 存放与获取文件的机制，第三方高性能传输方式，读写文件子集机制，远程数据选取与归约机制，对分配用于数据传输资源的控制管理机制，提前预约机制，查询功能 .

网络资源 对网络传输资源的管理机制，查询功能（用来得到网络特性和负载） .

代码库 源代码和目标代码管理机制，比如 CVS 控制系统 .

目录 目录查询与更新操作机制，比如关系数据库

Grid 体系结构各层说明• 连通层 (connectivity): 定义了 Grid 网络事务处理的通信和验证协议，基于 Internet 协议；– 基于 Internet 协议，完成通信；– 认证和安全通信

连接层安全认证特性特点 描述

单一登陆 用户只需登陆一次，就可以以该身份访问不同的构造层网格资源，不需要对不同的资源多次重复登陆，也不需要用户进一步介入 .

代理 用户必须有让程序以自己身份运行的能力，因此程序就能够访问用户认证的不同资源 .该程序还能够有条件将它的部分权限授予另一个程序（受限制的代理） .

与局部安全方法的集成

不同的资源可以使用其局部的安全方案，但是网格安全方案必须与那些局部的方案进行互操作 . 不要求网格安全方案完全代替局部安全方案，但是它必须能够实现向局部安全的映射 .

基于用户的信任机制

用户可以使用多个提供者提供的资源，但并不是要求资源提供者在安全环境中协同操作或互操作 .即如果一个用户有权使用站点 A 和 B 的资源，用户能够将 A 和 B 的资源结合起来使用，并不要求 A 和 B 的安全管理相互作用 .

Grid 体系结构各层说明（续）• 资源层（ Resource)：定义了一些对单个的资源共享操作协议– 定义了某类资源的管理和操作等的标准协议和接口– 可以远程统一的访问和共享操作资源– 如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；

例如：标准的作业管理系统接口和标准例如：标准的作业管理系统接口和标准

资源层的协议类型与描述协议类型 描述信息协议 得到资源的结构和状态信息，比如配置，当前负载，使用

策略等 .

管理协议 通过判断访问共享资源，指出资源需求以及执行的操作 .初始化共享关系，保证要求的协议操作与底层共享资源提供的共享策略一致 .还要考虑记账和付费的问题，协议还可能需要具有监控操作的状态并控制某些操作的功能 .

Grid 体系结构各层说明（续）• 聚合 (Collective)：提供多个资源协同工作

– 联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；

例如：标准的作业管理系统接口和标准

联合分配

汇聚层服务和协议服务与功能名称 描述

目录服务 允许虚拟组织参加者发现存在的资源或者是存在的资源的特性，允许用户根据名字或者属性来查询资源 .

协同分配，调度以及代理服务

允许虚拟组织参加者申请一个或者更多的资源，并且在相应的资源上进行任务调度 .

监控和诊断服务 用于监视虚拟组织资源的失败，恶意的攻击，入侵检查，过载等等 .

数据复制服务 支持虚拟组织存储，网络与计算的管理，按照响应时间，可靠性，费用等标准优化数据访问性能 .

网格支持下的编程系统

可以才网格中提供熟悉的编程模型，使用不同的网格服务解决资源发现，安全，资源分配以及其它问题 .

负载管理系统与协同分配工作框架

提供描述，使用以及管理多步，异步以及多组件工作流 .

软件发现服务 基于求解问题的参数发现和选择最好的软件实现和执行平台协作服务 用于潜在较大的用户社团内的协同交换信息，包括同步和异

步两种方式 .

Grid 体系结构各层说明（续）

• 应用层：提供 Grid 的系统开发和应用开发工具、环境– 程序设计语言和应用开发方法、环境– 可视化工具– 资源发布和预定工具– 工作流管理工具– Portals– 应用代码构件– 应用

五层结构应用 例 1

应用层 多科学模拟 光线追踪汇聚层（面向问题）

联合求解器，分布式数据文档

检查点，作业管理，故障避免，分段运输

汇聚层（通用）

资源发现，资源代理，系统监控，社团授权，收回证书

资源层 访问计算，访问数据，访问系统结构，状态与性能信息连接层 通信（ IP ），服务发现（ DNS ），认证，授权，代理构造层 存储系统，计算机，网络，代码库，目录

五层结构应用 例 2应用层 高吞吐率系统

汇聚层（面向问题）

检查点，作业管理，故障避免，分段运输 .

汇聚层（通用） 代理，证书授权 .

资源层 计算访问，数据访问 , 网络性能访问 .

连接层 通信，服务发现（ DNS ），认证，授权，代理构造层 存储系统，调度

五层结构应用 例 3应用层 特定科学的数据网格应用

汇聚层（面向问题）

移植性控制，选择复制，任务管理，虚拟数据目录，虚拟数据代码目录 .

汇聚层（通用） 目录复制，复制管理，协同分配，证书授权，元数据目录 .

资源层 数据访问 , 计算访问 , 网络性能访问 .

连接层 通信，服务发现（ DNS ），认证，授权，代理构造层 存储系统，机群，网络，网络缓存 .

RequestPlanningServices

Discipline-Specific Data Grid Applications

Communication, service discovery (DNS) , authentication, delegati on

Application

Collective

Resource

Connectivity

FabricStorageSystems

ComputeSystems

Networks Catalogs

ReplicaSelectionServices

ReplicaManagement

Services

CommunityAuthorization

Service

CodeRepositories

StorageMgmt

Protocol

ComputeMgmt

Protocol

NetworkMgmt

Protocol

CatalogMgmt

Protocol

CodeMgmt

Protocol

ServiceReg.

Protocol

EnquiryProtocol

OnlineCertificateRepository

InformationServices

CoallocationServices

DistributedCatalogServices

ConsistencyManagement

Services

SystemMonitoringServices

ResourceBrokeringServices

UsageAccounting

Services

RequestManagement

Services

Repositories

Knowledge

Foster, Kesselman, Architecture抽象层次

Layered ArchitectureApplications

Core ServicesMetacomputing Directory Servic

e

GRAMGlobus

Security Interface

Replica Catalog

GASS

GridFTP

Local Services

LSF

Condor MPI

NQEPBS

TCP

AIXLinux

UDP

High-level Services and Tools

Cactus Condor-GMPI Nimrod/Gglobusrun PUNCH

Grid Status

I/O

Solaris

DRM

Open Grid Architecture

Data HandlingSystems

StorageResources

API that provides“glue” to underlyingstorage, QoS, etc.[GASS, IBP, SRB]

RemoteProcedureExecution

DPSS, DFS, NFSHPSS, ADSM, DMF, Unitree, NASstore, DB2,

Oracle, Informix, Sybase, O2, ObjectStore, Objectivity

API that provides “glue” to underlying data handling systems (security, scheduling, QoS, access protocol, data format/model, adaptivity, info d

iscovery, location control)Data ModelManagement

Application

StorageSystem

Description

InformationDiscovery

ArmadaD’agents,FEL, ADRGRAM,

SRB

+ authentication+ authorization

DynamicInfo

DiscoveryGloPerf, Netlogger

, NWS

(e.g., filtering)Condor, GASS, NILE,

SRB, I-2 caching, ADR

DTD, ADR, object class

LDAP, Database, Flat file, Object database

网格技术• 网格层次结构的划分

五层沙漏结构的缺点

不够抽象 -〉服务