e-Science 网格的可扩展体系结构研究

1. e-Science 网格的可扩展体系结构研究 黄理灿 lchuang@cs.zju.edu.cn 浙江大学计算机学院、计算机应用专业

2. e-Science主要研究科学领域的全球合作以及与之相适应的基础体系结构，它将对未来的科学研究方式产生革命性的影响。网格（Grid）是使e-Science成为可能的基础体系结构。 本文的主要贡献有： （1） 提出了虚拟动态分层体系结构（Virtual and Dynamic Hierarchical Architecture, VDHA） ，用于解决e-Science 网格的动态和可扩展性问题。 VDHA结构综合了C/S模式和P2P模式的优点，并克服了它们的缺点。 （2） 提出了高效的可扩展的服务发现协议，包括完全查询和发现协议、领域相关查询和发现协议。 （3） 提出了基于PKI的可扩展的安全体系结构， 包括身份认证和访问控制。 （4） 提出了基于本体论的网格服务描述语言(OGSDL)。旨在服务的自动发现和自动执行。 （5） 实现了一个可扩展的网格系统原型—VDHA_Grid。 （6） 提出了应用于VDHA_Grid网格监控的模型。 （7） 提出了基于VDHA文件共享服务和虚拟学术讨论服务模型，提出了基于VDHA的异质信息共享服务和知识检索服务原型。 提 要

3. 1。目前主流网格技术Globus 和Web Service 技术其设计思想都是集中式、基于C/S模式的。具有如下问题: 管理困难、实现困难、空间复杂度困难、时间复杂度困难等等。同时，存在因单点失败引起整个系统崩溃的问题。 2。Peer to Peer具有可扩展性、容错性等特点，然而它在安全性、体系结构等方面还存在不少缺陷。 3。将目前的网格主流技术与P2P技术相结合，形成可扩展的、基于语义的网格体系结构，这是一项非常有理论和应用价值的重要工作。 可扩展的e-Science网格的体系结构的研究动机

4. e-Science 的精髓：基于网络的共享与协作。 共享：科研设施、信息、人才等的共享。 协作：共同完成某一项研究。 e-Science 历史： 2000年11月英国John Taylor 宣布1.2 亿英镑的3年计划而得名。 参加单位： 英国经济和社会研究机构（ESRC）、 英国自然环境研究机构（NERC） 英国生物技术和生物科学研究机构（BBSRC）、 英国医学研究机构（MRC）、 英国工程与物理科学研究机构（EPSRC）、 英国粒子物理与天文学研究机构（PPARC）、 英国中心研究实验室机构（CLRC） e-Science 与 网格

5. e-Science 计划： 第一阶段：开始网格研究， 进行e-Science 测试床的开发和支持工作。 第二阶段： 是使第一阶段的研究成果达到成熟和分发的使用的地步。 e-Science 与 网格

6. e-Science 与 网格 一个未来的科学研究的工作流程的场景

7. 网格 • Globus 与 Web Service

8. Peer to Peer • C/S模式 • 集中目录服务器模式 • 纯P2P模式 • 无结构 • 有结构（DHT e.g. Chord, CAN etc.)

9. E-Science 网格 • 我们把用于科学研究，其节点主要位于大学或研究机构的网格系统称之为e-Science网格。 • e-Science网格节点一般是稳定的。一般地，人们不会有意频繁地加入或退出节点。另外，节点主机一般有人负责管理。节点主机可以是从超 级计算机到PC服务器的各种性能的主机。 • 在e-Science网格中，一般相关领域的科研机构会建立虚拟组织进行某一项目的合作研究。通常，某一虚拟合作研究项目由学术带头人牵头组织。 这些虚拟组织有长期存在的组织，也有临时的组织。 • 此外，全球协作研究的方式必须建立在体系结构的自治机制上，允许节点进入和离开e-Science网格系统。 • E-Science 需要解决计算密集型的问题，　 E-Science需要解决数据密集型的问题， 　e-Science 需要解决异构的信息共享和合作问题，和解决地理上分散的知识的语义问题。所以，e-Science网格包括了计算网格、信息网格和知识网格的内容。　　 • e-Science网格不是完全无政府的，必须是可管理的。

10. 虚拟动态分层体系结构 • 虚拟动态分层体系结构（Virtual and Dynamic Hierarchical Architecture，简称VDHA） 　　　具有自主性、可扩展性、移动计算、方便权限管理，以及服务和资源的高效和精确发现等特点。 　包含核心层和周围层, 　　　核心层由网格节点所组成， 　　周围层包括台式机、笔记本、PDA、传感器和其它网络等。 　　　所有外围设备均通过有线或无线方式，经由接入节点（entrance）进入VDHA_Grid网格系统。 　　　节点的角色可以是普通节点、网关节点、协调者、接入节点和所有者节点。节点可以是其中之一或同时是这些角色中的几个。

11. 虚拟动态分层体系结构 • 定义 1 网格节点　是网格系统中的节点　 • 定义 2 接入节点（Entrancenode，符号为ent)是一网格节点，接入节　　　　　　点是用户登录进入网格系统的接入点。 • 定义 3 所有者节点（Owner node，符号为 ow)是一管理用户的网格节点。 • 定义4 用户（User 符号为user) 是利用网格系统的角色。用户仅被自己的所有者节点管理，而不是被整个网格系统管理。 • 定义 5 客户机（Client host，符号为 cli) 是用户用以登录网格和进行事物处理的设备（如台式机、掌上机、移动计算机等）。 • 定义 6 网关节点（Gateway node，符号为gn)是在几个不同层次的虚拟组织行使协调功能的节点。 • 定义 7虚拟组（Virtual group符号为VG) 为网格节点虚拟形成的组。 VGiα 表示这个虚拟组在第i层，它的名称为α。 • 定义 8 虚拟组协调者（Coordinatorofvirtual group，符号为cvg) 为在虚拟组中起协调作用的网关节点。cvgiα 是一个网关节点，他在第i层名称为α 的虚拟组中起协调者的作用。 • 定义 9 虚拟组树（Virtual group tree，符号为 VGT) 是由虚拟组形成的分层树。　 • 定义10 VDHA为至少深度为2的虚拟组树。VDHA 具有在网格节点数量、层次、虚拟组组成等方面的动态特点。

12. e-Science网格的可扩展体系结构 图1。VDHA_Grid的网络结构图和VDHA的结构

13. 网格组管理协议管理成员的申请加入或退出，以及维持VDHA的虚拟组树。协议的主要思想为：如果存在节点的变化例如加入或退出，这些变化将传至协调者节点，协调者节点将把这些变化传到此协调者节点本身所在的组的成员以及相邻两组的成员。如果网关节点需要变更，在线具有最大权值的节点将成为网关节点。 　 网格组管理协议Grid Group Management Protocol (GGMP)

14. Publish, OGSDL Service description Service registry Find, QDP, OGSDL Service requestor Bind Service provider Service Security, SGSI • Security service A Grid node 可扩展网格系统的体系结构 • 图2 可扩展网格系统（VDHA_Grid）的体系结构

15. 基于本体论的网格服务描述语言（OGSDL） 图3 OGSDL的语言层次

16. VDHA_Grid的层次结构

17. 可扩展的网格信息服务 • 完全查询和发现服务协议 Full Search Query and Discovery Protocol (FSQDP)，具有时间复杂性O(logN)、空间复杂性O(logNvg)以及消息复杂性 O(N)（N为网格节点总数，Nvg 为组节点数）。领域相关查询和发现服务协议Domain-Specific Query and Discovery Protocol (DSQDP) ，具有具有时间复杂性O(logNvg) 、空间复杂性O(logNvg)以及消息复杂性O(logNvg) 。

18. 1 。完全查询和发现协议（FSQDP） 可扩展的网格信息服务

19. 虚拟组成员个数对响应时间的影响

20. 虚拟组树层数对响应时间的影响

21. 1 。领域相关查询和发现协议（DSQDP） 可扩展的网格信息服务

22. 可扩展的安全体系结构–身份认证的体系结构

23. 身份认证－登录协议

24. Step 1: sij.send (request-creation-instance, SLMSi) • Step 2: SLMSi authenticates with SLMSk • Step 3: If the user pays for the service Skl • Right = ACP (SLMSk, user, spkl) • Else • Right= ACP (SLMSk, sij, spkl) • Step 4: If Right <> FAIL Then • SLMSk creates instance of skl; • SLMSk.send (success-create-instance, SLMSi); • SLMSi.send (success-create-instance, sij); • Else • SLMSk.send (fail-access-service, SLMSi); • SLMSi.send (fail-access-service, sij); 　　　由服务实例创建与撤消服务协议-II型（SCDSIP-II）

25. 访问控制模型

26. VDHA_Grid的监控服务、资源分配及管理服务 分层集中式的网络监控服务的体系结构

27. VDHA_Grid 的MCS消息流向图 消息流向图

28. 分层领域相关的网格资源分配与管理服务(HDGRAM)分层领域相关的网格资源分配与管理服务(HDGRAM) 领域相关的资源分配与任务调度

29. HDGRAM 的模拟分析 节点数和完成的任务数对花费的时间的影响

30. 原型系统VDHA_Grid的实现 VDHA_Grid 基于消息的实现

31. 类ServiceClass 代码 • import java.io.*; • import java.util.*; • import java.net.*; • import java.util.Hashtable; • abstract public class ServiceClass { • protected Hashtable nodeStatus; • protected String strparameters = new String(); • protected String strResultExcute = null; • abstract public void doService(); • public String nodeIP; • public String port; • public void putNodeIP(String Ip) { nodeIP = Ip; } • public void putPort(String strport) { port = strport; } • public void putHashNodestatus(Hashtable nodeStatus) { nodeStatus = nodeStatus; } • public Hashtable getHashNodestatus( ) { return nodeStatus; } • public void putstrParameters(String paras) { strparameters = paras; } • public String getstrParameters( ) { return strparameters; } • public String getstrResult() { return strResultExcute; }

32. 原型系统VDHA_Grid的实现 VDHA_Grid 的主要界面

33. 基于VDHA的e-Science网格原型系统 虚拟合作中心e-Science网格网格分层示意图

34. 文件共享服务－结构

35. 文件共享服务－UML图

36. 文件共享服务－结果

37. 基于VDHA的分布式知识检索服务－结果

38. 如果许多用户在同一时间同时使用DSQDP协议， 由于消息都需要传到根虚拟组的协调者， 所以造成根虚拟组协调者节点的通信拥塞和消耗大量的计算时间。 为了避免此类情况，用DHT的方法将协调者组成一个基于DHT的P2P网络。当消息传递到这一层次的协调者时，采用DHT的方法找到符合条件的协调者，然后，由此协调者按DSQDP协议搜索到满足条件的节点。 将来的工作是具体实现。 我们将来的工作在于进一步完善VDHA_Grid原型，使之能够发布给其他机构使用。 展　望

39. Thanks