1 / 30

Grid 技术研究进展

Grid 技术研究进展. 计算中心 孙功星. 计算技术的进展. 硬件技术 - VLSI 和芯片技术 - 系统结构：单 CPU->SMP->AC->MPP->Cluster 软件技术 - 通用软件。 - 中间件技术。 - web 技术 , .NET, J2EE 。 - Grid 技术。. 网络技术 - 10Mpbs->100Mbps->1000Mpbs ether network. - ATM. - DWDS- 10Gpbs -> 1Tbps. - ipv4->ipv6. 存储技术 - DAS->NAS->SAN

aleda
Download Presentation

Grid 技术研究进展

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Grid技术研究进展 计算中心 孙功星

  2. 计算技术的进展 • 硬件技术 - VLSI和芯片技术 - 系统结构：单CPU->SMP->AC->MPP->Cluster • 软件技术 - 通用软件。 - 中间件技术。 - web技术, .NET, J2EE。 - Grid技术。

  3. 网络技术 - 10Mpbs->100Mbps->1000Mpbs ether network. - ATM. - DWDS- 10Gpbs -> 1Tbps. - ipv4->ipv6. • 存储技术 - DAS->NAS->SAN - IDE->SCSI->FC->iSCSI->infiniBand • 2001-2010: Computers: x 60 networks: x 4000

  4. 超级计算应用 • 军队合成作战模拟。 • 高能物理的分布式的数据分析。 • 新药品的研制。 • 化学物品的合成。 • 复杂系统的求解。 • 核武器爆炸当量的模拟。

  5. Grid技术 在大约1910年出现的电网概念，今天我们用电时候，无须考虑它是什么产生的，位置在那里。 网格定义：协调地理范围广泛的资源，并对此进行有效的管理，使其形成一个单一的映像。用户可以方便地使用统一的API调用这些网格资源。

  6. 主要的Grid项目 • Access Grid, DOE, NSF • BlueGrid, IBM, • Globus, DOE, NSF, NASA, • GridPP, U.K • Information Power Grid, NASA • International Virtual Data Grid Lab. NSF,

  7. 实现Grid需要解决的关键问题 • 实现资源共享 - 资源包括计算机、存储、智能设备、文件系统等。 - 解决包括信任、策略、协商以及付费等问题。 • 协同问题求解 - 分布式的数据分析、计算、合作等协同求解。 • 动态的、多组织的虚拟机构 - 这是Grid的典型特征

  8. Globus系统的体系结构 应用层 汇聚层 应用 资源层 连接层 传输 互连 构造层 连接

  9. 沙漏模型 Applications Diverse global services Core services Local OS

  10. 构造层 • 提供共享的各种各种资源：计算机、计 算机池、文件系统、网络、传感器、智 能设备等。 • 这些资源不是由物理特性所定义，而是 由接口定义。 • 构造层由各个实体组成，加在构造层上的限制很少。

  11. 连接层 • 通信 - Internet protocols: IP, DNS, routing, etc. • 安全: Grid Security Infrastructure - 统一的身份认证/授权，以及在多个机构间的消息保 护机制。 - 一次性登录、委托、身份映射。 - 公有密钥技术，SSL, X.509, GSS-API - CA : 证书及密钥的管理。

  12. GSI Create process at A and B that Communicate & access files at C Single sign-on User Proxy User Proxy Credential Via grid-ID Remote process creation requests GSI-enabled GRAM server Site B UNIX Site A (kerberos) GSI-enabled GRAM server Computer Computer Local ID Process Local ID Restricted Proxy Kerberos ticket Restricted Proxy Remote file Access request Site C Storage system

  13. 资源层 • 管理(GRAM) - 对远程资源的分配，预留、监控等。 • GridFTP - 高性能的文件传输和访问。 • GRIS - 访问Grid的结构和状态信息。

  14. GRAM体系结构 RSL broker RSL Information service Application Ground RSL Queries & Info Co-allocator Simple ground RSL GRAM Local Resource Manager GRAM GRAM LSF Fork PBS

  15. GRAM组成 MDS client API calls to locate resources client MDS:Grid Index Infor Server Site boundary MDS client API calls to get resource info Grid Resource Infor server MDS client API calls to request resource allocation and process creation Query current status of resource Local resource manager GSI request Job manager Process Create Gatekeeper Process Parse Monitor & control RSL lib Process

  16. 汇聚层 • 元目录服务。 - 提供动态资源信息视图。 • 资源代理 - 资源的发现和分配。 • 复制记录 • 复制服务 • 协同预留和协同分配服务 • 工作流（workflow)管理，等等。

  17. Grid信息服务 信息服务解决以下问题： • 什么资源可资利用->资源发现。 • 资源的状态如何->资源的选择。 • 如何优化资源的使用->应用配置和应变。 Grid信息服务： • 系统成分的静态和动态资源。 • 提供在异构、动态环境中配置和自适应的基础。 • 统一而灵活的信息访问，可扩展的、高效的动态数据的访问，多信息源的访问，分散的维护。

  18. 信息服务器 • GRIS(Grid Resource Infor. Service) - 提供特定资源信息。 - 可以配置成支持多个信息提供者。 - 使用LDAP协议。 • GIIS(Grid Index Infor Service) - 支持从多个GRIS服务器中搜集到的信息集合。 - 支持高效的查询。 - 使用LDAP协议。

  19. 分级的信息服务结构 Top GIIS GIIS GIIS GRIS GRIS GRIS

  20. 资源描述语言-RSL • For example: & (count >=5)(count <=10) (max_time=240)(memory>=64MB) (executable=myprog) • Create 5-10 instances of myprog, each on a machine with at least 64MB memory that is available to me for 4 hours.

  21. 作业提交 • Globus包含几个命令行作业提交程序: - globus-job-submit, 交互式的作业 - globus-jub-run, 批作业. - globusrun, 灵活的脚本结构. • 更好的作业提交接口 - 通用的作业提交接口, 如pbs, GRD. - 基于web的界面.

  22. Grid编程技术 • MPICH-G2: grid-enabled message passing. • CoG kits, GridPort: Portal construction. • Legion: object models for grid computing. • Condor-G: workflow management. • Catus: Gridware numerical solver framework.

  23. Data Grid • Earth System Grid. (DOE) • European Data Grid (EU) • GriPhyN (NSF) • Particle Physics Data Grid. (DOE)

  24. ~PBytes/sec ~100 MBytes/sec Offline Processor Farm ~20 TIPS There is a “bunch crossing” every 25 nsecs. There are 100 “triggers” per second Each triggered event is ~1 MByte in size ~100 MBytes/sec Online System Tier 0 CERN Computer Centre ~622 Mbits/sec or Air Freight (deprecated) Tier 1 France Regional Centre Germany Regional Centre Italy Regional Centre FermiLab ~4 TIPS ~622 Mbits/sec Tier 2 Caltech ~1 TIPS Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS HPSS HPSS HPSS HPSS HPSS ~622 Mbits/sec Institute ~0.25TIPS Institute Institute Institute Physics data cache ~1 MBytes/sec Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Physicists work on analysis “channels”. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server 1 TIPS is approximately 25,000 SpecInt95 equivalents Tier 4 Physicist workstations LHC分布式计算环境

  25. DataGrid体系结构 Discipline-specific DataGrid Applications APP Coherency control, replica selection, task management, Virtual data catalog, virtual data code catalog. Collective (App) Replica catalog, replica management, co-allocation, Certificate authorities, metadata catalogs Collective (Generic) Access to data, access to computers, access to networks, Performance data, Resource Communication, service discovery, authentication, Authorization, delegation, Connect Storage system, clusters, networks, network caches Fabric

  26. DataGrid主要功能 • Replica catalog. • Globus-url-copy(Gridftp). • Replica manager. • Data mirroring • Etc.

  27. Subscription模型 Site 1 Site 2 所有定阅某一站 点数据的站点， 假如这个站点的 数据发生更新， 它们都会得到通 告。 Subscriber list Subscriber list 1) get info about new files 1)register, publish new files import catalog 3) delete files Site 3 2) transfer files 2) transfer files

  28. A Model Architecture of DataGrid

  29. Grid技术展望 • OGSA-Open Grid Service Architecture. - 面向服务的体系结构 - 将与WSDL、SOAP、UDDI等融合成一起。 • Virtual Data.

  30. 没有基础硬件设施的虚拟化技术，就像是空中飘忽着的眩目的泡影。没有基础硬件设施的虚拟化技术，就像是空中飘忽着的眩目的泡影。 而如果没有虚拟化技术硬件设施，则只不过是不堪重负的乌合之众。 谢谢大家

More Related