1 / 36

网格计算 打造新一代的教育科研基础设施

网格计算 打造新一代的教育科研基础设施. 周立旸 网格计算，企业系统部 IBM 中国有限公司 zhouly@cn.ibm.com. 议题. 当前教育信息化面临的挑战 网格计算 概述 网格计算 相关技术与解决方案 网格计算 在教育科研领域的应用 总结. 当前教育信息化 面临的挑战. 过去 20 年我国教育信息化的飞速发展. 广域分发. 数据 存储. 虚拟显示和控制. 实时数据收集. 构建和挖掘极大数据资源. 大规模计算机模拟和分析. 数据重组. 跨研究机构和组织访问和交换信息. 访问特定的仪器设备.

gasha
Download Presentation

网格计算 打造新一代的教育科研基础设施

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 网格计算打造新一代的教育科研基础设施 周立旸 网格计算，企业系统部 IBM中国有限公司 zhouly@cn.ibm.com

  2. 议题 • 当前教育信息化面临的挑战 • 网格计算概述 • 网格计算相关技术与解决方案 • 网格计算在教育科研领域的应用 • 总结

  3. 当前教育信息化 面临的挑战

  4. 过去20年我国教育信息化的飞速发展

  5. 广域分发 数据 存储 虚拟显示和控制 实时数据收集 构建和挖掘极大数据资源 大规模计算机模拟和分析 数据重组 跨研究机构和组织访问和交换信息 访问特定的仪器设备 当前教育科研的发展对基础设施建设提出了新的需求

  6. 资源建设和整合是当前教育信息化的首要问题 • 硬件投资比例较高，运作环境日益复杂，系统管理和维护开销巨大 • 缺乏计算与仪器资源的共享，导致重复投资，现有资源利用率较低 • 教育资源相对匮乏，各院校、部门的教育资源分散、异构、复杂，采用传统的方式实现教育资源的整合和共享，所需的周期长、成本高 • 缺乏统一标准和规划进行资源的整合和共享，导致产生新的信息孤岛

  7. 整合的教育资源 服务平台 高性能计算服务 数字博物馆 大型仪器设备 远程教育 公共软件服务 ... 通过网格实现资源利用的最大化 研究所 教育管理机构 高校 1 ... 高校 N 网格计算 环境

  8. 网格计算概述

  9. 网格计算的定义： 一种基于网络的分布式计算技术， 采用开放标准支持异构环境下的操作 何谓网格计算 Storage Operating System I/O Data Processing Applications 共享 访问 管理

  10. 网格被视为下一代的互联网 资源 Grid 信息 World Wide Web 通讯 e-mail 互连 TCP/IP

  11. 网格计算的应用 • 资源的共享 • 基于一定条件共享各种资源：计算、存储、网络、应用、... • 提高资源利用率，构造更为可靠的系统 • 协调地解决问题 • 分布的数据分析、计算、合作、… • 动态、跨组织的虚拟组织 • 凌驾于传统的组织架构之上 • 支持各种规模，动态或静态的 通过网络 ... 网格基础设施

  12. 网格技术发展现状 • 在过去几年中，网格应用已经从早期的科研领域向主流市场迈进 • 在国际上，网格的关键概念和技术上已达成相当程度的共识 • 开放网格服务架构（OGSA）已经成为广泛采用的网格技术标准 • 产业界纷纷推出各自的网格产品，并成功地在各行业得到应用 • IBM参与了中国多个网格项目，并已进入企业应用领域

  13. IBM为不同行业提供度身定造的网格计算解决方案IBM为不同行业提供度身定造的网格计算解决方案

  14. IBM在全球成功实施了100多个网格计算应用项目

  15. 网格计算相关技术 与解决方案

  16. 三种不同类型的网格技术 • 数据（信息）网格：数据的随需即取 • 数据网格可以使一组分布、异构的数据成为一个单一的数据视图 • 数据网格可以管理大量的、分布在不同领域的数据、存储和网络资源，兼顾本地和总体的安全策略，有效地安排资源的使用，高性能，同时兼顾速度和可靠性 • 计算网格：处理能力的随需即取 • 根据应用的需求和系统负载情况实时地分配服务器资源，优化系统效率 • 为异构系统提供统一的界面，减少系统管理和配置的开销 • 服务网格：应用和服务的随需即取 • 基于Web服务（Web Services）标准，提供异构平台的应用访问和集成机制 • 缩短应用开发和集成的开销和时间，带来更高的可重用性，灵活性，扩展性和可用性 • 随着新Web服务标准的发布，网格计算和Web服务正在走向统一

  17. 全局命名 • 元数据和目录 • 数据联邦和格式转换 数据 虚拟化 • 分布的文件系统/ 远程访问 • 文件传送 / 数据复制 • 缓存 • NAS / SAN “存储集群” • 存储设备的动态/自动配送 • 支持分层管理 存储 虚拟化 文件 虚拟化 数据网格及相关产品

  18. 传统信息集成方式的局限性 应用 用户 • 数据不是最新的 • 不支持所有的数据类型 • 关系数据库、文件、应用 • 实施和维护相当复杂、开支巨大 • 信息基础设施、编程开销、维护开销 • 对数据共享没有控制 • 安全性差、缺乏对广域网的支持 • 传统方式 • 数据复制 • 数据仓库 • VPN • EAI (MQ) • 客户化的集成

  19. 数据网格的应用：跨系统、组织的信息资源共享数据网格的应用：跨系统、组织的信息资源共享

  20. Operating System I/O Data Storage Applications Processing • 提高设备利用率 • 自我管理、自我维护 • 采用OGSA标准 • 动态、灵活的系统 • 基于网格的容错架构 通过计算网格实现计算资源的逻辑整合 • 设备利用率低 • 管理复杂 • 系统集成开销大 • 无法应对突发性的需求增长 • 昂贵的灾难备份

  21. 12 11 1 10 2 3 9 4 8 5 7 6 计算网格的作业调度 • 利用分布的资源来平衡工作负载 • 调度中间件进行作业的分发 • 利用分布的资源进行故障恢复 • 可以对调度中间件设置调度策略和优先级 作业调度 故障恢复 和重启 作业1 作业1 作业3 作业2

  22. 单个机柜可以支持： - 最多 84 个刀片 - 最多 168 个处理器 - 支持 Windows, 32位Linux, 64位 Linux, 64位UNIX - 支持混合类型刀片 - 提供完备的系统管理 IBM IBM eServer提供了高密度的集群平台 42U 机柜 7U BladeCenter IBM BladeCenter提供了 服务器、网络、存储、应用的集成平台 P655在一个机柜中可以 集成128个POWER4+处理器

  23. 计算网格的应用：Web基础设施调度 企业应用A 普通用户 高级用户 企业应用 B 可用的资源池 企业应用 C 白金用户

  24. 最终用户 业务流程架构 服务架构 服务提供商 组件架构 通过服务网格实现面向服务的集成 ... 各种接入方式 各种基础设施

  25. 软件/应用 计算资源 托管平台 标准 API’s 服务网格的应用：随需应变的服务网格 虚拟的服务 用户 随需应变的服务网格 Web Services OGSA 组件 . . .

  26. IBM可以提供实现网格战略的全面解决方案 • 网格创新研讨会，帮助客户制订网格战略和并完成网格架构设计 • IBM和合作伙伴的产品，以及开放源代码软件，提供了完整的网格解决方案 • IBM全球服务部及IBM研发部门帮助确保项目的成功实施 服务 硬件 软件 合作伙伴

  27. 网格计算在 教育科研领域 的应用

  28. 应用案例： TeraGrid (ETF) • 美国国家超级计算应用中心（NCSA） • 圣地亚哥超级计算中心 • 艾肯国家实验室 • 加州理工大学 20 TFLOPS 计算能力 600 TB 数据 40 gigabits 光纤网络联接 供数千名科学家使用

  29. 应用案例：美国国家数字乳腺档案网格 （NDMA） U Toronto CANet*2 CANet*2 New York GigaPop U CHI MAGPI MREN STARTAP Chicago Peering Point U Penn NGIX Indianapolis GigaPop Peer Network Abilene Oak Ridge Abilene Connector U NC ESNet Project Site SOX NCNI Atlanta GigaPop http://nscp.upenn.edu/NDMA

  30. EU Edinburgh US Sites CERN Glasgow Newcastle Belfast Dublin Manchester Cambridge Oxford Cardiff Southampton London 应用案例：英国国家网格 • 同质不同属的科研协作 • 公用计算事业的实验床 • 未来的商业应用

  31. 应用案例：加拿大WestGrid • 投资4400万加元用于建设跨越大不列颠哥伦比亚省和阿尔伯达省的网格基础设施 • IBM向大不列颠哥伦比亚大学和TRIUMF国家实验室提供大型的Linux服务器集群. • 配置刀片服务器，包括1000颗CPU，10TB磁盘存储以及108TB在线磁带库 • 包括化学、物力、大型数据分析等应用 • IBM同时向Simon Fraser大学提供网络存储设备 • 包含24TB磁盘存储和140TB在线磁带库 • 成为WestGrid的海量存储节点

  32. 应用案例：日本产业综合技术研究所（AIST） • AIST是日本最大的国家研究机构，需要建设随需应变的运作环境，以满足网格计算、生命科学、纳米科技等研究的需要 • IBM提供了Linux集群，包括： • 2116颗CPU的AMD AMD Opteron 集群 • 520颗CPU的Intel 集群 • 采用Globus Toolkit 3.0开发应用门户 • 世界最强大的Linux超级计算机，计算能力超过每秒11万亿次 网格技术 生命科学 纳米科技 协作 学术界 政府部门 企业 LAN Internet 其它研究机构 先进计算技术中心

  33. 东北大学 北大 清华 北航 山东大学 东南大学 西安交大. 主干网 区域网 外部链接 华中科技 上海交大 国防科大 华南理工 中山大学 香港大学 应用案例：中国教育科研网格 • 以教育科研网为基础，一期覆盖12所高校 • 计划聚合运算能力超过6Tflops，总存储容量大于60TB • 建设典型网格应用平台 • 图像处理网格 • 生物信息学网格 • 大学课程在线网格 • 流体力学网格 • 海量信息处理网格 • 2003年8月，IBM正式成为教育部该项目的合作伙伴，和高校合作进行网格环境的构建和应用移植

  34. 总结

  35. 总结 • 网格技术正在快速进入商用领域，不断创造更大的商业和IT价值 • 网格计算为教育科研资源建设提供了业界广泛接受的开放标准 • 网格平台为整合和共享各类资源和服务提供了良好的途径 • 当前技术的发展和现有教育科研网的基础为建设网格提供了良好的机遇 • 通过教育科研网格带动网格技术的产业化，发挥后发优势，实现跨越式发展

  36. 谢谢！ 周立旸 网格计算，企业系统部 IBM中国有限公司 zhouly@cn.ibm.com

More Related