网格计算
This presentation is the property of its rightful owner.
Sponsored Links
1 / 36

网格计算 打造新一代的教育科研基础设施 PowerPoint PPT Presentation


  • 88 Views
  • Uploaded on
  • Presentation posted in: General

网格计算 打造新一代的教育科研基础设施. 周立旸 网格计算,企业系统部 IBM 中国有限公司 [email protected] 议题. 当前教育信息化面临的挑战 网格计算 概述 网格计算 相关技术与解决方案 网格计算 在教育科研领域的应用 总结. 当前教育信息化 面临的挑战. 过去 20 年我国教育信息化的飞速发展. 广域分发. 数据 存储. 虚拟显示和控制. 实时数据收集. 构建和挖掘极大数据资源. 大规模计算机模拟和分析. 数据重组. 跨研究机构和组织访问和交换信息. 访问特定的仪器设备.

Download Presentation

网格计算 打造新一代的教育科研基础设施

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


4462765

网格计算打造新一代的教育科研基础设施

周立旸

网格计算,企业系统部

IBM中国有限公司

[email protected]


4462765

议题

  • 当前教育信息化面临的挑战

  • 网格计算概述

  • 网格计算相关技术与解决方案

  • 网格计算在教育科研领域的应用

  • 总结


4462765

当前教育信息化

面临的挑战


4462765

过去20年我国教育信息化的飞速发展


4462765

广域分发

数据

存储

虚拟显示和控制

实时数据收集

构建和挖掘极大数据资源

大规模计算机模拟和分析

数据重组

跨研究机构和组织访问和交换信息

访问特定的仪器设备

当前教育科研的发展对基础设施建设提出了新的需求


4462765

资源建设和整合是当前教育信息化的首要问题

  • 硬件投资比例较高,运作环境日益复杂,系统管理和维护开销巨大

  • 缺乏计算与仪器资源的共享,导致重复投资,现有资源利用率较低

  • 教育资源相对匮乏,各院校、部门的教育资源分散、异构、复杂,采用传统的方式实现教育资源的整合和共享,所需的周期长、成本高

  • 缺乏统一标准和规划进行资源的整合和共享,导致产生新的信息孤岛


4462765

整合的教育资源

服务平台

高性能计算服务

数字博物馆

大型仪器设备

远程教育

公共软件服务

...

通过网格实现资源利用的最大化

研究所

教育管理机构

高校 1 ...

高校 N

网格计算

环境


4462765

网格计算概述


4462765

网格计算的定义:

一种基于网络的分布式计算技术,

采用开放标准支持异构环境下的操作

何谓网格计算

Storage

Operating System

I/O

Data

Processing

Applications

共享

访问 管理


4462765

网格被视为下一代的互联网

资源

Grid

信息

World Wide Web

通讯

e-mail

互连

TCP/IP


4462765

网格计算的应用

  • 资源的共享

    • 基于一定条件共享各种资源:计算、存储、网络、应用、...

    • 提高资源利用率,构造更为可靠的系统

  • 协调地解决问题

    • 分布的数据分析、计算、合作、…

  • 动态、跨组织的虚拟组织

    • 凌驾于传统的组织架构之上

    • 支持各种规模,动态或静态的

通过网络 ...

网格基础设施


4462765

网格技术发展现状

  • 在过去几年中,网格应用已经从早期的科研领域向主流市场迈进

  • 在国际上,网格的关键概念和技术上已达成相当程度的共识

  • 开放网格服务架构(OGSA)已经成为广泛采用的网格技术标准

  • 产业界纷纷推出各自的网格产品,并成功地在各行业得到应用

  • IBM参与了中国多个网格项目,并已进入企业应用领域


4462765

IBM为不同行业提供度身定造的网格计算解决方案


Ibm 100

IBM在全球成功实施了100多个网格计算应用项目


4462765

网格计算相关技术

与解决方案


4462765

三种不同类型的网格技术

  • 数据(信息)网格:数据的随需即取

    • 数据网格可以使一组分布、异构的数据成为一个单一的数据视图

    • 数据网格可以管理大量的、分布在不同领域的数据、存储和网络资源,兼顾本地和总体的安全策略,有效地安排资源的使用,高性能,同时兼顾速度和可靠性

  • 计算网格:处理能力的随需即取

    • 根据应用的需求和系统负载情况实时地分配服务器资源,优化系统效率

    • 为异构系统提供统一的界面,减少系统管理和配置的开销

  • 服务网格:应用和服务的随需即取

    • 基于Web服务(Web Services)标准,提供异构平台的应用访问和集成机制

    • 缩短应用开发和集成的开销和时间,带来更高的可重用性,灵活性,扩展性和可用性

    • 随着新Web服务标准的发布,网格计算和Web服务正在走向统一


4462765

  • 全局命名

  • 元数据和目录

  • 数据联邦和格式转换

数据

虚拟化

  • 分布的文件系统/ 远程访问

  • 文件传送 / 数据复制

  • 缓存

  • NAS / SAN “存储集群”

  • 存储设备的动态/自动配送

  • 支持分层管理

存储

虚拟化

文件

虚拟化

数据网格及相关产品


4462765

传统信息集成方式的局限性

应用

用户

  • 数据不是最新的

  • 不支持所有的数据类型

    • 关系数据库、文件、应用

  • 实施和维护相当复杂、开支巨大

    • 信息基础设施、编程开销、维护开销

  • 对数据共享没有控制

  • 安全性差、缺乏对广域网的支持

  • 传统方式

  • 数据复制

  • 数据仓库

  • VPN

  • EAI (MQ)

  • 客户化的集成


4462765

数据网格的应用:跨系统、组织的信息资源共享


4462765

Operating System

I/O

Data

Storage

Applications

Processing

  • 提高设备利用率

  • 自我管理、自我维护

  • 采用OGSA标准

  • 动态、灵活的系统

  • 基于网格的容错架构

通过计算网格实现计算资源的逻辑整合

  • 设备利用率低

  • 管理复杂

  • 系统集成开销大

  • 无法应对突发性的需求增长

  • 昂贵的灾难备份


4462765

12

11

1

10

2

3

9

4

8

5

7

6

计算网格的作业调度

  • 利用分布的资源来平衡工作负载

    • 调度中间件进行作业的分发

    • 利用分布的资源进行故障恢复

    • 可以对调度中间件设置调度策略和优先级

作业调度

故障恢复

和重启

作业1

作业1

作业3

作业2


Ibm eserver

单个机柜可以支持:

- 最多 84 个刀片

- 最多 168 个处理器

- 支持 Windows, 32位Linux, 64位 Linux, 64位UNIX

- 支持混合类型刀片

- 提供完备的系统管理

IBM

IBM eServer提供了高密度的集群平台

42U 机柜

7U BladeCenter

IBM BladeCenter提供了

服务器、网络、存储、应用的集成平台

P655在一个机柜中可以

集成128个POWER4+处理器


4462765

计算网格的应用:Web基础设施调度

企业应用A

普通用户

高级用户

企业应用 B

可用的资源池

企业应用 C

白金用户


4462765

最终用户

业务流程架构

服务架构

服务提供商

组件架构

通过服务网格实现面向服务的集成

...

各种接入方式

各种基础设施


4462765

软件/应用

计算资源

托管平台

标准

API’s

服务网格的应用:随需应变的服务网格

虚拟的服务

用户

随需应变的服务网格

Web Services

OGSA

组件

. . .


4462765

IBM可以提供实现网格战略的全面解决方案

  • 网格创新研讨会,帮助客户制订网格战略和并完成网格架构设计

  • IBM和合作伙伴的产品,以及开放源代码软件,提供了完整的网格解决方案

  • IBM全球服务部及IBM研发部门帮助确保项目的成功实施

服务

硬件

软件

合作伙伴


4462765

网格计算在

教育科研领域

的应用


Teragrid etf

应用案例: TeraGrid (ETF)

  • 美国国家超级计算应用中心(NCSA)

  • 圣地亚哥超级计算中心

  • 艾肯国家实验室

  • 加州理工大学

20 TFLOPS 计算能力

600 TB 数据

40 gigabits 光纤网络联接

供数千名科学家使用


4462765

应用案例:美国国家数字乳腺档案网格 (NDMA)

U Toronto

CANet*2

CANet*2

New York GigaPop

U CHI

MAGPI

MREN

STARTAP

Chicago Peering Point

U Penn

NGIX

Indianapolis GigaPop

Peer Network

Abilene

Oak Ridge

Abilene

Connector

U NC

ESNet

Project Site

SOX

NCNI

Atlanta GigaPop

http://nscp.upenn.edu/NDMA


4462765

EU

Edinburgh

US Sites

CERN

Glasgow

Newcastle

Belfast

Dublin

Manchester

Cambridge

Oxford

Cardiff

Southampton

London

应用案例:英国国家网格

  • 同质不同属的科研协作

  • 公用计算事业的实验床

  • 未来的商业应用


Westgrid

应用案例:加拿大WestGrid

  • 投资4400万加元用于建设跨越大不列颠哥伦比亚省和阿尔伯达省的网格基础设施

  • IBM向大不列颠哥伦比亚大学和TRIUMF国家实验室提供大型的Linux服务器集群.

    • 配置刀片服务器,包括1000颗CPU,10TB磁盘存储以及108TB在线磁带库

    • 包括化学、物力、大型数据分析等应用

  • IBM同时向Simon Fraser大学提供网络存储设备

    • 包含24TB磁盘存储和140TB在线磁带库

    • 成为WestGrid的海量存储节点


4462765

应用案例:日本产业综合技术研究所(AIST)

  • AIST是日本最大的国家研究机构,需要建设随需应变的运作环境,以满足网格计算、生命科学、纳米科技等研究的需要

  • IBM提供了Linux集群,包括:

    • 2116颗CPU的AMD AMD Opteron 集群

    • 520颗CPU的Intel 集群

  • 采用Globus Toolkit 3.0开发应用门户

  • 世界最强大的Linux超级计算机,计算能力超过每秒11万亿次

网格技术

生命科学

纳米科技

协作

学术界

政府部门

企业

LAN

Internet

其它研究机构

先进计算技术中心


4462765

东北大学

北大

清华

北航

山东大学

东南大学

西安交大.

主干网

区域网

外部链接

华中科技

上海交大

国防科大

华南理工

中山大学

香港大学

应用案例:中国教育科研网格

  • 以教育科研网为基础,一期覆盖12所高校

  • 计划聚合运算能力超过6Tflops,总存储容量大于60TB

  • 建设典型网格应用平台

    • 图像处理网格

    • 生物信息学网格

    • 大学课程在线网格

    • 流体力学网格

    • 海量信息处理网格

  • 2003年8月,IBM正式成为教育部该项目的合作伙伴,和高校合作进行网格环境的构建和应用移植


4462765

总结


4462765

总结

  • 网格技术正在快速进入商用领域,不断创造更大的商业和IT价值

  • 网格计算为教育科研资源建设提供了业界广泛接受的开放标准

  • 网格平台为整合和共享各类资源和服务提供了良好的途径

  • 当前技术的发展和现有教育科研网的基础为建设网格提供了良好的机遇

  • 通过教育科研网格带动网格技术的产业化,发挥后发优势,实现跨越式发展


4462765

谢谢!

周立旸

网格计算,企业系统部

IBM中国有限公司

[email protected]


  • Login