网格计算给我们带来了什么?
This presentation is the property of its rightful owner.
Sponsored Links
1 / 91

网格计算给我们带来了什么? PowerPoint PPT Presentation


  • 83 Views
  • Uploaded on
  • Presentation posted in: General

网格计算给我们带来了什么?. 金 海 集群与网格计算湖北省重点实验室 华中科技大学计算机学院 教育部“中国教育科研网格 ChinaGrid 计划”专家组组长 email: [email protected] 网格计算导引. 信息孤岛. 没有任何单个的服务器或搜索引擎能有效地覆盖不断增长的 web 内容 Internet 每年产生2  10 18 字节的信息 但每年只有3  10 12 字节信息可用 (0.00015%) Google 只能搜索1.3  10 8 个网页

Download Presentation

网格计算给我们带来了什么?

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


5541318

网格计算给我们带来了什么?

金 海

集群与网格计算湖北省重点实验室

华中科技大学计算机学院

教育部“中国教育科研网格ChinaGrid计划”专家组组长

email: [email protected]


5541318

网格计算导引


5541318

信息孤岛

  • 没有任何单个的服务器或搜索引擎能有效地覆盖不断增长的web内容

  • Internet每年产生21018 字节的信息

  • 但每年只有31012 字节信息可用 (0.00015%)

  • Google只能搜索1.3108 个网页

    (来源: Li Gong, IEEE Internet Computing, 2001)


5541318

第七个问题

有人认为 -

计算机体系结构应面向网络计算的需求。目前,应研制“简约的Client”和“功能强大的Server”。Client应逐步实现Smart,而Server应遵循SUMA准则(即Scalability、Usability、Manageability、和Availability-可扩展、好用、可管理、可用)。未来,Client将是P3C或算通机(Compunicator)而Server将最终发展成为Virtual Server Environment。

请问-

这样一个预测准确吗?如果基本准确,这种Client和Server将采用哪种体系结构和基础软件?衡量它们性能优劣的指标又将是什么?

摘自汪成为院士《请教关于我国计算机跨越发展的十二个问题》


5541318

网格概述

  • 网格是把整个互联网整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享

  • 网格的概念来源于电力网:由于电力无处不在,而且能够给用户提供单一虚拟接口,即插即用


5541318

电网

电站

电站

电站

矿山

水坝

油井


5541318

三类网络的优化集成

工作平台网

传感器网

基于信息网络的

虚拟计算环境

因特网

网格是高性能因特网、传感器网和工作平台网三者的综合集成


5541318

网格:应用层面的互连互通—消除资源孤岛

因特网

Web

网格

计算机

计算机

网页

网页

应用

应用


5541318

网格计算

通过开放标准,使网络中异构的计算资源虚拟化

  • 共享开放异构环境中应用和数据的虚拟的、合作的组织

  • 地理上分布的计算资源的巨大集合

整合 + 虚拟 +自主 = 网格计算


5541318

网格

引用

动态多机构虚拟组织中的资源共享

和协同问题解决

(“Resource sharing & coordinated problem solving in dynamic, multi-institutional virtual organizations”)


5541318

网格计算的目标

  • 广泛共享

    • 网络上的各种资源可供众多用户共享使用

  • 有效聚合

    • 将网络上的巨大资源连接集成起来,实现协同工作,产生巨大的综合效能

  • 充分释放

    • 将聚合效能按照需求传递给用户,提供高效的信息服务、计算服务和决策支持


5541318

网格的三大虚拟技术

  • 存储与数据

  • 计算力

  • 应用与服务


5541318

网格的分类

高性能计算机

系统的共享存取

计算网格

信息服务网格

应用软件和

信息资源的共享存取

数据库和文件系统的共享存取

数据网格


5541318

驱动网格应用的动力

  • (分布式)超级计算

  • 合作工程

  • 高吞吐率计算

    • 大规模模拟&参数研究

  • 远低软件访问 / 租用软件

  • 数据密集型计算

  • 基于需求的计算


5541318

分布式超级计算


5541318

数据密集型计算


5541318

CERN

European Organization for Nuclear Research


Lep lhc

LEP与LHC的对比


5541318

用于高能物理的数据网格架构


5541318

在线访问科学仪器

Advanced Photon Source

wide-area

dissemination

desktop & VR clients with shared controls

real-time

collection

archival

storage

homographic reconstruction


5541318

航空飞行安全模拟

人员模型s

翅膀模型s

  • Lift Capabilities

  • Drag Capabilities

  • Responsiveness

水平尾翼模型s

机身模型s

  • Deflection capabilities

  • Responsiveness

Crew Capabilities

- accuracy

- perception

- stamina

- re-action times

- SOP’s

发动机模型s

  • 刹车性能

  • 操纵能力

  • 牵引

  • Thrust performance

  • Reverse Thrust performance

  • Responsiveness

  • Fuel Consumption

Landing Gear Models

整个系统的模拟是通过各个子系统模拟耦合协同集成完成的


5541318

国外网格计算研究现状


5541318

国外网格计算研究现状

  • 网格计算(grid computing)

    • GIG,IPG,Apgrid, EUROGRID,DATAGRID,TeraGrid

    • Globus,Legion,Web Services,OGSA,.NET,Sun ONE

  • 对等计算(peer-to-peer computing)

    • Napster,eDonkey

  • 全球计算(global computing)

    • [email protected] , Xtremweb,JET,Bayanihan,SuperWeb,Javelin,Popcorn,Charlotte

  • 无所不在的计算(ubiquitous computing)/普适计算(pervasive computing)/无形计算(invisible computing)


5541318

计算的优与劣

    • 集合大量计算机之能力,达到空前的计算能力

    • 使用空闲计算时间,成本很低

    • 用户的注意力有限,不可能有大量的类似活动

    • 对应用的限制:单元之间是独立的

    • 不稳定的计算能力,需要不断推动


Seti@home

[email protected]

  • [email protected]社会电波信号的灵敏搜索

  • [email protected]

  • 根据频段对数据进行分块,这些分块在本质上是相互独立的

  • 对太空一个位置的观察得到的结果和另外一个位置得到的结果是相互独立的

  • 把很大的数据集分成大量的小块,每一个计算机能够比较快的分析出其中的一块

  • 把工作分配到自愿贡献空闲cpu周期的机器处理


5541318

4,951,150用户参加

已投入1,879,970年CPU时间

已经有1,326,312,701个结果


Entropia dcgrid

Entropia - DCGrid


Entropia pc grid computing

Entropia – PC Grid Computing


Home computers evaluate aids drugs

Home Computers Evaluate AIDS Drugs

  • Community =

    • 1000s of home computer users

    • Philanthropic computing vendor (Entropia)

    • Research group (Scripps)

  • Common goal= advance AIDS research


Global information grid gig

Global Information Grid (GIG)


Information power grid ipg

Information Power Grid (IPG)


Ivdgl international virtual data grid laboratory

iVDGL:International Virtual Data Grid Laboratory

Tier0/1 facility

Tier2 facility

Tier3 facility

10 Gbps link

2.5 Gbps link

622 Mbps link

Other link


Teragrid

TeraGrid


Teragrid resources

TeraGrid Resources


5541318

加拿大区域网格(Canadian WestGrid)

  • A C$44 million project to purchase and install an innovative computing infrastructure across British Columbia and Alberta over the next two years.

  • IBM will provide a large Linux computing farm at the University of British Columbia and TRIUMF.

    • includes 1000 CPUs (3GHz) in the BladeCentre configuration, as well as 10TB of disk and 108TB of online tape.

    • used for loosely coupled parallel computing jobs, including numerical simulations in chemistry and physics, and the analysis of large-scale data sets from subatomic physics.

  • IBM will also provide a network storage facility at Simon Fraser University.

    • consists of 24TB of disk and 140TB of online tape.

    • will be the large-scale storage facility for WestGrid.


5541318

北卡州生物信息网格


5541318

新加坡城市网格

  • 新加坡的网格目标

  • 支持企业

  • 提供政企学信息交流,学习平台

  • 以生物网格建设为第一步


5541318

台湾知识创新网格


Butterfly

Butterfly高性能在线游戏网格


Chinagrid

中国教育科研网格计划ChinaGrid


5541318

网格技术的产生、发展必须具备的三个基本条件

  • 网络基础

  • 计算资源的广域分布

  • 不断增长的对资源共享的需求


2003 12

中国互联网发展状况(截至2003年12月)

  • 国际出口带宽的总量为:27.216G

  • 上网用户总数:7950万, (世界第二)

  • 上网计算机总数:3089万

  • Web站点数:59.555万

  • 移动用户数:2.3亿, (世界第一)


Cernet

中国教育科研网(CERNET)简介

  • 中国第二大IP主干网

    • 36个PoP覆盖了所有省会城市

    • 主干网为2.5Gbps DWDM

    • 总出国带宽为324Mbps

  • 覆盖了200多个城市的1,000多所大学

    • 约1千万用户

    • 中国多数高校有自己的校园网


Cernet1

CERNET的总体结构


Chinagrid1

中国教育科研网格计划ChinaGrid(第一期)


Chinagrid2

ChinaGrid计划的总体目标

  • 基于教育与科研网的基础,建立聚合能力超过每秒15万亿次量级的教育科研网格,总存储容量超过260TB,其结点覆盖211建设的100所部属高等院校,争取在网格计算的基础研究和应用研究方面走在世界前列

  • 充分利用CERNET和高校的大量计算资源和信息资源,开发相应的网格软件,配合网络计算机(NC)的使用,将分布在教育与科研网格上自治的分布异构的海量信息资源集成起来,实现CERNET环境下资源的有效共享,消除信息孤岛,提供有效的服务,形成高水平低成本的计算服务平台,将高性能计算送到教育与科研网用户的桌面上,成为国家科研教学服务的大平台


Chinagrid3

ChinaGrid资源分布图


Chinagrid4

ChinaGrid网格服务支持平台


Chinagrid5

ChinaGrid网格支撑平台体系结构


Http www cergrid cn

http://www.cergrid.cn


5541318

网格应用平台及其典型应用建设

  • 图像处理网格

  • 生物信息学网格

  • 大学课程在线网格

  • 计算流体力学网格

  • 海量信息处理网格


Chinagrid6

ChinaGrid专业应用网格的总体结构


5541318

一、图像处理网格

  • 图像处理网格是基于ChinaGrid之上,建立的网格范围的图像处理应用平台

  • 该平台将可应用于多领域的大量的图像处理:生物医学、石油和天然气、环境科学……等

  • 图像网格应用平台是一个集成的图像处理问题的解决环境

  • 图像处理网格将充分利用中国教育与科研机构中已有的软件和硬件资源,为用户提供图像处理的资源共享以及图像应用的高性能计算

  • 图像处理网格会在网格环境中扩展图像应用处理的功能,为用户提供更高性能和更高质量的服务


5541318

典型应用(一)

  • 数字化虚拟人的三维重建 (华中科技大学)

    • 研究人体数据集数据内涵的相关性和系统特征

    • 研究高精度的轮廓线提取算法

    • 研究并行的高精度数字虚拟人三维网格重建算法

    • 交互式三维数字化虚拟人可视化平台


5541318

典型应用(二)

  • 医学图像诊断 (中山大学)

    • 医学图像获取

    • 医学图像显示和处理

    • 医学图像数据库管理


5541318

典型应用(三)

  • 遥感图像处理(国防科技大学)

    • 卫星遥感图像的预处理业务

    • 基本图像分析工具

    • 基本图像处理功能

    • 并行开发工具研究


Http biogrid hpcgrid cs tsinghua edu cn

二、生物信息学网格http://biogrid.hpcgrid.cs.tsinghua.edu.cn

  • 生物信息学网格是一个使用高速网络设备将超级计算机、集群、存储设备、科学计算工具等设备集成为一个虚拟的计算环境,为生物信息学相关研究的科研和工程人员提供一个开展生物信息学计算和研究的工作平台


5541318

用户使用模式

  • 用户只需要做两件事情:

  • 通过Web界面提交生物信息学计算任务;

  • 等待获取计算结果

  • 任务如何分配,分配到哪个节点,任务监控和任务管理等均由系统自己完成,无需用户关心。


5541318

生物信息学应用

  • 水稻结构基因组蛋白选靶

  • 灵芝家族的多序列比对

  • 白老鼠基因拼接

  • 心血管疾病研究


5541318

三、大学课程在线网格

  • 目标:随时、随地、方便、快捷的大规模跨网络数据存取

  • 把存取的文件变成视频流格式文件,通过WWW服务器提供视频点播服务,就方便地构建了一个分布式的视频点播平台

  • 这个点播平台具有高可用性、高可靠性、高性能、负载均衡、易扩展等特征

    • 视频文件的按需流动

    • 视频文件的自动备份

    • 最佳点播服务器的选择


5541318

大学课程在线网格

  • 大学课程在线网格对应域名

    • realcourse.grids.cn

    • vod.grids.cn

  • 用户通过浏览器访问点播界面,并采用realplayer在线点播课程视频

  • 系统已经提供200多个小时的课程视频点播,以及相关课件下载


5541318

系统描述


5541318

四、计算流体力学网格

  • 计算流体力学(CFD,Computational Fluid Dynamics)综合了计算数学、计算机科学、流体力学、科学可视化等多种学科

  • CFD的分支

    • 计算空气动力学

    • 计算水动力学

    • 计算燃烧学

    • 计算传热学

    • 数值天气预报

    • 等等


5541318

计算流体力学网格的发展现状

  • 美国1991年提出的“高性能计算与通信(HPCC)计划”

  • 1995年美国实施的 “加速战略计算创新(ASCI)计划”

  • 1998美国DOE倡议实施“科学模拟计划”(SSP)

  • 2002年NASA的“IPG应用网格-计算流体力学应用”

这些计划无一例外地将计算流体力学作为重大挑战问题之一


5541318

计算流体力学网格的应用领域

  • 工业应用方面的大规模设计计算问题

  • 飞机设计中全机气动性能计算

  • 火箭发动机的极其复杂多变的燃烧和跨音速流动模拟

  • 导弹的气动隐身性能评估

  • 低阻力系数高性能汽车外形的设计和分析

  • 透平机械复杂叶型及组合的设计分析

  • 潜艇尾迹模拟

  • 高超音速航天器空气动力学设计分析

  • 核电站水蒸汽两相流流动分析

  • 非定常状态的物理过程如飞机起飞降落、过载下空间推进剂晃动分析

  • 等等


5541318

上海交大:飞行器遗传优化设计网格

F-117

B-2


5541318

基于计算流体力学网格的重要应用

  • 上海交通大学:网格环境下的飞行器遗传优化设计系统

  • 西安交通大学:基于网格环境的分子动力学并行算法

  • 华南理工大学:金属粉末成形过程仿真及工艺优化软件的网格计算

  • 东北大学:基于网格的大型地质灾害预测系统

  • 东南大学:计算电磁学在飞机、汽车设计中的应用


5541318

五、海量信息处理网格

  • 数据密集型计算的飞速发展对信息处理能力的要求越来越高

    • 从科学研究到军事决策

    • 从分子生物学到核模拟

    • 从数字地球计划到数字博物馆、数字图书馆

  • 迫切需要缩短从原始数据提取高层信息,并进一步完成高层信息处理的时间

    • 需要扩充网格的数据管理能力

    • 建立一种有效的数据管理系统结构

    • 将超级计算机的数值计算、数据处理能力与高效的信息共享、信息发布能力有机的结合起来

    • 为科学应用在网格中实施资源发现和信息发现,并进行高效的数据访问提供有力的支持


5541318

典型应用建设

  • 基于网格的数字航空航天博物馆(北航)

  • Alpha磁谱仪数据处理中心(AMS-SOC)(东南大学)

  • 羊八井宇宙线试验建设(山东大学)


5541318

基于网格的数字航空航天博物馆

  • 充分发挥学科与博物馆有机结合的优势,选择珍品、精品进行数字化工作,突出展品的文物价值、科学价值、注重参与性、交互性

  • 力争建成国内一流的数字化博物馆,在全国起到示范作用

  • 建成多种比例尺的一块110×150平方公里的真实地形、地貌和逼真自然景象的虚拟环境,包括海洋、山川、河流、道路、地面建筑物、植被等,可以表现雾化、昼夜、爆炸、火焰等逼真效果

  • 解决虚拟环境交互问题和动态环境一致性问题,可以允许500~1000个节点同时加入统一共享虚拟环境中进行协同工作或漫游


Alpha

Alpha磁谱仪数据处理中心


Iss ams

ISS和远程AMS中心的数据流

Commanding,

Monitoring,

Online analysis

White Sand, NM Facility

,

,

,

RealTime,“Dump” &

WhiteSands LOR playback

Real-Time &

“Dump” data

AMS Payload Operations Control Center

Real-Time &

“Dump” data

Payload Data Service System

Monitoring &

Science data

Event reconstruction,

batch & interactive

Physics analysis

Data archiving

Real-Time

H&S data

Buffering before

transmission

External Communications

POIC

Long-Term

Short-Term

NearReal-Time &“Dump” data

Payload Operation &

Integration Center

AMS GSC

FileTransfer

Buffered

data

Stored data

playback

High Rate Frame

MUX

Marshall Space Flight Center, AL

FileTransfer

AMS Science Operations Center

ACOP

ISS

NASA’s Ground Infrastructure

AMS Regional Centers


5541318

羊八井宇宙线试验建设

  • YBJ-ARGO是中国科学院与意大利国家核物理研究院关于羊八井宇宙线观测站地毯式阵列建设的合作项目

  • 羊八井站区建设已于2000年夏启动

  • 实验数据量为每年30TB以上的规模

  • 山东大学高能物理研究室作为YBJ-ARGO实验的重要力量,承担着实验模拟、数据分析等科研工作

  • 迫切的需要高性能的计算机处理能力和海量的存储空间


5541318

总结


5541318

网格计算目前面临的挑战(1)

  • 网格的开发仍然比较困难

    • 代价高、而且是按个例来逐个实现

  • 应用领域狭窄,缺少杀手级应用

    • 越来越多的局部集群超级计算机可以满足应用需求

    • 为特殊应用仍将设计特殊的超级计算机(Earth-simulator, Blue-Gene)

    • 全球的超级计算并不是性价比最优的方案,因为数据的存储比传输更便宜


5541318

网格计算目前面临的挑战(2)

  • 网格计算的集中式管理

    • 限制了可扩展性

    • 导致单一失效点

  • 不同的服务类型之间缺少资源共享

    • 目前的网格只提供一种服务类型

  • 不同的网格服务之间缺乏安全/信任

    • 每一种服务都有其标准和协议

  • 网格的商业模型仍然不明确


5541318

有关网格的几点思考(1)

  • 目标真的可以到达吗?

    • 美好的前景

      • 一个全球虚拟的具有超级计算能力的计算机

      • 即插即用,像电力一样

    • 在某种程度上太理想了

    • 在分布式操作系统中的经验

      • 目标:透明地访问网络资源

      • 学术成果不少

      • 缺少商用产品

    • 前景诱人,稳步发展

      • 首先在某些应用领域取得突破


5541318

有关网格的几点思考(2)

  • 随着网格技术地发展,超级计算机还值得研究吗?

    • 聚合性能 ≠ 真实性能

    • 网格并不适合多数grand challenge的问题

    • 网格面临的障碍:任务分解 & 通信延迟

    • 超级计算机将成为网格中的计算节点

    • 网格将提供对全球超级计算机的访问


5541318

有关网格的几点思考(3)

  • 网格是下一代互联网吗?

    • 在某种意义上是的,它反映了互联网的发展历程

    • 但是网格侧重在下一代互联网的应用(按需服务)


5541318

有关网格的几点思考(4)

  • 中间件还是 操作系统?

    • 目前多数是按照中间件方式来实现的(Globus)

    • 未来将融合到操作系统中

      • Globus的地位将类似于互联网中TCP/IP一样


5541318

有关网格的几点思考(5)

  • 市场呢?

    • 网格计算将在未来10年成为商业应用的主要IT基础架构

    • 目前网格计算的炒作达到了六成五

    • 在2003,我们不会直接“拨号接入”全球范围的聚合计算能力

      • 但企业会通过私有网格在企业范围内来共享过多的计算能力

    • 在五年之内,我们会看到大量能够掌控的公共网格


5541318

网络计算的未来

  • 网格将为大规模的合作提供可靠的计算资源

  • 网格计算将融合P2P计算的资源管理技术

  • P2P计算将在信息检索中发挥重要的作用

  • 对数据存取/传输的需求将远远高于对计算周期的需求


Grid impact

引用

Grid Impact!

“The global computational grid is expected to drive the economy of the 21st century similar to the electric power grid that drove the economy of the 20th century”


5541318

谢谢大家!


  • Login