1 / 32

集群系统发展趋势

集群系统发展趋势. 郑纬民 清华大学计算机系高性能所. TOP 500( 2003年11月)中的集群. Top500 中的集群系统（节录）. 资料来源： www.top500.org，2002 年11月数据，共有93个集群系统进入 Top500 排行。. TOP 500( 2003年11月)中的集群. TOP 500 过去10年体系结构演化. TOP 500 过去10年体系结构演化. 在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额 在 Top10 中，集群结构占了7个，说明在构建超大规模计算系统的时候，集群是主要的系统构成方式.

munin
Download Presentation

集群系统发展趋势

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 集群系统发展趋势 郑纬民 清华大学计算机系高性能所

  2. TOP 500(2003年11月)中的集群

  3. Top500中的集群系统（节录） 资料来源：www.top500.org，2002年11月数据，共有93个集群系统进入 Top500排行。

  4. TOP 500(2003年11月)中的集群

  5. TOP 500过去10年体系结构演化

  6. TOP 500过去10年体系结构演化

  7. 在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额 在Top10中，集群结构占了7个，说明在构建超大规模计算系统的时候，集群是主要的系统构成方式 从TOP500看集群系统

  8. 64位系统逐渐成为主流 多种商业化的高速互连网络 SAN系统作为集群的存储设备 集群系统的发展趋势

  9. 科学计算 大规模模拟应用 三维网格模拟应用所需的内存可以轻易突破2GB 生物信息学 基因拼接等应用需要大量的内存，实际应用中内存不足是主要问题之一 素数运算 需要用到大量64位整数运算和大内存 64位：突破2GB的系统内存瓶颈

  10. 商业应用 海量数据处理 DB in memory 媒体播放服务器 大内存 高内存带宽 减少访问磁盘次数，可将性能提高近一个数量级 64位：突破2GB的系统内存瓶颈

  11. 引发新的设计理念 现有的很多算法是基于内存不足设计的，因此很多精力花费在用时间换取空间上 64位系统提供了访问更大内存的机会，因此很多应用可能要基于新的理念进行设计，以获得64位所带来的好处 64位：新的设计理念

  12. 并非所有用户都需要现在就转向64位 代码膨胀，性能反而可能会下降 需要根据自己的应用特性来分析 是否需要2GB以上的内存 是否有大量64位整数运算 如果上述问题的答案都是否，那么不一定能够从64位系统中得到预期的好处 某些应用可以从特定的64位处理器获得很大的性能提高，但这不是64位本身的特性，而是依赖于特定处理器，需要具体分析实际情况 64位：不是万能灵药

  13. 评价互连网络的指标 延迟 带宽 功能支持 价格 集群系统的互连网络

  14. 集群系统的互连网络

  15. 功能支持 都支持MPI，除GB Ethernet外都实现了高效率的通信协议 SCI和Quadrics还提供了共享内存的支持，但是其远程通信延迟仍然在us数量级，对于细粒度的共享内存程序，仍然无法很好地支持（对比SGI Altrix系列的远程访问延迟在200ns以下） 集群系统的互连网络

  16. 主要运行粗粒度并行程序的小规模集群系统用户，可以使用千兆以太网进行互连主要运行粗粒度并行程序的小规模集群系统用户，可以使用千兆以太网进行互连 大规模集群系统中，千兆以太网很可能成为系统瓶颈，宜选取专用高速网络互连 InfiniBand因其规模效益，可能成为将来的主流互连设备 集群系统的互连网络

  17. 用户对存储的需求 可管理性：存储资源的一致管理，可扩展性 高性能－高带宽，并行文件访问 可靠－备份，快照，镜像 高性价比 网络存储-可靠高效的存储方案

  18. 资源管理（1）－本地存储方案

  19. 资源管理（2）－网络存储方案

  20. 可扩展性(1)

  21. 可扩展性(2)

  22. 可管理性－拥有成本对比

  23. 高性能－SAN的读带宽

  24. 并行文件系统 支持多台主机对同一个磁盘分区进行同时读写 现有的并行文件系统 Lustre PVFS2 GPFS CXFS 高性能-并行文件系统

  25. 可靠性－备份

  26. 可靠性－镜像

  27. 可靠性－快照

  28. 现有的SAN解决方案非常昂贵 清华大学计算机系高性能所开发的SAN解决方案拥有全套软件解决方案 FC-SAN IP-SAN 备份，镜像，快照 完整的管理工具 已在胜利油田等部门得到实际应用 高性价比

  29. 能耗问题 不仅仅是集群系统的问题 从芯片，单机和集群系统等多个层次来共同解决这个问题 管理性 监控 自我修复 管理信息的过滤与提取 分区 集群系统所面临的挑战

  30. 程序开发与优化问题 Cluster OpenMP? MPI 2会有更好的性能？ 如何更好地利用多个层次的并行性，MPI-OPENMP 混合编程还是仅用MPI? Core内的指令级并行 Core之间的并行 SMP内不同CPU的并行 SMP节点间的并行 集群系统所面临的挑战

  31. 集群系统已经得到广泛接受，成为高性能计算机的主要体系结构集群系统已经得到广泛接受，成为高性能计算机的主要体系结构 64位处理器，高速互联网络和SAN系统使得集群系统的能力更加强大，是今后一段时间集群系统的发展趋势 能耗、可管理性和程序开发问题是集群进一步发展所面对的挑战。 总结

  32. 谢谢！

More Related