1 / 70

高性能计算机和曙光 GHPC1000 集群系统

高性能计算机和曙光 GHPC1000 集群系统. 技术支持中心 张新凤 曙光信息产业（北京）有限公司. 目 录. 1 高性能计算简介 1.1 什么是高性能并行计算机 1.2 流行的高性能计算机架构 1. 3 集群技术的趋势 2 本项目 GHPC1000 集群系统介绍. 1.1 什么是高性能并行计算机. 由众多部件组成，具有运算速度快、存储容量大、可靠性高的特性。. 也称为：巨型计算机、超级计算机 目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。. 1. 2 流行的高性能计算机架构. 并行向量机

braima
Download Presentation

高性能计算机和曙光 GHPC1000 集群系统

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高性能计算机和曙光GHPC1000集群系统 技术支持中心 张新凤 曙光信息产业（北京）有限公司

  2. 目 录 1 高性能计算简介 1.1 什么是高性能并行计算机 1.2 流行的高性能计算机架构 1.3集群技术的趋势 2本项目GHPC1000集群系统介绍

  3. 1.1 什么是高性能并行计算机 由众多部件组成，具有运算速度快、存储容量大、可靠性高的特性。 也称为：巨型计算机、超级计算机 目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。

  4. 1.2流行的高性能计算机架构 并行向量机 SMP DSM（NUMA） MPP，节点可以是单处理器的节点，也可以是SMP，DSM Cluster 混合架构

  5. 1993—2006年 高性能计算机在TOP500中的变化

  6. 1.3集群技术的趋势 MPP/PVP在构造大规模系统，应用饱和性能方面具有优势，资金充足的依然会选择 ； 大型的CC-NUMA系统将逐渐走向衰落：它的优势是大物理内存，大量CPU共享内存的高效编程对用户是一件困难的事；大规模并行计算的效率问题；不适合构造更大的系统；价格高，优势丧失； SMP系统存在访存瓶颈，导致可扩展性的限制 ，不能用于构建更大的并行机器（64路以上） 集群系统由于无可比拟的性价比优势占据主流位置。

  7. 目 录 • 1 高性能计算简介 • 2本项目GHPC1000集群系统介绍

  8. 设计目标及设计思路 • 基于通用CPU + 专用GPU的高性能计算集群 • GPU峰值速度：183TFlops(单精度) • 高性能、高可靠的高性能计算平台

  9. 系统整体配置 • 水冷和支撑系统： • 水冷机柜 6个 • 控制系统系统： • SKVM 系统 　 1套 • 集群控制台 1套 • 软件系统： • 操作系统 • GridView管理系统 • Powerconf节能软件系统 • GNU编译器 • 并行环境 • CUDA开发环境 • 节点： • 计算节点1(A620r-T)： 43×2=86台 GPU显卡：GTX295 • 计算节点2(A620r-T)： 16×2=32台 GPU显卡：C1060 • IO节点(A620-H)：1台 • 存储： • DS6310EE 1台 • 容量： 16TB • 网络： • 计算网：Infiniband 1套36口IB交换机 1台 96口IB交换机 1台　20Gb IB 网卡 119块 • 管理网： 千兆以太网 1套48口交换机 3台 详见配置表

  10. 系统整体拓扑图

  11. 计算结点１：A620r-T 曙光GPU计算节点A620r-T：43台 • GPU处理单元:1×NvidiaGTX295 GPU卡 • 处理器：1颗AMD Opteron 2378 2.4G四核处理器 • 内存：16G内存 • 硬盘：1×160GB SATA 热插拔 • 网络：集成2×1000M • Infiniband：集成DDR 20Gb/s HCA

  12. 计算结点2：A620r-T 曙光GPU计算节点A620r-T：16台 • GPU处理单元:1×NvidiaC1060 GPU卡 • 处理器：1颗AMD Opteron 2378 2.4G四核处理器 • 内存：16G内存 • 硬盘：1×160GB SATA 热插拔 • 网络：集成2×1000M • Infiniband：集成DDR 20Gb/s HCA

  13. 机箱结构-整体示意图 GPU卡2 主板2 GPU卡1 硬盘 主板1 电源1 机箱前部 电源2 风扇

  14. 整机方案细节描述—主板规格 • 主板技术规格 • Form Factor：大约 16.7”x6.8” （42.3cm x 17.3cm） • CPU:最高支持2颗AMD barcelona or shanghai 处理器 • Chipset:Nvidia nForce3600 • 内存：16 DIMM插槽，支持DDR2 533/667 ECC REG • LAN:2 Gigabit LAN • Infiniband: Mellanox InfiniHost III Lx DDR MT25204A0-FCC-D single port • SATA:4-SATA2 Support Raid 0,1,5 • PCIE: 1全长全高 PCI-Ex16 (支持双卡宽度，每机箱支持2片卡） • IPMI 2.0 图片仅供参考

  15. 曙光天阔GPU-SERVER主板

  16. 存储系统 磁盘阵列 I/O结点 • 曙光DS6310EE盘阵(16T): • 企业级存储系统，热插拔Raid控制器 • 性能：4个SAS 4x主机通道 • 扩展性：最大扩展至80个驱动器 • 可靠性：Cache镜像及掉电保护 • 容量：16块1TB SATA磁盘 • 曙光A620r（1台） ： • 处理器：2×AMD Opteron 2378 2.4G • 内存：16GB DDR2-667 • 硬盘：1×146GB SAS 热插拔 • HBA：1×12Gb/s SAS 4x HBA卡 • 网络：2×千兆 • IB：20Gb IB HCA

  17. 计算节点 存储系统 Infiniband • 冗余的企业级后端存储架构 • 业界主流的nfs网络文件系统 • IO节点：1台 • 盘阵容量：16T

  18. A620r-H :产品技术规格

  19. 核心架构图

  20. DS6310EE/DS6312EE • SAS-SAS磁盘阵列，单控/双控； • 处理器：Intel IOP 341，主频1.2GHz • 接口 ：每控制器 4个SAS 4×主机端口，1个SAS 4×扩展接口 • 驱动器接口 ：SAS ，支持SAS/SATA硬盘 • Raid级别：0、1、1E、5、6、50、60 • 热插拔控制器；DS6310EE单控，DS6312EE冗余双控； 每控制器512 MB - 2048 MB Cache ，配置Cache保护电池； • 3U 机架安装机柜，带有 16个磁盘托架 ； • 可以通过SAS 4×扩展接口连接最多4个16盘位的扩展柜，80块SAS/SATA2硬盘 • 通过盘阵内嵌的Dawning RAID Manager 实现轻松的部署和管理，支持串口管理 ； • 支持后台同步；重建；冗余检测；SMART condition polling；在线扩容 • 支持在线扩展逻辑磁盘的容量，方便用户应用系统的规划与调整； • 支持RAID级别迁移，降低用户维护成本，降低系统重新规划带来的数据丢失风险；后台RAID迁移：支持RAID0、5、10、50、1E之间互相迁移；

  21. 登陆管理软件 IP：10.0.0.1 子网掩码：255.255.255.0 用户：administrator 密码：password DS6310系列磁盘阵列的管理端口支持虚拟IP技术，可将一台磁盘阵列上的两个控制器的管理端口绑定在一个虚拟的IP上，虚拟IP与两个控制器的IP无关，他们可以设置在一个网段中，也可以不在。默认虚拟IP为10.0.0.1，子网掩码255.255.255.0，控制器默认真实IP为10.0.0.2/3，子网掩码：255.255.255.0。 登陆后会弹出安全警报，点击“是”才能正常登陆管理软件。

  22. 登陆后界面

  23. 总体管理（关闭、重启系统，恢复出厂设置） 点击树形菜单中的“管理工具”，在出现的界面中可进行DS6310存储系统大部分的管理操作，如：关闭、重启系统，恢复出厂设置等。

  24. 用户管理 只有权限为“Super”的用户可以进行创建用户的操作，点击“创建”标签，即可进行创建操作，新用户在创建时可选择4种权限，分别为： View：允许用户查看所有的信息，但不能进行任何操作； Maintenance：允许用户进行重建、PDM、介质巡检以及冗余检查等维护操作； Power：允许用户进行创建（不允许删除）RAID、LUN，更改RAID级别，改变Stirpe size，改变RAID、LUN、物理磁盘以及控制器组件等操作。 Super：允许用户进行所有的操作。 “密码”标签中可进行修改用户密码的操作，需要注意的是，权限为“Super”的用户可以修改自身其他用户的密码（包括其他Super user），而其它用户只能修改自身的密码。需要修改时，先在“信息”标签中点击相应的用户，然后点击“密码”标签进行相应的操作即可；只有权限为Super的用户可以进行删除其他用户的操作（包括其他Super user），点击“删除”标签进行相应操作；“会话”标签中可以查看当前登录到系统用户列表。

  25. 网络管理 DS6310系列磁盘阵列的管理端口支持虚拟IP技术，可将一台磁盘阵列上的两个控制器的管理端口绑定在一个虚拟的IP上，虚拟IP与两个控制器的IP无关，他们可以设置在一个网段中，也可以不在。 在“管理端口”标签中所查看以及设置的都是虚拟IP。 点击“端口配置”进行虚拟IP的设置。

  26. 网络管理（续）

  27. 网络管理（续） 在“维护模式”标签中所查看以及设置的都是控制器的真实IP。 点击相应控制器“端口配置”进行真实IP的设置。

  28. 固件升级 在“固件更新”标签中可以升级控制器的FIRMWARE。

  29. 固件升级（续） 使用HTTP方式进行固件升级，选择HTTP升级方式后点击“下一步”

  30. 固件升级（续） 点击“浏览”按钮，选择升级文件后点击“提交”上传文件。

  31. 固件升级（续） 确认无误后点击下一步，当进度达到100%后，重启磁盘阵列完成操作。

  32. 建立RAID DS6310系列磁盘阵列支持RAID0、1、10、1E、5、50、6通过先进的RAID虚拟管理技术，在创建RAID时，每颗物理磁盘可以被分割成不同的区域，这些不同的区域可以用来创建不同RAID级别的逻辑磁盘，每组逻辑磁盘的Stripe Size以及缓存使用方式可以自行设定。

  33. 建立RAID（续） 1、点击树形菜单中的“磁盘阵列”选项，出现如图所示界面，其中“信息”标签显示当前存储系统的已有的RAID的基本信息； 2、点击“创建”标签，或标签旁边的下拉菜单，选择创建方式； 自动配置：以默认配置与参数创建RAID，如果有足够的磁盘数量，将会创建热备盘（RAID0除外），用户无法选择参数； 快速配置：用户可以选择少量的参数进行RAID创建； 高级配置：完全由用户自定义RAID参数。

  34. 建立RAID（续） 3、在“磁盘阵列别名”输入栏中设置RAID别名，并在“物理驱动器”框中选择磁盘，左边的框中为备选磁盘，右边的框中为已选磁盘，在左边的框中点击期望选择的磁盘（可以使用CTRL与Shift键复选），点击“>>”按钮，点击“下一步”。

  35. 建立RAID（续） 4、DS6310系列磁盘阵列支持同一磁盘组（RAID）中不同的LUN采用不同的参数。 为LUN设置别名，选择相应的Raid级别、容量、条带大小、扇区大小、读写策略以及首选控制器ID后（启用LUN关联后此项被激活），点击“更新”按钮。按照相同的方式设置其它的LUN，设置完成后点击“下一步”按钮。

  36. 建立RAID（续） 5、确认无误后点击“提交”按钮完成设置，树形菜单中也有了相应RAID的选项——“磁盘阵列0”。

  37. 删除RAID 1、在树形菜单中点击“磁盘阵列”选项 ； 2、点击“删除”标签，；

  38. 删除RAID（续） 3、勾选期望删除的RAID，并点击提交，弹出确认对话框，在对话框中输入“confirm”并点击“OK”完成操作。

  39. 设置映射 DS6310系列磁盘阵列支持自动映射，即所有与磁盘阵列建立连接的主机，全部能够自动识别到DS6310磁盘阵列上所有的存储空间，但为了便于管理以及提高数据安全性，DS6310提供了映射与LUN屏蔽的功能，这两个功能往往一起使用。 总体步骤： 1、添加启动器（HBA卡）； 2、屏蔽所有的LUN； 3、设置LUN与启动器（HBA卡）的映射关系

  40. 设置映射（1） 添加启动器（HBA卡） 1、点击树形菜单中“存储服务”选项，在出现的页面中点击“启动器”标签右侧下拉菜单，选择“添加启动器”，在输入框中输入相应HBA卡的WWN，点击“添加”按钮完成操作（HBA卡的WWN号可在“光纤通道管理”—>“已登陆设备”页面查看）；

  41. 设置映射（2） 屏蔽所有的LUN 2、屏蔽所有的LUN，方法为点击树形菜单中“存储服务”选项，在出现的页面中点击“LUN映射”标签，勾选“启动LUN屏蔽”选项，点击“提交”按钮；

  42. 设置映射（3） 建立映射 3、设置LUN映射，点击 “LUN映射”标签左侧下拉菜单选择“添加LUN映射”，在出现的界面中的“启动器”下拉菜单中选择相应的WWN。在“LUN映射和屏蔽”列表中选择想要映射的逻辑磁盘，选择的方法为在“LUN”栏的输入框中输入一个LUN号，有LUN号的逻辑磁盘为已映射的逻辑磁盘，无LUN号的逻辑磁盘为未映射的逻辑磁盘，对于每个HBA卡，必须有个逻辑磁盘的LUN号为“0”；

  43. 取消映射 将LUN号置空，即取消此逻辑磁盘的映射关系。

  44. 管理RAID 改变RAID参数 添加删除逻辑驱动器（LUN） 启动后台活动 开启运送模式 点击树形菜单中的“磁盘阵列x”（x代表任意数）选项 ，调出如图所示界面

  45. 管理RAID 改变RAID参数 点击“设置”标签，可进行RAID参数的设置。

  46. 管理RAID 添加逻辑驱动器（LUN） RAID中必须要有尚未分配的空间，才能添加LUN 点击“添加逻辑驱动器”标签，出现如图所示界面，为LUN设置别名，选择相应得Raid级别、容量、条带大小、扇区大小、读写策略以及首选控制器ID后（启用LUN关联后此项被激活，请查阅DS6310系列磁盘阵列用户手册5.9节），点击“更新”按钮。按照相同的方式设置其它的LUN，设置完成后点击“下一步”按钮，在图5-38所示界面中确认信息后，点击“提交”按钮完成设置。

  47. 管理RAID 删除逻辑驱动器（LUN） 点击“删除逻辑驱动器”标签，出现如图所示界面，勾选想要删除的逻辑驱动器（LUN），点击“提交”，在出现的确认对话框中输入“confirm”并点击“OK”按钮完成操作。

  48. 管理RAID 查看/启动后台活动 点击 “后台活动”标签，即可查看当前的后台活动。 点击 “后台活动”标签右侧的下拉菜单，即可启动相应的后台活动。 迁移：此选项下可执行逻辑磁盘的RAID迁移以及在线容量扩展功能； 重建：此选项下可执行RAID重建功能； PDM：DS6310系列磁盘阵列具备PDM（Predictive Data Migration，预先数据迁移）功能，PDM是当某些条件具备的情况下，将RAID中某个物理磁盘的预数据迁移到热备援磁盘中，最大限度地避免数据丢失；当Media Patrol检测到磁盘故障、当系统记录的坏块达到一定的数量时，PDM会自动工作；在有特殊需求时，我们也可以手工执行PDM工作； 过渡：过渡功能是利用一个尚未定义的物理磁盘或一个不可恢复的尚未使用的热备磁盘代替一个已经属于某个RAID的可恢复热配磁盘，并将后者恢复为其初始状态（即恢复为未使用的可恢复热备磁盘）。

  49. 格式化逻辑驱动器（LUN） 在树形菜单中选择想要格式化的逻辑驱动器，在出现的界面中点击“后台活动”标签右侧的下拉菜单，选择“初始化”，出现如图所示界面，设置各项参数后点击“提交”进行格式化，

  50. 管理热备磁盘 点击树形菜单中的“备用驱动器”选项。

More Related