1 / 60

钱华山 博士

水利水电高性能计算研讨会. 高性能数值计算软件平台 pFEPG 及在水利领域应用. 钱华山 博士. 2005 年 6 月 南京. 主要内容. pFEPG 的研制思路 pFEPG 简介 pFEPG 在水利领域的应用 协同计算. pFEPG 的研制思路. 有限元法、有限体积法. 二十世纪前人类认识世界的两种手段 做试验，靠经验 建立数学物理模型（大多是偏微分方程），做理论分析 二十世纪出现的第三种手段 由电子计算机求解数学物理模型的数值仿真与数值试验 有限元法、有限体积法是数值求解偏微分方程的最重要的数值方法

cliff
Download Presentation

钱华山 博士

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 水利水电高性能计算研讨会 高性能数值计算软件平台pFEPG及在水利领域应用 钱华山 博士 2005年6月 南京

  2. 主要内容 • pFEPG的研制思路 • pFEPG简介 • pFEPG在水利领域的应用 • 协同计算

  3. pFEPG的研制思路

  4. 有限元法、有限体积法 • 二十世纪前人类认识世界的两种手段 • 做试验，靠经验 • 建立数学物理模型（大多是偏微分方程），做理论分析 • 二十世纪出现的第三种手段 • 由电子计算机求解数学物理模型的数值仿真与数值试验 • 有限元法、有限体积法是数值求解偏微分方程的最重要的数值方法 • 数值模拟软件中用有限元法、有限体积法的软件占绝大多数

  5. 高性能数值计算软件开发的两种思路 1.直接进行程序并行化 2.通过编译器解释成并行 3.？？

  6. 计算机语言的发展历程 下一代语言？ 高级语言 汇编代码 机器代码

  7. pFEPG提供的新思路 偏微分方程表达式 + 算法 高性能数值计算程序 pFEPG

  8. 有限元/有限体积语言 描述：偏微分方程和算法 有限元/有限体积语言 自动生成 高级语言

  9. 三维稳态热传导问题 控制方程： 边界条件： 按照有限元方法，转化为下面的等价形式

  10. 有限元语言描述方程 disp u coor x y z shap c 8 gaus 2 mate ek q stif dist=+[u/x;u/x]*ek+[u/y;u/y]*ek+[u/z;u/z]*ek load=+[u]*q end

  11. 有限元语言描述算法 Defi ! 定义物理场 aell! a场采用椭圆方程求解 STARTCa !初始化a场 SOLVCa !求解a场

  12. 三维土坝的无压渗流：方程 : 水头 k:=1.0, 渗透系数 Q=0, 源汇 由于自由渗流面未知，这是一个非线性问题。我们转而求解下面的方程： 时, 时,

  13. 有限元语言描述方程 defi disp u coor x y z coef un shap w 4 gaus w mate pk eq 1.0 0.0 stif $c6 pk1=pk $c6 em=0.0d0 $c6 if(un.lt.y+1.0d-11) then $c6 pk1=0.0d0 $c6 em=1.0d-8 $c6 endif dist=+[u/x;u/x]*pk1+[u/y;u/y]*pk1+[u/z;u/z]*pk1+[u;u]*em load=-[u]*eq end

  14. 求解区域 分区图 pFEPG, 288, 000单元 确定各向同性土层上的一个水坝的浸润面和逸出线的位置， 并求出均质坝体中的稳定渗流场 稳定渗流场

  15. pFEPG简介

  16. pFEPG的由来 • 1983年开始研制FEPG • 1993年FEPG研制成功 • 1994年获得中科院科技进步二等奖 • 1995年国家科技进步二等奖 • 1996年在数学家杨乐的建议下开始 商品化 • 1999年成立北京飞箭软件公司 • 2000年推出网络计算平台iFEPG • 2004年9月推出并行计算平台pFEPG • 目前，飞箭软件用户单位200多家，是国内CAE软件知名品牌。 软件发明人 梁国平研究员

  17. pFEPG软件的核心 一种语言： 描述偏微分方程及其求解算法 • 是一种更抽象的语言 • 比现有的高级计算机语言更高层次的语言 • 由它产生高级计算机语言程序 三项技术： • 自动生成技术 • 元件化技术 • 公式库技术

  18. pFEPG代码生成原理

  19. pFEPG前处理建模 双曲拱坝整体模型网格图

  20. pFEPG后处理显示 双曲拱坝应力结果着色图

  21. pFEPG组织的并行计算 1.首先将整个求解区域自动分解为若干子区域，将每个子区域分配给一个进程处理，各个子进程之间的消息传递通过专门设计的相对独立的通讯子系统来完成。 2.各子区域单独进行单元计算、刚度矩阵的合成、非线性算法和多场耦合算法的实现、后处理计算等。 3.最后通过将各个子区域的计算结果叠加得到整个求解区域的结果。

  22. pFEPG 系统使用模式

  23. pFEPG的功能特点 • 并行算法： 基于Lagrange乘子算法的区域分解算法和基于Krylov子空间迭代算法的区域分解并行算法 • 并行环境及求解器： 多种预条件子，多种求解器 • 用户级通信协议 ： 基于MPI通信环境的用户级通信协议 • 系统效率和可扩展性: 线性加速，扩展性优良 pFEPG并行效率和加速比 计算规模：104万非结构化网格的三维压力容器强度分析 计算机型：中国科学院网络中心联想深腾6800

  24. pFEPG的系统特点 • 开放性： 人人都可以参与开发 • 通用性：①各种学科领域； ②各种微分方程； ③各种有限元和有限体积算法； • 再用性：①软件的再用性是软件可持续发展的基本问题; ②采用有限元语言编程就是书写偏微分方程与算法； ③易读易懂从根本上解决了软件的再用性； • 时代性: ①通过互联网使用是二十一世纪最理想的软件使用方式 ②适用于分布式多CPU并行机，是二十一世纪高性能计 算的基础；

  25. 分块数/cpu数 方程组求解时间 加速比 整体求解时间 加速比 16/17 4875.56 - 5402.01 - 32/33 3491.13 0.70 3667.36 0.73 63/64 1820.94 0.68 1959.91 0.70 pFEPG在深腾6800上测试的结果 3,200,000网格稳态求解的加速比

  26. 分块数/cpu数 整体求解时间 加速比 16/17 12530.34 32/33 8701.63 0.72 63/64 4546.16 0.70 pFEPG在深腾6800上测试的结果 3,200,000网格动态求解的加速比

  27. pFEPG已测试的各种机型 • 曙光4000A (上海超级计算中心) • 联想（深腾1800、6800） • IBM（南开之星）   • 浪潮（天梭TS10000 ） • HP 并行机 • SGI并行机 • SUN并行机 • PC-Cluster平台

  28. pFEPG目前测试的最大求解规模 日本西南地区的俯冲带附近因板块俯冲而带动的在地幔中的Stokes流与温度耦合的情况。与加拿大国家地质调查局太平洋地学中心，日本JAMTEC合作完成 32,012,265自由度 64个CPU运行 耗时14分03秒 温度分布图中白线为海岸线或州边界

  29. pFEPG在水利领域的应用

  30. 混凝土大坝材料损伤过程分析 混凝土高坝在强震作用下的失效，最终体现在坝体混凝土的严重开裂导致坝体破坏，水科院分别采用单机和并行系统模拟细观混凝土结构（毫米量级），进行了大规模多工况的计算，得到了混凝土材料在不同动、静载作用下宏观强度的变化规律 pFEPG计算实例 计算模型 骨料随机投放

  31. 混凝土大坝材料损伤过程分析 混凝土双折线损伤变量演化模型 抗拉强度的强化系数Ht和弹性模量强化系数HE 计算模型

  32. 混凝土大坝材料损伤过程分析 CPU个数 计算耗时 单机计算 1个 5.5天（132小时） 并行计算 4个 10小时12分钟 并行计算 32个 1小时51分钟 计算过程：计算先采用有限元程序自动生成系统（FEPG）生成串行计算程序；再用并行有限元程序自动生成系统（pFEPG）生成并行计算程序。两个程序生成过程用的是相同的有限元公式。 计算结果：用FEPG和PFEPG生成的程序进行计算分析均得到了和用户先前编制的有限元程序一致的结果。 计算模型 并行计算和单机计算的比较

  33. 1）显式算法 • 2）用附加质量法考虑水及泥沙作用 • 3）考虑山体和坝体的断层和裂缝，采用了拉格朗日乘子法处理点对接触力 • 4）考虑了温度对坝体的影响 • 5）在坝自重和地震动作用下考虑坝基交界面的拉开情况。 • 6）考虑地震波在人工边界的透射问题 图中2dp1为第三章二维串行程序的 PFEPG在小湾拱坝动力分析中的应用

  34. 计算模型 图中2dp1为第三章二维串行程序的 共有28285个节点，1075个接触点对，总共23862个单元

  35. 工况一： • 计算山体重力，不计算坝体重力、水压泥沙荷载及温度影响，计算10秒，时间增量0.0001秒，共10万步。 • 计算中，通过把坝体作为死单元来处理，做到只计算山体重力，不计算坝体的影响，同时，当接触面出现滑动后，即将点对的凝聚力赋值为0，计算结束后，通过计算得到的接触面上的接触力修改点对信息中的初始压紧力。 图中2dp1为第三章二维串行程序的

  36. 工况二： • 计算坝体重力，不计算山体重力，载荷考虑水压、泥沙及温度影响，另外还考虑了基础内的渗透压力，计算6秒钟，时间增量步为0.0002秒，共3万步。 图中2dp1为第三章二维串行程序的

  37. 工况三： • 计算坝体的对地震波输入的动力响应，考虑透射边界界，不考虑坝体与山体的重力，以及水、泥沙载荷和温度的影响，考虑到水对坝体动力响应的影响，我们将其作为坝体表面的附加质量考虑，计算10秒，时间增量步为0.0001秒，共10万步。 图中2dp1为第三章二维串行程序的

  38. 小湾拱坝的动力学并行计算结果 计算结果 下游面全时程最大、最小主应力云图 上游面全时程最大、最小主应力云图

  39. 并行效率统计 图中2dp1为第三章二维串行程序的

  40. x方向位移云图 网格分区图（32个子区域） pFEPG计算实例 东北大学岩石破裂与失稳研究中心应用pFEPG完成的一个岩石力学的数值模型 (1,590,000节点)(联想深腾1800）

  41. 地球物理领域 水利领域 石油领域 材料领域 建筑结构领域 高能物理 电磁领域 传热传质 道路桥梁 …… pFEPG应用基础

  42. 问题描述 平面二维水沙运动问题 如右图所示，水在1/4环形水渠内流动，进口处x方向单宽流量为4, y方向单宽流量为0,水深为2，出口处水面高度为4。求水渠内的单宽流量和水边高度。

  43. 该问题的偏微分方程 水流连续性方程： 水流动量方程：

  44. 该问题的偏微分方程 悬移质不平衡输移方程 悬移质引起的河床变形方程

  45. 结果图

  46. 小浪底库区下游水沙运动计算模拟

  47. 衬砌支护上的变形 三维围岩稳定分析 通过模拟计算揭示出索风营围岩稳定状态，进行围岩稳定评价，为设计的优化和施工程序的安排提供指导

  48. 三维围岩稳定分析 几何造型及网格剖分 • 自动生成横观各向同性弹塑性计算程序

  49. 三维围岩渗流分析 • 构造生死节点法处理流动自由面

  50. 三维围岩渗流分析 空间等水头面

More Related