1 / 19

刘光亚 (liugya@cn.ibm)

Jul 2014. HEAT 部署 Hadoop 集群. 刘光亚 (liugya@cn.ibm.com). 什么是 HEAT. Orchestration service for OpenStack 使用 Template 来定义应用 (JSON Or YAML) 自动部署 自动扩展 高可用 。。。. Hadoop Cluster On HEAT. 自动部署 自动部署 Hadoop 集群 自动扩展 根据 CPU ， Memory 等等来自动扩展 Hadoop 集群. Hadoop Cluster On HEAT. Hadoop 的模板

hillary-knowles
Download Presentation

刘光亚 (liugya@cn.ibm)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Jul 2014 HEAT部署Hadoop集群 刘光亚(liugya@cn.ibm.com)

  2. 什么是HEAT • Orchestration service for OpenStack • 使用Template来定义应用 (JSON Or YAML) • 自动部署 • 自动扩展 • 高可用 • 。。。

  3. Hadoop Cluster On HEAT • 自动部署 • 自动部署Hadoop集群 • 自动扩展 • 根据CPU，Memory等等来自动扩展Hadoop集群

  4. Hadoop Cluster On HEAT • Hadoop的模板 • 一个Hadoop管理节点 • 多个Hadoop计算节点 • 可以自动扩展、收缩等等 • 告警 • 监控CPU或者Memory • 触发策略执行 • 策略 • 自动扩展收缩等等

  5. Hadoop Cluster On HEAT Hadoop管理节点 • Hadoop Template For HEAT 创建虚拟机的镜像文件 虚拟机的flavor 访问虚拟机的private key user data 是虚拟机创建完成后，需要做的一些post install工作 Hadoop管理节点安装完成后，需要发一个信号来通知 HEAT Engine可以开始创建Hadoop计算节点了

  6. Hadoop Cluster On HEAT Hadoop计算节点自动扩展资源组 • Hadoop Template For HEAT Hadoop计算节点自动扩展资源组最大虚拟机个数 Hadoop计算节点自动扩展资源组最小虚拟机个数

  7. Hadoop Cluster On HEAT • Hadoop Template For HEAT 将metrics发给heatengine，heatengine会根据metircs来决定是否要自动扩展或者收缩。

  8. Hadoop Cluster On HEAT Hadoop自动扩展策略 当前的这个自动扩展策略针对的是哪个资源扩展组 连续两次自动扩展的时间间隔 • Hadoop Template For HEAT 用来触发自动扩展的Alarm 每次扩展只会添加一台虚拟机 触发自动扩展的Metrics Alarm多长时间触发一次 触发自动扩展的阈值

  9. Hadoop Cluster On HEAT • 创建Stack

  10. Hadoop Cluster On HEAT • Stack 创建完成

  11. Hadoop Cluster On HEAT • 检查VM是否创建成功 Hadoop Master Hadoop Compute

  12. Hadoop Cluster On HEAT • 检查Hadoop集群 One Hadoop Compute

  13. Hadoop Cluster On HEAT • 自动扩展一台虚拟机

  14. Hadoop Cluster On HEAT • 自动扩展成功

  15. Hadoop Cluster On HEAT • 检查Hadoop集群 Scale up to Two Hadoop Compute

  16. Hadoop Cluster On HEAT • 可以用同样的方法来自动收缩 • 现在自动收缩会将创建最早的虚拟机删除，没有任何的策略让用户挑选要删除的虚拟机。 • 在删除虚拟机前，用户没有机会为即将删除的虚拟机执行一些清理工作。

  17. 参考 • https://wiki.openstack.org/Heat • https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/Wc50c94953cb5_4158_b054_b5af88796998/page/BigData%20on%20Cloud • http://aws.amazon.com/documentation/cloudformation/ • https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/W6756ebb33c0c_43ca_9ae8_3cd8b377a1be/page/Heat

  18. HEAT 自动扩展工作流

  19. Thanks!

More Related