1 / 41

平台技术部 系统平台 杨仁斌 2009-8-6

全球流动计算平台. 平台技术部 系统平台 杨仁斌 2009-8-6. Agenda. 企业战略 战略落地：全球流动计算平台 Roadmap. 海量是互联网企业最大的魅力，也是最大的挑战. 企业战略. Mission ：让天下没有难做的生意 订单难、管理难、成长难 产品设计目标： 海量 高质、可靠、专业、配套服务 产品设计原则： 以买家为导向，兼顾卖家，解决专业化与纵深问题. 企业竞争的三个阶段： 1. 人无我有 —— 商业模式竞争 2. 人有我优 —— 用户体验细节竞争 3. 人有我有大家有 —— 成本的竞争，精细化运营. 华为有冬天 !

rodney
Download Presentation

平台技术部 系统平台 杨仁斌 2009-8-6

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 全球流动计算平台 平台技术部系统平台 杨仁斌 2009-8-6

  2. Agenda • 企业战略 • 战略落地：全球流动计算平台 • Roadmap

  3. 海量是互联网企业最大的魅力，也是最大的挑战海量是互联网企业最大的魅力，也是最大的挑战 企业战略 • Mission：让天下没有难做的生意 • 订单难、管理难、成长难 • 产品设计目标： • 海量 • 高质、可靠、专业、配套服务 • 产品设计原则： • 以买家为导向，兼顾卖家，解决专业化与纵深问题 企业竞争的三个阶段：1.人无我有——商业模式竞争 2.人有我优——用户体验细节竞争 3.人有我有大家有——成本的竞争，精细化运营 华为有冬天! 阿里的冬天在哪里？

  4. 企业战略构建三大平台 网站技术部 ASC 平台技术应用平台 阿里巴巴全球中小企业平台 顺势，顺心，顺经脉 平台技术系统平台 运维部 AppOps 数据仓库 ITBU Andy2——IDC 核心系统部CRM 数据仓库 全球流动计算平台 海量，高效，随需而动，绿色 阿里巴巴全球销售服务平台 知我，知人，知天下 阿里巴巴全球流动计算平台 立刚，立柔，立基业

  5. 企业战略构建三大平台中小企业平台 • 中小企业平台 • 网站平台化 • VAS产品模块化（支付宝认证、ICP备案、旺铺、企业邮箱、公司介绍） • 产品组合成为不同产品包 • 网站技术模块化 • 搜索平台化 • 多语言支持 • Smart Query • 智能导航 • 推荐引擎 • 广告平台化

  6. 企业战略构建三大平台销售服务平台 • 销售服务平台 • 内涵：用技术帮助销售与服务 • 实例： • 阿里客户生命周期管理 • 商机参谋 • 行业风向标 • 产业链推荐

  7. 企业战略构建三大平台流动计算平台 • 流动计算平台 • 立刚、立柔、立天下 • 提供另外两大平台的基础计算资源与数据资产的平台 • 七大子领域技术（资源的基础应用方式） 流动计算技术 并行计算技术 数据库技术 数据中心技术 数据平台技术 存储技术 终端技术

  8. 流动计算平台七大领域支撑技术 流动计算技术 • 1.数据中心技术 • 解决：提供物理链路、存储、物理或虚拟服务器 • 应用领域：IDC是互联网的基础设施 • 2.流动计算技术 • 解决：Service类应用计算资源管理 • 应用领域：网站前端应用、无状态的Daemon应用（如Apache、Syslgod） • 3.并行计算技术 • 解决：Job类计算密集型应用的计算资源管理 • 应用领域：数据仓库、数据挖掘、搜索引擎 并行计算技术 数据库技术 数据中心技术 数据平台技术 存储技术 终端技术

  9. 流动计算平台七大领域支撑技术（cont’d） 流动计算技术 • 4.存储技术 • 解决：基础的大容量存储需求 • 应用领域：数据仓库、文件存储、网站应用 • 5.数据库技术 • 解决：结构化数据管理(存储、查询、更新等) • 应用领域：数据仓库、网站应用（ Offer、商品信息、企业信息 ）、CRM • 6.数据平台技术 • 解决：利用并行计算与大容量存储对大量日志及其它商业数据进行分析，基于一定的数据模型提取有效数据，利用这些数据生成对企业经营、管理等方面有用的信息 • 应用领域：基于数据仓库的应用，如中小企业生命周期管理、产业链分析 并行计算技术 数据库技术 数据中心技术 数据平台技术 存储技术 终端技术

  10. 七大领域支撑技术 流动计算技术 • 7.终端接入技术 • 解决：Last-mile的接入需求 • 应用领域： A-Phone、A-Notebook、A-PDA 并行计算技术 数据库技术 数据中心技术 数据平台技术 存储技术 终端技术

  11. 流动计算平台核心问题 • 全球流动计算平台的核心问题 • 各个子领域技术的实现 • 各领域自治 • 各子领域的统一管理：全球流动计算平台管理中心（为何要统一管理） • 统一的配置与管理 • 统一的统计与报表 • 统一的资源搜索 • 统一的监控与告警 • 统一的入口去使用各类子系统资源

  12. 流动计算平台核心问题管理中心 • 全球流动计算平台-管理中心是（各种描述） • Alibaba Infrastructure Operation System • 是一套把现在资源管理的各种工具与各部门自己开发的小平台整合在一起，并打通各小系统数据信息通道的一整套系统的管理系统 • 一套系统平台 • 管理的内涵 • 监 • 控 • 管 • 管理有多重要？思考两分钟！ • ……

  13. 流动计算平台目标用户 • 谁是DCP的目标用户 • 系统管理工程师（SA） • 数据库管理工程师（DBA） • 应用运维工程师（App Ops） • 产品经理（PM） • 高层管理层与企业决策层

  14. 流动计算平台目标用户SA • SA可以用DCP干什么？ • 通过WebUI对资源（服务器、网络设备、IDC）相关的信息增、删、改、查 • 通过WebUI配置或初始化操作系统 • 通过WebUI管理虚拟机 • 通过WebUI分析资源故障信息 • 通过系统对资源使用历史情况的统计，为来年资源申请提供参考数据

  15. 流动计算平台目标用户DBA • DBA可以用DCP干什么？ • 通过WebUI统一管理所有数据库（Oracle、MySQL）的配置文件 • 通过WebUI启动、停止数据库服务 • 通过WebUI查看数据库服务器的运行情况 • 通过WebUI查看数据库统计信息 • 通过WebUI查看表结构

  16. 流动计算平台目标用户AppOps • App Ops可以用DCP干什么？ • 统一管理所有的应用，并进行应用的备案管理 • 通过WebUI的方式发布或更新一个应用，并申请服务器、存储、数据库资源 • 提交事前定义的应用部署方案，系统会依据该部署方案自动部署所需应用

  17. 流动计算平台目标用户PM • PM用DCP干什么？ • 查看某个应用产品的运营情况是否到的设计预期 • 查看某个应用产品的资源消耗情况，以此分析产品运营成本 • 通过产品服务的PV或流量等指标的历史变化趋势来判断产品运营情况

  18. 流动计算平台目标用户决策&管理层 • 决策层用DCP干什么？ • 了解资源的利用率（成本控制能力）是否满足要求 • 了解各产品用户使用情况的历史变化趋势

  19. 流动计算平台平台的两层架构 全球流动计算平台 全球流动计算平台-管理中心 配置与管理中心 统计与报表中心 资源搜索中心 监控与告警中心 支 撑 性 子 系 统(七柱子) 流动计算子系统 并行计算子系统GreenPlum、Hadoop、飞天 存储子系统盘古、有巢 数据中心子系统 数据库子系统 数据平台子系统 终端接入子体系

  20. 流动计算平台管理中心 全球流动计算平台 管理中心配置与管理中心 资源管理 权限管理 支撑子系统管理 物理资源管理 物理关系管理 集群逻辑关系管理 账号管理 账号权限设置 审批路径管理 流动计算子系统 并行计算子系统 存储子系统 数据库子系统 数据平台子系统 数据中心子系统 终端接入子系统 应用管理 中小企业平台各种网站应用 销售服务平台各种Web应用 • 系统应用(日志、CDN、邮箱) 数据仓库应用(并行Job应用) 集中配置管理Framework 应用发布流程管理 应用升级与部署 应用的资源管理

  21. 流动计算平台管理中心(cont’d) 全球流动计算平台 管理中心统计与报表中心 资源统计 应用统计 数据仓库数据展示 资源利用率统计：按IDC分布 每个应用的资源使用历史曲线图 中小企业生命周期图 资源数量统计：IDC、网络设备、服务器、带宽 每个应用的当前使用的资源信息统计 每个应用的当前使用的资源信息统计 每台服务器资源利用率历史曲线图 应用未来资源使用趋势预测图 应用未来资源使用趋势预测图 …… …… ……

  22. 流动计算平台管理中心(cont’d) 全球流动计算平台 管理中心资源搜索中心 基本搜索 高级搜索 机架名搜索 服务器搜索（条件组合） 服务器名搜索 CPU利用率低于N%的 IP搜索 内存大于4G的 资产编号搜索 8核CPU的 Dell品牌 IDC名搜索 地理区域搜索 带宽搜索 上架时间搜索 出口带宽>10Gbps 带宽利用率<30% VIP搜索

  23. 流动计算平台管理中心(cont’d) 全球流动计算平台 管理中心监控与管理中心 集成Dragoon

  24. 流动计算平台与飞天关系 • 飞天是一个云计算平台 • 什么是云计算 • 首先，云计算是一种资源管理的技术 • 其次，云计算是一种资源按需出租的商业模式

  25. 流动计算平台与飞天关系（cont’d） • 概念：Iaas、PaaS、SaaS • 各巨头的云计算产品 • Amazon • EC2（Elastic Compute Cloud） • EC2-based Hadoop • S3（Simple Storage Service） • AWS（Amazon Web Service） • Cloud Front • Simple DB • Simple Queue Service • Google • GFS • BigTable • App Engine • Map-Reduce • Apsara（Alisoft飞天） • 盘古 • 有巢（KV、SQL） • 伏羲Service（待定） • 伏羲Job • 夸父 流动计算技术 并行计算技术 数据库技术 数据中心技术 数据平台技术 存储技术 终端技术

  26. 流动计算平台与飞天关系（cont’d） • 飞天对我们管理中心的影响 • 配置与管理中心资源管理 • 由飞天系统（Apsara OS）管理并提供资源的服务器本系统不必再管理 • 飞天对我们七大支撑技术的影响 • 飞天的各子技术方向将可能取代或部分取代七大支撑技术当前实现方案 • 受到影响的 • 并行计算技术子系统（Hadoop/GreenPlum伏羲调度的Job工作模式） • 存储技术子系统（NetApp/NAS/富士山 盘古、有巢的KV Engine） • 未来可能受到影响的 • 数据库技术子系统（MySQL/Oracle盘古、有巢的SQL Engine） • 流动计算技术子系统（暂时还没有想好） • 可能不受影响的 • 数据平台子系统（数据仓库） • 数据中心技术子系统（Andy2 IDC） • 终端接入技术子系统（IT BU）

  27. 流动计算平台与飞天系统的关系结论 • 结论： • ApsaraOS的各项技术将是我们全球流动计算平台七个技术方向的一种特殊实现，也是一种备选方案 • 全球流动计算平台七个技术方向每个方向将在多个备选方案中选择最优的实现方案，Apsara在该领域的技术将为成为我们重要考虑的方向 • 全球流动计算平台将会标准化使用七个技术的API或中间件，使得应用不必关注支撑技术的实现方案 • Apsara OS的成功将会让全球流动计算平台也更成功

  28. Roadmap Roadmap

  29. Roadmap1.0功能列表 • DCP （Dynamic Computing Platform）1.0包括哪些内容 • 抓主要矛盾：80%以上的应用是网站应用 • 以解决网站应用的“流动计算技术”作为1.0的核心任务 • 配置与管理中心 • 资源管理 集群关系管理 • 应用管理 应用发布流程管理 • 应用管理 应用升级部署管理 • 应用管理 应用的资源管理(监、控、管) • 支撑系统管理 流动计算子系统管理 • 统计与报表中心 • 应用的当前资源使用列表 • 应用的资源使用历史曲线图 • 支撑性技术：流动计算子系统 • 自动化部署模块 • 实时集群负载计算模块 • 集群结构调整模块

  30. Roadmap1.0概念原理图 流动计算子领域 解决网站应用 App2 Cluster App1 Cluster

  31. Roadmap1.0逻辑架构示意图 1.实时调度计算模块不断从数据采集模块接收各服务器、各集群的服务质量、性能、负载等标准 2.实时调度计算模块利用所获得的数据，计算出每个集群的App负载综合指数，当该综合指数在App Ops的设置范围外，则认为该集群的App压力过重，并将该信息通知到集群拓扑管理模块 3.集群拓扑管理模块将会自动动态从负载过轻的集群中划分出足够的设备，加入到本App集群中 配置管理 信息展现 设备信息管理 实时资源调度计算 集群拓扑管理 简单监控模块 监控数据 任务管理 设备与拓扑信息 自动部署 数据采集

  32. Roadmap1.0Key Point • Key Point • 制定每个（类）应用的性能指标：如何判断一个应用负载过轻或过重 • 标准化每个（类）应用的部署方法，从而可能让部署自动化 • 提供良好的展现方式（例如WebUI），随时了解系统运行状态 • 支持手动模式，避免自动管理可能引发的异常

  33. RoadmapDCP未来分解的子技术 • DCP的流动计算技术的支撑性技术 • DCP-1.0 • 集群动态负载均衡技术 • 四层、七层负载均衡技术 • 自动化部署 • DCP2.0 • Smart DNS技术 • 镜像站点的管理技术

  34. 1.0 1.1 1.2 1.3 2.0 Roadmap可能的1.X 2009Q4 2010Q1 2010Q3 2011Q4 2011Q1 1.集群管理 2.应用发布管理 3.流动计算技术的实现 4.简单权限管理 1.加强1.0阶段的功能 2.资源管理集成 3.监控中心集成 4.应用统计的简单报表 1.加强1.1阶段的功能 2.数据库集中配置 3.存储集中配置4.负载均衡器集中配置 5.Dubbo网站应用的集中配置 1.加强1.2阶段的功能 2.系统应用（如日志）配置管理 3.并行计算平台的管理 1.使用资源使用中间件方式来使用七大支撑技术，为飞天系统整合做准备

  35. 回顾 • 企业战略 • 战略落地：全球流动计算平台 • Roadmap

  36. 计算流动，随需而动!

  37. 附：系统平台内部组织结构调整 生产力决定生产关系！

  38. Thanks! Email: renbin.yangrb@alibaba-inc.com

More Related