1 / 29

腾讯公司 集中式 IT 系统技术架构

腾讯公司 集中式 IT 系统技术架构. 蒋 杰 2012-11-22. 大纲. IT 系统技术架构演进路线 集中式业务支撑系统 —TBOSS 案例分析：腾讯 Boss 系统 集中式 BI 系统 — TDW 案例分析：支付宝 DW 系统. 1. 演进路线 架构挑战 第三代架构. 腾讯公司 IT 架构演进路线. 腾讯 IT 架构演进路线. 服务范围 : 移动及电信增值服务 营收规模： 28 亿 代码量 : 百万级 技 术团队 : 0~1000 人. 服务范围 : 增加互联网产品领域 营收规模： 360 亿 代码量 : 千万级

reece-oneill
Download Presentation

腾讯公司 集中式 IT 系统技术架构

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 腾讯公司集中式IT系统技术架构 蒋 杰 2012-11-22

  2. 大纲 • IT系统技术架构演进路线 • 集中式业务支撑系统—TBOSS 案例分析：腾讯Boss系统 • 集中式BI系统— TDW 案例分析：支付宝DW系统

  3. 1 演进路线 架构挑战 第三代架构 腾讯公司IT架构演进路线

  4. 腾讯IT架构演进路线 • 服务范围: 移动及电信增值服务 • 营收规模：28亿 • 代码量: 百万级 • 技术团队: 0~1000人 服务范围: 增加互联网产品领域 营收规模：360亿 代码量: 千万级 技术人员: 1000~6000人 服务范围:增加海外、第三方开放平台 营收规模：360+亿 代码量: 亿级 技术人员: 6000+人 业务 2000年 2007年 2010年 2011年+ 2006年 一代架构: 烟囱型 二代架构: 面向服务型 ? 架构 • 技术基础: c++/.net/spring/RDBMS • 技术基础:分布式缓存/消息队列/数据拆分/key-values数据库/Hadoop • ?

  5. 当前架构挑战: 构建海量、稳定、安全平台

  6. 第三代架构：云服务

  7. 2 TBOSS承载业务 TBOSS功能架构 分布式部署 安全防护 案例分析：腾讯Boss系统 集中式业务支撑平台

  8. IT部(TEG)对公司各事业群起支撑作用 60人 Q币发行(实体卡/在线卡) 经销商管理 运营商合作 电信/移动/联通 240人 网银/财付通 • 研发2000人 • (其中 BOSS100人, • BI 180人) • 客服2500人 网络/存储/安全/客服/数据/计费… 腾讯BOSS特点： 1）伴随各业务事业群的发展，逐渐沉淀和完善的过程。 2）已形成一级体系（集中式，如网络/计费等），但业务事业群依然保持灵活的二级体系（分散式，运维/经分等）。

  9. TBOSS IT部管理的核心IT系统---TBOSS

  10. TBOSS承载业务：公司82%收入的计费及营销 • 本季度总收入105亿元，比去年同期增长56% • 其中： • 互联网增值服务：78亿，占74% • 移动及电信增值服务：9亿, 占8.5% • 网络广告业务：8.7亿，占8.2% • 电子商务：8.6亿,占8.2% TBOSS：承载腾讯营收82%+,每日交易金额超过1亿元，年增长率50%左右

  11. TBOSS功能架构 580多个产品 180多个渠道合作商 用户交易请求 业务产品 支付渠道 无线 移动 统一 渠道 接入 统一 产品 管理 互联 联通 统一计费 统一营销 互娱 电信 财经 Q币 营销资源管理 安全 Esales 账务 对账 结算 即通 网银 渠道 账户 Q币 账户 订购 关系 账单 库 …… …… …… 1）QQ账户总量7亿、充值活跃用户1.4亿 2）1分钟交易峰值25万次，查询峰值200万次 3）用户级反欺诈安全策略检测每日超过2亿次

  12. 腾讯云服务 应用 支付云 充值 购买 对外提供支付云，支撑开放平台 多终端支持 WEB Mobile Client 商户 商户管理门户 SDK 用户管理门户 1）接入-付费-监控-结算全流程一体化——2天接入，25天结算； 2）覆盖以Qzone为主的，微博、Q+等九大平台——700+款APP，总用户数5000万，日营收超过1000万元； 用户

  13. 分布式部署：容灾+就近接入 区域批价中心2 区域批价中心N 。。。。。。 IDC IDC svr svr IDC svr db svr db 区域批价中心1 IDC1 IDC svr IDC2 IDC3 上海账务灾备中心 深圳账务中心 1）批价：全国各大IDC就近部署，本地批价并兑换商品 2）账务：商品消费记账。两地中心部署在4个IDC，实时容灾（多级自动切换，锁定机制实现强一致性）；系统可用度保持在99.997%以上； 3）共1200台 PC服务器,具备自动伸缩能力

  14. 公司内部安全防护设计 操作台 前台操作 后台服务 OA登录 敏感权限系统 帐户DB OA登录 登录后台服务器 登录跳板机 后台操作 OA密码、SHELL审计 Log审计 ROOT密码管理、SHELL审计、关键脚本审计、数据库审计 帐单中心对帐核对，DB加密防篡改 Token卡 公司敏感权限控制及审计

  15. 技术选型策略 摘选自CTO-Tony： 1）没有采用IOE 2）软件主张自主研发，尽可能不采用外部中间件； 3）设备采用廉价PC，根据应用场景分几类标准型号； 4）海量运营之道：大系统小做，先扛住再优化，灰度，过载保护，…

  16. 3 系统定位 设计思路 技术架构 案例分析：支付宝数据分析系统 集中式BI系统

  17. 集群规模/数据量/计算量 日均计算量10PB 支撑2万个计算任务 机器数5600台 总存储能力100PB 日新增100T数据

  18. 现状——传统数据仓库模式 内部用户 PD 数据分析师 运营 数据化运营 商业决策 产品设计 … 业务分析师/数据PD 商业智能团队 理解业务 文档化业务和需求 BI产品设计 ETL开发工程师 模型架构师 数据开发团队 ETL作业设计， 实施，维护， 优化 数据模型建模 基础架构团队 程序员 架构师 使用、建设 数据工具平台 技术框架设计 平台与工具的实现 ADI 元数据 调度系统 分发中心 建设

  19. 愿景——人人可以使用数据 数据开发团队 运营 内部用户 外部用户 合作伙伴 商户 PD 数据分析师 培训，咨询，解决方案 数据化运营 商业决策 产品设计 提取满足特定条件的用户 … … ETL开发工程师 提供服务 商业智能团队 BI分析师/数据PD 分析用户行为 用户分群，挖掘高价值用户 BI产品设计 模型架构师 直接使用 数据开放平台 基础架构团队 程序员 架构师 建设 技术框架设计 平台与工具的实现

  20. 数据云 Data Cloud (DC) 效率 海量 2.数据分析 新 客户 3.反馈数据 潜在 客户 流失挽留 1.获取数据 维系提升 成熟 客户 获取阶段

  21. BI系统定位：数据云、数据工场 最终用户(数据分析师/产品/运营/开发) 使用数据 数据API、产品报表，数据自助分析/提取，专题分析报告，数据挖掘，BI分析… 数据应用/数据API 数据应用开发者 Ad-hoc查询 开发数据产品 1 数据应用开发工具、组件、规范 2 基于数据仓库/BI分析库的自助分析组件 3 数据应用的部署、运维、托管 4 数据应用的公共服务 5 平台运营分析和管理 应用开发平台（数据工场） 海量数据平台 1 离线存储，离线计算和挖掘能力 2 在线数据收集、存储和流式计算能力 3 大规模集群的运营和优化能力 基础平台（数据云） 机房、设备、网络等服务 虚拟机、资源调配 基础设施

  22. 基于云服务数据开放平台 数据云平台 • 观星台,地动仪, • 基于hadoop海量数据自助查询 • 基于用户属性和行为挖掘为B2C提供数据服务等等 • 对备付金存量调拨模型预测,风险模型相关应用等等 • 保险行业,证券行业,银行授信,信用卡相关应用等等 • 未来新应用和服务 新业务 业务 内部金融 数据支撑 外部金融 B2C业务 数据云平台 技术 海量计算 海量挖掘 数据分发 ….. 流计算 实时查询 资源管理 • 海量计算: • 基于Hadoop海量存储计算集群,同时提供一站式的计算和存储资源管理 • 数据分发中心: • 提供批量数据抽取和转载,同时准实时消息,日志分发(采用客户pull方式) • 海量数据实时搜索: • 基于Solr搜索引擎集成,提供千亿级别数据实时查询和全文检索 • 海量数据查询: • 基于hive和Pig,提供Web页面海量数据可视化查询服务 流计算框架: 类似M/R流式计算框架,可以实现应用快速,提供在线数据加工服务 • 分布式数据挖掘: • 基于Mahout分布式数据数据挖掘

  23. 新建系统 完善系统 ADC架构体系 数据开放平台 [海量数据服务] [线上业务服务] [决策支持--观星台] [地动仪] [对外合作增值服务] 账单类应用 会员营销 CTU查询 消费记录 智能客服 网络行为 个性化营销 用户属性 位置服务 信用评估 消费形态 生活形态 产品使用分析 产品指标监控 会员特征分析 业绩跟踪 专题分析 大事记 KPI系统/DASHBOARD 量天尺 [海量基础服务] [数据服务] [数据通道] 海狗 实时搜索 海豚 海量计算 剑鱼 海量数据查询 蓝鲸 流式计算 海星 分布式数据挖掘 章鱼 数据分发中心 [海量基础模型] [层次结构] [主题划分] [海量基础架构] [海量存储] [海量计算] ODS DWD DWB DWS DM ST 会员主题 交易主题 资金主题 商户主题 日志主题 对C 产品 对B 产品 支付 主题 安全主题 无线主题 … Hbase Hadoop Greenplum DFS Hive Pig Mahout

  24. 数据分发中心 • 通过消息中心实时数据同步和数据库底层日志同步 zookeeper 适配器(Source) Mysql实时 Adapter File Adapter TBNotify Adapter ... Oracle归档日志 Adapter 线上DB Adapter 分发中心 批量数据分发 实时数据分发(高性能分布式MQ) … 消息顺序写 客户端拉取 分布式 支持消息顺序 支持事务 服务器无状态 无消息堆压 Oracle分发 Hive分发 Mysql分发 … 适配器(Sink) Hadoop Adapter Greenplum Adapter HIVE Adapter HBase Adapter DFS Adapter …

  25. 资源管理 • 一站式资源服务 • 1:访问http://adc.alipay.com/ • 2:通过公司的域帐号登录 • 3:申请计算存储资源，获得批准 • 4:通过客户端访问集群资源

  26. 流式计算 来源 计算 入库 • 单模块处理能力为2WTPS, 具有线性增加能力 蓝鲸系统 消息中心 DFS Bolt Spout Bolt task task dencrypt filter Mysql task task replace split DB 实时同步 Merge load Hive encrypt 。。。 Bolt task Hadoop Log Spout Bolt Bolt task task task task HBase task task task task zookeeper

  27. 实时搜索查询引擎 • 项目价值 • 提供千亿级别数据实时查询和全文检索 • 支持每天10亿+级别的数据更新 • 实时 • 实时搜索延迟：3s • 查询和插入TPS： >2WTPS • 数据容量 • 线性扩展 • Schema扩展 • Schema Free • 自动容灾 • 基于ZK动态感知节点状态 ARSC Node 集群 索引 内存索引查询 Solr Cloud KV存储 RAM RAM RAM RAM RAM RAM Disk Disk Disk Disk Disk Disk

  28. 架构设计思路：数据开放、专业化、成本 • 数据开放：使得公司数据集中形成数据开放，在保障数据安全性的前提下，提供自助化服务平台，从人肉服务模式转向平台自动化服务方式，帮助BG数据分析人员通过自助服务的方式，降低人工成本，满足快速增长的需求。 • 专业化：从提供大量独立的系统/工具转变向提供集成、一体化、自动化数据开发平台服务。来源各个业务块数据进行整合和深入挖掘产生用户画像，为业务提供有价值的服务，并且快速孵化更多的数据应用。 • 成本与性能：优化平台存储和计算方案、优化的数据模型和算法、去除重复计算和存储；通过建设大规模集群，形成规模效应，提升平台能力并降低成本；随着平台上的数据量、用户数、任务数不断增长，每个新用户/新任务带来的新增成本不断降低，成本优势可以不断放大。

  29. 交流经验，共同进步，助中国信息化一臂之力 结束语 Email:18948337788@189.cn

More Related