腾讯公司
This presentation is the property of its rightful owner.
Sponsored Links
1 / 29

腾讯公司 集中式 IT 系统技术架构 PowerPoint PPT Presentation


  • 243 Views
  • Uploaded on
  • Presentation posted in: General

腾讯公司 集中式 IT 系统技术架构. 蒋 杰 2012-11-22. 大纲. IT 系统技术架构演进路线 集中式业务支撑系统 —TBOSS 案例分析:腾讯 Boss 系统 集中式 BI 系统 — TDW 案例分析:支付宝 DW 系统. 1. 演进路线 架构挑战 第三代架构. 腾讯公司 IT 架构演进路线. 腾讯 IT 架构演进路线. 服务范围 : 移动及电信增值服务 营收规模: 28 亿 代码量 : 百万级 技 术团队 : 0~1000 人. 服务范围 : 增加互联网产品领域 营收规模: 360 亿 代码量 : 千万级

Download Presentation

腾讯公司 集中式 IT 系统技术架构

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


It

腾讯公司集中式IT系统技术架构

蒋 杰

2012-11-22


It

大纲

  • IT系统技术架构演进路线

  • 集中式业务支撑系统—TBOSS

    案例分析:腾讯Boss系统

  • 集中式BI系统— TDW

    案例分析:支付宝DW系统


It

1

演进路线

架构挑战

第三代架构

腾讯公司IT架构演进路线


It

腾讯IT架构演进路线

  • 服务范围: 移动及电信增值服务

  • 营收规模:28亿

  • 代码量: 百万级

  • 技术团队: 0~1000人

服务范围: 增加互联网产品领域

营收规模:360亿

代码量: 千万级

技术人员: 1000~6000人

服务范围:增加海外、第三方开放平台

营收规模:360+亿

代码量: 亿级

技术人员: 6000+人

业务

2000年

2007年

2010年

2011年+

2006年

一代架构: 烟囱型

二代架构: 面向服务型

?

架构

  • 技术基础: c++/.net/spring/RDBMS

  • 技术基础:分布式缓存/消息队列/数据拆分/key-values数据库/Hadoop

  • ?


It

当前架构挑战: 构建海量、稳定、安全平台


It

第三代架构:云服务


It

2

TBOSS承载业务

TBOSS功能架构

分布式部署

安全防护

案例分析:腾讯Boss系统

集中式业务支撑平台


It

IT部(TEG)对公司各事业群起支撑作用

60人

Q币发行(实体卡/在线卡)

经销商管理

运营商合作

电信/移动/联通

240人

网银/财付通

  • 研发2000人

  • (其中BOSS100人,

  • BI 180人)

  • 客服2500人

网络/存储/安全/客服/数据/计费…

腾讯BOSS特点:

1)伴随各业务事业群的发展,逐渐沉淀和完善的过程。

2)已形成一级体系(集中式,如网络/计费等),但业务事业群依然保持灵活的二级体系(分散式,运维/经分等)。


It

TBOSS

IT部管理的核心IT系统---TBOSS


It

TBOSS承载业务:公司82%收入的计费及营销

  • 本季度总收入105亿元,比去年同期增长56%

  • 其中:

  • 互联网增值服务:78亿,占74%

  • 移动及电信增值服务:9亿, 占8.5%

  • 网络广告业务:8.7亿,占8.2%

  • 电子商务:8.6亿,占8.2%

TBOSS:承载腾讯营收82%+,每日交易金额超过1亿元,年增长率50%左右


It

TBOSS功能架构

580多个产品

180多个渠道合作商

用户交易请求

业务产品

支付渠道

无线

移动

统一

渠道

接入

统一

产品

管理

互联

联通

统一计费

统一营销

互娱

电信

财经

Q币

营销资源管理

安全

Esales

账务

对账

结算

即通

网银

渠道

账户

Q币

账户

订购

关系

账单

……

……

……

1)QQ账户总量7亿、充值活跃用户1.4亿

2)1分钟交易峰值25万次,查询峰值200万次

3)用户级反欺诈安全策略检测每日超过2亿次


It

腾讯云服务

应用

支付云

充值

购买

对外提供支付云,支撑开放平台

多终端支持

WEB

Mobile

Client

商户

商户管理门户

SDK

用户管理门户

1)接入-付费-监控-结算全流程一体化——2天接入,25天结算;

2)覆盖以Qzone为主的,微博、Q+等九大平台——700+款APP,总用户数5000万,日营收超过1000万元;

用户


It

分布式部署:容灾+就近接入

区域批价中心2

区域批价中心N

。。。。。。

IDC

IDC

svr

svr

IDC

svr

db

svr

db

区域批价中心1

IDC1

IDC

svr

IDC2

IDC3

上海账务灾备中心

深圳账务中心

1)批价:全国各大IDC就近部署,本地批价并兑换商品

2)账务:商品消费记账。两地中心部署在4个IDC,实时容灾(多级自动切换,锁定机制实现强一致性);系统可用度保持在99.997%以上;

3)共1200台 PC服务器,具备自动伸缩能力


It

公司内部安全防护设计

操作台

前台操作

后台服务

OA登录

敏感权限系统

帐户DB

OA登录

登录后台服务器

登录跳板机

后台操作

OA密码、SHELL审计

Log审计

ROOT密码管理、SHELL审计、关键脚本审计、数据库审计

帐单中心对帐核对,DB加密防篡改

Token卡

公司敏感权限控制及审计


It

技术选型策略

摘选自CTO-Tony:

1)没有采用IOE

2)软件主张自主研发,尽可能不采用外部中间件;

3)设备采用廉价PC,根据应用场景分几类标准型号;

4)海量运营之道:大系统小做,先扛住再优化,灰度,过载保护,…


It

3

系统定位

设计思路

技术架构

案例分析:支付宝数据分析系统

集中式BI系统


It

集群规模/数据量/计算量

日均计算量10PB 支撑2万个计算任务

机器数5600台

总存储能力100PB

日新增100T数据


It

现状——传统数据仓库模式

内部用户

PD

数据分析师

运营

数据化运营

商业决策

产品设计

业务分析师/数据PD

商业智能团队

理解业务

文档化业务和需求

BI产品设计

ETL开发工程师

模型架构师

数据开发团队

ETL作业设计,

实施,维护,

优化

数据模型建模

基础架构团队

程序员

架构师

使用、建设

数据工具平台

技术框架设计

平台与工具的实现

ADI

元数据

调度系统

分发中心

建设


It

愿景——人人可以使用数据

数据开发团队

运营

内部用户

外部用户

合作伙伴

商户

PD

数据分析师

培训,咨询,解决方案

数据化运营

商业决策

产品设计

提取满足特定条件的用户

ETL开发工程师

提供服务

商业智能团队

BI分析师/数据PD

分析用户行为

用户分群,挖掘高价值用户

BI产品设计

模型架构师

直接使用

数据开放平台

基础架构团队

程序员

架构师

建设

技术框架设计

平台与工具的实现


It

数据云

Data Cloud (DC)

效率

海量

2.数据分析

客户

3.反馈数据

潜在

客户

流失挽留

1.获取数据

维系提升

成熟

客户

获取阶段


It

BI系统定位:数据云、数据工场

最终用户(数据分析师/产品/运营/开发)

使用数据

数据API、产品报表,数据自助分析/提取,专题分析报告,数据挖掘,BI分析…

数据应用/数据API

数据应用开发者

Ad-hoc查询

开发数据产品

1 数据应用开发工具、组件、规范

2 基于数据仓库/BI分析库的自助分析组件

3 数据应用的部署、运维、托管

4 数据应用的公共服务

5 平台运营分析和管理

应用开发平台(数据工场)

海量数据平台

1 离线存储,离线计算和挖掘能力

2 在线数据收集、存储和流式计算能力

3 大规模集群的运营和优化能力

基础平台(数据云)

机房、设备、网络等服务

虚拟机、资源调配

基础设施


It

基于云服务数据开放平台

数据云平台

  • 观星台,地动仪,

  • 基于hadoop海量数据自助查询

  • 基于用户属性和行为挖掘为B2C提供数据服务等等

  • 对备付金存量调拨模型预测,风险模型相关应用等等

  • 保险行业,证券行业,银行授信,信用卡相关应用等等

  • 未来新应用和服务

新业务

业务

内部金融

数据支撑

外部金融

B2C业务

数据云平台

技术

海量计算

海量挖掘

数据分发

…..

流计算

实时查询

资源管理

  • 海量计算:

  • 基于Hadoop海量存储计算集群,同时提供一站式的计算和存储资源管理

  • 数据分发中心:

  • 提供批量数据抽取和转载,同时准实时消息,日志分发(采用客户pull方式)

  • 海量数据实时搜索:

  • 基于Solr搜索引擎集成,提供千亿级别数据实时查询和全文检索

  • 海量数据查询:

  • 基于hive和Pig,提供Web页面海量数据可视化查询服务

流计算框架:

类似M/R流式计算框架,可以实现应用快速,提供在线数据加工服务

  • 分布式数据挖掘:

  • 基于Mahout分布式数据数据挖掘


It

新建系统

完善系统

ADC架构体系

数据开放平台

[海量数据服务]

[线上业务服务]

[决策支持--观星台]

[地动仪]

[对外合作增值服务]

账单类应用

会员营销

CTU查询

消费记录

智能客服

网络行为

个性化营销

用户属性

位置服务

信用评估

消费形态

生活形态

产品使用分析

产品指标监控

会员特征分析

业绩跟踪

专题分析

大事记

KPI系统/DASHBOARD

量天尺

[海量基础服务]

[数据服务]

[数据通道]

海狗

实时搜索

海豚

海量计算

剑鱼

海量数据查询

蓝鲸

流式计算

海星

分布式数据挖掘

章鱼

数据分发中心

[海量基础模型]

[层次结构]

[主题划分]

[海量基础架构]

[海量存储]

[海量计算]

ODS

DWD

DWB

DWS

DM

ST

会员主题

交易主题

资金主题

商户主题

日志主题

对C

产品

对B

产品

支付

主题

安全主题

无线主题

Hbase

Hadoop

Greenplum

DFS

Hive

Pig

Mahout


It

数据分发中心

  • 通过消息中心实时数据同步和数据库底层日志同步

zookeeper

适配器(Source)

Mysql实时

Adapter

File

Adapter

TBNotify

Adapter

...

Oracle归档日志

Adapter

线上DB

Adapter

分发中心

批量数据分发

实时数据分发(高性能分布式MQ)

消息顺序写

客户端拉取

分布式

支持消息顺序

支持事务

服务器无状态

无消息堆压

Oracle分发

Hive分发

Mysql分发

适配器(Sink)

Hadoop

Adapter

Greenplum

Adapter

HIVE

Adapter

HBase

Adapter

DFS

Adapter


It

资源管理

  • 一站式资源服务

  • 1:访问http://adc.alipay.com/

  • 2:通过公司的域帐号登录

  • 3:申请计算存储资源,获得批准

  • 4:通过客户端访问集群资源


It

流式计算

来源

计算

入库

  • 单模块处理能力为2WTPS, 具有线性增加能力

蓝鲸系统

消息中心

DFS

Bolt

Spout

Bolt

task

task

dencrypt

filter

Mysql

task

task

replace

split

DB

实时同步

Merge

load

Hive

encrypt

。。。

Bolt

task

Hadoop

Log

Spout

Bolt

Bolt

task

task

task

task

HBase

task

task

task

task

zookeeper


It

实时搜索查询引擎

  • 项目价值

    • 提供千亿级别数据实时查询和全文检索

    • 支持每天10亿+级别的数据更新

  • 实时

    • 实时搜索延迟:3s

    • 查询和插入TPS: >2WTPS

  • 数据容量

    • 线性扩展

  • Schema扩展

    • Schema Free

  • 自动容灾

    • 基于ZK动态感知节点状态

ARSC Node 集群

索引

内存索引查询

Solr Cloud

KV存储

RAM

RAM

RAM

RAM

RAM

RAM

Disk

Disk

Disk

Disk

Disk

Disk


It

架构设计思路:数据开放、专业化、成本

  • 数据开放:使得公司数据集中形成数据开放,在保障数据安全性的前提下,提供自助化服务平台,从人肉服务模式转向平台自动化服务方式,帮助BG数据分析人员通过自助服务的方式,降低人工成本,满足快速增长的需求。

  • 专业化:从提供大量独立的系统/工具转变向提供集成、一体化、自动化数据开发平台服务。来源各个业务块数据进行整合和深入挖掘产生用户画像,为业务提供有价值的服务,并且快速孵化更多的数据应用。

  • 成本与性能:优化平台存储和计算方案、优化的数据模型和算法、去除重复计算和存储;通过建设大规模集群,形成规模效应,提升平台能力并降低成本;随着平台上的数据量、用户数、任务数不断增长,每个新用户/新任务带来的新增成本不断降低,成本优势可以不断放大。


It

交流经验,共同进步,助中国信息化一臂之力

结束语

Email:[email protected]


  • Login