web2 0 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
借我一双慧眼 Web2.0 的运营监控及数据统计 PowerPoint Presentation
Download Presentation
借我一双慧眼 Web2.0 的运营监控及数据统计

Loading in 2 Seconds...

play fullscreen
1 / 33

借我一双慧眼 Web2.0 的运营监控及数据统计 - PowerPoint PPT Presentation


  • 174 Views
  • Uploaded on

借我一双慧眼 Web2.0 的运营监控及数据统计. 51.COM 研发经理 林泰君 2009.12.26. WEB2.0 的挑战 51 应对挑战 案例分享 51 数据统计 系统架构. WEB2.0 的挑战. 大型 WEB2.0 网站的运营现状. 巨大. 复杂. 众多. 机房 网站功能. 用户产生内容 用户与网站的交互 线上运行的代码量. 业务逻辑 网站架构 网络环境. 运营监控的巨大挑战. 如何 监控 数以千计的功能 在 巨大的用户交互背景 下 , 在 复杂的网络环境 中 , 在 众多的机房里

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '借我一双慧眼 Web2.0 的运营监控及数据统计' - kimberley-patrick


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
web2 0

借我一双慧眼Web2.0的运营监控及数据统计

51.COM 研发经理

林泰君

2009.12.26

slide2

WEB2.0的挑战

  • 51应对挑战
  • 案例分享
  • 51数据统计
  • 系统架构

51.COM

web2 01
大型WEB2.0网站的运营现状

巨大

复杂

众多

机房

网站功能

用户产生内容

用户与网站的交互

线上运行的代码量

业务逻辑

网站架构网络环境

51.COM

slide5
运营监控的巨大挑战
    • 如何 监控 数以千计的功能

在巨大的用户交互背景下,

在复杂的网络环境中,

在众多的机房里

是可靠可用的?

  • 监控什么?
  • 怎么监控?

业务层

网络层

51.COM

slide6
目前的监控方式
  • 广域网络监控
    • 商业产品
  • 内部网络监控
    • Cacti
  • 服务器监控
    • Nagios
    • Ganglia

51.COM

slide7
已有监控方式的优点及不足
  • 优点
    • 广域网监控能发现定位广域网层面的一些问题
    • Cacti 能很快发现内部网络问题.
    • Nagios,Ganglia能很快发现并定位服务器层面的问题
  • 不足
    • 广域网监控:
      • 监控点少, 有时不准确
      • 价格昂贵
    • 无法 发现 定位 业务层 问题

51.COM

slide9
应对方法 - 缺啥补啥
  • 广域网监控
  • 业务层监控

51.COM

slide10
广域网监控
  • 做法:

在网站页面上嵌入脚本, 测试用户端抓取不同服务器上的图片的速度, 将数据汇总, 根据不同的测速曲线及历史曲线判定广域网事件

  • 功效:
    • 发现广域网异常, 并定位出异常是发生在用户端,广域网,还是企业机房
  • 特点:
    • 成本低廉, 准确度高

51.COM

slide11
业务层监控
  • 做法:

通过嵌入在业务逻辑代码中的数据采集程序, 汇聚业务数据到数据中心, 异常发现系统抓取数据中心的数据进行曲线模式匹配, 发现异常,上报数据到告警服务器, 监控中心收到告警, 并做检查,最终确定是否有事故发生.

  • 功效
    • 能发现大量以往不能发现的问题
    • 用户不再是测试员, 是真正的上帝!
  • 特点
    • 能快速发现业务层异常,并准确定位异常点

51.COM

51 com
51.com慧眼
  • 10000多个广域网络采集点
  • 5000多个业务监控点,涵盖51.com的所有重要功能
  • 可定制上报时间的自动监控
  • 监控点可任意添加, 甚至监控网页Flash,Js
  • 可定位到异常发生在哪个频道,服务器,页面,程序段,甚至是哪行代码.

51.COM

slide14

故事:

一个阳光明媚的早上

半仙,焦工,黄大侠,薄海在踢皮球

陈总是火警

……

一个阳光明媚的早上

半仙,焦工,黄大侠,薄海在开心的工作

陈总读书看报

聊技术人生

51.COM

slide21
定位问题- 问题发生在哪台服务器的哪个页面上

51.COM

slide23

当其他公司的运营总监在为运营质量头痛脑裂时, 我们陈总却能胸有成竹,运筹帷幄,很重要的原因就是有一套完备的监控系统, 用一双双自动化的眼睛检查运营质量.

51.COM

slide25
数据统计的前世今生
  • 数据统计和运营监控有什么关系?
  • 为什么系统提供的数据能做财务审计使用?
  • 51.COM高层为何每天登入系统3次,他们在关注什么?

51.COM

slide26
前世-监控统计系统的背景
  • 庞总问:
    • 我们的PV有多少?
  • 一天后,
  • 三天后,
  • 三十天后:
    • 一封来至Google的邮件.
  • 我们自己开发.
    • 业务监控系统 -意外的收获
    • 深刻的认识:

业务监控和业务统计实际上是一个铜板的两面.

51.COM

slide27
今生-统计系统的现状
  • 实时统计800台WEB服务器每天十几亿次请求
  • 采集分析400多个用户信息
  • 3000多个统计点
  • 3年积累了12T的用户行为数据
  • 和Google分析的不同
    • 关注用户行为 –可以采集到触发某种业务逻辑的用户信息
    • 数据实时 –产品人员可以立即看到新上线产品的变化情况

51.COM

slide28
部分统计功能展示

PV统计

业务行为统计

用户成分分析

用户行为统计

页面行为统计

产品

分析

51.COM

核心数据分析

反作弊分析

用户分布分析

slide30

业务层

监控统计系统架构

数据

中心

异常发现

主数据库

用户分析

51.COM

报表

告警

slide31

51.COM中子弹结构图

广域网

监控

接入层

监控

客户端

监控

运营支撑系统架构图

服务器 监控

业务监控

业务

数据采集

监控

业务支撑

数据分析

业务分析

数据总线

数据总线

数据总线

51.COM

战略

数据采集

用户

舆论采集

第三方

数据采集

slide33

THANK YOU!

51.com 研发经理 林泰君

彩虹IM20135

QQ78656270

Gtalkatai829525@gmail.com

MSNatai829525@hotmail.com

51.COM