1 / 33

借我一双慧眼 Web2.0 的运营监控及数据统计

借我一双慧眼 Web2.0 的运营监控及数据统计. 51.COM 研发经理 林泰君 2009.12.26. WEB2.0 的挑战 51 应对挑战 案例分享 51 数据统计 系统架构. WEB2.0 的挑战. 大型 WEB2.0 网站的运营现状. 巨大. 复杂. 众多. 机房 网站功能. 用户产生内容 用户与网站的交互 线上运行的代码量. 业务逻辑 网站架构 网络环境. 运营监控的巨大挑战. 如何 监控 数以千计的功能 在 巨大的用户交互背景 下 , 在 复杂的网络环境 中 , 在 众多的机房里

kimberley-patrick
Download Presentation

借我一双慧眼 Web2.0 的运营监控及数据统计

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 借我一双慧眼Web2.0的运营监控及数据统计 51.COM 研发经理 林泰君 2009.12.26

  2. WEB2.0的挑战 • 51应对挑战 • 案例分享 • 51数据统计 • 系统架构 51.COM

  3. WEB2.0的挑战 51.COM

  4. 大型WEB2.0网站的运营现状 巨大 复杂 众多 机房 网站功能 用户产生内容 用户与网站的交互 线上运行的代码量 业务逻辑 网站架构网络环境 51.COM

  5. 运营监控的巨大挑战 • 如何 监控 数以千计的功能 在巨大的用户交互背景下, 在复杂的网络环境中, 在众多的机房里 是可靠可用的? • 监控什么? • 怎么监控? 业务层 网络层 51.COM

  6. 目前的监控方式 • 广域网络监控 • 商业产品 • 内部网络监控 • Cacti • 服务器监控 • Nagios • Ganglia 51.COM

  7. 已有监控方式的优点及不足 • 优点 • 广域网监控能发现定位广域网层面的一些问题 • Cacti 能很快发现内部网络问题. • Nagios,Ganglia能很快发现并定位服务器层面的问题 • 不足 • 广域网监控: • 监控点少, 有时不准确 • 价格昂贵 • 无法 发现 定位 业务层 问题 51.COM

  8. 51应对挑战 51.COM

  9. 应对方法 - 缺啥补啥 • 广域网监控 • 业务层监控 51.COM

  10. 广域网监控 • 做法: 在网站页面上嵌入脚本, 测试用户端抓取不同服务器上的图片的速度, 将数据汇总, 根据不同的测速曲线及历史曲线判定广域网事件 • 功效: • 发现广域网异常, 并定位出异常是发生在用户端,广域网,还是企业机房 • 特点: • 成本低廉, 准确度高 51.COM

  11. 业务层监控 • 做法: 通过嵌入在业务逻辑代码中的数据采集程序, 汇聚业务数据到数据中心, 异常发现系统抓取数据中心的数据进行曲线模式匹配, 发现异常,上报数据到告警服务器, 监控中心收到告警, 并做检查,最终确定是否有事故发生. • 功效 • 能发现大量以往不能发现的问题 • 用户不再是测试员, 是真正的上帝! • 特点 • 能快速发现业务层异常,并准确定位异常点 51.COM

  12. 51.com慧眼 • 10000多个广域网络采集点 • 5000多个业务监控点,涵盖51.com的所有重要功能 • 可定制上报时间的自动监控 • 监控点可任意添加, 甚至监控网页Flash,Js • 可定位到异常发生在哪个频道,服务器,页面,程序段,甚至是哪行代码. 51.COM

  13. 案例分享 51.COM

  14. 故事: 一个阳光明媚的早上 半仙,焦工,黄大侠,薄海在踢皮球 陈总是火警 …… 一个阳光明媚的早上 半仙,焦工,黄大侠,薄海在开心的工作 陈总读书看报 聊技术人生 51.COM

  15. 发现问题–某频道用户访问曲线下降 51.COM

  16. 分析现象–广域网测速情况 51.COM

  17. 分析现象-交换机流量情况 51.COM

  18. 分析现象-服务器监控 51.COM

  19. 分析现象-总在线及各地在线情况 51.COM

  20. 定位问题 - 问题发生在哪个功能逻辑中 51.COM

  21. 定位问题- 问题发生在哪台服务器的哪个页面上 51.COM

  22. 事故记录 51.COM

  23. 当其他公司的运营总监在为运营质量头痛脑裂时, 我们陈总却能胸有成竹,运筹帷幄,很重要的原因就是有一套完备的监控系统, 用一双双自动化的眼睛检查运营质量. 51.COM

  24. 51数据统计 51.COM

  25. 数据统计的前世今生 • 数据统计和运营监控有什么关系? • 为什么系统提供的数据能做财务审计使用? • 51.COM高层为何每天登入系统3次,他们在关注什么? 51.COM

  26. 前世-监控统计系统的背景 • 庞总问: • 我们的PV有多少? • 一天后, • 三天后, • 三十天后: • 一封来至Google的邮件. • 我们自己开发. • 业务监控系统 -意外的收获 • 深刻的认识: 业务监控和业务统计实际上是一个铜板的两面. 51.COM

  27. 今生-统计系统的现状 • 实时统计800台WEB服务器每天十几亿次请求 • 采集分析400多个用户信息 • 3000多个统计点 • 3年积累了12T的用户行为数据 • 和Google分析的不同 • 关注用户行为 –可以采集到触发某种业务逻辑的用户信息 • 数据实时 –产品人员可以立即看到新上线产品的变化情况 51.COM

  28. 部分统计功能展示 PV统计 业务行为统计 用户成分分析 用户行为统计 页面行为统计 产品 分析 51.COM 核心数据分析 反作弊分析 用户分布分析

  29. 系统架构 51.COM

  30. 业务层 监控统计系统架构 数据 中心 异常发现 主数据库 用户分析 51.COM 报表 告警

  31. 51.COM中子弹结构图 广域网 监控 接入层 监控 客户端 监控 运营支撑系统架构图 服务器 监控 业务监控 业务 数据采集 监控 业务支撑 数据分析 业务分析 数据总线 数据总线 数据总线 51.COM 战略 数据采集 用户 舆论采集 第三方 数据采集

  32. Q＆Ａ

  33. ＴＨＡＮＫ　ＹＯＵ！ 51.com 研发经理 林泰君 彩虹IM20135 QQ78656270 Gtalkatai829525@gmail.com MSNatai829525@hotmail.com 51.COM

More Related