Splunk 您的数据引擎

1. Splunk您的数据引擎 @张涵诚大数据CRM 13501043717 Wayne.zhang@gsavvy.com

2. 公司介绍 • 公司 • 创立于 04 年，06 年发布第一个版本 • 总部位于加州旧金山 • 区域总部位于香港和伦敦 • 在 15 个国家/地区拥有 650 多名员工 • 财务 • 2012 年 4 月 19 日在纳斯达克上市，股票代码为 SPLK • 2013 财年一月份收益达到 1.989 亿美元 • 年复合增长率为 91% • 客户 • 在 85个国家/地区拥有 5200 多家客户 • 50% 以上为财富 100 强公司 2

3. 2013最具创新公司排名第四

4. 金融服务与保险 零售 技术 云和在线服务 政府 卫生保健 制造 媒体与娱乐 能源与公用事业 教育 电信 旅游与休闲 在 80 多个国家/地区拥有 5200 多家客户

5. Splunk中国客户

6. 数据增长 = 挑战和机会 数据量 数据速率 数字信息量(1) 全球 IP 流量(2) 万亿千兆字节 (TGB) 拍字节 (PB) CAGR: 30% CAGR: 45% 数据多样性/基础设施复杂性 Web服务 在线购物车 数据库 云 桌面 装运 RFID 开发人员 安全 在线 服务 服务器 能源 GPS/移动电话 虚拟 应用支持 电信 联网 存储 Web点击流 制造 物理 1. IDC 2011 数字宇宙研究报告 2. Cisco 2011 视觉网络指数 消息收发

7. 大数据是极其重要的事务 进入高德纳公司的最重要技术趋势图表，排名第 2 2012 年 10 个主要的 IT 趋势 来源： 高德纳公司 IT 研讨会 2011，451 研究所，福雷斯特 虚拟化的演变 大数据、模式和分析 能源效率和监控 情境感知应用 员工保留和再培训 社交网络 消费化 按每平方英尺计算 云 光纤

8. Big Data Technologies 大数据技术 Cassandra CouchDB MongoDB TeraData Greenplum Hadoop RDBMS Sharding 关系型数据库管理系统 分片 SQL & Map / Reduce 结构化查询语言 映射 / 化简 HDFS Storage + Map / Reduce Hadoop分布式文件系统存储 + 映射 / 化简 NoSQL 非关系型数据库 Real Time Indexing 实时索引实现 Relational Database (highly structured) 关系数据库 （高度结构化） Distributed File System (semi-structured) 分布式文件系统 （半结构化） Key/Value, Columnar or Other (semi-structured) 键/值、纵列或其它 （半结构化） Temporal, Unstructured Heterogeneous 时序、非结构化、不匹配 Map / Reduce 映射 / 化简

9. 大数据 大数据是超出传统数据库系统处理能力的数据。 如需从这些数据中获得价值，您必须选择其他方式来处理它。 O’Reilly Radar，2012 年 1 月

10. 任务 让机器数据可供所有人 访问、使用和有价值。

11. 任务 让机器数据可供所有人 访问、使用和有价值。

12. 什么是机器数据 行动 说明性业务/IT 洞察 机器数据示例（信息的小子集） 用户会话 用户浏览器信息 行动 产品 客户将产品添加到电子商务/网站购物车 • 客户需求 • 购物车活动 • 网站故障排除 66.57.19.112 ..[05/Dec/2011 07:05:22:152]”GET /card.do?action=addtocart&itemid=EST-17& product_id=K9-BD-01&JSESSIONID.SD7SLSFF8ADFF8HTTP 1.1” 200 3923 AppleWebKit/535.2 (KHTML.like Gecko) Chrome/15.0.874.121 Safari535.2 用户电子邮件 产品 用户城市 客户通过信用卡购买完成交易 • 客户行为 • 库存更新 • 欺诈启发式分析 • 实时产品销售跟踪 2011-12-05 07:04:44 Id=00Q000000Rd910EAJ City=New York Country=US CreatedDate=“2011-12-05 07:06:44” Email.jdoe@gmail.com Email_Opt_In_c Customer_Street_Address_c=“123 Main St.” purchased_product_id=product_i BD-01 twitter_username rollin_in_doe 错误的 性质 软件驱动程序产生错误 连接错误 Web 服务器尝试写入数据库 [1208/11 02:39:03:209 UTC] 000000c6 ConnectionEve A J2CA00561:The exception which was received is com.ibm.websphere.cm.StateConneConnectionExeception:[IBM][CLI Driver] SQL1224N • 应用程序错误的性质 • 错误源

13. 处理机器数据需要新方法 商业应用程序数据 人为产生的数据 机器产生的数据 • 关系型数据、高度结构化、基于僵化模式 • 财务记录、多维数据、数据计算 • 月报，非实时事件 • 由人与人之间的互动而产生 • 包括电子邮件、即时通信、语音、视频和文本 • 储存在集中式公司服务器、文件共享和桌面中 • 时间序列非结构化数据，无预定义模式 • 由所有 IT 系统生成，大量不同类型的格式 • 巨量；快速导航和相关性最重要

14. Splunk: IT 数据引擎 毋需预定义数据结构, 没有定制化的连接器, 没有 RDBMS, 不需要进行过滤 客户面对的数据 在数据中心之外 • Click-stream data • Shopping cart data • Online transaction data • Manufacturing, logistics… • CDRs & IPDRs • Power consumption • RFID data • GPS data 日志文件 配置信息 消息 Trap告警 指标数据 脚本 变更 工单 虚拟化& 云 Windows Linux/Unix 应用程序 数据库 网络 • Registry • Event logs • File system • sysinternals • Configurations • syslog • File system • ps, iostat, top • Hypervisor • Guest OS, Apps • Cloud • Web logs • Log4J, JMS, JMX • .NET events • Code and scripts • Configurations • Audit/query logs • Tables • Schemas • Configurations • syslog • SNMP • netflow

15. Splunk产品架构概览 用户编写 Splunk-编写 社区论坛, 合作伙伴 Apps 和使用案例 应用程序 管理 IT 运维管理 安全 合规 业务分析 … … 基于Web 用户界面 API接口 SDK开发包 基于角色 访问控制 核心功能 实时监视 数据钻取 历史数据分析 搜索语言 统计/分析 告警 报表 仪表板 关联 高性能 实时搜索引擎 与其他数据源进行关联 实时 无需预定义 大规模 通用索引和存储 IT 数据源

16. 支持多种Apps/解决方案 Security IronPort WSA

17. Apps for Citrix

18. 可以线性扩展到每天几十 TB的数据量级 Offload search load to Splunk Search Heads Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols

19. 从部门到企业 > 扩展 企业部署 工作组 > 免费下载 • 企业标准 • 大量用户 • 许多不同的使用实例 • 许多不同的用户 • 更多站点 • 更多地理位置 • 更多数据源 • 更多数据量 > > • 特定使用实例 • 特定用户 初始用户

20. 谁可从机器数据中受益？ 开发 团队 安全 分析 审计员 运营 团队 IT 高管 营销与 商业分析 服务台 客服人员 其他 高管与 企业 所有者 客户 支持 团队

21. 安全 & 合规 Web 智能 业务分析 IT 运营 应用程序管理 Splunk 为整个组织传递价值

22. 案例分享一

23. 背景介绍 • 根据不同主机来源的日志分析交易耗时、交易量、响应码成功比率，等等 • 业务系统维护人员可以通过输入简单的条件（例如交易流水号、卡号、账号，等等） • 快速定位匹配的事件 • 关联分析 • 实时业务报表

24. 场景一：交易耗时分析 • 通过对所有交易最大耗时和平均耗时时序变化发现3月10日8点30分到8点33分之间的交易耗时远超过其他时间段

25. 通过对该时段AP1, AP2, GAPSAP 的日志查询得出，交易代码0307的交易数量是最大的

26. 继续查看交易代码0307在该时段的交易耗时情况继续查看交易代码0307在该时段的交易耗时情况 最大耗时和平均耗时都明显高于其他时段

27. 2012.3.10 8:30am-8:33am 根据交易代码列出各个步骤耗时的最大/最小/平均值 启动3的最大耗时远远超过其他几个步骤

28. 基于关键信息快速查询定位 只需键入所要查询的交易流水号，然后点击搜索按钮 1 • 根据交易流水号查询交易总耗时以及各个步骤耗时 列出各个步骤的耗时, 颜色区分大小, 快速定位到最大的耗时步骤 2 列出不同来源主机

29. 统计分析报表/仪表板 • 各种响应码的占比情况展示 通过外部查找对照表列出各种响应码的解释含义 0000(处理返回成功)之外的各种响应码随时间分布情况展示

30. 案例分享二

31. 日志管理面对的挑战 • 日志较分散不便管理。 • 环境复杂，设备品牌较多，包括国产和国外设备，日志格式无法统一。 • 合规性要求： • 重要日志文件不少于半年。 • 应能根据审计记录进行数据分析，并生成统计报表。 • 避免审计记录遭受未预期的删除、修改或覆盖。 • 实施信息系统的统一安全策略，实现集中审计。

32. 应对挑战 • 搭建统一的日志管理系统 • 有足够的存储空间和备份归档策略满足存储时间要求 • 处理多样的日志格式 • 查询快、易分析 • 对审计记录的保护 • 可灵活定制展现层 • 部署统一策略，实现集中审计。

33. 为什么选择 Splunk? • 选型前有与其他工具进行测试比较。 • Splunk优势 • 易操作,易部署 • 能识别日志的种类全面 • 不需要另外做归一化处理 • 查询速度较快 • 仪表盘能灵活定制 • 细粒度用户权限

34. 安装部署 • 收集数据源包括操作系统、网络设备、安全设备和应用程序的日志。（包括linux、Firewall、交换机、路由器、负载均衡，入侵检测，审计系统、身份认证系统等）

35. 使用场景分析 • 日常状态监测（CPU、内存、存储、连接池等资源情况） • 排错查询（硬件错、软件错、人为操作错）利用存储查询语句完成知识转移。 • 基线管理（定期排程） • 告警 • 统计报告

36. 报告举例 • 确保数据并进行相关报告： • 频繁用户登陆出错 • 非授权的访问出错 • 网络接口down • 主备设备切换信息 • 设备紧急故障信息 • 来自安全设备的高级类攻击事件信息 • 一段事件内大量出现的出错信息

37. 使用 Splunk 之后 • 日志管理方面满足合规要求。 • 对IT 数据有全局视角。 • 提高了可视性。 • 提高了排错的效率

38. 如何进一步利用 Splunk? • 梳理各类设备的需关注日志关键字，结合短信网关配置告警。 • 利用 Splunk 分析业务数据。

39. 问题?