云计算业务应用 - 数据挖掘

1. 云计算业务应用-数据挖掘

2. 目录 • 数据挖掘基本概念和技术 • 数据挖掘在电信行业中的应用 • 总结

3. 目录 • 数据挖掘基本概念和技术 • 数据挖掘基本概念 • 数据挖掘典型流程 • 数据挖掘常用技术 • 数据挖掘业界工具 • 数据挖掘可用资源 • 本章小结 • 数据挖掘在电信行业中的应用 • 总结

4. 如果你遇到下面的问题，你会怎么做？

5. 数据挖掘的原动力——怎样借助数据制定合适的决策？数据挖掘的原动力——怎样借助数据制定合适的决策？ 数据挖掘是应实际需求而出现的技术

6. 什么是数据挖掘？ Data mining is the non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns from huge volume of data. derived from U. Fayyad, et al. ’s definition of KDD at KDD96 数据挖掘是从巨量数据中获取正确的、新颖的、潜在 有用的、最终可理解的模式的非平凡过程。

7. 能否找出以下数据挖掘的“身影”？ 数据挖掘？

8. 2012十大 技术趋势 2010十大 技术趋势 2011十大 技术趋势 • 云计算 • 高级分析 • 客户端计算 • 绿色IT • 重塑数据中心 • 社交化计算 • 安全-活动监控 • 闪存 • 虚拟化的可用性 • 无限应用 • 云计算 • 移动应用和媒体平板 • 社交和协作 • 视频 • 下一代分析 • 社交分析 • 上下文感知计算 • 存贮级内存 • 普适计算 • 基于结构的基础设施和电脑 • 平板电脑与未来产品 • 行动为主的应用程式与介面 • 情境与社群使用经验 • 物联网 • App商店与市集 • 次时代分析技术 • 大数据 • 内存计算 • 超低耗能服务器 • 云端计算 数据挖掘的前景如何？

9. 目录 • 数据挖掘基本概念和技术 • 数据挖掘基本概念 • 数据挖掘典型流程 • 数据挖掘常用技术 • 数据挖掘业界工具 • 数据挖掘可用资源 • 本章小结 • 数据挖掘在电信行业中的应用 • 总结

10. 数据挖掘的标准过程：CRISP-DM(CRoss-Industry Standard Process for Data Mining)

11. 可以被挖掘的数据源有哪些？ • 普通文件 • excel，txt，csv,arff等格式的文件； • 传统数据库 • 关系数据库, 事务型数据库，数据仓库, • 高级数据库 • 文本数据库 • Web数据库 • 多媒体数据库 • 空间及时空数据 • 异构数据库 • 其他类型数据 • 流数据(data streams)，如传感数据； • 时序数据(time-series data), 如生产监控数据； • 图结构数据(structure data), 如社交网络数据等

12. （+实时处理） 流式数据 （基础） （+音视频处理） 结构化数据 多媒体数据 （+自然语言处理） 文本数据 数据挖掘的研究体系：以结构化数据为基础，叠加数据形态的特殊处理 网络流量 话单流 传感流 … 数据库 数据文件 … 图片 音频 视频 流媒体 … 文本文件 新闻/博客 微博客/论坛/短信 …

13. 结构化数据挖掘（KDD）：整体流程

14. 结构化数据挖掘（KDD） ：数据准备 • 数据采集 • 根据挖掘的目标，对可能涉及的数据进行全方位的收集、整理； • 数据预处理 • 对错误数据、不完整数据、冗余数据、不一致的数据等等进行统一处理； • 数据选择 • 结合数据大小、数据质量、数据挖掘目标、可用资源等等，采用采样、降维、规约等手段选取最终要实施挖掘的数据对象； 数据质量的好坏决定了最终结果的正确与否，数据准备占据整个工作量的70%

15. 结构化数据挖掘（KDD） ：数据建模 • 在理解业务背景、熟知数据状况、明确数据挖掘任务的前提下，利用可用的资源（技术/工具），选择合适的数据挖掘算法，获取满意的结果； ——知识和经验的集中体现

16. 结构化数据挖掘（KDD） ：模型评估 • 知识 • 满足用户兴趣度和置信度的模式——用高级语言表示的表达一定逻辑含义的信息； • 置信度 • 知识在某一数据域上为真的量度。 • 兴趣度 • 在一定数据上为真的知识被用户关注的程度。 • 有效性 • 知识的发现过程必须能够有效地在计算机上实现。

17. 目录 • 数据挖掘基本概念和技术 • 数据挖掘基本概念 • 数据挖掘典型流程 • 数据挖掘常用技术 • 数据挖掘业界工具 • 数据挖掘可用资源 • 本章小结 • 数据挖掘在电信行业中的应用 • 总结

18. 数据挖掘是一门面向应用的综合性技术 特定应用 • 信息检索 • 推荐引擎 • 商务智能 • 数据库 • 数据仓库 • 数据可视化 支 撑 技 术 ： 重在运用 理论基础 • 并行计算 • 高性能计算 • 流计算 • 机器学习 • 统计分析 • 模式识别 • 粗糙集 • OLTP • OLAP

19. 数据处理与建模方法库

20. 数据挖掘十大经典算法 http://www.cs.uvm.edu/~icdm/algorithms/index.shtml

21. 因素 1 因素 2 常用 方法 因素 4 因素 3 数据挖掘的任务及基本方法 • 关联规则挖掘 • 分类分析 • 发现大量数据中项集之间有趣的关联或相关联系。 • 将未知数据划分到给定的类别中——通过训练样本建立分类模型，根据模型对未知数据进行分类。 预测 描述 • 预测分析 • 聚类分析 • 将物理或抽象对象集合分组成为由类似的对象组成的多个类的过程。 • 相比于分类，聚类是无监督的（没有已知的类标号） • 预测未来的数据趋势； • 相比于“分类分析”来说，“预测分析”是建立连续函数模型。

22. 数据分类三个步骤

23. 数据挖掘的经典模式及应用

24. 目录 • 数据挖掘基本概念和技术 • 数据挖掘基本概念 • 数据挖掘典型流程 • 数据挖掘常用技术 • 数据挖掘业界工具 • 数据挖掘可用资源 • 本章小结 • 数据挖掘在电信行业中的应用 • 总结

25. 数据挖掘相关技术及工具发展 • 数据管理技术 • 数据分析技术 • 报表 • OLAP引擎 • 数据仓库 • ETL • 模型评估 • 数据建模 • 数据预处理 • 数据挖掘 • 学术界及部分企业推动 • 数据库厂商推动

26. 业界主流数据挖掘工具

27. Weka工具概览

28. 业界主流数据挖掘相关的数据管理工具

29. 目录 • 数据挖掘基本概念和技术 • 数据挖掘基本概念 • 数据挖掘典型流程 • 数据挖掘常用技术 • 数据挖掘业界工具 • 数据挖掘可用资源 • 本章小结 • 数据挖掘在电信行业中的应用 • 总结

30. 扩展学习参考书籍 理论介绍 工 具 应 用

31. 目录 • 数据挖掘基本概念和技术 • 数据挖掘在电信行业中的应用 • 云计算环境下的数据挖掘需求 • 海量数据分析与挖掘系统简介 • 海量电信级数据挖掘应用实践 • 本章小结 • 总结

32. 什么是大数据？ “大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合” —维基百科 • 三大特征（3 V） • Volume：数量大（Twitter1.75亿用户每天创建9500万条微博；Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传168Tb视频） • Velocity：时效性要求高（搜索引擎要求几分钟前的新闻能够被用户查询到） • Variety：种类和来源多样化（结构化/半结构化/非结构化；关系数据库/数据仓库/互联网网页等）

33. 大数据的出现、数据结构的改变，对电信行业数据管理及分析带来挑战 • 传统数据仓库无法有效存储日益增长的业务数据 • 随着业务发展数据量的增加，随着应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力； 数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等 • 传统数据仓库无法有效处理新型的业务数据 • 公司在移劢互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力 ；

34. 电信行业大数据分析与处理的需求

35. 大数据分析与处理的行业现状 • 时间域 SAS SPSS Weka R … • Rhadoop • Mahout BCPDM … • BI级数据的离线分析产品已经成熟； • 海量级数据的离线分析是目前的一个热点； • 借助内存数据库的实时分析会在未来大放异彩； • 离线分析 Storm S4 Streambase … • 实时分析 • 空间域 • 海量级 • （PB） • 内存级 • （GB以下） • BI级 • （GB-TB）

36. 目录 • 数据挖掘基本概念和技术 • 数据挖掘在电信行业中的应用 • 云计算环境下的数据挖掘需求 • 海量数据分析与挖掘系统简介 • 海量电信级数据挖掘应用实践 • 本章小结 • 总结

38. 海量数据分析与挖掘系统功能架构 应用层 用户分析 产品优化 业务推荐 信息检索 安全监控 …. 并行数据分析平台PDAP 并行数据挖掘平台PDMP 实时分析平台RTDAP 数据可视化 流程可视化 结果可视化 可视化数据探测 数据分析与挖掘算法 统计分析 分类分析 关联规则分析 情感分析 语义分析 分析层 实时查询 聚类分析 时间序列分析 主题发现 摘要生成 文本数据采集与处理 多媒体数据采集与处理 结构化数据采集与处理 数据抽样 数据规约 中文分词 多媒体特征提取 特征提取 实体识别 多媒体建模 关键词提取 文本建模 数据集成 数据清洗 数据转换 多媒体采集 网页爬取 多媒体分割 网页解析 网页索引 网页净化 支撑层 分布式计算/并行计算/流计算 分布式文件系统HDFS 分布式数据库HBASE 分布式数据仓库Hive 内存数据库Redis IT基础设施

39. 海量数据分析与挖掘系统逻辑架构 • 流 • 数据 结果缓存 流计算 数据源 NoSQL RDMS 触发的事件 数据采集 • 块 • 数据 块计算 • 全局 • 数据 实时计算结果 全局计算 离线计算结果

40. 海量数据分析与挖掘系统适应的应用场景

41. 目录 • 数据挖掘基本概念和技术 • 数据挖掘在电信行业中的应用 • 云计算环境下的数据挖掘需求 • 海量数据分析与挖掘系统简介 • 海量电信级数据挖掘应用实践 • 本章小结 • 总结

42. 结合具体业务需求，开展相关产品的定制化实践结合具体业务需求，开展相关产品的定制化实践 Hadoop生态系统 Hadoop Hbase Hive Pig Mahout Flume ….. 相关定制化产品 并行数据 处理与挖掘 并行文本 处理与挖掘 海量数据 统计分析 海量数据 实时搜索 个性化 推荐引擎 数据抽取 与分发中心 ….. • 基于hive和Pig,提供Web页面的海量数据可视化统计分析 • 基于HDFS和MapReduce，提供非结构化数据的海量文本并行处理与挖掘 • 基于Hbase和Solr集成,提供千亿级别数据实时查询和全文检索 基于Flume等提供批量数据抽取和转载,同时提供准实时消息、日志的分发 • 基于Mahout等，提供个性化的业务推荐服务 • 基于Hbase和MapReduce，提供结构化数据的海量数据并行处理与挖掘

43. 基于分布式数据库的海量数据分析平台

44. 面向Web访问的海量数据统计分析

45. 面向具体业务的个性化推荐引擎

46. 精细化营销专题 电信业务大数据分析与挖掘典型应用 终端特征分析 垃圾短信识别与监控 生活形态分析 生活圈分析 流失预警分析 上网行为分析 接触时机分析 营销效果分析 营销渠道分析 业务关联分析

47. 应用案例1：利用统计分析用户上网行为，优化网络及业务质量应用案例1：利用统计分析用户上网行为，优化网络及业务质量

48. 应用案例2：利用聚类分析实现用户生活形态分群，指导营销方案设计应用案例2：利用聚类分析实现用户生活形态分群，指导营销方案设计

49. 应用案例3：利用聚类及关联，进行定向营销

50. 在线监测引擎 发送时序行为 “空间行为指纹” 模式分类 t 垃圾短信发送者怀疑名单 ________ 短信流 社会网络行为分析 “社会网络行为指纹” 模式分类 社会网络图 离线监测引擎 原始话单库 “社会网络行为指纹” 模式分类 应用案例4：利用时序分析和社交网络，进行垃圾短信识别，提升服务品质