数据挖掘原理

1. 数据挖掘原理 赵卫东 博士复旦大学软件学院wdzhao@fudan.edu.cn

2. What is Data Mining? • According to the Gartner Group, Data mining is the process of discovering meaningful new correlations, patterns and trends by sifting through large amounts of data stored in repositories, using pattern recognition technologies as well as statistical and mathematical techniques. • Data mining refers to the work of discovering new and useful (business) knowledge from large real databases through a non-trivial process and using a sound methodology and multiple data processing and analytical techniques. • Examples: • Detect taxation fraud: not declaring all income for taxation; • From the thousands of mobile phone customers, predict which customers are going to switch to a competitor .

3. 数据挖掘受多学科的影响 • 数据挖掘是一个交叉科学领域，受多个学科影响，包括数据库系统、统计、机器学习、可视化和信息科学。

4. 一个比较正式的数据挖掘的定义 • 高层次上的主动式自动发现方法，被称为发现驱动型知识发现。 • 从数据中提取正确的、有用的、未知的和综合的信息并用它进行决策的过程。 • 数据挖掘的相关学科是统计理论、数据库技术和人工智能。 • 前Business Objects的Todd Rowe曾表示：“从技术上讲，甚至只要有完备的Excel数据就能用上BI。”

5. 过程 • 数据挖掘并不是一个装在软件包装盒中的工具可以简单的买到并运行在商业智能环境中，也不会自动开始产生值得注意的商业规律。

6. 正确的 • 提取的信息应该是正确的，并且在统计上是重要的以支持有依据的决定。正确意味着确证性和完整性。不但需要从数据库中得到正确的客户，还希望得到所有正确的客户。这就需要原始数据和数据挖掘过程都具有正确性。

7. 有用的 • 数据挖掘过程可能会传递正确的和重要的结果，但是这些知识必须是对商业有用的。如结果告诉你要在一个大量的渠道上多样化市场运作，这可能会无法办到。同样结果必须使你能抢在竞争对手之前行动。

8. 未知的 • 数据挖掘要产生新的信息。如果过程只是传递一些无关紧要的结果，那么数据挖掘的商业动力就会消失。这就是区分验证和探索的性质。

9. 最小要求 • 以上显示了数据挖掘最小要求，可以用它来评价数据挖掘是否对业务环境增加了附加的价值 • 其他要求

10. Why Data Mining? • Gain an insight into business data • Identify useful patterns, correlations and models from data automatically to answer questions like, • Which customer is likely to churn in two months? • Which customer is my cross sell target? • What are the characteristics of my high spending and low spending customers? • Data mining is a core technology of business intelligence • Data mining is a core application of data warehouses • Data mining is the core technology of analytical CRM • Data mining is the core technology of online recommendation and personalization in e-commerce • Data mining has become a part of business function in many companies

11. Data mining is regularly used in

12. 典型的数据挖掘系统结构

13. Verification-Driven Analysis • Verification-driven data mining tools extract data. The user is expected to generate information based on his interpretation of the returned data.

14. New Process With Data Mining • Discovery-driven • Computer sifts through millions of hypotheses and only presents the most interesting/valid ones • Example: • From a sample group of clients that have defected to a competitive bank - identify client characteristics that are strongly correlated, and using these attributes, score the rest of the client and prospect population and the strength of their relationships to sample group.

15. Credit Card Fraud Customer Grouping and Behaviour Prediction Market Based Analysis and Up-Selling/Cross-Selling Credit Risk Determination Pharmaceutical Industry: Drug Effectiveness by Patient Type Employee Turnover Predictions Defect Analysis in Manufacturing University and Employee Recruitment 数据挖掘可以做什么? • 分类和预测 • 聚类 • 关联分析 • 描述和可视化

16. 数据挖掘过程

17. 占25%的工作量 占70%的工作量，是最重要的阶段

18. 数据挖掘各阶段的时间分配

19. 数据挖掘流程国际标准CRISP-DM（1）

20. 数据挖掘流程国际标准CRISP-DM（2） • 1996年提出的行业无关、应用无关的数据挖掘过程标准—Cross Industry Standard Process for Data Mining（CRISP-DM）。这个标准把挖掘过程分为六个阶段：定义业务问题（business understanding）、数据理解（data understanding）、数据预处理（data preparation）、数据建模（data modeling）、模型评估（evaluation）和部署（deployment）。

21. 数据挖掘流程国际标准CRISP-DM（3） • 商业理解。这可能是数据挖掘最重要的阶段。商业理解包括确定业务对象、评估情 • 况、确定数据挖掘目标以及制订工程计划。 • 数据理解。数据提供了数据挖掘的“原材料”。此阶段用于了解您的数据源以及这些 • 数据的特征。此阶段包括收集初始数据、描述数据、探索数据和验证数据质量。“输出节点”选项板上提供的数据审核节点是一个用于数据理解的、不可或缺的工具。、 • 数据准备。对数据源进行分类之后，您需要准备数据，以便进行挖掘。准备包括选 • 择、清理、构建、集成数据以及格式化数据。 • 建模。此阶段毫无疑问是数据挖掘的核心部分，在此阶段将使用精巧复杂的分析 • 方法从数据中提取信息。此阶段包括选择建模技术、生成测试设计，以及构建 • 和评估模型。 • 评估。选定模型之后，就可以评估数据挖掘结果在多大程度上能够帮助您实现业务 • 目标了。此阶段的要素包括评估结果、查看数据挖掘过程，以及确定后续步骤。 • 部署。既然您已经付出了上述所有努力，现在就应该有所获益了。此阶段主要是将 • 您的新知识结合到日常的业务流程中，来解决最初的业务问题。此阶段包括计划部 • 署、监视和维护、生成最终报告，以及复查该工程。

22. IBM SPSS Modeler可视化界面

23. AlphaMiner界面

24. 数据挖掘过程是循环的过程 • 上图会容易造成一个线性过程的印象。 • 事实上，每一步的结果会导致这样一个结论：需要从前几步中得到更多的信息，并不断重复这一过程。这些循环保证了最后的结果是完全为业务量身定制的。

25. 业务分析 • 理想化地，公司中的所有活动都在不同程度上通过策略和商业目标与公司的任务描述相关。数据挖掘使你能够比以前在更高的层次上控制你的目标。 • 业务分析涉及到领域专家和挖掘专家。 • 前者专心于规定商业需求，而后者从数据挖掘的观点上保证这些要求的可行性，并且具体说明满足这些要求所需的挖掘操作。

26. 数据分析 • 为了研究使用统计方法的数据，可能有必要清理数据，添入缺损的值，或者从几个系统中将数据整合起来。 • 数据分析将会对以后步骤中必须的数据转换提供一个初步的了解，比如数据清理和整合。可能也会指出获取外部的信息是必要的，比如说日常商业运作中并不需要的顾客人口统计数据。 • 在这一步中涉及到的角色是挖掘专家，他们执行大部分的任务，还有数据库管理员，他们将通过提供数据的访问权限来支持这些活动。

27. 数据准备 • 当挖掘所需的数据可供使用时，往往需要在真正进行挖掘前做一些准备工作。对于是否需要做这些准备工作，大部分在数据分析步骤中进行评估。

28. 数据质量 • 数据显示出一些特定的值，叫做偏离点，它们远离预期的正常范围。 • 这些值可用多种方法来处理： • 如果它们仍在现实中存在的话，对这些数据取对数可以将它们转化到较小的范围。 • 否则可以将包含这些值的记录除去，或者将所有记录中的相关属性除去。

29. 空缺值 • 一个更常见的问题是空缺值。 • 此外，有些记录的值可能空缺，或者某一个属性可能会有大量的空缺值。 • 对第一种情况，可以不使用这些记录； • 对第二种情况，可以丢弃这个属性。

30. 猜测空缺值 • 另一种处理空缺值的方法是归咎（imputation）。可以用几种技术来猜测空缺值，下面是一些相关技术，复杂度逐渐增加： • 从别的记录中随机抽取一个值添入。 • 取其他记录中对应属性的最频值，中间数或平均数。 • 对其他记录中这个属性的值分布做一个统计模型，然后根据分布情况，随机选一个值。 • 试图用统计或挖掘技术从相似记录的值中预估空缺值。

31. 数据预处理

32. 数据中的不一致性 • 数据挖掘能够有效地处理数据中的不一致性。即使源数据是干净的、整合的和经过验证的，它们仍有可能包含现实世界的不真实的数据。 • 有效认识和解决数据质量相关问题的唯一办法，就是企业对内部处理流程进行监视、分析和报告。 • 美国硬盘生产商Maxtor公司的首期信息长官斯考特.海卡尔说 “商务智能最大的困难在于需要确保用于总结性分析和仪表板中的最底层的数据永远干净、一致并相关。我们需要数据仓库具备自我治疗能力，能够自动地感应、侦查、通告和维修任何不正确、缺失或未经核对的数据因素。但这至少需要一到两年才会发生。”

33. 噪声 • 这种噪声可能是由用户的错误输入或是顾客填写问卷时的笔误造成的。如果这些错误不是发生的太频繁，数据挖掘工具还是能够忽略它们，并且找出数据中存在的整体模式。

34. 脏数据形成的原因 • 滥用缩写词 • 数据输入错误 • 不同的惯用语（如：ASAP对“at first chance”) • 重复记录 • 丢失值 • 拼写变化 • 不同的计量单位 • 过时的编码

35. 数据清洗 (客户数据) Maggie.kline@future_electronics.com Margaret Smith-Kline phd FUTURE Electronics 5/23/03 101 6th ave manhattan ny 10012 001124367 输出记录 Salutation: Ms. First name: Margaret Last name: Smith-Kline Postname: Ph. D. Match standards: Maggie, Peg, Peggy Gender: Strong Female Company name: Future Electronics Address 1: 101 Avenue of the Americas City: New York State: NY ZIP+4: 10013-1933 Email: maggie.kline@future_electronics.com SSN: 001-12-4367 Date May 23, 2003 输入记录

36. 匹配和合并 输入记录 Ms Margaret Smith-Kline Ph.D. Future Electronics 101 Avenue of the Americas New York NY 10013-1933 maggie.kline@future_electronics.com May 23, 2003 合并的记录 姓名: Ms. Margaret Smith-Kline Ph.D. 公司名: Future Electronics Co. LLC 社会保障号: 001-12-4367 购买日期: 5/23/2003 地址: 101 Avenue of the Americas New York, NY 10013-1933 纬度: 40.722970 经度: -74.005035 Fed code: 36061 电话: (222) 922-9922 Email: maggie.kline@future_electronics.com Maggie Smith Future Electronics Co. LLC 101 6th Ave. Manhattan, NY 10012 maggie.kline@future_electronics.com 001-12-4367 Ms. Peg Kline Future Elect. Co. 101 6th Ave. New York NY 10013 001-12-4367 (222) 922-9922 5/23/03

37. 数据清理处理内容 • 格式标准化 • 异常数据清除 • 错误纠正 • 重复数据的清除

38. 属性间的相互依赖性 • 数据挖掘将会同时从不同角度来看待数据。这就防止了把某些自身看起来好像不相关的属性丢弃的情况。 • 数据挖掘将会发现属性间的相互依赖性，这些相互依赖性往往需要提取数据中的所有相关信息，甚至是隐藏在多个属性的组合中。

39. 结果解释 • 对结果的解释完全依赖于数据挖掘步骤的可视化输出。 • 对结果的解释需要挖掘专家和领域专家的紧密合作。他们一起将技术的结果解释为商业的意义，并且评价从这些结果中得出结论的正确性。 • 当结果从技术上来说是正确的，但对商业上来说并不意味着任何有价值的东西的时候，有必要进行迭代。

40. 商业应用 • 一个例子就是预测所有客户中的可创造高利润的群体，必须决定如何去接近这些客户，同时还要决定如何判断他们是否像模型预测的那样能带来利润。 • 领域专家依靠对挖掘结果解释中的信息，来支持商业应用的决定。在小公司中，领域专家可能就是决策者，但通常来说，决策者往往是一些顾问。 • 如果领域专家对决策是否为挖掘结果所支持不是很确定，或者他和实际决策者中有任何的误解，都需要回复到结果解释阶段。

41. 商业反馈 • 商业环境中的结果被反馈到商业智能环境中，并和数据挖掘模型的输出一起做分析。比如说，假设你邮寄活动的预测回复与实际回复作一个比较。当你试图了解是什么因素使得你对某些客户的预测出现错误时，可能会引发一轮新的数据挖掘过程。