郝雪莹 微软中国有限公司

1. 郝雪莹微软中国有限公司 Microsoft SQL Server 商业智能

2. 内容 • 今天的 SQL Server • SQL Server 2000 – 完整的BI提供者 • OLAP与数据仓库 • 与 Office 集成的商业智能 • T3 – 一个TB级的数据仓库

3. 今天的SQL Server • 关系数据库，多维数据库和数据挖掘，三位一体。 • 增长最快的数据库，年销售额超过15亿美元 • 速度最快的数据库 • 最快的投放市场速度 • 商业智能的领先者 • 完全中文化

4. 给SQL Server两分钟， SQL Server可以完成一百万笔交易！

5. 最快实施部署的数据库 • 美国研究院 • 非盈利的易用性测试中心 • 测试40个 高级数据库管理员实施标准任务的结果 40% 100% 20% 80% 60%

6. Microsoft SQL Server 2000 完整的数据库与分析系统 完全支持快速部署下一代可扩展电子商务,主流业务与数据仓库解决方案 • 完全Web支持 • 内置XML支持 • 基于Web的访问,查询与分析 • 高度可扩展与可靠性 • 行级的性能设置 • 故障转移集群与 SMP 支持 • 快速投放市场 • 集成,可扩展与完整 • 易于建立与管理

7. 内容 • 今天的 SQL Server • SQL Server 2000 – 完整的BI提供者 • OLAP与数据仓库 • 与 Office 集成的商业智能 • T3 – 一个TB级的数据仓库

8. 商业智能领先者 Source: Gartner Research

9. 市场表现如何？ http://www.olapreport.com

10. Microsoft商业智能一枝独秀 “尽管其它几个主要厂商都在衰退，Microsoft OLAP部署在2001年增长迅猛。” OLAP Report和OLAP Survey的主笔人Nigel Pendse说，“按照OLAP许可证费（那是新增销售的最好证明）来看，Microsoft显然是2001年的领先者，而这导致了Microsoft和其行业合作伙伴在相关工具、应用程序和服务方面迅猛增长。” Source: OLAP Report

11. Enterprise Data Warehouse 当前的世界 – 信息分离 • 企业资源管理 (ERP) • 客户关系管理 (CRM) • 供应链管理 (SCM) • Web 点击流的数据 • 互联网的商业活动 CRM and eCRM Call Center Marketing Campaign Mgmt Internet Financial/ Accounting Inventory Procurement HR Intelligence is data with relevance and context

12. 平台的完整性 全面的 BI 平台 快速投放市场 微软商业智能策略 集成了 RDBMS, ETL, OLAP, Data Mining, Meta Data, Mgt tools Data Warehousing Alliance and Framework, Open Data Access APIs, Data Source Connectivity Easy to Build and Manage, Lowest TCO 普遍深入的商业智能

13. 协作功能 数据分斩 可视化 地理空间分析 零售与市场销售分析 项目管理分析 点击流分析 SQL Server 2000 Analysis ServicesMicrosoft’s 商业智能解决方案

14. 完整的 BI 提供者 • SQL Server 2000 • 具备可扩展RDBMS的完整的平台,包括: • Data Transformation Services • Analysis Services (OLAP and Data Mining) • Metadata Services • English Query • Office XP • Excel – 内置的 PivotTable Service • 可定制开发的Web组件 • SharePoint • Microsoft Data Analyzer

15. EXTRACTION TRANSFORM LOAD MANAGE SOURCE SYSTEMS (LEGACY) DATA WAREHOUSE AND / OR DATA MARTS END USER ACCESS AND ANALYSIS PRESENTATION / OLAP OLE DB Ad-hoc Query Tools OLAP including HOLAP, ROLAP, MOLAP query services; may store atomic data; may be frequently refreshed XML/A Data Warehouse or Data Mart (dimensional, subject oriented) and Operational Data Store Reporting Custom Apps OLE DB Analytical Apps Data Mining Models forecasting; clustering; scoring XML/A Web Services and Mobile Apps 完整的ＢＩ提供者

16. DTS Excel / MSDA / Sharepoint / IE Ad-hoc Query Tools DTS SQL Server SQL Server Analysis Services (OLAP) OLAP including HOLAP, ROLAP, MOLAP query services; may store atomic data; may be frequently refreshed SQL Server Third Party (DWA Q&R) Reporting DTS DTS Visual Studio Oracle Custom Apps Data Warehousing Alliance Analytical Apps SQL Server Analysis Services (Data Mining) Data Mining Models forecasting; clustering; scoring OLEDB DTS / HIS Visual Studio Web Services and Mobile Apps IBM 完整的BI提供者 EXTRACTION TRANSFORM LOAD MANAGE SOURCE SYSTEMS (LEGACY) DATA WAREHOUSE AND / OR DATA MARTS END USER ACCESS AND ANALYSIS PRESENTATION / OLAP OLE DB OLAP including HOLAP, ROLAP, MOLAP query services; may store atomic data; may be frequently refreshed XML/A Data Warehouse or Data Mart (dimensional, subject oriented) and Operational Data Store OLE DB Data Mining Models forecasting; clustering; scoring XML/A

17. Analysis Manager SQL Server Data Warehouse OLEDB for OLAP OLE DB for DM DSO PivotTable Service Other OLE DB Providers OLAP Store ADO MD Processing Querying Analysis Services 体系结构 Analysis Services Application Analysis Server TCP/IP HTTP OLAP Engine Data Mining Engine

18. Data Transformation Services • 一个可以适用于任何环境的在数据源之间拷贝与传递数据的工具

19. OLAP 的功能 • SQL Server中的分析服务 • 强有力的，易于使用的分析服务 • 可以使用任何 OLE DB数据源 • 从桌面产品到企业产品都可以使用 • 灵活的结构 – MOLAP, HOLAP, ROLAP

20. 内容 • 今天的 SQL Server • SQL Server 2000 – 完整的BI提供者 • OLAP与数据仓库 • 与 Office 集成的商业智能 • T3 – 一个TB级的数据仓库

21. SQL Server 2000 Analysis ServicesOLAP与数据仓库 • 数据库中包含了历史的业务数据 • 数据用来支持分析服务 • 并不是对实时处理的支持 • 分析用来支持业务决策 • 例如: • 分析对目标群体采取的广告活动

22. SQL Server 2000 Analysis Services为商业智能管理数据-- OLAP • OLAP – Online Analytical Processing • OLAP 提供了相应的数据模型 • OLAP 的数据库被称为 cubes • 数据是以多维的结构存储在数据库中的 • 使用维度(dimension)与度量（measures）来定义 • 向用户提供了非常直接的体系结构 • 分析服务向用户展示出了他们需要的分析结果 • 预聚合提高了查询的性能

23. Data Warehouse Dim Table Fact Table Dim Table Dim Table Dim Table SQL Server 2000 Analysis ServicesCube 结构 – Schema and Tables • Schema • 将表聚合成数据仓库的结构（或方式） • 向cube提供数据 • 事实表 • 位于schema中心的数据表 • 存储的是数字的数据 (facts) • 提供运营的历史数据 • 维度表 • 与事实表联接的其它表格

24. Dim Table Fact Table Dim Table Dim Table Dim Table SQL Server 2000 Analysis ServicesCube 结构 – 度量与维度 • 度量 (Measures) • 值来自于事实表 • Values that are analyzed and aggregated • 维度(Dimensions) • 值来自于维度表 • 描述了对同一类成员的分析 • 层次(Levels) • 对维度进行层次划分 • 细类划分 • Time levels might be Year, Quarter, Month

25. SQL Server 2000 Analysis Services什么是分析服务? • Formerly OLAP Services (SQL Server 7) • Middle tier for OLAP and Data Mining • OLAP – 访问数据 • 方便地选取，遍历与分析数据 • 数据查询的例子: • 在商店 cube中销售状况 • 发现客户统计信息 • Find products by brand and customer

26. Channel MM Brand Afri Cola Drug Food Coca-Cola Pepsi 23.5 MM UNITS $28.3 GROSS $26.8 COST Royal Crown Wrangler Cola OLAP: An Example “给我看看可口可乐通过食品渠道在24号那一周的销售情况” Coca-Cola Food 03 10 17 24 24 Week Ending

27. SQL Server 2000 Analysis Services数据挖掘 – 电影租借的例子 • 在线的电影租借 “电影爱好者俱乐部” • 会员的信息是已知的 • 统计信息 • 喜好的电影 • 目标: 增加销售额! • 我们希望做出这样的预测: • 客户喜欢的电影 • 我们需要输入的数据: • 统计信息 • 客户喜欢的其它电影 • 使用了什么样的算法? • Decision tree from SQL Analysis Services

28. SQL Server 2000 Analysis ServicesData Mining – 将相关的数据结合 • 将用户统计信息聚合 • 与相关喜爱的电影联系在一起

29. 所有人 Gender: 84% Male 16% Female 选择 ‘飘’ 没有选择 Gender: 23% Male 77% Female Gender: 85% Male 15% Female SQL Server 2000 Analysis ServicesDecision Trees – First Classification

30. All People Gender: 84% Male 16% Female Picked‘Gone With the Wind’ Didn’tPickit Gender: 86% Male 14% Female Gender: 23% Male 77% Female Feeling Thinking Gender: 50% Male 50% Female Gender: 15% Male 85% Female SQL Server 2000 Analysis ServicesDecision Trees – 第二次分类

31. High income, married Data Mining Services • 理解与预测个体的相关态度 - 决策树 • 预测信用风险 • 预测购买习惯 Income Good (2) Poor (3) High Low Good (2) Good (0) Poor (1) Poor (2) Married Not married Good (2) Good (0) Poor (0) Poor (1)

32. Separate strategies per cluster Data Mining Services • 将个体行为与群体匹配 – 聚集 • 举办一个市场活动 • 理解不同的客户从而更好地提供相应产品与服务

33. SQL Server 2000 Analysis Services性能 • 支持实时分析的性能 • 分析挖掘相应的可能与倾向 • Queries lead to more queries • 首先要计算聚合信息 • Answers questions ahead of time • Improves query performance • Set when cube is saved, and is reconfigurable • Trade-off: Performance against space • More aggregations take up more space • Analysis services provides estimates

34. Analysis Services 体系结构数据存储 – 最小化数据爆炸 • 数据爆炸 • OLAP在历史上的缺陷 • 100%密集 • 智能化的聚集设计 • 仅预聚合数据的子集 • 压缩算法

35. OLAP -- Scalability • 智能的,局部的预聚合 • 自动删除稀疏的数据 • 协调客户端/服务器缓存来减小网络负载 • Virtual cubes (similar to views) • Partitioned cubes, 跨服务器来实现并发

36. 内容 • 今天的 SQL Server • SQL Server 2000 – 完整的BI提供者 • OLAP与数据仓库 • 与 Office 集成的商业智能 • T3 – 一个TB级的数据仓库

37. 5%-10% 70%-80% 15%-20% Analyzing Data with Data Analyzer对简单分析工具的需求 Tool OfferingsCURRENT Tool OfferingsTODAY 用户类型 用户需求 鲁棒的分析工具 - 高级的报告 - 复杂的计算 - 分类与预测 MS partner offerings--ProClarity--Cognos--Business Objects --and more… MS partner offerings--ProClarity--Cognos--Business Objects--and more… 分析家 Excel 2002 Data Analyzer --data visualization--simple analysis--publish to Excel, PowerPoint, and web Excel 2002 --PivotTables--PivotCharts 简单的分析工具--数据的可视化 --简单的过滤/分类 --易于发布 信息工作者 Integrated analysisand publishingexperience Sharing .xls filesSimple “save to web” 对报告的访问 一般信息需求者

38. Microsoft Office XP • OLE DB for OLAP in Excel PivotTables • Office Web Components for browser-based analysis • Access 2000 compatibility with SQL Server

39. BI Integration with OfficeExcel BI Integration • 使商业智能的数据对所有员工可用 • Excel 是中心 • 提供了鲁棒的分析工具 • 特性 • OLAP PivotTables • Data Connection Wizard and Office Data Connection Files • XML support • Excel PivotTable

40. BI Integration with OfficeOffice Web Components • Office Web Components deliver: • Spreadsheets • Charts • PivotTables/PivotCharts • 可以直接获得可交互的 web 页面! • 可扩展

41. Digital DashboardAn aggregated personalized view of a Digital Nervous System

42. Microsoft Data Analyzer • 图形化分析和数据可视化 • 提供直观的数据视图来展示机会，倾向和问题 • 方便地发布和共享数据 • 扩展 SQL Server 的分析服务

43. ConnectionString = “Provider = MSOLAP; Data Source = http://www.cubeserver.com; … P T S IIS OLAP Server P T S “Data server in the sky” Analysis ServicesHTTP Connectivity: Architecture msolap.asp

44. 内容 • 今天的 SQL Server • SQL Server 2000 – 完整的BI提供者 • OLAP与数据仓库 • 与 Office 集成的商业智能 • T3 – 一个TB级的数据仓库

45. T3 Project Goals • 通过演示设计,布署,管理企业级的OLAP实现来展示: • 真实的业务问题,使用真实的数据 – 所有的数据都在cube中! • 易于使用,灵活,可扩展,可靠– Analysis Services, ES7000 server ,EMC企业级存储平台 • ProClarity分析工具集的强大功能 • 迅速对超过1.2TB的原始数据构建的MOLAP进行复杂查询 Unisys

46. T3 Cube • 零售业数据库,包括 7.7 billion 行, 涵盖: • 716,000 产品 • 3 渠道 • 71 城市 • 按周计算, 超过五年的时间 • 每行包含31个measures • 每个产品包括140个属性 • 1.2 TB 未经加工的原始数据 – 无索引的 • 在一台服务器上

47. 维度的结构 • 雪花型架构

48. 性能 • 处理 • 7.7 billion 行, 50 小时 • 153 million 行/小时 • 42,000行/秒 • 60-70% CPU 利用率 • 查询 • 平均响应时间1.2 秒 (冷缓存) • 平均响应时间0.08 秒 (warm缓存) • 非常低的CPU负荷

50. T3 结果 • 构建Cube的时间 • 50小时18分钟 –构建完整的cube • 两个月(8周)的数据使用4小时来更新 • 50 并发查询 • 1.2 秒平均响应时间 (cold cache) • 0.08秒平均响应时间(warm cache) “T3的出现打破了长期以来不能构建TB级MOLAP的传说” “The OLAP Report”