IBM 电信业商业智能解决方案

1. IBM电信业商业智能解决方案 IBM公司软件部 林南晖 Tel:010-65391188 ext 3909 Email: linnh@cn.ibm.com

2. 议程 • 数据分析与决策支持系统面临的挑战 • IBM 商业智能解决方案简介 • IBM 方案优势

3. 电信企业的需要 • 帐务统计 • 收益分析 • 网络、基站运维分析 • 绩效考核 • 客户关系管理 • 风险预测 • 市场竞争分析 • ......

4. 帐务统计、分析 • 日、月统计报表 • 月结算报表 • 营业收入统计、分析 • 资费来源统计、分析 • 业务量统计、分析 • ......

5. 收益情况分析 • 收入总量分析及预测 • 收入增量分析及预测 • ARPU分析及预测 • 收入结构分析及预测 • 大客户收入情况分析及预测 • 客户交费情况分析及预测 • 客户欠费情况及其结构分析及预测 • 新增客户交/欠费情况分析及预测 • 欠费回收情况分析 • 高额/欺诈分析 • 销账分析

6. 市场竞争分析 • 市场占有率分析及预测 • 市场需求分析及预测 • 竞争对手发展情况分析及预测 • 各竞争对手的市场营销分析 • 供应商市场行为特征分析 • 合作商市场行为特性分析

7. 业务发展分析 • 业务量发展分析及预测 • 业务增量分析及预测 • MOU分析及预测 • 新业务使用量分析及预测 • 业务资源使用特征分析及预测 • 大客户使用业务量的特征分析及预测 • 大客户使用业务的特征分析及预测 • 流量和流向特征分析及预测

8. 客户分析 • 客户总量分析及预测 • 新增客户分析及预测 • 客户净增量分析及预测 • 客户流失量分析及预测 • 客户转网量分析及预测 • 大客户发展分析及预测 • 客户消费能力分析及预测 • 客户消费习惯/爱好分析及预测客户信用度分析 • 外来用户分析 • 模拟用户分析 • 储值卡用户分析 • 潜在用户分析 • 零次用户分析 • 一户多卡用户分析

9. 客户关系管理及市场策略 • 发现优秀客户 • 发现易流失客户群 • 调整产品定价 • 发现客户行为模式 • 开发新产品 • 交叉销售 • ......

10. 网络、基站分析 • 基站配置与话务量分布情况分析 • 分析各时段各基站/交换机的负载情况 • 网络收益分析 • 网络容量分析 • 网络安全分析 • 热点小区分析 • 路由分析等

11. 服务质量分析 • 客户服务质量分析 • 客户服务时限分析 • 客户咨询 • 查询焦点分析 • 客户投诉焦点分析 • 大客户服务质量分析 • 客户满意度分析 • 客户忠诚度分析

12. 营销管理分析 • 市场价格分析 • 营销渠道作用分析 • 代销代办酬金分析 • 营销人员素质分析 • 营销宣传市场效果分析 • 促销行为市场效果分析

13. 综合决策分析 • 决策取向模拟分析 • 决策行为市场操作模拟分析 • 决策行为市场效果模拟分析

14. 绩效考核 • 分公司绩效考核 • 营业部绩效考核 • 营业员绩效考核 • ......

15. 计费系统 网管系统 财务系统 当前状态 局长信息系统 营业系统 结算报表 CRM

16. 挑战：信息孤岛 财务系统 营业数据 市场促销数据 客户数据 呼叫中心数据

17. 建立数据仓库、实施商业智能 OLAP 智能挖掘 数据仓库 生产系统

18. 分析的复杂度和价值 优化 发现 数据挖掘 多维 验证 统计 数据集市 数据仓库 阶段 1 阶段 2 阶段 3 阶段 4 阶段 5 分析的阶段 如何实施商业智能

19. DB2 OLAP Server Analyzer 其它应用 报表工具 QMF Intelligent Miner for Data DB2 OLAP Server 数据仓库管理器/数据库 Warehouse Manager/DB2 UDB 业务系统1 业务系统n 业务系统2 业务系统3 …… IBM BI 解决方案产品

20. DB2 Family DB2 Intelligent Miner for Data 数据智能挖掘服务器 DB2/Warehouse Control Center OLAP Server App Manager OLAP Server Analysis Server ORACLE DB2 Warehouse Manager 数据仓库管理器 Informix Sybase DB2 UDB SQL Server Meta Data IMS & VSAM Files DB2 UDB 客户端工具 支持WEB 决策支持工具和应用程序 DB2 OLAP Server Data Joiner IBM BI体系结构

21. 什么是数据仓库 数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。 • 数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。 • 数据来自多个数据源，并整合到一个数据库中。 • 在数据整合的过程中数据要经过聚合、摘要和清洗。

22. 不同的数据用于不同的目的 信息数据 业务数据 年 "Trust" Accounts "Loan" Accounts "Loan" Accounts 月 日 "Checking" Accounts Account History • 面向应用 • 有限集成 • 经常更新 • 仅有当前值 • 支持日常业务运作 • 面向主题 • 集成 • 比较稳定 • 包含历史数据 • 支持管理决策 业务数据和信息数据根本不同！

23. 业务数据 转换工具 外部数据 商业主题 管理 元数据 • 成员 • 映射 • 商业视图 业务信息 Templates 商业视图 建立数据仓库的过程

24. Warehouse Server Warehouse Agents Clients Databases End Users Included with DB2 UDB Data Relational Source Message Data Message Data Warehouse Center Data Non-Rel Source Message NT/2000 NT/2000 Agent Data DB2 Target NT/2000, AIX, Sun Metadata • Log Server • Kernel • Dispatcher • Scheduler Data Metadata Type title NT/2000, OS/2, AIX, Sun, OS/390, AS/400 • Type text Flat Files • DDD • Log • Editions • Configuration Control Database DB2 DB2 Data Warehouse体系结构

25. 数据仓库控制服务器(Warehouse Control Server) 时间表启动 从控制数据库中获取商业视图定义 启动代理(通过代理后台进程) 循环 : - 接受和记录结果 - 更新客户端显示 数据仓库代理(Agent) 响应VW管理器 循环 : - 接受命令 - 执行命令 - 报告状态 数据仓库代理(Agent)技术

26. 内存管理 • MPP并行支持 • 多个大缓冲区 • 支持64位内存寻址 • Cluster Massively Parallel Processor (MPP) • 增强的SMP并行支持 对称多处理 (SMP) CPU CPU CPU SQL CPU • 并行查询 • 并行事务 单处理器 SQL CPU SQL CPU SQL CPU SQL CPU DB2 UDB高度并行的海量数据库

27. 节点内部并行 • Single query involves • 1 coordinating agent • n sub agents • m prefetchers (shared) • All executing in parallel on available processors • Combination of... • Data parallelism • Each agent works on subset of data • Data dynamically assigned so user not required to partition data • Functional parallelism ("pipelining") • Each agent works on different query function, e.g. scan, sort • Also enables • Parallel Index Create • Parallel Backup and Restore • Allows multiple processes to read or write data to/from the database • Parallel LOAD • Exploitation of multiple processors during load, particularly for parsing/converting/formatting data Compile -Time SQL Query Query Optimizer Best Query Plan Threaded Code Run - Time Agent Agent Agent Prefetchers

28. 节点间并行(数据库分区间并行) • Parallel Edition - style (shared-nothing) • Data parallelism through hash partitioning • Partitions can be... • Physical on MPP or cluster • Logical on SMP Compile -Time SQL Query Query Optimizer Best Query Plan Threaded Code Run - Time node n node 1 node 0 Agent Agent Agent Prefetchers Prefetchers Prefetchers

29. 充分利用分区数据库的能力 • Shared-nothing software architecture supports • Independent physical nodes • Separate CPU, memory, and disk • Including SMP nodes • OR • Multiple logical database partitions on single large SMP Server • Interpartition communication is cross memory, not cross network • Data is partitioned across nodes automatically by hashing • Everything operates in parallel • Select • Insert • Update • Delete User Query Parallel Optimizer Node (CPU) Node (CPU) Node (CPU) Node (CPU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • Backup/restore • Load • Create index • Reorg Single Database View

30. Hash分区和分区映射表 • Partition Map • Determines 'home' for row • Can be adjusted for data skew using the REDISTRIBUTE utility Social Insurance Number Name Location JoeBoston 123-456-789 Toronto Partition Key value Hashed to: "8" Vector Position 0 1 2 3 4 5 6 7 8 9 10 11 12 ... Node 1 2 3 1 2 3 1 2 3 1 2 3 1 ... DB2 DB2 DB2

31. 分区内及分区间并行 • Blends best of MPP and SMP style of parallelism • Ideal for SMP clusters • Most flexible hardware support • Leading Edge Query Optimizer! Compile -Time SQL Query Query Optimizer Best Query Plan Threaded Code Run - Time node 0 node 1 node 2 Agent Agent Agent Agent Agent Agent Agent Agent Agent Prefetchers Prefetchers Prefetchers

32. DB2 UDB: 更大的容量 • 表/视图/列/别名长度增加 • 名字更容易记忆 • 更容易移植 • SQL语句长度可达64KB • 更复杂的查询和分类(如数据挖掘) • 由工具自动生成的语句 • VARCHAR大小可以达到32KB • 更小依赖LONG VARCHAR，节省空间并提高性能 • 最大表/表空间大小64GB/128GB/256GB/512GB • 可以生成更大的表而不需要分区(partition) • 索引字段总长度达1024byte • 可以对更多/更长的字段加索引

33. DB2 UDB: 优化技术 • 优化级别0-9 • 查询重写 • 增加隐含的条件 • 一般条件下压(pushdown) • 子查询该为JOIN • 消除不必要的JOIN • 将量化的条件转化为标量子查询 • 将OR转为IN • 将IN转为JOIN • 视图合并 • 消除不必要的DISTINCT • 优化器扩展 • 减少限制 • RID列表排序 • Index Oring • 执行计划分析 • 避免Cartesian积 • 增强的JOIN大小估计 • 非统一的分布式统计 • I/O统计 • 对随机和顺序I/O不同处理 • 锁优化 • 可修正的CPU和I/O成本估算 • 可更新的目录统计

34. DB2 UDB与商业智能集成 • 新的统计函数 • 页面大小：4KB, 8KB, 16KB, 32KB • 更小的I/O，减少索引的层次 • 优化器可以利用多个缓冲池(与页面大小) • 更多的利用星型连接优化 • 利用星型连接设计的数据库性能更好 • 对数据仓库的增强 • 数据加载过程中自动建立索引 • LOAD TERMINATE/RESTART选项 • LOAD时递增的建立索引 • 利用LOAD INSERT将数据附加到已经存在数据的表中

35. 易用的管理工具

36. 集成化的图形界面管理工具 Administrator DRDA-Compliant Server • Control Center and Utilities DB2 UDB Server • Performance Monitor • Performance SmartGuide • Data Replication • Capture • Apply • Network Configuration SmartGuide • Administration Server • Satellite Administration • Job Scheduler DB2 Connect Enterprise Edition • Governor DB2 UDB Server Users Developers • Client Configuration Assistant • Command Center (GUI CLP) • Visual Explain • VisualAge for Java • DB2 Discovery • DB2 Extenders

37. Control Center

38. Command Center

39. Performance Monitor

40. Performance Smart Guide

41. Index SmartGuide

42. Other Tools Integrated with the DB2 Control Center • DB2 Script Center • Allows users to create and schedule scripts for regular database activities • DB2 Journal • Provides users with a view of activities which have occured in the DBMS • DB2 License Center • Allows users to monitor license compliance • DB2 Information Center • Provides users with the entire DB2 UDB Technical Library online • Server Communications (Network) Configuration Assistant • Automates set up of server for communication with clients • Client Configuration Assistant • Database connection configuration and testing • Can request that DB2 Discovery search network for databases • ODBC administration • DB2 Discovery • Searches for DB2 servers and databases over the network • Returns information required for connection to client

43. DB2家族产品——全面解决方案 Sources Hosts • Oracle • Sybase • Informix • SQL Server • IMS • VSAM • DB2 UDB for OS/390 • DB2 for VM and VSE • DB2 for OS/400 Middleware WAN • DB2 Connect • Datajoiner • Net.Data TCP/IP SNA IPX/SPX Servers • DB2 for OS/400 • DB2 for AIX • DB2 for OS/2 • DB2 for HP-UX • DB2 for HP-UX 11.0 • DB2 for SUN Solaris • DB2 for SINIX • DB2 for NT • DB2 for SCO • DB2 for SCO Unixware 7 TCP/IP IPX/SPX NETBIOS Clients • DOS • WINDOWS • WinNT • Win95 • Win98 • OS/2 • AIX • HP-UX • SCO • SUN Solaris • SNI SINIX • SGI Irix • MAC • Web Browsers Parallel Complexes • DB2 UDB EEE for AIX • DB2 UDB EEE for SUN Solaris • DB2 UDB EEE for Windows NT • DB2 UDB for OS/390 • DB2 for OS/400 Personal • DB2 for OS/2 • DB2 for WinNT • DB2 for Win95 • DB2 for Win98 • Lotus Approach • Satellite Edition • DB2 Everywhere Management Complete Solutions • Tivoli TME-10 • Satellite Edition

44. Online Analytical Processing (OLAP) • 由IBM研究员E.F. Codd提出，被业界广泛采用 • 为计划和分析优化处理 • 多维视图 • 钻取 • 切片 • 满足用户需求 • 填补关系型数据库的不足 • 利用现有投资 • 后台交易系统 • 前台报表系统

45. 结算分析 归属局 被访局 时间 冲销结算 出访费用 Q4 来访费用 Q1 Q2 Q3 北京 上海 天津 ... 广东 北京 OLAP: 多维分析 • 用维的方法观察数据 • 产品，时间，地区，财务指标等 • 数据模型等同于业务模型

46. OLAP：多维分析 • 旋转：按不同顺序组织各个维，对结果进行考察 • 钻取：在一个维内部沿着从高到低或从低到高的方向考察数据 • 上钻 • 下钻 • 切片：在确定某些维数据的情况下对其他维进行观察

47. 被访局 2000年 2000年1月 归属局 2000年1月1日 2000年1月2日 2000年1月3日 2000年2月 时间 OLAP: 多维分析 • 考察一个特定的维 • 时间维，包括每一个归属局到各被访局的冲销结算关系 • 钻取到下面的层次来考察详细情况

48. 被访局 时间 归属局 被访局 时间 归属局 OLAP：旋转 按照不同的顺序组合维，对数据进行考察

49. OLAP：钻取 • 钻取到各级数据层次 • 时间，年，季，月，日 • 归属局，省局，地市 结算分析 时间 归属局 被访局 冲销结算 出访费用 上海 来访费用 北京 1999 2000 2001 ... 上海 北京 Q1 Q2 Q3 Q4 Apr May Jun

50. OLAP：切片 用切片的方法从不同的角度观察 归属局 被访局 归属局 被访局 时间 时间 一月份所有归属局对各被访局的冲销结算关系 每个归属局对被访局北京每个月份的冲销结算关系