1 / 21

商业智能的利器 – Sybase IQ

商业智能的利器 – Sybase IQ. 卢东明 技术总监 Sybase 软件中国有限公司 Tom.lu@sybase.com. Business Intelligence. Busi-ness, 还是 Business?. Business Intelligence. 商业智能（ BI ）是什么？

kerry-grimes
Download Presentation

商业智能的利器 – Sybase IQ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 商业智能的利器 – Sybase IQ 卢东明 技术总监 Sybase软件中国有限公司 Tom.lu@sybase.com

  2. Business Intelligence Busi-ness, 还是Business?

  3. Business Intelligence 商业智能（BI）是什么？ 商业智能（Business Intelligence，BI）系统使组织能够通过利用客户、供应商以及内部业务操作的有关信息来提高商业性能。BI 系统的最终目标是使用户能够消费大量有关数据，对其进行分析从而使企业有机会增加收入或者节省成本。 BI 系统通常需要从多个来源收集数据 ——例如整个公司的事务数据库和诸如客户关系管理与供应链管理的不同相关应用程序。 BI系统集结、组织以及标准化仓库中的信息，比如数据仓库和数据集市中的信息。提供分析工具，以支持专家运行数据查询以及发现模式和潜在的诊断问题。

  4. 商业智能（BI）无处不在 • 金融 • 风险管理 • 信用风险 • 货币风险 • 资产与负债管理 • 分析型CRM • 电信 • 获得和留住客户 • 呼叫行为分析 • 拥塞分析 • 服务使用分析 • 促销效用 • 分析型CRM BusinessIntelligence • 零售业 • 商品广告促销的竞争 • 销售模式 • 竞争管理 • 市场分析 • 客户评价 • 分析型CRM • 制造业 • 优化供应链 • 流程智能 • 订单生命周期 • 存货分析 • 供应商遵从 • 发送分析 • 政府 • 保持市民安全 • 国家安全 • 规章的调研 • 欺诈监测 • 犯罪行为分析 • 健康保障欺诈 • 所有行业 • 性能 • 损益P&L 分析 • 欺诈监测 • 技术性能分析 • 价值链分析 • 分割分析

  5. 数据仓库系统发展规律 • 第三阶段信息管理 • 建立客户为中心的数据仓库和数据集市 • 集成复杂的管理工具(OLAP, 数据挖掘、业务评估) • 数据的分析影响业务模式 • 集成客户交流渠道 • 企业CRM 商务智能解决方案 • 第二阶段信息管理 • 建立数据仓库存储业务数据 • 建立数据集市解决特定的专题分析 • 提供OLAP和统计分析 数据仓库 更有效的智能化管理 • 第一阶段信息管理 • 提供基本、静态信息 • 固定格式、时间、内容 业务报表 时间

  6. 数据仓库系统三层结构—数据存储管理是核心 E I S 人员 查询人员 分析人员 数据访问层 OLAP 即席 预定义报表 数据挖掘 查询 元 数据集市 数 数据仓库 数据存储层 据 数据集市 / / 清洗 转换 加载 数据获取层 抽取 其他系统 综合业务 信贷 HR/OA

  7. OLTP/OLAP异同 • 短小精悍 • 快进快出 • 快速响应事务处理 • 大吞吐量 • 海量数据 • 快速并行计算 • 以查询为主 没有单一数据库系统能够同时满足OLTP和OLAP类型的数据需求

  8. IT瓶颈在哪里？ • 瑞士联邦技术学院信息及通讯研究所(ETH Zürich)的科学家研究发现： • I/O瓶颈(或内存储器存取瓶颈) • Speed(Disk) << speed(RAM) << speed(CPU) • 他们预期： • CPU速度增长: 每年50% • 内存容量增长: 每三年增长4倍 • Disk吞吐量 : 过去的十年里只增长了2倍 • 结论：I/O瓶颈恶化

  9. 为什么选择 Sybase IQ • 普通目标的引擎 • 不是 • 最优化OLAP引擎 • 当你增加数据量、增加用户数、增加查询的复杂度时，Sybase IQ 可以消除传统数据库的限制，仍然能够保持系统的性能和防止系统失败 • 不限于用于分析的大量数据（海量数据） • 不限于大量并发用户和查询 • 不限于新应用的发布 • 不限于查询的复杂性 • 不限于访问窗口

  10. Sybase IQ • Sybase IQ 是一个高优化的分析服务器，在标准硬件平台和操作系统上，针对极高速分析查询和报表具有特殊的设计 • 针对于分析的设计，不是事务的设计–不同于传统数据库 • 非常卓越的查询性能 • 针对分析型应用具有最低的总拥有成本 • 基于列模式的索引，具有领先的性价比，用于决策支持系统 • www.sybase.com/content/1035804/SybaseIQ_bloor-report.pdf Bloor Research Report - Sybase IQ, 2005; • www.sybase.com/content/1032408/WinterCorporation2004.pdf Winter Corporation TopTen Program: Spotlight on Sybase IQ, 2004; • InfoSizing DW Reference Architecture Report, June 2004

  11. Sybase IQ: 速度快速查询和加载，垂直存储 垂直存储 • c1 • c2 • c3 • c4 • c5 • c6 • c7 • c8 • c9 • … • c1 • c2 • c3 • c4 • c5 • c6 • c7 • c8 • c9 • … 查询响应– 以垂直存储实现快速查询 • 数据垂直存储 – 每一列分别存储 • 只存取被查询使用到的列 – 降低大量的系统 I/O Other RDBMS SYBASE IQ r1 r1 r2 r2 r3 r3 r4 r4 r5 r5

  12. 特殊存储方式垂直存储（按列存储） Sybase IQ:数据是按列存储的，而不是按行存储 • 好处: • 只存取查询所需的数据 • 数据类型是一致的，因而可以很容易被压缩 • 数据库易于修改和管理

  13. Sybase IQ–数据大量被压缩，降低存储空间和维护成本 LOAD LOAD • Transactional DBMS 数据压缩– 显著降低存储空间和维护成本 • Summaries • Aggregates • 1 - 2TB 加载相同数据: “传统的数据仓库” 是Sybase IQ数据仓库的3－6倍 2.4-6TB • Indexes • 0.5 - 3TB 输入数据: 1TB 数据源：文件，ETL，复制，ODS • Base table • “RAW data” • no indexes Aggr/Summ: 0 - 0.1TB 0.25 - 0.9TB Indexes: 0.05 - 0.3TB • 0.9 - 1.1TB Base table: 0.2 - 0.5TB

  14. 9种类型的索引 分别针对不同的数据类型和数据特征，以最大效率地发挥索引的优势。

  15. Sybase IQ存储压缩实例 2005年WinterCorporation世界十大数据仓库 TopTen Award Winners http://www.wintercorp.com

  16. 为何Sybase IQ 能够快速增长?数据爆炸 数据量 Web 174TB on the surface Instant Messaging 274TB per year Email 400,000TB per year Transactions Growing 125% per year Time Source: http://www.sims.berkeley.edu/research/projects/how-much-info-2003/

  17. Sybase IQ –可伸缩性Multiplex随业务需求扩展 IQ IQ IQ IQ IQ CPU CPU CPU CPU CPU CPU CPU CPU CPU Mem Mem CPU CPU Mem Mem Mem CPU CPU CPU Mem CPU Mem CPU Mem Mem Mem Mem Mem CPU Mem Fiber Channel 多路技术结构– 卓越的可伸缩性和灵活性 • 单一的 IQ 数据仓库 • 多节点共享访问 • 只有一个数据存储 • 无数据分区 • 无分布式锁管理 • 每个节点不依赖于其他节点 • 增加服务器和 CPUs – TB级磁盘 – 近乎无损失的性能 Writer Node Reader Nodes Shared Disks

  18. Sybase IQ 产品优势 • 速度 •  快速响应 • 10-100 倍的快速查询响应 • 基于列的存储结构 • 实时数据访问 • 无处不索引 • I/O 减少 90% • 可扩展性 •  适应大量的用户数 • 同时支持成百上千的用户数 • 从GB到上百个TB的数据 • 接近实时的新数据装入—数据仓库的用户查询几乎不受影响 • 低TCO •  经济性 • 30-70% 数据压缩, 而不是数据膨胀 • 低成本 • 更少硬件 • 更少的数据存储设备 • 更少的支持维护人员 • 灵活性 •  开放的标准 • ANSI SQL (ODBC,JDBC) • Unix, Linux, Windows • 任何的查询 • 任何的schema

  19. What Our Customers Say • “…With Sybase IQ, we provide some of the world’s largest asset managers the ability to quickly analyze millions of stock and portfolio transactions.”Chris Escobar, Vice President of Analytical Products, ITG • “…Sybase IQ[saves] both storage space and increases the speedat which data can be retrieved. ”Lewis Walker, Assistant Director for Application Development, U.S. Security and Exchange Commission • “The IBM and Sybase IQ combination offersunbeatable cost/performanceand gives S&H Solutions a competitive edge in retail analytics. ”Steve Ritacco, CTO, S&H Solutions • “Sybase IQ is oursecret weapon.”Jeff Butler, Director of Research Databases, Office of Research, U.S. Internal Revenue Service

  20. BI 应用广泛 • 强大的、已建立的和快速增长的客户群 • 在世界上750个地方有 1700 客户系统 • 在过去的12个月里，增加 145 新企业应用

  21. Sybase IQ 是 BI 系统的存储核心 元数据管理和建模 IWS Workspace PowerDesigner 数据源 分析服务器 数据集成 BI 工具 Trading Mainframe Replication Server Order Processing • 数据仓库 • 报表服务器 • 数据集市 • 操作型BI ETL(formerly Solonde TRON) IBM DB2 Provisioning MicrosoftSQL Server Inventory 数据联邦 Oracle Financials Avaki EII Sybase ASE

More Related