200 likes | 441 Views
新一代敏捷型商业智能 技术的发展. 永洪科技 王桐. 大 数据 应用 趋势. 敏捷化:数据分析需求经常变化,需要得到快速满足 大数据:百亿以上数据,需要实现秒级响应的分析处理 自服务:有分析需求的业务人员能够亲自进行分析的过程,而不是增加 IT 人员工作任务. 传统商业智能的做法和问题. IT 人员需事先建模,提前汇总好数据,业务人员在前端查看分析结果报表 业务人员查看的报表相对静态,分析的维度和度量的计算公式已在建模时预先设定好,不能更改 分析需求变更时,业务人员不能直接调整报表,需要 IT 人员重新建模或修改已有分析模型,耗时较长,响应速度较久.
E N D
新一代敏捷型商业智能 技术的发展 永洪科技王桐
大数据应用趋势 敏捷化:数据分析需求经常变化,需要得到快速满足 大数据:百亿以上数据,需要实现秒级响应的分析处理 自服务:有分析需求的业务人员能够亲自进行分析的过程,而不是增加IT人员工作任务
传统商业智能的做法和问题 IT人员需事先建模,提前汇总好数据,业务人员在前端查看分析结果报表 业务人员查看的报表相对静态,分析的维度和度量的计算公式已在建模时预先设定好,不能更改 分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久 问题的本质——针对海量数据的计算能力不足,需通过建模提前运算汇总 解决方案——敏捷商业智能
传统商业智能的架构 BI界面 N个模块,成本昂贵 OLAP工具, 报表工具, 仪表盘工具, 分析工具 好几个月甚至跨年的上线周期 数据集市 与计划经济相似的商业智能 数据仓库 Forester数据: 迄今为止,打造了传统的企业数据仓库的机构,有83%的用户没有用数据仓库做数据分析,而是继续使用Excel等其他工具做数据分析。 数据抽取、转换、装载(ETL) OLTP OLTP 其它数据
OLTP ODS EDW 敏捷商业智能的架构 架构简单,成本低廉:1/4的成本 用户BI界面 OLAP工具, 报表工具, 仪表盘工具, 分析工具 细节数据,轻量建模:1/4的上线周期 ETL和内存数据集市(压缩、MPP) 与市场经济类似的商业智能:探索式BI TDWI数据: 利用探索式BI工具,48%的BI用户能从大数据中找到他们想要的答案;如果不是探索式BI工具,那么只有23%的BI用户能做到这一点。
敏捷商业智能 高性能计算 点击计算 敏捷商业智能的关键技术 商业智能数据计算的演变史 实现敏捷商业智能的大前提是采用新技术处理数据的性能有了几十倍提升 分布式计算 内存计算 Cube SQL 报表编程
敏捷商业智能的优势 • 分析报告不能只能看而不能动。数据展现是起点,而不是终点。看到了数据,要能交互式分析,要能深入向下挖掘,要能发现问题,要能找到答案,还要能采取行动。和数据交互的过程要足够快,如果用户每次点击需要等三五分钟才出结果,就无法进行交互分析。敏捷BI基于大数据的处理技术,对TB-PB级的数据可实现秒级响应 • 分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI操作简单,业务人员甚至客户可直接使用 • 分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型,设计Meta、DWD和DWA,做ETL,打Cube。敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,可以在一天之内做好,提升企业的洞察力决策力
敏捷商业智能的成长 空无一人 2006年Gartner商业智能魔力象限
敏捷商业智能的成长 硕果仅存 2012年Gartner商业智能魔力象限
敏捷商业智能的成长 战将如云 2014年Gartner商业智能魔力象限
有时候,仅仅是快 就能改变一个行业
某互联网研究机构背景和面临问题 • 国内最大的互联网媒体/研究机构,70%以上的海外上市企业引用其研究分析报告。同时向客户提供定制化咨询报告的服务,分为提供线下报告和提供软件两种服务类型 • 客户的定制化需求多变,若生成报告需3-4周交付周期,若提供软件需半年交付周期。由于人工成本高,迭代周期太长,不敢承接太多报告需求的项目,每年只能做少数的定制化项目 • 因此,该机构希望借助BI工具提升业务效率和收入空间
互联网应用案例:架构 解决办法:90天细节数据约50亿条导入Yonghong DM,直接定制Dashboard分析 ETL方案:历史数据集中导入,增量数据自动导入。数据关联,打标签,入集市 定制需求:具有定制数据库函数的能力,步长函数,inContains函数,等等 前端展现:Dashboard设计器,自带Portal,权限管理,任务调度,监控系统 WEB数据 APP数据 样本数据 Hadoop 5 台 PC Server 64G 内存 4 CPU (4 Core) Data Mart YH Dashboard/Reporting
企业收益 • 业务效率提升:采用敏捷BI工具后,对比原先基于传统商业智能的分析方法,线下报告交付周期从3-4周缩短至小于1周,软件交付从半年缩短至一个月 • 项目来源增加:原先不敢承接需求未完全确定的项目,因担心需求变化导致没有能力交付。采用敏捷BI工具后,可在几天内快速搭建原型向客户展示,任意需求变更可在一周内调整完毕。通过这种快速原型试错的方式,有了能力承接此类项目 • 收入空间加大:由于业务效率的极大提升,有能力承接更多的项目,收入空间有了几倍的增长 • 客户满意度提升:能够快速响应客户的需求和变化,超出客户预期,大幅提升了客户满意度和客户留存率
后续的创新模式转型 • 基于敏捷商业工具,该机构构建了新型的SaaS平台,进一步提升用户体验,为客户提供直观可交互的分析展现报告 • 通过SaaS的账号销售模式带来稳定的长期可持续收入,改变了原先基于一个个独立项目的营收模式 • 该机构的价值描述从媒体/咨询服务公司向提供大数据服务的互联网应用提供商转变,大幅提升资本市场价值 • 旗下子机构迅速跟进敏捷BI工具的使用和新模式的改变
大数据掘金时代 需要有人提供好铲子