1 / 28

怎样规划部署您的大数据应用系统

怎样规划部署您的大数据应用系统. 大数据厂商联盟 李 永 18888852302. 怎样用 Connotate+VoltDB+Actian+Datameer 发现 13 岁少女怀孕. 内部静态历史交易数据. + （ WEB 数据 + 实时动态数据） 融合. 位置数据实时分析 - 行动. 抵御犯罪，保卫和平《少 年 派报告》 “预警人” SecureAlert +Paraccel. 数据分析的需求. 线性扩展. Hadoop 小时级. Hadoop & MPP < 1 小时. 响应时间. MPP 分钟级. 内存 数据库 秒级.

joy-short
Download Presentation

怎样规划部署您的大数据应用系统

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 怎样规划部署您的大数据应用系统 大数据厂商联盟 李 永 18888852302

  2. 怎样用Connotate+VoltDB+Actian+Datameer发现13岁少女怀孕怎样用Connotate+VoltDB+Actian+Datameer发现13岁少女怀孕 内部静态历史交易数据 + （WEB数据+实时动态数据）融合

  3. 位置数据实时分析-行动 抵御犯罪，保卫和平《少年派报告》 “预警人” SecureAlert +Paraccel

  4. 数据分析的需求 线性扩展 Hadoop 小时级 Hadoop & MPP < 1小时 响应时间 MPP 分钟级 内存 数据库 秒级 RDB < 微秒 数据量 10PB 100TB 100GB 1TB 10TB 认知性分析 指令性分析 预测性分析 描述性分析 执行 优化 <1小时 高度 容错 小时级 索引 技术 分钟级 内存 计算 秒级

  5. 数据的价值链 快 复杂 大型 功能和性能的满足 1、大量的钱堆积起来的 2、修修补补糊起来的 单个数据价值 整合数据价值 数据价值 OLTP 数据仓库 BI DW Hadoop 应用系统 应用复杂度 慢 简单 小型 互动交互分析 实时分析 记录查询 历史数据分析 探索性数据分析 微秒 百分之几秒 几秒 几分钟 几小时 实时交易 实时精准广告 检验匹配 核准交易 数据流处理 • 计算风险 • 排行榜 • 集合整合 • 计算 • 检索点击 • 数据流Retrieve click • 显示订单 • 试验算法 • BI商业智能 • 数据中心 • 趋势预测分析 • 算法挖掘 • 日志分析 • 欺诈方式匹配

  6. 偶发高频数据与DW历史数据和Hadoop探索分析融合偶发高频数据与DW历史数据和Hadoop探索分析融合 Hadoop探索性分析 高频实时动态数据 Knowledge Raw Events trades Data Sciences Exploratory logins sensors authorizations 高频数据库VoltDB orders clicks Make the most informed decision every time there is an interaction impressions Pre-processed Data Hadoop, et al Data Warehouse Reports Long term trending Analysis 数据仓库 Ingest Events Decisioning Real-time Analytics 历史数据分析 Transactional Analytic

  7. 偶发高频数据的数据获取与处理 Analytic results enrich decision making trades logins Velocity OLTP Click Stream sensors Recom-mendation authorizations Personal-ization orders User Mgt. clicks Data warehouse Hadoop impressions Traditional OLTP Cart Inv Orders CRM ERP HR

  8. Velocity (“New” OLTP) Traditional RDBMS 数据的存储运算 —数据库的选择 内存数据库 毫秒时效的保障 Fast Complex Large Value of Individual Data Item Aggregate Data Value Hadoop, etc. Data Value Application Complexity NoSQL Data Warehouse NewSQL Simple Slow Small Transactional Analytic

  9. 储户静态历史交易数据 web数据 实时动态数据 访问者储户身份和历史交易数据 WEB数据、微博微信、电子邮件 Cookies、点击行为、情感情绪 发帖投诉、动态的IP 实时动态数据、感应器、机器 监控、摄像头、交易、位置 通信通话、短信、交通 偶发的高频事件+实时动态互动分析—行动 高频事件数据+留存历史数据---（实时+交互+互动）融合

  10. 大数据功能和应用解决方案 方案一、Hadoop部署+WEB数据抽取监控情报分析 方案二、Hadoop部署+企业原有应用系统查询分析 方案三、Hadoop可视化抽取解决方案 方案四、Hadoop可视化分析解决方案 方案五、数据仓库应用系统迁移到Hadoop 方案六、系统性能优化提高速度 方案七、WIFI(位置、点击行为）数据实时精准营销 方案八、高频交易数据实时营销 方案九、实时计费 方案十、网络流量分析 。。。。。。

  11. 推荐的部分大数据解决方案 方案二、大数据可视化分析解决方案 方案一、Hadoop集群优化部署安全管理解决方案

  12. 方案四、高频交易（实时计费、营销、流量）分析解决方案方案四、高频交易（实时计费、营销、流量）分析解决方案 方案三、WEB数据自动抽取舆情情报分析解决方案

  13. 方案五、升级构建大数据分析平台解决方案 方案六、优化数据中心和应用系统提高速度解决方案

  14. 方案七、预测分析解决方案 方案八、海量数据超高速查询解决方案

  15. 方案十、WIFI（位置）数据分析解决方案 方案九、高校科研院所实验室大数据分析平台

  16. （行为—身份—匹配—推送—管理） 举例 航空公司机场实时数据精准营销分析 （订票点击行为+WIFI+位置+感应器+会员+交易数据）

  17. 数据分析架构图 Syncsort Confidential and Proprietary - do not copy or distribute 18

  18. 数据的采集+抽取+整合 一、通过WIFI采集的数据 （上了哪些网站？）二、通过WEB数据抽取获得点击行为偏好数据（在网站上正在干什么？）三、通过刷卡交易获取储户身份和历史交易数据（过去干了什么？）四、通过动态行为(交易、监控、位置）获取实时数据（还在干什么？）五、各类数据的采集、抽取、整合

  19. 第一步：获取访问网站、链接、手机、IP等数据采集第一步：获取访问网站、链接、手机、IP等数据采集

  20. 采集分析同一手机用户访问网站、内容、时间、IP等数据采集分析同一手机用户访问网站、内容、时间、IP等数据

  21. 第二步：对访问的目标网站和网页的 数据抽取 样本分析 配置好 : 交给机器就OK啦! 人为干预 形成规则及代码 机器学习 自动 编码 类似传统ETL过程 可视化

  22. 把网上数据转化成你自己的数据库

  23. 自动全文抽取上网WEB数据 并进行机器学习和语义分析 24

  24. 订票点击数据机场 WIFI+实时数据实时分析 乘客点击行为情感偏好分析 点击行为 偏好数据 乘客身份类别 群组分析 WiFi 产品服务 定制分析 RTB产品精准营销 推送分析 业务通告宣传回访评分服务 合作商家 数据分析 各类历史数据 机票代理动态监控分析 系统安全管理运行控制分析

  25. 大数据厂商联盟服务 CIO菁英部 厂商 CIO 大数据交流、交互、交易平台 会员部 推广部 渠道代理部 联盟做两件事 第一件事：宣传推广 第二件事：推荐产品和应用方案

  26. 大数据厂商联盟分销推荐产品 分析 可视化 平台 大数据可视化 大数据展现 深度学习 大数据可视化 大数据分析平台 大数据分析平台 预测分析 海量数据查询 NO SQL 数据 存储 高频内存数据库 图形数据库 文件数据库 Cassandra据库 数据 抽取 集成 管理 数据索引 数据抽取 WEB数据抽取 主数据管理 Hadoop优化 集群优化 安全管理 27

  27. MongoDB、 Neo4j、VoltDB、Datastax、Hortonworks 商用版产品许可证及专有服务报价（到渠道价格）

More Related