1 / 20

基于 hadoop 与 hive 的大数据分析体系构建

基于 hadoop 与 hive 的大数据分析体系构建. 指导教师：张曙. 开发环境与技术难点. 项目背景 / 研究现状. 系统概要设计. 工程概览. 系统详细实现. 基础理论相关技术. 项目背景 / 研究现状. 项目背景 / 研究现状 —— 项目背景. 2012 年 3 月 29 日，美国政府发布了“大数据研究和发展倡议”。. 2012 年 8 月北京知识发现与数据挖掘 (KDD) 国际会议，大数据成为重要议题. 2011 年 5 月， EMC 公司 EMC World 年度大会 提出了“大数据” (Big Data) 概念.

inoke
Download Presentation

基于 hadoop 与 hive 的大数据分析体系构建

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于hadoop与hive的大数据分析体系构建 指导教师：张曙

  2. 开发环境与技术难点 项目背景/研究现状 系统概要设计 工程概览 系统详细实现 基础理论相关技术

  3. 项目背景/研究现状

  4. 项目背景/研究现状 ——项目背景 2012年3月29日，美国政府发布了“大数据研究和发展倡议”。 2012年8月北京知识发现与数据挖掘(KDD)国际会议，大数据成为重要议题 2011年5月，EMC公司 EMC World年度大会 提出了“大数据”(Big Data)概念 2011年11月26日，中国软件开发联盟(CSDN)在北京成功举办了中国大数据技术大会

  5. 项目背景/研究现状 ——研究现状

  6. 项目背景/研究现状 ——现有不足

  7. 项目背景/研究现状 ——系统需求

  8. 系统概要设计

  9. 系统概要设计 ——系统总体设计

  10. 系统概要设计 ——微博信息获取及信息存储 NoSQl数据库 api获取数据 OAuth授权 传统web爬取

  11. 系统概要设计 ——数据存储与数据仓库 数据操作 hive封装 NoSQL数据库

  12. 系统概要设计 ——微博信息分析 分析结果存储 聚类 数据读取（hive） 数据预处理（向量化和归一化） 支持向量机 其它

  13. 系统概要设计 ——数据可视化 d3js可视化及交互层 express框架（控制层） 数据分析模块 hive封装

  14. 开发环境与技术难点

  15. 开发环境与技术难点 ——开发环境

  16. 开发环境与技术难点 ——技术难点

  17. 开发环境与技术难点 ——技术难点

  18. 开发环境与技术难点 ——技术难点

  19. 开发环境与技术难点 ——技术难点

  20. Thank you for watching！ 开发环境与技术

More Related