1 / 31

EMC 大数据 管理与分析

EMC 大数据 管理与分析. Isilon+Hadoop. 毛永全 EMC 大数据技术顾问 电话： 13808006657 邮箱： mmao@isilon.com. 今天的议程. 虚拟化天文台 Isilon 简介 大数据 商机 与 Hadoop Hadoop 的技术 难题 及 EMC 解决方案 Q & A. 中国虚拟天文台业务方向. 打造天文科技领域云. 数据开放共享服务 : 提供对国内 / 国际数据资源的快速访问，支持海量异构数据的过滤和融合. 数据分析与挖掘环境 : 为科研用户提供支持海量高维复杂数据的加工处理与挖掘分 析环境，支持天文学相关课题的开展.

mimir
Download Presentation

EMC 大数据 管理与分析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EMC大数据 管理与分析 Isilon+Hadoop 毛永全 EMC大数据技术顾问 电话：13808006657 邮箱：mmao@isilon.com

  2. 今天的议程 • 虚拟化天文台 • Isilon简介 • 大数据商机与Hadoop • Hadoop 的技术难题及EMC解决方案 • Q&A

  3. 中国虚拟天文台业务方向 打造天文科技领域云 数据开放共享服务:提供对国内/国际数据资源的快速访问，支持海量异构数据的过滤和融合 数据分析与挖掘环境:为科研用户提供支持海量高维复杂数据的加工处理与挖掘分 析环境，支持天文学相关课题的开展

  4. EMC一览 • 财富500强第152位 • 财富全球最受尊敬电脑公司排名第2位 • 市值：$590亿 • 50,000员工，覆盖83个国家 • 在存储、备份、大数据、信息安全和虚拟化领域，市场第一

  5. IT 颠覆性的趋势与机遇 移动 云计算 大数据 社交 可信

  6. EMC聚焦 移动 云计算 大数据 社交 可信

  7. EMC云计算与大数据平台 业务应用 大数据业务 Java Greenplum SAP VPLEX Ionix VMware VMware VMAX VNX Atmos Isilon Data Domain, Avamar, Networker 备份 归档 主存储

  8. EMC Isilon 典型架构 文件协议 主机端系统 NFS CIFS HTTP FTP RESTful API GET PUT POST DELETE HDFSfor Hadoop RESTfor Object Gig-e 10 Gig-e Network 集群存储内部通讯 InfiniBand层 应用层 多协议 标准的网络层 千兆/万兆 Isilon集群存储

  9. EMC Isilon概括 为客户带来的价值 巨大的可扩展性 在单个文件系统中扩展到 20PB 以上 创世界记录的性能 超过 100 GB/秒的吞吐量，160 万次 SPECsfs 操作 无与伦比的效率 超过 80% 的存储利用率，自动化存储分层 企业数据保护 高效的备份和恢复，可靠的灾难恢复，以及 WORM 数据保留，N+1 到 N+4 冗余 管理简单性 单个文件系统，单个卷，全局命名空间 操作灵活性 集成了多种行业标准协议支持，包括 NFS、SMB、HTTP、FTP、iSCSI 和 HDFS

  10. Isilon OneFS产品架构 • OneFS为EMC Isilon专利的操作系统，负责IO调度，集群管理 • Smartconnect™提供应用访问负载均衡和容错 • SmartPools ™ 提供自动分层功能 • SnapshotIQ™提供本地数据保护/恢复 • SyncIQ ™ 提供存储间的数据复制（本地/异地），保证业务连续性 • SmartQuotas ™ 报告/管理存储资源的使用，同时拥有精简供应功能 • SmartDedupe重复数据消重 • SmartLock™提供 WORM技术 • InsightIQ™提供存储性能报表和使用趋势分析 • HDFS特性支持Hadoop大数据应用 • Isilon For Vcenter适用于虚拟化应用管理

  11. 强大但简易——横向扩展（Scale-out） 60 秒完成扩展 无停机时间

  12. 将效率提升到全新水平 自动平衡 跨节点自动平衡数据降低了扩展存储的成本、复杂性和风险 平衡 空 满 平衡 • 当系统在线并处于生产状态时，自动平衡功能可将内容迁移到新的存储节点 • 无需手动干预，无需重新配置，无需更改服务器或客户端装载点或应用程序 • 消除了“热点” 空 满 平衡 空 满 平衡 空 满 平衡 空

  13. 自动数据分层 新数据 SSD/SAS Diskpool 旧数据 SATA Diskpool

  14. 业内唯一的内嵌HDFS的横向扩展存储解决方案 MapReduceCompute • 内嵌支持HDFS • 管理简单 HDFS Storage

  15. 大数据与分析：EMC Hadoop 解决方案蕴含巨大商机 充分发掘大数据的价值

  16. !!! “大数据无关乎大小，而关乎自由度” !!! !!! — Techcrunch !!! “发现：‘大数据’比卷更卓绝” !!! “大数据！ 它真实存在，实时提供，并且正在改变您的世界” — Gartner “总数据：比大数据更‘大’” !!! ―IDC !!! !!! — 451 Group

  17. !!! “大数据无关乎大小，而关乎自由度” !!! !!! — Techcrunch !!! “发现：‘大数据’比卷更卓绝” 大数据时代已经到来 !!! “大数据！ 它真实存在，实时提供，并且正在改变您的世界” — Gartner “总数据：比大数据更‘大’” !!! ―IDC !!! !!! — 451 Group

  18. Hadoop 与大数据

  19. Hadoop初展锋芒 • 创建于 6-7年前 • 旨在分析海量非结构化数据的软件平台 • 两个核心组件： • Hadoop 分布式文件系统 (HDFS)（存储） • MapReduce（计算） • 目前是大型开放源代码开发社区支持的首要 Apache 项目

  20. 为什么 Hadoop 很重要 • 面向超大规模的实用分析方法 • 开创获得洞察见解和发现商机的新方法 • 旨在应对非结构化数据的增长 • 在未来 5 年内，企业数据将增长到现在的 650% • 此增长中超过 80% 将是非结构化数据

  21. Hadoop 的技术难题

  22. Hadoop 的技术难题 Hadoop DAS 环境 NameNode

  23. Hadoop 的技术难题 Hadoop DAS 环境 NameNode

  24. Hadoop 的技术难题 Hadoop DAS 环境 NameNode 1 倍 1 倍 1 倍 2 倍 2 倍 2 倍 3 倍 3 倍 3 倍

  25. Hadoop 的技术难题 Hadoop DAS 环境 NameNode

  26. 适用于 Hadoop 的 EMC Isilon 优势 HDFS

  27. EMC 可应对 Hadoop 难题

  28. EMC 的企业 Hadoop 解决方案 EMC Greenplum HD 和 EMC Isilon 横向扩展存储 计算 • Apache Hadoop 经 Greenplum 认证 • 简单的平台管理和控制 • 使用 Greenplum Database 的并行分析访问 HDFS 存储

  29. 小结 • Isilon服务于大数据应用 • Isilon与 Hadoop 自然集成的企业级横向扩展存储平台 • Isilon增强 Hadoop 给企业带来的好处 • EMC提供众多专业分析工具、服务和专业知识

  30. 谢谢！

More Related