1 / 23

虚拟化 和云存储及大数据 --云联科技

虚拟化 和云存储及大数据 --云联科技. 2013. 6. 资深系统分析师、高级程序员 - 童良勇. IBM 与宁波云联. 宁波云联是 IBM 全国星河计划最高级合作伙伴之一，为 IBM SYSTEM X 系列服务器提供虚拟化解决方案、云存储解决方案和大数据分布式处理平台解决方案，为 IBM SCE( 易云）系统提供客户化定制方案和二次开发的产品。. 虚拟化 --基础. CPU虚拟化 存储虚拟化 网络虚拟化 内存虚拟化（虚拟内存） 设备虚拟化（hal-硬件虚拟化）. 虚拟化 --IAAS. 操作系统虚拟化

hana
Download Presentation

虚拟化 和云存储及大数据 --云联科技

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 虚拟化和云存储及大数据--云联科技 2013.6 资深系统分析师、高级程序员-童良勇

  2. IBM与宁波云联 宁波云联是IBM全国星河计划最高级合作伙伴之一，为IBM SYSTEM X系列服务器提供虚拟化解决方案、云存储解决方案和大数据分布式处理平台解决方案，为IBM SCE(易云）系统提供客户化定制方案和二次开发的产品。

  3. 虚拟化--基础 CPU虚拟化 存储虚拟化 网络虚拟化 内存虚拟化（虚拟内存） 设备虚拟化（hal-硬件虚拟化）

  4. 虚拟化--IAAS 操作系统虚拟化 网络虚拟化（大型云中心--网络管理使用新的协议非SNMP，支持虚拟化的多口网卡已经出现，使用开源的虚拟交换机来做VLAN) 虚拟化管理=》IAAS云，强调虚拟化pool，资源调度。

  5. 医疗行业虚拟化应用需求分析 医疗行业数据中心服务器资源整合 医疗行业数据存储虚拟化整合 医疗行业桌面环境整合

  6. 医疗行业虚拟化应用需求分析 医疗行业数据中心服务器资源整合 比如 HIS、PACS、LIS、RIS以及 PDA 移动医疗系统，IT 基础设施会因新增加的应用和计划外的增长变得越发复杂，医院日益增长的业务系统需要更多的服务器和存储设备来支持，同时也带来了复杂度和资金投入的增加。(AIX,WINDOWS,LINUX)三种以上的服务器平台带来的管理难题让 IT人员越来越头痛。另外一个大问题是，所购买的服务器中大部分使用率都不高，这意味着客户在 IT 架构中的投入未能被最有效地使用。

  7. 医疗行业虚拟化应用需求分析--服务器资源整合医疗行业虚拟化应用需求分析--服务器资源整合 主要问题： 总体拥有成本高 缺乏灵活性 物理计算机机房空间有限 服务器利用率低 高可用性问题 兼容性差

  8. 医疗行业服务器资源整合—解决方案 有AIX小型机的要求整合，建议采用IBM SCE+针对中国客户的二次开发的本地化产品 使用IBM SYSTEM-X服务器为主的数据中心建议采用IBM SYSTEM X服务器+交叉云存储+KVM+数据中心云管理系统，交叉云存储和虚拟机技术保证虚拟机快速克隆的批量部署和存储数据的定制化加密 RAC等数据库系统的虚拟化，建议采用KVM+裸设备+SAN共享存储+数据中心云管理系统 应用服务器虚拟化，建议采用云存储+KVM+数据中心云管理系统,其中必须包括故障迁移和计划迁移 根据经验，要求系统必须支持USB映射和支持VLAN虚拟交换机及带宽和IO的控制及稳定性问题

  9. 医疗行业服务器资源整合—RAC怎么整合

  10. 医疗行业服务器资源整合—IOE到PC+分布式(云存储+分布式数据库+应用服务器）医疗行业服务器资源整合—IOE到PC+分布式(云存储+分布式数据库+应用服务器）

  11. 医疗行业服务器资源整合—云计算中心管理软件医疗行业服务器资源整合—云计算中心管理软件 数据中心管理：资产发现 资源管理 资源调度

  12. 医疗行业数据存储虚拟化整合 现状：存储分散在各服务器本地或者对于的SAN、NAS设备 主要问题： 1.运维困难 2.可靠性差 3.浪费存储资源 4.高并发时的IO瓶颈 5.安全性差 6.存储设备无处理能力，无法通过分布式获得知识

  13. 整合孤立系统 整合孤立系统 性能与扩展性 性能与扩展性 降低系统成本 降低系统成本 现网的大量应用环境，配套了大量的存储环境，对于存储系统而言，资源的整合单纯依靠传统的SAN，NAS系统在性能与扩展性达不到要求，采用云存储融合数据存储是现网改造的趋势 现网的大量应用环境，配套了大量的存储环境，对于存储系统而言，资源的整合单纯依靠传统的SAN，NAS系统在性能与扩展性达不到要求，采用云存储融合数据存储是现网改造的趋势 现有的SAN/NAS存储系统，受制于集中处理式架构，在性能、扩展性方面存在不足，特别是分布式计算环境应用越来越多的情况下，采用分布式架构的存储系统替代传统中高端存储的趋势越来越明显 现有的SAN/NAS存储系统，受制于集中处理式架构，在性能、扩展性方面存在不足，特别是分布式计算环境应用越来越多的情况下，采用分布式架构的存储系统替代传统中高端存储的趋势越来越明显 大量采用小型机＋数据库＋SAN存储的IT支撑系统，面临成本高昂，维护困难的局面，切换到基于云计算的环境势在必行，云计算/云存储技术引入IT支撑系统是当前电信行业的热门技术 大量采用小型机＋数据库＋SAN存储的IT支撑系统，面临成本高昂，维护困难的局面，切换到基于云计算的环境势在必行，云计算/云存储技术引入IT支撑系统是当前电信行业的热门技术 存储技术现状

  14. 大数据时代面临的技术挑战 • 什么是大数据？ • 规模大： PB~EP或者更高（结构化一般到TB) • 增长快 ： 每天增长TB级别甚至近百TB • 多样性：结构化数据+非结构化数据:互联网，语音，视频，社交数据等 • 大数据时代带来的技术挑战 • 保存：大规模、分布式数据保存 • 分析：大规模数据的存取、分析，数据模型 • 展现：快速展现，多维展现 • 技术发展趋势 • 从纵向扩展（Scale up）向横向扩展（Scale out）转变 1TB=1024GB；1PB=1024TB；1EB=1024PB； 1ZB=1024EB；1YB=1024ZB。

  15. 大数据的存取和处理 • 结构化数据+批量处理模式 采用数据仓库（多维）+根据ID等做分布式存取处理模式 采用HADOOP的HBASE+HIVE,云存储+列存储+MAPREDUCE 采用MONGODB文档存储（分布式）+MAPREDUCE 结构化数据+批量处理模式 • 结构化数据+实时处理 采用传统数据库HA+数据仓库（多维）+根据ID等做分布式存取处理模式 采用MONGODB文档存储（分布式）+MAPREDUCE 采用文本数据库+云存储+数据仓库 分析：大规模数据的存取、分析，数据模型 展现：快速展现，多维展现 技术：从纵向扩展（Scale up）向横向扩展（Scale out）转变

  16. 大数据的存取和处理 • 非结构化流数据（小文件类型） 采用MONGODB文档存储（分布式）+MAPREDUCE+全文搜索 采用分布式文件存储+异步备份，元数据采用列数据库存储或者直接存取 采用根据文件名直接定位节点和位置的系统 • 非结构化流数据（大文件类型） 采用云存储（块分布式存储）+元数据列数据库存储+高速CACHE技术 典型的有: HADOOP的HDFS云存储 MFS云存储 分布式文件存储系统+热点访问数据自动分布式复制和多点并发访问技术

  17. 传统存储与云存储系统对比

  18. 云存储技术架构 云存储服务标准规范 • 两种模式： • 应用集成 • 提供开发平台，工具包 云存储安全管理 云存储应用层-APP （Map/reduce式的云计算应用（BI），物联网数据管理，视频，移动互联网，企业云应用等） 虚拟资源管理 云存储安全访问接口层-ACL • 面向高并发、低延迟、随机读取、持续更新的应用 new 云存储管理 流数据云存储层- SDF • 支持索引的结构化数据存储（列存取） 基于表的结构云存储层-TBASE • 面向大文件级的顺序存取 分布式高可靠性大文件云存储层- BigFS 本地或局域虚拟存储层和虚拟资源层-LNFS

  19. 云联云存储-大文件存储主要特点 1. 是MFS云存储和分布式文件存储系统+热点访问数据自动分布式复制和 多点并发访问技术的结合 2. 支持POSIX访问，支持分布式http和ftp协议访问 3. 采用完全自己的发明专利技术，拥有著作权和产品证书及实际的成功案例 4. 使用IBM SYSTEM-X+IBM的万网网卡，测试性能达到600MB/S的IO访问能力，大量应用于桌面虚拟化和服务器虚拟化 5. 可以选择1+1 服务器高可用模式和 1+N+NAS 备份模式，保证系统的高可靠性和良好的稳定性（这里选择 N+NAS 备份模式），支持去重备份和快照复制备份。 6. 采用磐云云存储的六大结构设计专利技术，保证系统的技术先进性和良好的可扩展性和可维护性。 7. 采用特殊的存储技术和复制技术和智能处理算法（连接），保证数据可靠，动态平衡存放和自动调整存储结构和位置。 8. 支持内存+flash盘的缓存可以保证更多的数据滞留在缓存中，等待向硬盘空间的重新写入。

  20. 云联云存储-结构化实时数据流特点 1.根据时间+ID+地点（位置）分布式冗余存储 2.采用文本实时流数据+全文搜索技术，每秒每节点处理大于2万条的结构化流数据 3.采用分布式列数据仓库技术+ORACLE-DBLINK接口，聚合分析在一般在5秒内快速完成,并且支持类SQL+专用接口访问 4.采用DRBD技术支持HA工作，保证任何一个节点故障对系统还可以正常工作 5.去掉数据库的事务功能，特别适合日志类的数据和实时和批量处理分析 6.采用20多年技术积累的2个SERVER多个节点的通信框架（该框架在呼叫中心系统、去重备份系统、计费系统、监控系统等商业运行10多年，有近千台服务器目前在线运行，支持LINUX和AIX） 7.系统带有配套的实时远程备份系统和监控 8.支持从SYBASE,ORACLE,MYSQL,SQLSERVER及文本每秒2000条入库和每秒大于2万条出库

  21. 医疗行业桌面环境整合 现状：大量的PC和笔记本作为客户端，包括各类USB设备、并口打印机、串口连接设备及个人特别的PIC及ISA接口卡 主要问题：终端设备维护困难，节能问题，系统环境不一致导致的一些莫名其妙的故障，统一管理问题，数据安全问题 解决方案： WINDOWS-TERMINAL-SERVER+RDP 应用虚拟化+廋客户端（或者老的PC)或者CITRIX的应用虚拟化产品 桌面虚拟化产品-CITRIX,VMWARE,REDHAT,KVM+SPCIE开源，VIRTUALBOX开源，随着桌面虚拟化技术成熟，目前大型数据中心的系统工程师一般采用KVM+SPCIE开源，VIRTUALBOX开源+计算中心云管理系统（个性化定制开发）逐步成为发展潮流,例如IDC中心，阿里云等。

  22. 高性能计算和云存储应用--典型的成功案例 1.浙江移动天气预报应急系统平台（每秒1万条短信，6个刀片） 【结构化实时流数据】 2.宁波公安打黑系统后台视频云存储 【大文件流数据】+小文件图片数据 3.宁波市电动车监控防盗系统 【位置信息，结构化实时流数据】 4.宁波教委虚拟化管理平台 【虚拟化共享存储，大文件支持POSIX协议应用和云存储快照】 5.中宇石化私有云平台 【虚拟化共享存储，高速去重备份和容灾】

  23. Thank you !

More Related