450 likes | 619 Views
云计算新技术进展. 林予松 信息网络实验室第七届研究生学术论坛 2012 年 12 月 21 日. 云计算关键技术. 计算虚拟化 存储虚拟化 网络虚拟化 云安全 云管理. 计算虚拟化新技术. 商业软件. Vmware vSphere Citrix XenServer Microsoft Hyper-v 华为 浪潮 曙光. 开源软件. 存储虚拟化新技术. 存储虚拟化. 存储资源的池化和再分配 存储设备 DAS: 直连存储 NAS: file-based protocol SAN: block-based protocol
E N D
云计算新技术进展 林予松 信息网络实验室第七届研究生学术论坛 2012年12月21日
云计算关键技术 • 计算虚拟化 • 存储虚拟化 • 网络虚拟化 • 云安全 • 云管理
商业软件 • VmwarevSphere • Citrix XenServer • Microsoft Hyper-v • 华为 • 浪潮 • 曙光
存储虚拟化 • 存储资源的池化和再分配 • 存储设备 • DAS: 直连存储 • NAS: file-based protocol • SAN: block-based protocol • iSCSI/IP SAN: 1Gbps/10Gbps • FC SAN: 8Gbps/16Gbps • FCoE SAN: 10Gbps,将IP数据与存储数据聚合在一条线路上
FAST Cache Flash SAS NL-SAS 自动分层存储Automated Tiering • 核心原理:根据数据的使用频率,动态的在不同性能的存储介质之间迁移数据。 • 优点:提高高性能硬盘的利用率;节省成本 • 缺点:自动分层存储并不能提供实时的管理功能。非破坏性的迁移大量数据会耗费宝贵的时间和资源 • 典型产品:DELL Compellent
自动精简配置Thin Provisioning • 核心原理:为系统分配较大的虚拟存储,根据实际使用情况分配物理存储 • 优点:提高存储容量利用率;节省成本;简化管理 • 缺点:容易达到存储容量上限导致锁定存储 • 典型产品:HP 3PAR
重复数据删除De-duplication • 核心原理:删除备份文件中相同的部分。 • 优点:更高效的利用存储空间 • 缺点:消耗计算资源 • 典型产品: • EMC Avamar(源端) • EMC Data Domain(目的端)
存储技术发展趋势 • 大数据时代的到来 • 分层存储、重复数据删除等新技术的应用 • SSD硬盘走向普及 • 云存储时代的来临 • 云备份技术的成熟 • 虚拟化及云存储环境下的数据安全
网络虚拟化定义 • 网络虚拟化,是将逻辑网络从底层的物理网络分离开来,即将物理网络抽象为一个可用软件统一管理的虚拟网络,网络资源可以按需分配。
网络虚拟化新技术 • 网络虚拟化新技术涉及三个部分: 虚拟机之间 服务器到网络设备 多数据中心之间
(1)虚拟机之间 • 解决多个虚拟机共享服务器中的物理网卡 • 主要包括以下技术: • PCI Pass Through • SR-IOV(SingleRoot IO Virtualization)
PCI Pass Through • 虚拟机绕过VMM直接操作物理网卡 • 一个物理网卡对应一个虚拟机 • 成本较高,扩展能力有限
SR-IOV • 将一个物理的PCI网卡虚拟为多个虚拟网卡,每个虚拟网卡对应一台虚拟机 • 需要专用的网卡,例如CISCO Palo,支持128个虚拟机通道
(2)服务器到网络设备 • 把虚拟机的网络流量纳入传统网络交换设备的管理之中,即需要对虚拟机的流量做标识,使上联交换机能管理服务器内某个虚拟机的流量。 • 目前主要有两个技术方案: • Cisco提出的VN-Tag,对应802.1Qbh标准 • HP提出的VEPA,对应802.1Qbg标准
VN-TAG • 由Cisco和VMWare共同提出的一项标准 • 核心思想是在标准以太网帧中增加一段专用的标记—VN-Tag,用以区分不同的虚拟网络接口VIF,从而识别特定虚拟机的流量。 • Palo支持VN-TAG
VEPA • 由HP提出 • 工作目标和VN-TAG类似,采用“发卡弯”和“Q-in-Q”技术
(3)多数据中心之间 • 满足虚拟机在多数据中心之间的迁移 • 主要技术包括: • OTV(Overlay Transport Virtualization) • LISP (Locator/ID Separation Protocol) • VXLAN
OTV • 大二层技术:通过扩展链路层网络,OTV技术能够跨地域的处理广播流和多播,这使得这些应用所在的虚拟机在数据中心之间迁移后仍然能够正常工作。
LISP • 虚拟机迁移后不必改变IP地址
VXLAN • 在一个云服务中心里面,为不同的租户提供独立的VLAN
网络虚拟化发展趋势——SDN • SDN (Software Defined Network)是一种新兴的计算机网络架构,把网络的控制平面和数据平面分开 • 让运营商和企业能够控制管理自己的数据,从而实现能够实施不同规则和路由的能力 。
SDN的实现——OpenFlow • 将网络流量划分为不同的数据流,数据流只按照FlowTable进行转发。 • FlowTable本身的生成、维护、下发完全由外置的Controller来实现,实现控制与数据的分离。
建设原则 • 保持系统的开放性 • 良好的可扩展性 • 系统的可靠性和安全性 • 积极采用新技术 • 整体规划,分步实施
服务器 • 登录服务器&数据库服务器——DELL PowerEdge R720 • 2颗采用Westmere架构或者Sandy-Bridge架构Intel Xeon CPU,内核数量6,主频2.00Gh; • 配置8GB或32GB DDR3 RDIMM 内存24个内存插槽,内存可扩展容量768GB; • 2块500GB SAS热拔插硬盘集成RAID卡,支持RAID0/1/5; • 2块8Gbps 光纤HBA卡或FCoE网卡 • 4个千兆以太网接口,可升级至万兆以太网接口; • 2个CPU插槽,配置7个 PCI-E 3.0扩展插槽
服务器 • 虚拟化服务器——Cisco UCS B440-BASE-M2 • 4颗采用Westmere架构的Intel Xeon E7-4830 CPU,内核数量8,主频2.13Ghz; • 配置128GB DDR3 RDIMM内存,内存可扩展容量至1TB ; • 2块146GB SAS热拔插硬盘,集成RAID卡,至少支持RAID0/1 ; • 2块8Gbps 光纤HBA卡或FCoE网卡 • 4个千兆以太网接口,可升级至万兆以太网接口; • 1块虚拟网络适配卡,提供硬件虚拟化功能,支持FCOE协议,可以为操作系统提供128个PCI通道,可以实现多个虚拟网卡和虚拟HBA卡,支持20G FCOE吞吐量。
存储系统 • 虚拟机FC SAN存储系统——Dell Compellent • 2路主控制器; • 24GB高速缓存容量; • 4个8Gb FC端口; • 8个*4 6Gb/s SAS通道; • 可用存储空间6TB,配备15000转600GB 6Gb SAS热拔插硬盘; • 支持在同一个硬盘柜中SSD、SAS和NL-SAS硬盘混插,最大可扩展到960块硬盘; • 实现至少RAID 0、1、5、6、10; • 硬盘柜磁盘容量可扩展到1.92PB; • 支持FC、iSCSI、10Gb iSCSI、FCoE端口扩展; • 经过VMware认证。
存储系统 • 数据库DAS——Dell PowerVault MD3200 • 双控制器; • 每个控制器2GB高速缓存; • 每个控制器4个6Gb SAS接口; • 配备15000转600GB 6Gb SAS热插拔硬盘,有效总容量≥12TB ; • 支持SSD、SAS、NL-SAS硬盘; • 2个SAS后端扩展端口,存储容量能扩展到576TB
存储系统 • 备份DAS——Dell PowerVault MD1200 • 支持7200转、15000转SAS硬盘,SSD硬盘; • 配备7200转2TB 6Gb SAS热拔插硬盘,有效存储容量20TB ; • 通过支持PCI-E 2.0接口的RAID控制卡与服务器连接; • 支持4个盘柜,存储容量能扩展到576TB。
网络设备 • 汇聚交换机——CiscoUCS-FI-6248UP • 每交换机至少提供32个统一万兆端口,支持兼容1/10G以太网、10G FCoE和1/2/4/8G FC接口。每台联配置个1万兆多模光纤模块、4条万兆FCoE互联电缆(3M),下联每个刀片机箱至少配置4条万兆FCOE链路; • 单台交换机的交换容量不小于500Gbps,包转发率不小于380Mpps; • 配置完整的刀片和机架服务器一体化硬件管理平台,可以在一个管理点上集中管理所有的刀片和机架式服务器; • 最大可支持对不少于40个机箱的统一管理; • 支持万兆SFP+ 模块。
虚拟化软件 • 采用裸金属架构,无需绑定操作系统即可搭建虚拟化平台; • 支持现有主流X86服务器、主流的存储阵列产品、主流的操作系统; • 每台VM 可达8个vCPU,1TB 内存,64TB存储 • 支持HA(High Availability)功能; • 支持VM在线的迁移功能,vMotion并发数量可以达到8个以上; • 支持FT(Fault Tolerance)功能; • 具有合理的内存调度机制,支持动态资源分配功能; • 具有存储精简配置能力(Thin Provisioning); • 支持在线存储迁移功能; • 支持热添加CPU 和内存功能; • 提供统一的图形界面管理软件,进行管理、监控、分析; • VMware企业版
下一步的工作 • 逐步增加上层的业务系统 • 根据业务特点,提供IaaS/PaaS/SaaS服务 • 统一认证 • 数据交换 • 数据及业务的容灾备份
云计算经验谈 • 云不是万能的,不是所有的系统都适合迁移到云上 • 物理机实现了一虚多,但不能实现多虚一 • 云服务适应了应用系统和数据大集中的趋势 • 硬件设计上,兼顾云服务业务与传统业务 • 软件设计上,考虑SaaS模式,重视系统的可伸缩性