1 / 44

C loudAqua 是什么 ?

C loudAqua 是什么 ?. CloudAqua 是综合解决方案 对象存储 (Object Store) 分布式文件系统 (Distributed FS) 大数据存储 (Big Data) 音视频处理服务 (Multimedia Processing Service) 工作流引擎 (Workflow Engine) 云存储 (Cloud Storage). CloudAqua 是什么 ?. 真实世界的建模 , 智能仿真 复杂数据描述 , 多对多关系 , 但易于对象结构和关系的修改 独立运算 , 高并行处理 , 更高的性能

kaya
Download Presentation

C loudAqua 是什么 ?

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. CloudAqua是什么?

  2. CloudAqua是综合解决方案 • 对象存储 (Object Store) • 分布式文件系统 (Distributed FS) • 大数据存储 (Big Data) • 音视频处理服务 (Multimedia Processing Service) • 工作流引擎 (Workflow Engine) • 云存储 (Cloud Storage) • CloudAqua是什么?

  3. 真实世界的建模, 智能仿真 • 复杂数据描述, 多对多关系, 但易于对象结构和关系的修改 • 独立运算, 高并行处理, 更高的性能 • 适应分布式架构 • 高弹性, 高扩展性 • 更适应面向对象的程序语言 对象存储 (Object Store)

  4. 多用户, 多主机同时访问 • 透明特征 (Transparency) • 如同本地访问 • 存储位置 • 并发操作 • 硬件和操作系统 • 数据迁移 • 高扩展性, 从1台开始 • 多复制, 高容错 • 更适应广域网 分布式文件系统 (Distributed FS)

  5. 大数据对于捕获, 数据处理(收集, 归纳, 存档), 存储,迁移, 搜索, 共享, 分析, 可视化都有特殊技术要求 • 大数据产生在: 科学计算, 医学影像, 音视频文件, 商业交易 • 2012年, 平均每天产生2.5*1018 Byte的数据 大数据 (Big Data)

  6. 音视频文件是大数据中的一个重要种类 • 音视频处理服务, 捕获, 分析, 检索, 语言识别, 图像识别, 人脸识别, 转码, 剪切, 分析 • SOA架构下控制下的软硬件音视频处理服务 • 服务与对象数据直接建立关联, 输入和输出直接进行对象属性或者对象内容的建立或更新 音视频处理服务 (Multimedia Processing Service)

  7. 规则, 策略的综合应用, 可配置的工作流引擎 • 均衡负载, MapReduce, SOA架构 (面向服务架构) 的服务资源调度, 动态工作流引擎 • 配合对象事件, 自动发现, 自动识别, 智能工作流引擎 工作流引擎 (Workflow Engine)

  8. STaaS – Storage as a Service • CDMI – Cloud Data Management Interface • 在线访问, 快速访问, 便捷访问 • 高度虚拟化基础建设, 灵活性, 可扩展性, 可伸缩性 • 多租户特征 • 内嵌式数据服务, 包括: 数据备份, 复制, 快照, 数据分发 云存储 (Cloud Storage)

  9. CloudAqua是以上所有的综合解决方案

  10. 分布式 (Distributed, Federated) XOR MEDIA CLOUD AQUA XOR MEDIA CLOUD AQUA 站点1 站点1 站点3 站点2 站点4 站点2 站点3

  11. 多租户共享存储和网络资源 Cloud Aqua存储平台面向多租户，租户以域为单位来管理和共享数据。 租户需为域指定主站点，并可根据需要建立副站点，用以存放数据文件副本。 租户可自行决定将主站点和副站点分别设立在那些地点，以方便数据传输和访问。而设立的站点也可撤换。 存储资源和网络传输带宽资源按租户分配，一个租户下的不同域分享这些资源。 域B （主站点） 域A （副站点） 地区2 地区1 域A （主站点） Cloud Aqua 地区4 域A （副站点） 地区3 地区5 域B （副站点）

  12. CloudAqua 存储架构和应用接口 服务接口 RESTful API Windows/Linux OS Plugin NFS/SAMBA /FTP等 数据管理 数据转换 配额管理 策略引擎 访问管理 数据副本 版本管理 元数据管理 快照管理 存储管理 高可用性 存储虚拟 数据安全 高速读写 SAN/NAS 物理 存储设备

  13. 高可用性和数据安全 • 对象数据 • 策略驱动, 配置或者自动的多副本 • Stream Through • 快速 Snapshot • 内置的容灾 • 区域间的自动切换和恢复 • 跨区域的对象副本 • 存储设备的高可用性 • 存储服务器的高可用性 • Software RAID 的数据保护 • 数据操作的安全和一致性 • 用户身份认证 • 对象ACL的控制 • 用户操作日志

  14. 支持异构，有效保护投资 第三方云 • 将原有存储集群加入云，作统一管理 • 可提供纯软件应用，将原有存储设备组成集群，加入Cloud Aqua • 可提供XOR Media的专业存储UML，管理原先的单个存储设备，并组成集群，加入Cloud Aqua • 完全采用XOR Media的专业存储UML，组成集群，加入Cloud Aqua。最大程度保障存储的安全和性能 • 与第三方云集成 • 可在线扩容 第三方云 Cloud Aqua SAN/NAS Vendor X Vendor Y Vendor Z

  15. 为什么选择CloudAqua?

  16. 多租户 • Web在线访问 • 支持异构存储架构 • CDMI标准(SNIA国际组织) • 操作系统插件支持传统应用访问 • 广域网数据传输, 加速, 加密 • 分布式, 联邦制, 跨区域解决方案 作为云存储的优势

  17. 灵活, 高弹性, 高可扩展性 • 海量级高扩展性和伸缩性 • 面向对象建模, 根本上改变应用, 数据库和存储的对应关系 • 对象可以成为公共资源被多应用共享(建立各自的对象属性) • 对象属性和对象内容的原生关联 • 对象属性和对象内容同时支持分布式, 联邦制存储以及并行处理 作为分布式, 对象存储的优势

  18. 对象元数据, 对象事件, 对象策略综合作用下的智能工作流引擎 • 工作流控制下的对象识别, 对象处理, 对象复制, 对象迁移, 对象备份 • 相互作用 不仅仅是存储

  19. 结合大数据特征, 端到端实现大数据优化: 从块设备, 文件系统, 分布式文件系统, WEB接入 • 实时性, 短延迟 • 数据代理, 复制, 处理, 迁移, 网络优化, 对大数据的无瓶颈设计

  20. 广播专业级别 • 从文件捕获, 分析, 检索, 语言识别, 图像识别, 人脸识别, 转码, 剪切, 分析, 专业级视音频支持 • 实时流模式支持 • 多媒体格式支持 • 广播 • 视频点播 • 视频监控 • 网络视频 • 智能移动终端 专业级媒体(流)支持

  21. 海量存储, 高密度 • 高I/O读写性能(Software RAID, 写缓存, 文件位置分配, 预读, 多层队列增加并发) • 多层(tier)存储设备, online, near-line and offline (根据不同数据特征和使用选择最合适的存储设备) • 支持异构存储集成 存储设备优势

  22. CloudAqua 功能介绍

  23. 为了确保写入速度，在向主站的写入或删除数据时，其他站点的副本的生成、更新或删除可异步进行，提高数据写入速度。也保证其他站的对数据访问的低延时性。为了确保写入速度，在向主站的写入或删除数据时，其他站点的副本的生成、更新或删除可异步进行，提高数据写入速度。也保证其他站的对数据访问的低延时性。 对象对象的多副本和版本控制 异步副本 • 对于副本的生成、更新和删除，也可采用同步进行，保持数据更新的实时性，但同步副本会影响数据写入速度。用户可根据需要定制策略实施。 同步副本 • 如果有大量对某一副本的读操作，且在存储空间允许的情况下，在相应站点可以产生缓存副本以提高数据的读操作速度。 缓存副本 • 不同副本间有版本控制，确保用户访问时能拿到最新版本。 • Checksum功能确保数据传输时的完整性。 副本间的版本控制

  24. 对象元数据 • 对象的操作包括： • 数据文件的写入、读出和更新。 • 对于元数据维护、搜索、更新以及定制 • 可根据各类元数据进行快速扫描和管理 • 虚拟化目录结构 • 基于元数据的搜索 • 将经过处理, 分析, 归类, 归档后的对象作为公共资源, 不用的应用可以同时使用对象. 也可以在对象上增加不同应用特有的属性, 标签, 评注 • 在和传统应用集成的过程中, 可以自动解析, 重构属性文件, 比如: ADI, XML, m3u8

  25. 多租户数据文件共享 域中可建立多用户，并为用户设置不同的数据访问和管理权限。 平台中，单个数据文件称为对象，以平铺式方式存储。 一旦有对象的创建/更新/删除，系统都可根据用户事先建立的策略在其他各站点自动管理对象的副本。 用户可以对这些副本，根据其设定的权限进行共享和操作操作。 在一站点上传的对象，在上传开始后短时间内，即可从异地进行访问，无需等待上传结束。 对象副本 对象副本 对象副本 用户甲 用户乙 域 站点B 域 站点A 域 站点C 地区1 地区2 地区5 远程读写或 在本地生成缓存 地区3 用户丙

  26. 对象副本 Stream through功能 • Cloud Aqua独有stream through功能，使得应用和用户在没有副本的站点也可高速读文件。 • Stream through功能能够使与Cloud Aqua集成的视频广播、视频点播系统具有更高的容灾性能。即使站点因当机或发生错误无法读取文件，与该站点集成的视频系统，也可以通过Stream through向其他站点拉取视频流，保证视频服务不间断。 站点B Cloud Aqua 地区2 Stream through 站点A 地区1

  27. 容灾机制 当一个主站点出现问题，另一个副站点自动接替主站点角色； 当原先的主占地恢复工作，系统自动将主站点角色切回。 主站点 副站点 主站点 原主站点 地区5 地区2 Cloud Aqua 地区1 地区1 地区4 地区3 副站点

  28. 快速快照 采用即写即拷（copy-on-write）方式。 支持目录级别的快照。 可对有正在写的文件的目录进行快照生成。 灵活利用副本数据实施快照，减少存储消耗，加快生成速度。 用户可灵活管理快照，生成、查看、回滚、删除快照。

  29. 广域网, TCP 加速 • 基于可靠 UDP的单播和组播技术协议 • 文件传输的广域网加速 • 单文件传输速度优化 • 减少由于TCP协议引入的网络延时 • 高传输效率 • 分片并发传输技术 • 多session并行传输性能优化

  30. 音视频处理能力 • Cloud Aqua提供开放式接口，与各类媒体、文件处理工具集成，使得它具备可不断扩展的媒体、文件处理能力： • 适合大数据文件的重复删除（Dedupe），压缩（compression) • 媒体文件的编码转换，嗅探，编码查验等等。 • 对象元数据的生成和更新，可自动根据用户事先定义的策略触发媒体处理。经处理的对象版本，Cloud Aque会对其元数据自动维护，确保各版本之间的关联性。 • 用户也可进一步制定策略根据元数据，对处理后的数据文件进行管理，例如自动分发、搜索、分组。

  31. 基于策略的工作流引擎 • 策略的制定和执行根据对象元数据进行。例如：可根据对象目录，标签，生成时间等进行文件处理 • 在数据上传或更新后，事先定义的策略自动触发 • 策略的执行可以使对象： • 在指定的站点/集群上以指定的方式（同步或异步）自动生成副本 • 进行各类自动化的编码处理

  32. 站点中集群组划分使文件按需存储 • 一个站点中的多个存储集群(Cluster)可以被分为不同的集群组(Cluster Group). • 集群组的划分利于： • 不同的存储集群组可被划归不同的使用范围。例如： • 站点中不同业务部门使用各自的存储集群组 • 数据文件根据所要求的存储性能，被存放于不同存储集群组中。例如： • 实时副本被存放于高读写性能的存储集群组。 • 备份副本被存放于容量大、安全性高的存储集群组。 • 灵活的策略制定，系统根据文件的元数据自动管理文件存放在哪个集群组、甚至哪个集群。

  33. 集群异构 • 各个存储集群可 • 采用不同介质磁盘种类的存储设备。 • 设置不同的chunk size, 条带大小。 • 文件根据其使用的要求选择不同的集群进行存储，例如： • 大文件可存放于读写速度和性能好的存储集群中，小文件则选择磁盘利用率高的存储集群。 又或 • Play-to-Air类媒体文件可存放于稳定性高的集群，而on-demand类媒体文件存放于网络吞吐量高的集群中。 • CloudAqua的虚拟化目录，即使各个文件存放于不同的集群中，也可以这些被存放于不同物理存储设备的文件呈现在一个目录中。

  34. CloudAqua应用场景

  35. CloudAqua 支持的原生应用 • 开放的存储接口 (CDMI 标准) • 网盘应用 • 多媒体共享应用 (跨电视机, 智能手机, PAD的共享) • 企业级备份

  36. 网盘应用

  37. CloudAqua-数据网盘业务应用 • 数据网盘业务主要为用户提供一个在云端的网络空间. 用户只要能够连接网络, 就可以在不同的物理地点使用这个数据网盘； • CloudAqua的数据网盘支持： -目录维护 -文件存放读取 -元数据维护 -权限控制 -版本控制 -指定共享服务 (通过邮件通知共享者) -当用户需要离线方式下使用时, 可以将指定的目录, 文件复制到本地存储

  38. CloudAqua-家庭多媒体分享应用 • 针对不同或相同家庭中各种不同的智能终端, 重点对于音乐、视频、照片等多媒体内容在家庭成员及不同的设备中进行分享； • 使用CloudAqua的多媒体分享客户端应用，支持机顶盒（TV）、Android、IOS、PC等多个版本间互为分享 • 相比其他分享型云应用，CloudAqua分享客户端具有以下优势： -实时内容录制, 播出和分享 当数据源智能终端进行实时录制的时候, 其它被分享的用户或者设备可同步观看到媒体的内容 -突出了电视机屏幕上的分享和用户体验 电视机作为家庭中最大的屏幕, 中老年人群最重要的屏幕, 一直以来在”分享”型的应用中被忽视. 而CloudAqua的分享客户端着重强调了在电视机屏幕上的分享和用户体验. -突破大多云分享对视频文件格式的限制 目前大多数的云分享主要针对音乐和照片, 对于视频文件都有很多的限制. 而CloudAqua的分享客户端增强了对于视频文件, 实时和VOD点播等功能.

  39. 分享应用

  40. CloudAqua-企业数据中心业务应用 • 数据网盘业务： - 数据网盘同样可以被企业用户使用，多用户的同时访问、权限控制、版本控制等网盘的功能 在企业的使用中能够提供更多的价值； • 企业数据归档： -提供日常备份, 异地备份, 历史数据归档等数据存储要求； - 提供安全、快速的网络空间； - 可与主流企业级备份的软件进行集成, 将用户数据直接存放到网络存储中； - 用户不仅可继续使用备份软件本身提供的全部备份或者增量备份的功能, 还可在一个操作中就同时完成异地备份、版本控制、多份数据复制等多重功能； -当在需要进行数据恢复的时候, 可在不同的地点获取云端的备份/归档数据进行恢复。 • 标准云存储 - 支持标准云存储功能； - 提供CDMI, WebDev等多种云存储标准接口； -企业用户可以通过应用的开发, 直接用企业应用建立在云存储之上。

  41. Cloud Aqua的几种应用场景

  42. 数字电视 一地上传或更新的数字媒体文件，可自动根据事先定义的策略地进行媒处理，例如： 转码 、嗅探、加密、文件标准化等。 媒体文件经处理生成多版本，版本可被保留，并按需求分发。 Cloud Aqua 能与各类广播电视系统、互动电视系统和CDN网络集成。集成的第三方系统可在各站点可接收经处理的媒体文件。 Play to air广播系统 站点2 站点3 非线编系统 文件上传/更新 站点1 Cloud Aqua 站点5 站点4 CDN系统 互动电视 点播系统

  43. Cloud Aqua-异构CDN应用 • 多内容供应商远程接入，自行维护及管理其提供的内容； • 简化川网现有媒资作为生产平台，多屏发布与转码及元数据管理由Cloud Aqua中的管理层模块执行； • 一个网络中并存二套CDN，跨区域服务，实现全业务分发； • Cloud Aqua为全业务应用提供全方位服务；

  44. www.xor-media.tv

More Related