第 9 章媒资管理系统架构与功能

第9章媒资管理系统架构与功能 刘士军 lsj@sdu.edu.cn

数字媒体资产管理系统功能 • 近几年, 媒资系统的技术和功能越来越完善，对媒资系统的定位也基本达到统一： • 媒体资产管理系统通过对节目资料的数字化采集上载，利用海量存储和分级存储管理技术对数字化文件形式存在的节目资料进行长期、可靠的存储 • 在计算机辅助编目技术帮助下对节目资料完成完善详细的编目，最终使用人员可以比较方便的从检索系统查找到精确到镜头的节目资料 • 通过下载系统将所需资料输出到录像带上，或者直接以数字化文件的形式到其他系统中使用。 • 总结起来说媒资系统的5大核心功能就是：采集上载、编目、节目存储管理、检索、下载再利用数字媒体资产管理

本章摘要 • 媒资管理系统是由2个主要部分组成的：硬件基础设施和软件组件，通过一个统一的系统架构来表示 • 硬件基础设施为内容的存储、处理和传送提供基本资源，加上它们的标准软件 • 媒资管理系统是在这些基本软件和那些能执行特定任务的软件系统的基础上开发出来的 • 系统架构须要考虑富内容组织的用户需求和工作流程 • 系统架构还必须考虑各内容组件的特点和特征，要能够对素材以多种格式编码，以便在不同环境中服务于不同的目的；并对不同的内容表示方式加以支持 • 介绍系统的基本设计原理、主要功能、软件架构、服务及应用等，并加以详细论述数字媒体资产管理

本章内容 • 9.1 媒资管理系统设计原理 • 9.2 媒资管理系统架构与功能 • 9.3 媒资管理系统中的服务 • 9.4 媒资管理系统中的应用 • 9.5 关键问题 • 9.6 媒资管理系统案例数字媒体资产管理

1.软件设计原理 • 通过分布式实现可扩展性 • 媒资管理系统典型的任务是：服务大量的用户、管理大量的资产、存储海量的数据，因此必须具有很高的性能和可靠性 • 若采用大型中心服务器和数据库加以实现，必然会产生瓶颈 • 因此，媒资管理系统设计所依据的原则是：通过分布式实现可扩展性，以便在需要提高性能或存储空间时，可以方便地给系统增加资源数字媒体资产管理

1.软件设计原理 • 如何实现通过分布式实现可扩展性? • 架构的每个组件必须能在专用的服务器平台上运行，所有组件间的通信必须完全基于网络 • 由于系统的组件可能被分布到在物理上相隔很远的服务器上，采用的网络协议应能够通过广域网实现组件间的通信 • 系统的组件应该被设计成能够同时满足多个请求，并行地运行，通过负载分配提高可用性和性能 • 系统的组件不应该有对特定硬件可用性的要求；应该能在系统硬件架构中的任何一个服务器平台上运行 • 系统的组件应该能在其他媒资管理系统的组件没有响应或发生故障时，具有自身的弹性，即它们必须具有作为标准功能模块的多重连接策略和恢复方法数字媒体资产管理

1.软件设计原理 • 服务组 • 服务是指在整个架构中自身包含的、用于执行特定任务的模块，可加强内容管理系统的功能。这种功能性模块包括上载、输入输出、素材分析、索引、转换、转码、对素材的修剪和拼接等 • 在一个服务组中，每个服务实例在一个专用服务器上运行。借助服务和服务器平台，服务可提供一定量的资源（即可由它并行处理的任务） • 采用此概念，大量可用的资源通过增加服务实例的数量，可轻易地扩展数字媒体资产管理

1.软件设计原理 • 代理器一管理器一服务器 • 在单一服务器层次上，建构对于特定服务组件的多个实例，以达到最优性能和可用性 • 在组织中的单一位置，建构多存储簇，以达到最大的灵活性和可扩展性 • 对组织的多位置进行集成，使之看上去像是单个的统一系统 • 多组织之间的交互，使得它们能够无缝地共享选定的项目数字媒体资产管理

2.系统架构与功能 • 系统整体结构设计 • 硬件设施 • 系统构建在FC＋以太的网络化平台之上 • 上载工作站、下载工作站、MDC服务器、迁移服务器、转码服务器、流媒体服务器、高速磁盘阵列、数据流磁带库同时连接在FC网和以太网上 • 主要的非结构化媒体数据对象（高码率、低码率视音频数据等）可以通过高速的千兆以太网或FC传输 • 其它管理信息、数据索引信息、数据请求信息等结构化信息通过以太网支持数字媒体资产管理

2.系统架构与功能 • 软件系统结构 • 面向信息服务、加工、存储等业务运行管理的数据管理平台； • 面向节目资料数字化的采集整理子系统； • 面向节目资料深入加工编目处理的编目子系统； • 面向内部用户服务的信息检索子系统； • 面向节目资料存储的存储管理子系统； • 面向数据转换的转码中心子系统； • 面向数据再利用的下载子系统；数字媒体资产管理

2.系统架构与功能 • 内容管理系统有3个主要的功能： • 内容创建：包括所有与生产有关的工作，比如节目策划、信号录制、编辑工作、后期制作、编排和播出 • 文件编制：包括所有手工的编目和索引工作 • 自动特征提取：它包括所有直接从素材自动获得索引信息的技术（如影像捕捉、关键帧提取、语音识别、说话人识别及声音分析等）数字媒体资产管理

2.系统架构与功能——素材管理 • 素材管理是以对素材存储、供应及操作为主要目的的工作素材管理的主要组件是： • 存储管理服务：该服务根据不同的可配置存储策略，自动、有效地将素材项目在存储层次结构中移动 • 转码服务：该服务提供对文件格式和编码格式的转换 • 传送服务：如文件传输和流服务，以便上载和供应素材 • 数据库：其中保存了技术元数据（如格式、比特率、色彩深度等）和管理信息（如位置、文件大小等）数字媒体资产管理

2.系统架构与功能——素材管理 • 素材管理负责在一个分布式存储环境中存储、管理和提供素材对象，素材管理可处理以下内容： • 通过对存档管理服务器的引导，存取海量存储系统 • 通过控制存档传输服务器，在在线和近线存储之间转移文件 • 在存档中创造素材文件的多个备份 • 通过对缓存服务器的引导，处理在线存储系统内容和完整性 • 通过将客户端连接到流服务器，将内容传送至客户端 • 通过连接到传输服务器，从远程存储系统接收或传送素材数字媒体资产管理

2.系统架构与功能——素材管理 • 素材管理系统可管理一个素材对象的多重版本。每个版本服务于特定的目的。例如： • 原始磁带拷贝：内容管理系统要能够管理原始拷贝，载体通常是传统模拟格式或数字视频磁带，并且在素材管理中必须存在一个该拷贝的引用参照 • 高品质文件拷贝：原始拷贝的文件版本，信号质量与原始磁带拷贝没有区别，一般是在上载时编码产生，也可作为已经编码的文件输入。如果一个先进的数字压缩视频磁带格式被上载，高品质文件拷贝将保留原始编码格式（如算法、参数、比特率等） • EDL浏览副本：中等品质文件拷贝，可在内容管理系统环境中用于剪辑和离线编辑，要求有必需的带宽 • 内容浏览副本：素材的低品质版本，存在局域网和广域网环境中用于查看和择 • 关键帧：静态帧，一般从素材中自动提取数字媒体资产管理

2.系统架构与功能——素材管理 • 素材管理的基本构建模块为： • 存档管理服务器 • 档案传输管理器 • 档案传输服务器 • 高速缓存服务器 • 流和传输管理器 • 流服务器 • 传输服务器数字媒体资产管理

2.系统架构与功能——素材管理 • 存档管理服务器 • 存档管理服务器是素材存档管理部分的“大脑”，它跟踪海量存储系统（如磁带和磁带池）或磁盘池中的所有存储单元，从内容管理系统接收到对文件加以存档或恢复的请求 • 在大多数情况下，内容管理系统的海量存储系统的核心是近线存储系统数字媒体资产管理

2.系统架构与功能——素材管理 • 档案传输管理器 • 档案传输管理器从存档管理服务器接到存档和恢复文件的请求，在在线存储和近线存储之间拷贝文件 • 由于从档案传输服务器传到档案传输管理器的请求的数量可能会超过可用的档案传输服务器所能处理的并发请求数量，因此，管理器不得不提供一个事务安全请求队列数字媒体资产管理

2.系统架构与功能——素材管理 • 档案传输服务器 • 档案传输服务器处理近线和在线存储之间的数据移动 • 一般来说，一个档案传输务器至少与一个磁带驱动器（磁带库）有连接，或和一个存档磁盘池有连接 • 将数据从在线存储拷贝到磁带中，拷贝到磁盘池中，或者从磁带或磁盘池中读取数据并将其写入到在线存储上数字媒体资产管理

2.系统架构与功能——素材管理 • 高速缓存服务器 • 高速缓存服务器管理在线存储系统，即在高速缓存区的素材可以在线存取 • 高速缓存服务器总是试图使最频繁存取的资料保持在线，因为人们预测这些资料在生产时会被频繁存取 • 根据用户定义的存储则，高速缓存服务器会决定保存哪些资料，清除哪些资料，以便使缓存区可装入新的内容数字媒体资产管理

2.系统架构与功能——素材管理 • 流管理器 • 因为对内容流的并发请求的数量可能超过一个流服务器所能处理的流的最大数量，因此内容管理系统应允许安装可以共享存取同一内容的流服务器组 • 流管理器被用来选择合适的流服务器，来执行到来的请求，并协调客户端与被选的流服务器之间的连接数字媒体资产管理

2.系统架构与功能——素材管理 • 流服务器 • 流服务器能对媒体内容进行流式存取 • 在大多数情况下，流服务器建在一个已经存在的、有效的音频或视频服务器周围，此视音频服务器必须能直接对存取素材进行在线存储。流服务器在一个客户端和该流产品之间协调、建立连接 • 流解决方案通过流服务器存取位于在线存储系统上的素材，并将其以流形式传送至客户端数字媒体资产管理

2.系统架构与功能——素材管理 • 传输管理器 • 对内容的文件传输并发请求的数量可能超过单个传输服务器所能处理的最大传输数量。因此，内容管理系统应该允许设置可共享存取同一内容的传输服管理器被用来选择合适的传输服务器来执行到来的请求 • 传输服务器 • 在与不受内容管理系统管理的远程内容服务器交换文件时，应该使用传输服务器 • 这样一个内容服务器可以是任何一种提供或接受内容或素材的系统。例如编码器、解码器、制作系统、媒体自动点唱机、盒式磁带机、播出服务器或非线性编辑系统数字媒体资产管理

2.系统架构与功能 • 设备管理 • 设备管理可以通过专门的设备服务器控制外部设备，该服务器对系统赋予了基于信息技术的连接，其基本建构模块是设备管理器、一个或多个设备服务器簇、大量专门设备服务器数字媒体资产管理

2.系统架构与功能——设备管理 • 设备管理器 • 设备管理器是在服务或应用需要对外部设备进行直接控制时，与内容管理系统交互的实体 • 设备服务器 • 设备服务器向各类外部设备（如磁带录像机、磁盘记录仪、视频服务器、档案案管理系统、演播室自动化系统或外部文件系统）提供统一的控制接口 • 文件系统接口：通过直接文件存取实现对设备上的资产的存取 • 设备控制接口：通过网络实现对设备的远程控制 • 库存管理：用于对资产进行存储及提供元数据和状态信息 • 事件处理：可根据特定的事件触发动作，如显示、删除、改变资产的状态等 • 高速缓存管理：可在高水位、低水位之间保留用过的存储空间，以识别每个资产的辅助条件，如设备的最高、最低寿命及状态数字媒体资产管理

2.系统架构与功能 • 数据管理 • 作为典型的信息技术，数据管理基本上由数据库和搜索引擎组成，它负责对用来描述素材的元数据进行组织和管理，此描述性元数据是开发节目或内容项的关键 • 用来处理对所有数据库和信息系统的存取，数据库和信息系统中储存着述性元数据或可在检索时被用于辨识的内容数字媒体资产管理

2.系统架构与功能——多媒体数据库 Applications Domain Systems Domain Media Domain 数字媒体资产管理

2.系统架构与功能——多媒体数据库 Multimedia Data Management Multimedia Database Data Storage 数字媒体资产管理

2.系统架构与功能——多媒体数据库 • Multimedia database v.s. text database • Temporal data: Requires temporal modeling • Huge amount of data: Compression helps get around this. • Data is not easily indicative of the information • Requires a lot of pre-processing in order to store data efficiently: • PCA, feature extraction and segmentation • Novel Query mechanisms • Hypermedia: The ability to interactively move around in the data. 数字媒体资产管理

2.系统架构与功能——多媒体数据库 数字媒体资产管理

2.系统架构与功能——多媒体数据库 • A Reference Architecture for MMDB System • Considerations: • Real time aspects/constraints impose strong demands on the systems • Simultaneous presentation of multimedia objects may cause performance problems. • Data Sharing • Due to the possibly very large multimedia data, traditional replicated data technique may not be applicable, hence data sharing is essential • Multiple Client/ Multiple Server Architecture 数字媒体资产管理

2.系统架构与功能——多媒体数据库 • Considerations: • Real time aspects/constraints • Data Sharing • Multiple Client/ Multiple Server Architecture • Many multimedia applications work with data that are stored on remote sites (e.g, VOD, tele-learning), which suggests for client / server architecture. • A client consists of three layers… • User Interaction – takes care of input and output of multimedia data • Server Access – allows searching of servers by the client • Operating System – not a real part of the MMDBS • A server consists of four layers: • DBMS Interface • Query Processor • File Manager • Operating System 数字媒体资产管理

2.系统架构与功能——多媒体数据库 数字媒体资产管理

2.系统架构与功能——数据流 • 媒资系统的运行应用过程中，非线编或录像机输出的视音频信号通过采集上载工作站数字化生成时间上精确同步的MPEG-2高码流文件和MPEG-4低码流文件（采集上载提供灵活的采集方式，可同时抽取生成节目的关键帧），采集过程中完成一些原始编目信息的录入工作； • 上载的数字化节目资料经过质量等方面的审查后，文件经过FC网络存储到磁盘阵列中，同时节目相关信息包括一些原始编目信息将自动写入数据库 • 编目工作站即可自动产生一条待编目对象，可浏览上载节目的低码流视音频，通过人工编目工作完成对节目文字描述信息、节目详细编目标引信息的录入 • 编目过程中需要进行不同层次的审编，审编通过后，该节目即可被用户检索、下载使用数字媒体资产管理

2.系统架构与功能——数据流 • 系统根据用户定制的迁移策略自动的将高码流文件迁移到数据流磁带库中，在用户需要下载某一节目时，如果节目在盘阵中就可直接提供用户使用；如果该节目已经上载到带库中，系统将自动完成从带库到盘阵的迁移提供用户使用数字媒体资产管理

2.系统架构与功能——数据流 • 用户通过系统提供的多种查询方法，用户检索过程中 • 文字、图片、MPEG-4低码流视频在WEB端可以立刻浏览 • MPEG-2高码流节目的输出需要从带库或从磁盘阵列缓冲池下载，系统支持片断下载输出 • 用户可直接在MPEG-4低码流上标记出需要下载片断的入点、出点，提交下载申请 • 审批通过后系统会通过存储管理软件完成节目的自动迁移。节目片断通过下载工作站以数字、模拟视音频方式输出至磁带或非线编工作站中，完成节目下载数字媒体资产管理

3.服务 • 服务扩展了内容管理系统的范围和能力。如同操作系统中的后台程序或服务，内管理系统的服务一般是后台进程，可从客户端（如一个应用或其他服务）接受作业，并可访问核心，以便执行各种存取素材、元数据或设备的任务 • 上载 • 播出 • 输入 • 输出 • 编辑 • 转换 • 分析 • 水印 • 订单管理 • 监视文件夹 • 网页检索 • 工作空间管理数字媒体资产管理

3.服务——上载 • 上载服务负责向内容管理系统导人视听信号。信号可能是来自卫星或有线网络的输入，或来自演播室设备（如磁带、数字录音带或CD播放设备／录制设备）。信号通过合适的编码器被数字化转换为多重格式，并写入一个在线存储区域数字媒体资产管理

3.服务——播出 • 播出服务用于在信号层次重放视听信号。它采用合适的解码器或视频服务器来成该任务。尽管内容管理系统一般不直接涉及无线传输过程，但可能有许多工作流，例如对来自信号的浏览版本进行重新编码，或将存档的素材转为磁带播出，需要对基于文件的素材作为基带信号来提供数字媒体资产管理

3.服务——输入 • 输入服务灵活地处理可能应用于输入的多种多样的需要和状况 • 输入服务包括一个管理输入过程的工作流处理器和一组可以被当作插件加以添加的处理器集 • 这组处理器中的每一个处理器均可按照工作流的顺序被调用，并且每个处理器可再次使用外部系统、外部代码或内容管理系统服务，以在输人过程中完成特定任务数字媒体资产管理

3.服务——输出 • 输出服务对工作流处理器、前置处理器、处理器、转换服务和后置处理器的使用，应该提供足够的灵活性，以便处理不同种类的输出方案 • 此外，每个处理器可再次使用外部系统、外部代码或内容管理系统服务，以便在输出过程中完成特定任务数字媒体资产管理

3.服务——编辑 • 内容管理系统应该可以将内容当作汇编好的片断加以存储，但也可将内容拆分成基本的视频和音频剪辑、静止画面、图片和文本素材。因此，内容管理系统应该可以将内容分割成更小的成分 • 反向的操作（即将更小的成分加以组装）也是需要的数字媒体资产管理

3.服务——转换 • 转换服务为内容管理系统提供在不同的媒介格式或文件格式之间进行转码的能 • 在富内容组织中，有许多编码格式被使用，其范围从标准格式（如基于MPEG或DV的格式）到专有产品 • 转换服务使得可以在这些格式之间进行转换，而不需要每次都经过一个重新录制的过程数字媒体资产管理

3.服务——分析 • 分析服务封装高级素材处理工具，用于分析媒体、过程元数据（包括关于内容结构的信息）和视听摘要。分析服务接受素材作为输入，并使用该素材自动产生附加信息 • 视频分析服务：基本的视频分析服务既支持镜头捕捉，又支持对关键帧的选择和提取 • 音频分析服务用于分析音轨、添加附加的元数据，或是被用于索引的目的 • 还有许多其他技术可以允许对媒体的某些特征进行自动分析和检索。例如，对屏上的文本进行光学字符识别(Optical Character Recognition，OCR)。图像和视频自动索引技术应用的另一个有趣选择是面部识别，从而能识别人数字媒体资产管理

3.服务——水印 • 水印服务能处理媒体对象认证方面的事务，以及节目资料交换中的安全事务。关于水印，至少可以考虑2种方法 • 一种方法是插入一个可见或可听的水印，这样仍允许接收者欣赏内容，但澄清了所有权并限制了重复使用的可能性 • 第二种方法是插人不可见或不可听的水印，借此建立了所有权，拒绝对内容未经授权的重复使用数字媒体资产管理

3.服务——订单管理 • 订单管理至少应该支持资料室人员对请求进行间接深度查询，即内容管理系统的用户应该能要求资料室管理人员处理存档，内容管理系统能响应这些请求，并将这些请求输入系统数字媒体资产管理

3.服务——监视文件夹 • 监视文件夹(Watch Folder)服务允许触发显示文件的后台处理进程。一个监视文件夹服务对具有给定后缀的文件作出反应，并执行一个可配置的“行动” • 解析一个更详尽的例子：一个广播台的客户服务接收到一名观众的请求，他想要得到一个已播出节目的DVD拷贝。该节目的拷贝可在资料室得到，但是资料室是以特定的存档格式(如DVCPR050)保存的，而不是DVD所需要的格式(如MPEG – 2 long GoP) • 监视文件夹可密切追踪请求的执行和请求状态数字媒体资产管理

3.服务——网页检索 • 网页检索服务提供对内容的基于网页的存取。例如，它可提供一个基于网页的界面，提供简单或高级查询接口，并通过任何一个台式机上的标准网页浏览器显示检索结果，如命中清单、元数据及关键帧等数字媒体资产管理

第 9 章 媒资管理系统架构与功能