第七章 多媒体计算机 的应用技术

1. 第七章 多媒体计算机 的应用技术 主讲: 清华大学　钟玉琢　教授

2. 第七章 多媒体计算机 的应用技术 7.1 多媒体会议系统 7.2 多媒体数据库及基于内容检索

3. 一、 视频会议系统的结构和标准 一、视频会议系统的分类 二、视频会议系统的结构 三、视频会议系统的标准

4. 一）视频会议系统的分类 点对点视频会议系统 多点视频会议系统 根据通信节点的数量，视频会议系统可分为

5. 1.点对点的视频会议系统 • 点对点视频会议系统支持两个通信节点间视频会议通讯功能，它的主要业务是： • 可视电话 • 台式机—台式机视频会议 • 会议室—会议室视频会议

6. 2.多点视频会议系统 多点视频会议系统允许三个或三个以上不同地点的参加者同时参与会议。多点视频会议系统一个关键技术是多点控制问题，多点控制单元（MCU）在通讯网络上控制各个点的视频、音频、通用数据和控制信号的流向，使与会者可以接收到相应的视频、音频等信息，维持会议正常进行。

7. 二）视频会议系统的结构 视频会议系统主要由视频会议终端、多点控制器、信道（网络）及控制管理软件组成。

8. 视频会议系统结构框图

9. 一、视频会议系统的结构 终端 多点控制器 信道（网络） 控制管理软件QOS（Quality of Service） 安全保密

10. 三）视频会议系统的标准 H.320 H.323 H.324 1.H系列 国际电讯联盟ITU 2.T系列 国际电报电话咨询委员会 CCITT T.120 3.个人会议标准PCS (Personal Conferencing Specification )

11. H.320标准系列框图

12. H.323标准系统框图

13. H.324标准系统框图

14. 二、 多媒体终端的设计的实现 综合业务多媒体通信终端可以广泛用于多媒体通信、交互式分布多媒体系统，特别是各种计算机支持的协同工作系统（CSCW）的通用设备，是目前世界各国大力研究的热点课题。由于各种技术发展较快，因此要求总体结构设计要考虑通用性和可扩展性。

15. 设计一个视频会议系统要解决的问题 • 综合业务多媒体终端 • 多点控制单元MCU • 信道（网络） • 控制管理软件 服务质量QOS 安全保密

16. 综合业务多媒体终端如何设计？ • 解决视频音频输入问题 • 解决视频音频压缩编和解码问题 • 多媒体信息处理和通讯问题

17. 1996年3月清华大学计算机系设计实现了一种综合业务多媒体通信终端（IMCT），它的方案是： • ①终端的软、硬件支撑环境采用多媒体个人计算机（MPC）与清华大学和中国银河公司共同设计制造的满足H.320系列标准的视频音频实时压缩和处理卡VC-1000A。

18. 1996年3月清华大学计算机系设计实现了一种综合业务多媒体通信终端（IMCT），它的方案是： • ②系统应用软件采用模块化结构，如视频讨论、多媒体电子邮件、协同编著等，可相对独立运行，又能集成在一个统一的平台上。

19. 三、多点控制单元的 工作原理与实现技术 传统的电话业务仅限于点对点的通信，为了支持位于不同地点的多个成员协同工作，有必要把多个地点连接起来。为此需要多点控制单元（MCU－Multipoint Control Unit），也可称为桥接设备，来提供这种功能。

20. 多点控制单元的 工作原理与实现技术 MCU-Multipoint Control Unit 主要组成: 1.网络接口单元 2.多路复用与解多路复用 3.视频、音频、数据、控制密匙及呼叫处理

21. 多点控制单元的结构原理及会议控制 MCU的结构原理

22. 视频会议系统的服务质量和资源管理 视频会议系统是一种分布式多媒体信息管理系统，或称分布式多媒体通讯系统。它不仅仅要求能够快速传送视频、音频和数据，而且要求要能满足一定的服务质量，如视频和音频连续媒体，必须保证在明确规定的时间内无差错的传送给用户，以便在终端系统播放具备良好的质量。为了获得服务质量保证，在业务执行过程中，需要对计算机、网络、MCU及终端的各种资源进行控制和管理。

23. 1.视频会议系统的资源管理 视频会议系统需要： • 高数据吞吐量：视频会议系统中的视频和视频数据的特性需要高的数据吞吐量，即使经过压缩，一个视频数据流也需要64Kbit/s到2Mbits/s的数据吞吐率。

24. 视频会议系统的资源管理 • 实时性：视频会议系统的终端同时要播放视频、音频和数据信息，这些信息之间存在较严格的时间要求，因此需要为无差错传送提供时间保证。

25. 视频会议系统的资源管理 • 服务质量保证：用户使用视频会议业务总是和其它业务进行对比，如果不能提供一定的服务质量保证，用户就会选择其它种类的业务，如无线电、电话等。

26. 2.视频会议系统的服务质量 视频会议系统需求是多样化，多媒体业务也是多样化，为使这些需求和业务能够定量化的描述，往往采用参数化，这样不必每个应用都实行一套新的系统服务集。为使服务参数化，国际标准化组织采用服务质量QoS-Quality of Service，到八十年代末，人们开始从不同角度深入研究QoS，主要集中在QoS管理，QoS标准，QoS主客观的统一等问题。

27. 在用户层，一个网络多媒体系统可能包含三个抽象层：应用层、系统层（通信和操作系统）和设备层（网络和多媒体终端设备），这三层都需要考虑QoS参数在用户层，一个网络多媒体系统可能包含三个抽象层：应用层、系统层（通信和操作系统）和设备层（网络和多媒体终端设备），这三层都需要考虑QoS参数

28. 五. 视频会议系统的安全保密 随着计算机、网络、通讯技术发展，视频会议系统会变成协同合作、信息交流越来越方便的手段。它可以广泛地用于政府各个部委、国防机构、工商企业等，会议内容常常会涉及到许多国家机密、军事情报、商业秘密及私人信息等。因此，安全保密问题是视频会议系统的一个重要问题。

29. 视频会议系统中安全保密结构图

30. 第七章 多媒体计算机 的应用技术 7.1 多媒体会议系统 7.2 多媒体数据库及基于内容检索

31. 一、多媒体数据库的关键技术 1. 多媒体数据大容量的存储技术 (1). 光盘存储子系统和高速大容量磁盘、光盘库保存时间很长。 (2). 超媒体文档和超媒体数据库的随机存取、检索、存储盘标识和关系数据库。在设计上仅支持表结构的字母数字数据。

32. 2. 多媒体数据的管理 (1). 关系数据库支持表结构的字母数字数据。缺乏安全性和完整性，受到并发性和事物控制的影响。 SQL中没有对BLOB处理的协议。 解决办法：将SQL非过程性语言和面向对象的数据库结合起来。

33. 3. 多媒体应用程序的数据库组织 多媒体系统数据组织： (1). 数据独立 (2). 通用分布式数据库结构 (3). 多媒体对象管理 (4). 多重数据服务器

34. 4. 多媒体系统的事务管理 事物：从用户发出请求创建、表现(显示或播放)、编辑或打印一超媒体文档开始的一系列事件。 多媒体事物处理器中基于对象的方法： HDD超媒体显示对象 提出事务请求 建立TCO (事务控制对象)以处理整个请求

35. 5. 超媒体技术管理 超媒体记录或文档包含多媒体对象(多个对象)。 对象放到记录、文档中 嵌入一个引用对象存放到新建的数据库中 好处是对象被许多记录和文档所共享。

36. 文档和数据包括：引用和指向对象的链、对象类型、对象的标识号、存储位置、对象大小、创建它的服务器、创建对象应用程序、创建时间和日期、显示播放特性(压缩方法、分辨率)、查找索引信息。文档和数据包括：引用和指向对象的链、对象类型、对象的标识号、存储位置、对象大小、创建它的服务器、创建对象应用程序、创建时间和日期、显示播放特性(压缩方法、分辨率)、查找索引信息。

37. 二、多媒体数据库基于内容检索概述 web 上出现大量多媒体信息，例如: 遥感、 医疗、安全、商业等部门，都会产生大量信息。

38. 1. IBM公司开发的QBIC是最具代表性的系统 通过友好的界面为用户提供颜色、纹理、草图、形状等多种检索方法。 系统以示例方式进行查询，查找物体的移动，摄影机的操作。

39. 2. 美国加州大学伯克利分校与 加州水资源部合作 Chabot计划，对水利资源部大量图象提供基于内容的有效检索手段。

40. 3. 麻省理工学院 Photo book 可以利用人脸Face (脸)、shape(形状)、texture(纹理)进行基于内容的检索。Virage系统又进一步发展了将多种检索特征的融合。

41. 4. 澳大利亚 New South Wales 澳大利亚 New South Wales(新南威尔士大学)已开发了NUTTAB系统。 用于食品成分数据库的检索。

42. 5. 清华大学计算机系 清华大学计算机系结合863高技术研究发展项目“Web上基于内容图像检索”的研究。 Internet/Intranet通过友好的人机界面可以颜色、纹理或样本图像进行图像检索。

43. 目前该系统已可对12000张学物照片高维特征建立了Gss—索引。目前该系统已可对12000张学物照片高维特征建立了Gss—索引。 采用Java语言来实现人机交互模块。通过浏览器为用户提供界面。 检索请求 转换为cbExpr基于内容的检索表达式，通过检索引擎处理与网络延迟相比，检索时间基本上可以忽略，体现了较好的实时性。

44. 基于内容检索的系统结构 现有的许多多媒体数据库系统只提供基本媒体的描述、关键字一类的检索和查询，但很多的应用要求数据库系统能对图像或声音等媒体进行内容语义分析，已达到更深的检索层次。因而有必要讨论多媒体数据库基于内容的检索与查询方法。

45. 基 于 内 容 检 索 的 体 系 结 构

46. 特 征 调 整 , 重 新 匹 配 的 处 理 过 程 • 用户的查询说明 • 示例 • 一般性描述 • 相似性匹配 • 修改查询说明 • 返回一组候选结果 • 从候选结果中 • 选择一个示例 • N • 满意？ • Y • 结束

47. (1). 首先由用户提交查询要求，或启用上述的查询接口： 交互式输入方式 模板选择输入方式 特征样板输入方式

48. (2). 相似性匹配 将查询的特征与数据库中的特征按照一定的匹配算法进行匹配。

49. (3). 返回候选结果 满足一定相似性的一组候选结果，按照相似度大小排列返回给用户。

50. (4). 特征调整 a. 用户浏览一组初始特征查询结果选择满意的结果。 b. 也可以从候选结果选择一个示例，进行特征调整。最后形成一个新的查询，如此逐步缩小查询范围，直到用户对查询结果满意为止。