多媒体通信技术

1. 多媒体通信技术 主讲教师：黄玉兰　　　　　　　　　　　　　　　　学时：16

2. 第一章 多媒体通信技术概述 第二章 音频技术基础 第三章 图像技术基础 第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术 第七章 多媒体数据的分布式处理 第八章 多媒体通信应用系统 本书章节

3. 8.1 概述 8.2 多媒体视频会议系统 8.3 视频点播（VOD)系统8.4 网络电视（IPTV)8.5 多媒体电视监控系统与报警系统 本章主要内容

4. 第八章 多媒体通信应用系统 • 8.1 概述 • 多媒体通信的应用类型很多，涉及到通信、计算机、有线电视、安全、教育、娱乐、出版等很多领域，随着新技术不断出现和用户需求的不断增长，新型多媒体通信业务会不断出现。 • 根据ITU-T对多媒体通信业务的定义，其业务类型共有6种： • ◎多媒体会议型业务：此类业务具有多点、双向通信的特点。如多媒体会议系统等； • ◎多媒体会话型业务：此类业务具有点到点通信、双向信息交换的特点。如可视电话、数据交换业务；

5. ◎多媒体分配型业务：此类业务具有点对多点通信、单向信息交换的特点。如广播式视听会议系统；◎多媒体分配型业务：此类业务具有点对多点通信、单向信息交换的特点。如广播式视听会议系统； • ◎多媒体检索型业务：此类业务具有点对点通信、单向信息交换的特点。如多媒体图书馆和多媒体数据库等。 • ◎多媒体消息型业务：此类业务具有点到点通信、单向信息交换的特点。如多媒体文件传送； • ◎多媒体采集型业务：此类业务具有多点到多点、单向信息交换的特点。如投票、远程监控系统等。

6. 以上多媒体业务，有些特点很相似，可以进一步将其归为以下4种类型：以上多媒体业务，有些特点很相似，可以进一步将其归为以下4种类型： • ◎人与人之间进行的多媒体通信业务——会议型业务和会话型业务都属于此类。 • 会议业务和会话业务在多媒体通信的体系中， 实际上是 • 一类业务， 它们都是人与人之间的通信业务， 采用的标准基 • 本上是一样的。 例如， 会议业务和会话业务的图像显示格式 • 都是用CIF和QCIF； 在ISDN环境下采用的标准都是H.320， • 在PSTN环境下采用的标准都是H.324等， 都可用于人与人之 • 间的交谈。它们的不同之处在于： 会议业务是多点之间的人 • 与人之间的交谈， 会话业务则是两个人之间的交谈， 另外， • 它们的图像质量和声音质量也不同， 一般来说， 会议业务的 • 要求更高一些。

7. ◎人机之间的多媒体通信业务——多媒体分配业务和多媒体检索业务都属于此类。多媒体检索业务是一个人对一台机器的点对点的交互式业务；而多媒体分配型业务是一人或多人对一台机器、一点对多点的人机交互业务。这类业务完成的是人与主机之间的交互操作， 操作有两个方面的内容： 其一是用户通过人机接口向主机发送检索请求， 主机接收到用户的要求后， 将满足用户要求的信息传送给用户， 以完成用户和主机的交互过程， 实现检索的目的； 其二是用户通过人机接口与主机交互信息， 通过交互人与机之间完成某种交易工作， 如远程购物、 电子银行。 • 多媒体分配业务和多媒体检索业务的主要区别是： 多媒体检索业务是一个人对一台机器之间（点对点）的交互业务； 而多媒体分配型业务则是一台主机对多个人（一点对多点）的人机交互业务， 这种业务的一个最典型的例子是， 开一个多媒体会议时， 参加会议者有几位， 当讨论到一份文件时， 一个会议参加者去检索， 主机根据用户的要求将满足条件的信息发送给全体会议参加者， 这就是多媒体分配业务。

8. ◎多媒体采集业务——多媒体采集业务是一种多点向一点的信息汇集业务，一般是在机器和机器之间或人和机器之间进行。◎多媒体采集业务——多媒体采集业务是一种多点向一点的信息汇集业务，一般是在机器和机器之间或人和机器之间进行。 • 信息采集业务应用十分普遍， 如城市交通的信息采集系统、 智能大楼的全楼监控系统，工业监控系统等， 当然， 目前的系统并非多媒体系统， 随着信息业和信息处理技术的发展， 多媒体采集业务将是信息采集和监控系统今后的发展趋势。

9. ◎多媒体消息业务——此类业务属于存储转发型多媒体通信业务。此类多媒体信息的通信不是实时的，需要先将发送的消息进行存储，待接收端需要时再接收相关信息。◎多媒体消息业务——此类业务属于存储转发型多媒体通信业务。此类多媒体信息的通信不是实时的，需要先将发送的消息进行存储，待接收端需要时再接收相关信息。 • 用户A（人）将要传送给用户B的多媒体信息发送给系统中的主机， 在主机中存放起来。 用户B得知有传送给他的信息后， 从主机中提取由用户A发送来存入在主机中的信息， 并在用户B的终端中显现出来， 这就是多媒体消息业务的典型通信流程。 多媒体电子邮件是典型的多媒体消息业务。 • 在实际生活中， 这些业务并不都是以孤立的形式存在的， 而是以相互交织的形式存在的。

10. 表8-1 多媒体业务的应用类型

11. 表8-1 多媒体业务的应用类型

12. 8.2 多媒体视频会议系统 • 8.2.1 多媒体视频会议系统发展概述 • 多媒体通信网络为传输多媒体的信息提供了必要的手段， 因而产生了许多新的系统和应用。 多媒体会议系统就是一种以多媒体形式支持多方通信和协同工作的应用系统。 • 多媒体视频会议（VideoConference）系统，是一种能将音频、视频、图像、文本、数据等集成信息从一个地方通过网络传输到另一地方的通信系统。

13. 从20世纪60年代开始， 世界发达国家开始研究模拟视频会议系统， 并逐渐商用化。 20世纪60年代末期， 在压缩编码技术推动下， 由模拟系统转向数字系统。 20世纪80年代初期， 研制出2 Mb/s彩色数字视频会议系统， 并在日本和美国形成了非标准的国内视频会议网。 • 20世纪80年代中期， 大规模集成电路技术飞速发展， 图像编解码技术取得突破， 网络通信费用降低， 为视频会议走向实用提供了良好的发展条件。 为此， ITU-T制定了H.200系列标准， 该系列标准规定了统一的视频输入/输出标准、 算法标准、 误码校验标准以及一系列互通的模式转换标准， 解决了不同厂商的设备互通问题， 极大地推动了视频会议的发展， 系统的可用性得到加强。

14. 随着技术的进步， 特别是宽带网络、 信息压缩技术的进步以及个人计算机的普及， 同时， 高速IP网络及Internet的迅猛发展， 各种数字数据网、 分组交换网、 ISDN以及ATM的逐渐普及， 使多媒体视频会议的应用与发展进入了一个新的时期， 尤其是桌面视频会议系统产品得到迅速发展， 目前基于IP环境的H.323桌面视频会议系统已是多媒体会议系统的发展趋势。

15. 视频会议就是利用视频会议系统设备和通信网召开会议的一种信息交流方式。 在召开电视会议时， 处于两地或多个不同地点的与会者， 既可以听到对方的声音， 又能看到对方的形象， 同时还能看到对方会议室的场景， 以及展示的实物、 图片、 表格、 文件等， 就像是在同一处参加会议， 与平时开会的“面对面”的情形相似， 能使与会的代表具有真实感和亲切感。 • 要开好电视会议， 要求系统具备： 高质量的音频信息； 高质量的实时视频编解码图像； 友好的人机交互界面； 多种网络接口(ISDN、 DDN、 PSTN、 Internet、 卫星等接口)； 明亮、 庄重、 优雅的会议室布局和设计也是开好电视会议的一个方面。

17. 多媒体视频会议系统的分类： • 按照所使用的主要设备划分 • ⊙电视会议 • 又称会议电视。是一种用于会议用途的电视系统，传送的主要是视音频信号。也可以用传真机和资料摄像机等辅助设备传送会议文件。 • ⊙计算机会议 • 是一种基于计算机的会议。计算机作为会议的终端。利用计算机进行会议控制和管理，与会者的交互能力很强。可以实现应用程序共享和工作空间（数据）共享。

18. 按照基于的网络环境划分 • ⊙ISDN会议 • 利用公共网络作为传输服务的远程会议大部分是ISDN会议。目前是在窄带ISDN上使用。窄带ISDN的基本速率带宽为128Kbps。 • ⊙局域网会议 • 现有安装的LAN的可用带宽足够支持桌面会议连接，所以视频质量较高。 • ⊙电话网上的会议 • 在公共电话网PSTN上，用V.34调制解调器，用户可以获得28.8Kbps/33.6Kbps的数据传送。可以支持音频、视频和数据的会议通信。 • ⊙Internet网上的会议

19. 按照参与会议的节点数目划分 • ⊙点对点会议系统 • ⊙多点会议系统 • 按使用的信息流划分 • ⊙音频图形会议 • ⊙视频会议 • ⊙数据会议 • ⊙多媒体会议 • ⊙虚拟会议

20. 8.2.2 多媒体视频会议系统的组成方式 1、多点视频会议系统的结构 多媒体视频会议系统是一种典型的点对多点实时应用系统,一个典型的多媒体会议系统是由终端设备、通信网络、多点控制单元MCU和相应的系统运行软件组成的。

21. 会议终端主要完成的功能是数据的处理、音频和视频信息的存储播放处理、数据文件的检索请求。会议终端的实现方式也有多种，可以是专用的电视接收机，也可以是多媒体计算机。会议终端主要完成的功能是数据的处理、音频和视频信息的存储播放处理、数据文件的检索请求。会议终端的实现方式也有多种，可以是专用的电视接收机，也可以是多媒体计算机。 • 通信网络的构成可以是电话网PSTN、局域网LAN或广域网WAN、数字数据网DDN、帧中继Frame Relay、B-ISDN等网络。

22. 在整个视频会议系统中，多点控制单元MCU是核心设备。MCU一般设置在网络的汇接节点处，是一个处理单元，完成对多个会议地点同时通信的处理。 MCU和终端的连接网呈星形状态， 通常放置在星形网络的中心处， 即参加会议的各个终端都以双向通信的方式和 MCU相连接，由于 MCU端口数是有一定限制的，当会议终端数量比较多时，MCU可能会不只一个，可以级连多个MCU来使用，但级连的级数一般不多于两级，多个MCU之间以主从方式连接。 MCU应在数字域中实现音频、 视频、 数据信令等数字信号的混合和切换， 但不得影响音频、 视频等信号的质量。

23. 2、MCU的基本功能 • MCU所完成的重要工作如下： • （1）时钟同步和通信控制 • MCU要按照会议控制者的要求对来自不同终端的信息进行处理后再发送出去，为此，MCU各个端口上的信息流必须同步在同一个时钟上。在通信控制方面，MCU支持各端口的信令和互通方式，支持p×64kbps(p=1-30)速率信号的通信，完成主席控制、语音控制和演讲人控制等会议控制功能。

24. （2）码流控制 • MCU要对从各个终端输入的所有码流进行处理。 • ⊙MCU对符合H.221建议的复合会议电视码流进行解复用处 • 理，对分解出的各路压缩数字视频信号并不进行解码，采用直 • 接分配的方式将视频码流发送到目的终端； • ⊙对分解出的各路数字音频信号进行解码得到多路PCM信 • 号，通过对多路PCM信号的叠加处理形成现场感很强的混合语 • 音信号，再将这一混合音频信号经压缩处理后发送到所有终端。 • ⊙对于数据信号的处理，MCU是采用广播方式或MLP（多层 • 协议）的方式将源数据发往目的终端。

25. （3）MCU的端口连接 • 处于会议系统核心的MCU 是一个多端口连接设备，端口 • 数量的多少也是衡量MCU的重要指标，目前的MCU端口数可 • 以有几十个。MCU可以使用的最大端口数还与各个端口使用 • 的信号速率有关，在低速率情况下可以使用较多的端口。 • MCU还可以用来控制若干个独立的分组会议，只要参加会议 • 的终端总数不超过MCU的最大端口数。

26. 3、MCU的工作原理（略）

27. 包括线路单元、音频处理单元、视频处理单元、数据处理单元、控制处理单元和呼叫处理单元。包括线路单元、音频处理单元、视频处理单元、数据处理单元、控制处理单元和呼叫处理单元。 • 线路单元包括网络接口、多路分解、多路复接和呼叫控制四个部分。每个端口对应一个线路单元。网络接口部分分为输入和输出两个方向，完成输入/输出复合码流的波形转换，并完成输入码流的时钟同步。输入码流是复合H.221格式帧结构信号，多路分解部分将输入的复合码流分解为视频、音频和数据信号并分别送往相应的处理单元。多路复接部分将视频、音频和数据处理单元送来的数据进行复接，形成固定格式的帧，以便在数字信道中传输。

28. 音频处理单元完成音频信息的相关处理，主要是由语音代码转换器和语音混合模块组成。语音代码转换器从输入的复合码流中分离出语音信号并完成解码，再送到混合器进行叠加，最后送到编码部分以适当的形式进行编码并插入到输出的数据流中。音频处理单元完成音频信息的相关处理，主要是由语音代码转换器和语音混合模块组成。语音代码转换器从输入的复合码流中分离出语音信号并完成解码，再送到混合器进行叠加，最后送到编码部分以适当的形式进行编码并插入到输出的数据流中。 • 视频处理单元是当需要在同一个电视画面上看到若干会场的组合画面时，MCU视频处理器会对多路视频信号进行解码、组合和再编码处理。在一般的视频应用中，MCU只完成对视频信号的切换选择，并不进行解码处理。

29. 控制处理单元完成路由的选择，对视频信号、音频信号和数据信号进行混合和切换，并负责会议的控制。控制处理单元完成路由的选择，对视频信号、音频信号和数据信号进行混合和切换，并负责会议的控制。 • 数据处理单元在MCU中是可选单元。具有根据H.243建议的数据广播功能，以及根据H.200/A270系列建议的多层协议（MLP）来完成数据信号的处理。

30. 8.2.3 多点会议控制方式 • 目前，根据视频会议的不同需要共有5种会议控制模式：声控模式、发言人控制模式、主席控制模式、广播/自动扫描模式和连续模式。 • ⊙声控模式 • 声控模式按照“谁发言显示谁”的原则由声音信号的大小来控制图像的自动切换，适合参与会场不多的情况（十几个之内）。此种模式应用十分普遍。

31. ⊙发言人控制模式 • 在多点会议进行时，由发言人通过相应的控制按钮向MCU发出发言请求信号，MCU认可后便将其视频图像、音频信息播放到其它的会议终端，同时，MCU还要给发言人一个已经“播放”的提示。在发言人讲话完毕后，MCU自动切换回到声控模式。此种控制模式一般是与声控模式混合使用的，也只适合参与会场不很多的场合。

32. ⊙主席控制模式 • 这种控制模式将所有参与会议的会场分为主会场和分会场两种，由主会场（主席）控制整个会议的进行。主会场根据会议的进行情况来决定由哪个会场在何时发言。分会场要想发言需先向主席申请，经主席许可后才可进行有效的发言，并将发言者的会场图像传送到其它会场。主席也可点名某个分会场发言，其它分会场接收其图像和声音。主席控制模式具有很大的主动性，可以避免声控模式中由于频繁的切换造成的混乱现像，控制的效果也比较好。 • 这种方式多用于大型会议， 如各级行政会议。

33. ⊙广播/自动扫描模式 • 这种模式实际上是主席控制模式的变型。在这种模式中将电视画面设置为某个会场（称为广播机构），与会者可以定时、轮流的看到其它各个分会场。扫描的间隔和广播机构的画面要事先安排好。 • ⊙连续模式 • 连续模式将电视屏幕划分为若干个窗口，与会者可以在一个电视画面上同时看到多个分会场的情况。连续模式是一种较新的控制模式。 • 会场的控制模式是由相应的应用程序驱动的，若出现视频会议新的应用需求就会有新的控制模式给予支持。

34. 8.2.4 多媒体会议国际标准 从80年代开始，为了保证多媒体通信在不同厂家设备中传输的畅通，国际电信联盟ITU制定了与多媒体通信密切相关的7个系列标准，形成了整套视频会议标准体系。

35. 1、视频会议标准体系 • 表8-2 视频会议标准

37. 视频会议系统中的视频标准主要是H.26x系列标准。作为世界上第一个视频压缩标准，H.261于1990年12月得到批准，主要应用于可视电话和视频会议。视频会议系统中的视频标准主要是H.26x系列标准。作为世界上第一个视频压缩标准，H.261于1990年12月得到批准，主要应用于可视电话和视频会议。 • 1995年11月完成的H.263是ITU-T关于速率低于64kb/s的窄带通道视频编码建议标准，主要目的是充分利用现有的电话网来实现活动图像的传输。 • 音频会议国际标准中的音频编码主要是G.7xx系列和MPEG-1。

38. 为实现视频、音频和数据的共频带传输而制定了多路复用标准H.221和H.223。H.221是将视频、音频、数据和控制信息复用到64～1920kb/s单比特流信道的标准，H.223在H.221基础上还包括数据调制解调器。为实现视频、音频和数据的共频带传输而制定了多路复用标准H.221和H.223。H.221是将视频、音频、数据和控制信息复用到64～1920kb/s单比特流信道的标准，H.223在H.221基础上还包括数据调制解调器。 • 在视频会议系统中，数据的传输也是要有一定的标准的。T.120就是为多点会议系统和多媒体视频会议系统中发送数据而制定的标准，同时也为连接白板和非视频会议应用及文件传输提供了应用规范。 • 通信的控制标准采用的是H.245。此标准是用于H.324系统的通信控制协议，同时也是普遍适用于分组复接的多媒体通信控制协议。

39. 2、多媒体会议框架性协议标准 • 从上个世纪80年代开始，ITU针对不同的网络环境制定了 • 一系列多媒体终端建议标准，主要的框架性标准如下： • ﹡用于窄带可视电话系统和终端的H.320； • ﹡用于B-ISDN环境下的H.320终端设备适配的H.321； • ﹡用于保证业务质量的局域网多媒体通信系统和终端的H.322； • ﹡用于包交换网络多媒体通信终端的H.323； • ﹡用于电话网低比特率多媒体通信终端的H.324； • ﹡用于宽带ATM网络多媒体通信系统和终端的H.310；

40. 3、会议电视系统相关标准说明 • 上面叙述的每一个框架标准还都包括相应的H.200系列标准，H.200标准涉及相应的视频、音频、通信协议、复用/同步等，通信协议采用T.120系列标准。我们只对其中主要的H.320、H.324和H.323标准作说明。

41. （1）H.320终端 • H.320标准是在1990年开始制定的，到现在已经包括15个标准，且还在增加。 H.320是ISDN网上视频传输的标准。是利用以E1或T1为代表的直连数字中继线路连接终端会议电视设备进行实时音频、 视频和数据信息的传送。该标准包括了视频压缩编解码、音频压缩编解码、静止图像、多点会议、加密等。支持ISDN、E1、T1，带宽从64kb/s到2Mb/s，是应用较多的终端。 • 其视频编解码采用的是H.261标准，音频编解码标准采用的是G.711、G.722和G.728。

42. H.221标准是完成视频数据和音频数据的复接/分接的。它针对N-ISDN的64～1920kb/s信道的多媒体通信帧结构，规定了单路B（64kb/s）、多路B（2~6B）、单路H0（384kb/s）、多路H0（2~5H0）、H11（1536kb/s）、H12（1920kb/s）信道的帧结构。H.221标准是完成视频数据和音频数据的复接/分接的。它针对N-ISDN的64～1920kb/s信道的多媒体通信帧结构，规定了单路B（64kb/s）、多路B（2~6B）、单路H0（384kb/s）、多路H0（2~5H0）、H11（1536kb/s）、H12（1920kb/s）信道的帧结构。 • 控制方面的建议是采用H.242、H.243、H.230标准，所实现的主要控制功能是：能力交换与通信模式的确定、模式转换、远程应用功能控制和多点会议控制。 • H.231是用于2Mb/s数字信道的视听系统多点控制单元，规定了视频、音频、信道接口、数据时钟及MCU的最大端口数等接口标准。 • H.242为使用2Mb/s数字信道视听终端间的通信规程。 • H.243为利用2Mb/s信道在多个视听终端与MCU之间的通信规程。其控制的实时性比较好，但对数据的多点控制能力较弱。其终端结构框图如图8-3所示。

43. 图8-3 H.320终端设备结构

44. （2）H.324标准 • H.324标准是低比特率的多媒体通信终端标准，是在PSTN网上实现的多媒体可视电话。 • 典型的H.324终端系统包括终端设备、调制解调器、通信网络PSTN、多点控制单元MCU等。 • 视频编码标准采用的是H.261/H.263，音频编码标准采用的是H.723.1。

45. T.120是一个系列标准，是为支持在多点和多媒体会议系统中发送数据而制定的。 • H.324在成帧时使用的复用/分接标准是H.223。在终端中使用的调制解调器协议是V.25ter、V.8、V.34，V.25ter用于串行同步的自动拨号和控制，V.8是在PSTN上开展数据传输会话的规程，V.34是为点对点租用电话电路上速率为33.6kb/s数据信号操作的规程。

46. 图8-4 H.324终端设备结构

47. （3）H.323标准 • 该标准是由ITU-T制定的一种基于包交换的多媒体通信标准，用于工作于包交换网络上视听多媒体终端，其适用的通信网络包括各种局域网（以太网、快速以太网、令牌环网和FDDI），现在主要指IP网。H.323终端提供实时的双向视频、音频和数据的通信能力。

48. 图8-5 H.323终端结构

49. 音频标准是H.323中的必选项，且允许的编码标准比较多，包括G.711、G.722、G.728、G.729和G.723.1。H.323终端具有音频混合功能，可以接收多个音频信道，此时需要使用H.245的功能来表明同时有几个音频流可以提供给编解码器。音频数据流根据H.225.0的标准格式进行传输。音频标准是H.323中的必选项，且允许的编码标准比较多，包括G.711、G.722、G.728、G.729和G.723.1。H.323终端具有音频混合功能，可以接收多个音频信道，此时需要使用H.245的功能来表明同时有几个音频流可以提供给编解码器。音频数据流根据H.225.0的标准格式进行传输。 • 视频标准在H.323中是可选项，可以是H.261或H.263。 • H.225.0和H.245是H.323系统的核心协议。 • H.225.0主要的工作是进行呼叫控制，定义会议信道结构和帧格式。 • H.245主要是用于通信信道控制。通信呼叫、能力交换、命令和指示信令、逻辑通道控制等则由H.245定义。

50. 在H.323视频会议系统中对实时性有很高的要求，为此，要采用实时传输协议RTP和实时传输控制协议RTCP进行传输。在传输之前，需要进行RTP分组封装。RTP采用层次结构，主要包括3个部分：RTP头部、H.261头部和H.261数据。在H.323视频会议系统中对实时性有很高的要求，为此，要采用实时传输协议RTP和实时传输控制协议RTCP进行传输。在传输之前，需要进行RTP分组封装。RTP采用层次结构，主要包括3个部分：RTP头部、H.261头部和H.261数据。 • H.225.0完成包交换网络上的视频、音频、数据及控制信号等数据流的封装和同步。