相关专题：
南京邮电学院信息工程系 潘 毅 龚建荣
摘 要：本文介绍了MPEG-4的一种可分级视频编码方案：精细可分级性（FGS）。FGS把视频流编码成两个比特流：一个基本层（BL）和一个增强层（EL）。根据可获的信道带宽，或解码器的容量，一部分的EL作为BL的补充被传输，从而使无线信道上传输的视频质量得到优化。同时还介绍了FGS的两种先进机制：频率权重和选择增强。
一、引言
随着移动通信的快速发展，移动多媒体成为移动通信发展的新热点，第三代移动通信（3G）标准的制订使得通过无线信道传输视频信息成为可能。与以往的压缩标准相比，新的多媒体信息压缩传输标准MPEG-4提供了一个更高的压缩效率，速率上满足了要求。然而无线信道的不可靠传输会将随机误码引入比特流中，多经传播也会导致突发误码。MPEG-4提供了强健的纠错能力，它对误码恢复技术(包括再同步、数据恢复和错误隐藏)都进行了优化，并且提供了1套明确的工具。实际上，在无线应用中无线链路的可用带宽是有限的，并且会因为网络流量而在一个较宽的范围内变化。在这种情况下，编码器不再知道信道的容量，不再使视频质量在一定比特率下达到最优。因此，无线的视频编码是在一段给定的比特率范围内而不是原来的一个给定的比特率。传统的视频编码是对于给定比特率的视频进行编码，但对于无线应用传统的视频编码要有所改变。可分级的视频编码能解决此类问题。
MPEG-4的可分级视频编码（分为SNR可分级、时间可分级、空间可分级）是一种灵活的视频编码方案，适用于应用要求和环境因素在较大范围内变化的情况，因而获得广泛的应用。在上述3种可分级视频编码基础上，MPEG-4采纳了一种更好的可分级的视频编码方案作为标准，即精细可分级视频编码（FGS）。在视频比特流变化较大情况下，该方案在基本层基础上加上增强层，从而在无线信道容量有较大变化的情况下还能获得较好的视频质量。本文对3种可分级视频编码作了比较，主要介绍FGS的编码方法及其改进方案。
二、 分级视频编码
1.可分级编码的概念
在传统的视频编码中，视频数据可以压缩到小于或接近信道容量的比特率，解码器根据从信道接收到的所有比特重组视频信号。但是在这种模型中，必须满足的条件是编码器必须知道信道的容量。实际上，在无线应用中由于信道容量的可变性，编码器不再知道信道的容量，不能使视频质量在该比特率时达到最优。因此，应用于无线的视频编码是在一段给定的比特率范围内尽量使视频质量达到最优而不是原来的给定的一个比特率。解码器以能够重组最优质量视频的比特率对视频流进行部分解码。可变的视频编码能解决此类问题。
可分级编码的结构框架，可分级的编码器产生多个的子流。其中的一个压缩子比特流是基本子流，它能单独的解码，提供较粗糙的视频质量。另一个压缩子流被称为增强子流，仅能和基本子流一起编码，提供更优的视频质量。完整的比特流（包括所有的子流）能提供更高的质量。
2.分级视频编码的分类
(1)SNR可分级视频编码
SNR（信噪比）的可分级性是以相同的帧率和空间分辨率把原始视频数据压缩成两层，但是它们的量化精度不同。首先，基本层比特流经过基本层可变长解码器（VLD）解码。然后被反量化产生重建的DCT系数。增强的比特流在增强层进行可变长解码，DCT系数的增强残数在增强层反量化时产生。因此，通过增加基本层的重建DCT系数和增强层的DCT残数可获得更高精确度的DCT系数。具有更高精确度的DCT被传递给反DCT单元产生重建图像的主要残数，这些残数被加到从前一帧来的运动补偿块。
(2)时间可分级视频编码
时间可分级性是把原始视频数据以相同的空间分辨率，不同的帧率压缩成两层。基本层以低帧率编码，相反增强层以较高的帧率编码提供缺少帧的信息。因此时间可分级的编码效率较高，接近于不可变的编码。在基本层只采用P帧预测，而在增强层采用来自基本层的P帧或B帧或者来自增强层的P帧进行预测。
(3)空间可分级编码
时间可分级性是把原始视频数据以相同的帧率，不同的空间分辨率压缩成两层。基本层以较低的空间分辨率编码。重建的基本层的图像进行超抽样以形成在增强层高分辨率图像的预测。如果基本层的空间分辨率和增强层的相同，也就是超抽样系数为1，这时空间可分级解码器被看成是一个SNR可分级解码器。
2.精细可分级视频编码 (FGS)(fine granularity scalability)
(2)精细可分级视频编码原理
FGS已被标准化成为MPEG-4的一部分。MPEG-4的FGS编码方式是把视频流编码成两个比特流：一个非分级运动补偿的基本层（BL），和一个精细可分级的增强层（EL）视频流。根据可获的信道带宽，或解码器的容量，仅有一部分的EL和BL一起得到传输。FGS的帧结构也有一系列丰富的工具，目的在于提高客观和主观的FGS的视频编码方法的质量
FGS编码器把原始视频流压缩成两个子流，一个基本层比特流和一个增强层比特流。基本层能单独进行解码提供较粗糙的视频质量。增强层仅能和基本层一起编码，做为补充提供更优的视频质量。和其他的可分级编码方法不同，FGS编码器对增强层视频流采用比特平面编码。正如我们所知，在传统的DCT编码，量化的DCT系数采用游程（run-level）编码。在一个非零的DCT系数前的连续为零的系数的数目被称为“游run”，而非零DCT系数的绝对值被称为“程level”。比特平面编码方式和游程编码方式的最大区别在于，比特平面编码方式把每个量化的DCT的系数看成几个比特中的一个二进制整数，而不是一个确定值的十进制整数。因此采用比特平面编码方式的任意编码比特能重建DCT的系数。采用比特平面编码方式作为补充，FGS可获得对增强层的连续的比特控制。这是因为增强层比特流能在任意地方被截断从而获得对象的比特流。任意的从增强层接收的比特能用来提高视频的质量，这在其它的可分级视频编码方式是不可能的。这也是FGS优其它可分级编码方式的原因。
进一步提高FGS增强视频的性能，两个先进的机制被FGS采用，即频率权重和选择增强。前者意味不同的频率成分采用不同的优先权，因此更多重要的视频频率成分的比特比其他频率成分的优先进入编码比特流。与前者相似，后者是在一帧中对不同的空间位置采用不同的优先权，因此一帧中越重要的视频部分有越多的比特优先于该帧的其他部分进入编码比特流。
(2)频率权重（frequency weighting）
频率权重（FW）挖掘人类视频系统对各种频率的敏感性的差异，提高在低传输比特速率情况下FGS的可视质量。
正如我们所知，不同的DCT系数可获得不同的视频的质量。通常低频的DCT系数的精确度比高频的DCT系数更重要。更多比特的低频DCT系数可获得更好的视频质量。因此，低频DCT系数优先于高频的进入增强比特流，因此它们更容易被包括在一个被截断的比特流。为此，频率重量机制被包括在FGS中。
频率权重采用一个FW矩阵 选择在每个DCT块中重要的DCT系数进行重新加权，因此进行比特平面编码的参数的重要性通过权重矩阵得到了优先权。每个FW矩阵的元素 指明在该块中相应的FGS的 DCT参数比特层变换的数目。每个比特平面的变换等价于FGS的DCT参数乘上权值2。
(3)选择增强（selective enhancement）
对于一个视频帧，它的某一部分可能比其他部分在视觉效果上更重要。因此至关重要的比特会得到优先权，以致它们更有可能被包括进被截断的比特流。
在MPEG-2，MPEG-4和H.26L标准中，通过控制在微块中的量化系数，自适应量化(AQ)被用来提高编码的视频质量。AQ在比特层信号必须通过不同的一系列技术获得。基于FGS的AQ通过在一个FGS增强层帧中选择微块的比特平面变化而获得。比特平面变换等于乘于因子2。
在编码器侧，基于选择增强的比特平面变换，在冗余FGS信号得到优先扫描和比特平面的熵编码。在熵解码和优先计算FGS冗余信号的反DCT后，在解码器进行比特平面的反变换。
强调SE是一个相关过程是很重要的。仅有有限数目的微块将被选择增强，目的是在低比特率能获得一些视频质量的改进。更进一步，基于前面介绍的SE变换因子（如se）和优先级高的比特层被编码（如N’），采用SE后可以降低FGS编码器的率失真。然而FGS的SE的目的不是提高率失真的性能，而是提高需要的视频的质量。在微块基础上加上SE，已选择的DCT系数的比特平面变换对FGS编解码系统能获得更进一步的视频质量的改进。
三、FGS的一些改进方案
为了能应用于一个比特流变化在较大的范围情况，FGS和其他的可分级视频编码结合起来是必要的。下面提出3个改进方法。
1.1FGST方法
FGST指FGS的时间可分级性，它是把FGS和时间可分级相结合，因此不但量化精确度可分级，而且时间分辨率（帧率）也是可分级的。在该方案中，由于时间增强帧的时间预测在基本层中是被限制的，每个时间增强帧的质量不会被其他的帧影响，所以在时间增强帧中采用比特面对完整的DTC参数编码是没有问题的。对于FGST，不仅时间增强帧能采用规则的时间可分级，而且量化精确在每个时间增强帧中是可分级的。因此在时间增强帧中采用全比特面编码的编码效率比规则时间可分级的DCT参数编码高。这种方法补偿在增强层中不允许预测而引起的编码效率损失。
2.FGSS方式
与FGST类似，FGSS指FGS的空间可分级性，是将空间可分级性与FGS相结合。在FGSS方案中，基本层仍然以传统的空间编码方式来编码。然而，增强层采用比特平面编码技术。图11说明了FGSS的编码方案的结构。从图中看出输入的视频序列首先被亚抽样（down-sampled），并且采用任何一种现有的非可分级的编码技术以低的分辨率压缩成一个给定比特率视频流。在传统的空间可分级编码中，视频将被超抽样（up-sampled）为增强层编码提供高的分辨率。然而，对于FGSS，如果基本层的比特率很低，几个FGS较低的增强层首先被用来在低分辨率情况下增强视频质量。如果在基本层中低分辨率的视频质量足够好，视频流将超抽样以便在增强层中空间分辨率能立即调整到高的分辨率。因此低分辨率的增强层是可选的，它依赖一些因素，如基本层的比特率，序列内容，应用要求等等。
3.PFGS方法
PFGS方法，即渐进FGS，具有FGS的所以特性，如精细比特率可分级性，信道适应性和容错性。相反，PFGS在预测增强层编码时采用多个高质量的参考，而不是总在基本层上采用。使用高质量的参考使运动估计更精确，因此PFGS能提高编码效率。但是增强层的比特比基本层的更容易丢失，因此它会使编码器不可靠。PFGS提出一种解决如图12所示的问题的方法，它说明了PFGS的框架结构。我们可以看到预测路径从低层到高层要经过几个帧的，这使得PFGS对容错性具有鲁棒和高质量。例如，如果增强层的第一帧被破坏或没有受到，增强层的第2，3，4帧将会因为丢失预测参考而受影响。但第五帧后就会恢复正常，因为从第一帧的低层到第五帧的高层有一条预测路径，它使该方案具有鲁棒性。
四、结束语
第三代移动通信(3G)技术日益成熟并逐步走向商用化，相对第二代移动通信系统，3G的最鲜明的特点是提供高速无线传输速率，为多媒体业务提供必要的带宽。MPEG-4精细可分级视频编码技术使视频在无线信道传输情况下还能获得较好的视频质量，虽然它已制定成标准，但仍需要进一步完善。
作者简介
潘毅：南京邮电学院信息工程系硕士研究生，研究方向：信息网络与多媒体通信。
龚建荣：南京邮电学院信息工程系副教授，博士，研究生导师，研究领域：信息网络，多媒体通信，FPGS/CPLD.ASIC设计。
----《中国多媒体视讯》
