PC机的MPEG-4编码原理及实现

PC机的MPEG-4编码原理及实现

日益增长的多媒体通信量和有限的通信带宽之间的矛盾日益突出。为了减小传输的数据量，国际电信联盟和MPEG标准组织都制定过各自的视频压缩标准。其中，最新MPEG-4标准以其高压缩率，支持低码率传输和基于对象编码等优点，而在传真、视频点播、电视会议、医用图像传输等领域广泛应用。

MPEG-4继承了MPEG-2中档次和等级概念，共有视频档次、音频档次、图形档次和场景描述档次共四类。档次是针对某一特定的应用而采用的编码工具，它是MPEG-4提供的工具集中一个子集，不同的档次就是不同的子集。每一个档次分为一个或多个等级，等级则定义了比特流参数的规格，实际上是限定了解码一个编码序列所应具备的性能。

MPEG-4的独特之处在于支持基于内容的编解码，为此引入了视听对象AVO(Audio／Video Object)的概念。AVO可以是一幅图像中一个小提琴或琴声等，每个AVO可独立编码，但相互之间又存在着时空结构关系，因此编码时，必须传送编码对象的组成结构信息体“场景描述”，以表示场景中各AVO之间的时空结构关系。解码时根据此“场景描述”对图像和声音的有关内容进行编辑和操作。视听对象还可以是一个矩形帧，从而使MPEG-4兼容原来的MPEG标准。视听对象中的视频对象VO通常由3类信息来描述，即运动、形状和纹理信息。

1 编码原理

MPEG-4编码器主要由形状编码、纹理编码和运动编码三部分组成。帧格式分为I-VoP，P-VOP和B-VOP。这里只讨论I-VOP和P-VOP。I-VOP采用纹理编码来消除一帧图像数据间的空间冗余度；P-VOP是参考前一帧图像，并采用两种参数来编码。一种是当前要编码的图像与参考图像之间的差值；另一种是运动矢量。编码器的具体结构模块如图1所示。


1.1 形状编码

形状编码主要用于记录从图像序列中提取VOP的形状信息，该信息分为二值形状信息和灰度形状信息。二值形状信息用0和1两个值表示VOP的形状；灰度形状信息用0～255表示VOP区域的不同透明度。在编码时，当提取的VOP具有非矩形形状时，需要对其进行边界扩展，使其矩形边界都是16的倍数，同时保证扩展后的面积最小，然后进行形状编码；当提取的VOP为矩形时(矩形的长度和宽度都是16的倍数)，形状编码就会被屏蔽。

1.2 纹理编码

纹理编码主要对I-VOP内的图像像素或P-VOP内的差值像素进行编码，包括DCT、量化、DC和AC预测、熵编码等过程，最大程度地去除当前VOP内各像素之间的空间冗余度。

视频的第一帧图像采用I-VOP格式编码，其余的帧采用I-VOP，还是P-VOP格式则受两个因素制约。其用户会按照IPPPIPPPI的方式设置当前帧所采用的格式；二是已经人为地设置了当前帧为P-VOP，通过运动估计计算mad_P的值，如果mad_P满足下列两个条件之一，则当前帧就采用P-VOP编码格式，否则采用I-VOP编码格式。

条件1：mad P<50／3；

条件2：mad P<50，并且IntraMBRatio<0.4。其中，IntraMBRatio为当前帧中采用MBM_INTRA预测模式的宏块占总宏块的比重。

纹理编码中的DCT和量化模块比较简单，这里略过，重点介绍剩下的纹理编码模块。

1.2.1 DC和AC预测

8×8块经过DCT和量化后，系数排列呈现以下的规律，即非零系数集中在左上角，大部分的0系数集中在偏离DC系数向右和向下的位置上。特别是DC系数、第一行和第一列AC系数，数值非零且较大，如果能用较小的数值代替它们，会减少编码后的位流数，于是产生DC和AC预测。

在MPEG-4中，通常把一个宏块分为6个8×8块进行DC和AC预测。

首先对8×8块进行DC预测。如图2所示，X表示当前的8×8块；A，B和C表示X的相邻8×8块，其位置分别位于X的左边、左上角和上边。对X进行DC预测就是采用相邻块的DC系数值预测X的DC系数值，关键是选择哪个相邻块的DC系数。



程序采用了以下策略选取相邻块。定义块A，B，C，X的DC系数值分别为DC_A，DC_B，DC_C，DC_X。

如果DC_A与DC_B的差小于DC_B与DC_C的差，则DC_A与DC_B在数值上比较接近，即在垂直方向上的数值比水平方向上更接近，所以采用DC_C来预测DC_X；反之，在水平方向的数值比较接近，即采用DC_A来预测DC_X。

将当前块的DC系数与用来预测的相邻块的DC系数，经过特定处理后做差，其差存放到当前块的DC位置上，同时记录此DC系数的预测方向。

AC预测主要是针对8×8块的第一行或者第一列AC系数，其预测方向取决于当前块DC系数的预测方向。如图2所示，如果之前DC预测为水平预测，则当前块X的第一列AC系数采用A块的第一列AC系数预测，同时将X的第一列7个AC系数各自取绝对值后相加到变量S1(S1的初始值为0)上。将当前块第一列AC系数与用来预测的相邻块A的第一列AC系数做差，其7个差值存放到当前块的第一列AC系数的位置上，同时将7个差值各自取绝对值后相加到变量S2(S2的初始值为0)上。如果之前的DC预测为垂直预测，则只进行当前块X的第一行AC系数预测，其预测步骤同第一列AC系数的预测一样。

有时AC预测会产生较大的预测误差，并没有达到节省位流的目的，因此必须判断AC预测的有效性。在单个8×8小块的AC预测中，用S1记录了此小块的第一行或第一列AC系数的绝对值之和，用S2记录了第一行或第一列预测后7个差值的绝对和。以一个宏块的6个8×8小块为单位，将各个小块的S1与S2之差相加，得到值S。如果S非零，则此宏块进行AC预测，其标志ACpred_flag置1，否则此宏块不进行AC预测，ACpred_flag置0。

1.2.2 之字型扫描

DC和AC预测之后，对8×8块的系数进行之字形扫描，共有Zigzag，Zigzag_v(交替垂直扫描)和Zigzag_h(交替水平扫描)三种扫描方式。采用何种扫描方式由三个要素决定，即帧内还是帧间预测，AC预测标志ACpred_flag的值，DC系数的预测方向。

对于帧内预测的宏块，如果AC预测标志ACpredflag为0，则此宏块中的6个8×8块都使用Zigzag扫描；如果AC预测标志为1，则此宏块中的6个8×8块将根据各自的DC预测方向决定AC系数的扫描方向。如果DC预测为水平预测，则此8×8块使用Zigzag_v扫描方式扫描系数，否则使用Zigzag_h扫描方式。

对于帧间预测的宏块，其每个8×8块统一采用Zigzag扫描方式扫描系数。

8×8的系数矩阵经过之字型扫描后，大部分非零系数集中在一个一维数组的前部，大部分零系数集中在此一维数组的后面，根据此特点便产生了游程编码。

1.2.3 游程编码和熵编码

所谓游程编码就是对8×8系数矩阵的AC系数进行特定的处理，使其成为个数更少的三维矢量(Last，Run，Level)。其中，Level代表非0系数的大小。Run代表Level前面连续0的个数。Last代表终止标志：其值为0时，表示Level后还有不为0的系数；其值为1时表示该系数是最后不为0的数；余下的系数全为0。游程编码生成三维矢量，压缩了数据量，然后根据Last，Run和Level的不同组合作为索引，找到对应Huffman编码表中的码字，生成码流。

1.3 运动编码

运动编码对当前P-VOP和参考VOP进行运动估计与补偿，减小帧间的时间相关性，实现压缩。

通常采用块匹配法进行运动估计。块匹配法就是针对当前帧中某一特定大小的图像块，从参考帧的一定区域中找出该图像块绝对误差和(Sum of AbsoluteDifference，SAD)的最小匹配块，利用此匹配块来预测当前块。图像块的绝对误差和指两个大小相同的图像块的中像素差的绝对值之和。SAD_16×16函数实现当前宏块和参考宏块间的绝对误差和；SAD_8×8函数实现当前8×8块与参考8×8块间的绝对误差和。

确定了块匹配准则后，就要进行最优匹配点的搜索，MPEG-4校验模型最后采用钻石搜索法(Diamond Search，DS)。钻石搜索法是一种利用搜索模板的形状和大小，对运动估计算法速度及精度产生重要影响的快速搜索法。选用了两种形状和大小都不相同的搜索模板：一种是大钻石搜索模板(Large DiamondSearch Pattern，LDSP)，它有9个候选位置：(0，0)，(0，2)，(1，1)，(2，0)，(1，-1)，(0，-2)，(-1，-1)，(-2，0)和(-1，1)。具体模板如图3所示。一种是小钻石搜索模板(Small Diamond Search Pattern，SDSP)，它包含5个候选位置：(0，0)，(0，1)，(1，0)，(0，-1)和(-1，0)。具体模板如图4所示。



钻石搜索过程如下：以当前帧的当前宏块的左上角起点坐标为大模板的原点(0，0)，在参考帧的搜索范围内，分别以大模板的(0，0)，(0，2)，(1，1)，(2，0)，(1，-1)，(0，-2)，(-1，-1)，(-2，0)和(-1，1)像素点作为宏块的左上角起点，将该宏块和当前帧的宏块做SAD16×16运算，选择SAD16×16值最小的左上角起点作为暂时的最佳匹配点，此点与当前宏块左上角起点之间的位移就是运动矢量。判断此运动矢量是否适合特定的规则，如果不适合，则进行新一轮的大钻石模板搜索，直到找到适合条件的运动矢量。然后再以大钻石模板搜索的最佳匹配点为中心点(0，0)，用小钻石搜索模板进行(0，1)，(1，0)，(0，-1)和(-1，0)四个参考点的精确搜索，搜索到的SAD16×16值最小点就是最终的最佳匹配点，最佳匹配点与当前宏块的左上角起点之间的位移就是最终的运动矢量。

以上是基于宏块的全像素搜索，还可以选择是否进行基于8×8块的全像素搜索。利用已经得到的基于宏块的运动矢量，找到基于宏块的最佳匹配点。此匹配点为中心(0，0)，其他匹配点为(-1，-1)，(0，-1)，(1，-1)，(-1，0)，(1，0)，(-1，1)，(0，1)，(1，1)，分别以这9个匹配点作为8×8像素块的左上角起点，将该8×8块和当前帧的8×8块做绝对差值和的运算，选择SAD_8×8值最小的左上角起点作为最佳匹配点，以找到最佳运动矢量，得到宏块内每个8×8亮度块的运动矢量和SAD_8×8值。将4个SAD_8×8的和与SAD_16×16做比较，将较小值按照一定的规则处理，从而判断当前宏块的预测模式为帧内或帧间预测。

如果采用帧间预测，进一步采用半像素搜索。首先对整个参考帧进行双线性差值，则参考帧的面积变为原来的4倍，然后在特定的搜索范围内搜索出更精确的运动矢量，最后根据参考图像的亮度信息、色度信息和运动矢量做运动补偿。

如果采用帧内预测，不再对当前宏块进行任何运动估计，相应运动补偿后的参考宏块数值为0。

最后用当前帧减去运动补偿后参考图像得到差值，将差值数据进行纹理编码；对每个宏块的运动矢量进行预测并求出差分值，对差分值进行位流转换并输出。

2 编码器的实现和测试

根据图1并结合MPEG-4编码器各个模块的实现原理，进行编码器主函数的编写和调试。初步确定编码器的主函数应包括以下三部分：

初始化部分由于参考代码中存在RGB到YUV的图像格式转换函数(本文未介绍)，则应开辟相应的存储BMP和YUV图像的空间；还要开辟空间存放编码器生成的压缩文件；必须设置编码器的编码参数。

编码处理部分此部分是通过循环编码各帧图像来实现的，读入一帧图像后，判断是采用I帧还是P帧，然后输出VOP头信息，进行当前VOP的编码并输出位流信息到缓冲器中，最后利用fwrite函数形成磁盘文件。

释放资源前面两个阶段开辟的内存空间必须释放掉，整个视频的编码过程结束。

结合参考的编码主函数，调试并运行编码器，生成divx文件，相应地调试出解码器。逐一更改编码器的量化参数QP、帧率、输出码率和I帧间隔参数，测试出它们对编码效果的影响，如量化参数QP、帧率和I帧间隔参数与压缩比成正比，输出码率与压缩比成反比。经过综合测试，在保证解码图像质量的前提下，当QP为8，帧率为30 f／s，输出码率为400 000 b／s，I帧间隔为3时，压缩比为58.8，此时达到最好的压缩效果。当然，如果对解压后的视觉效果要求不高的话，压缩倍数还可以继续提高。

3 结语

所讲的MPEG-4是MPEG-4标准的Part2部分，其编解码器已经获得了许多厂商的支持。目前，作为MPEG-4 Part10的H.264也已经推出并发展，相比MPEG-4 Part2，H.264在同样质量下，其码率能降低50%左右，说明MPEG-4一直在发展。随着基于内容的编码技术的实用化发展，MPEG-4将有更为广泛的应用前景。