新一代的视频编码标准H.264

admin管理员组

文章数量:1535375

2024年6月14日发(作者：)

新一代的视频编码标准H.264

文 / 摘 要：H.264是国际电联最新通过的新一代甚低码率视频编码标准。本文旨在阐述H.264视频编码标

准的关键技术，并介绍了其在视频会议中的应用。

关键词：H.264 视频编码 多帧预测 视频会议

一、引言

ITU-T和ISO/IEC JTC1是目前国际上制定视频编码标准的正式组织，ITU-T的标准称之为建议，并命名为H.26x

系列，比如H.261、H.263等。ISO/IEC的标准称为MPEG-x，比如MPEG-1、MPEG-2、MPEG-4等。H.26x系列标准

主要用于实时视频通信，比如视频会议、可视电话等；MPEG系列标准主要用于视频存储(DVD) 、视频广播和视频

流媒体（如基于Internet、 DSL的视频，无线视频等等）。除了联合开发H.262/MPEG-2标准外，大多数情况下，

这两个组织独立制定相关标准。自1997年，ITU-T VCEG与ISO/IEC MPEG再次合作，成立了Joint Video Team (JVT)，

致力于开发新一代的视频编码标准H.264。1998年1月，开始草案征集；1999年9月，完成了第一个草案；2001

年5月，制定了其测试模式TML-8；2002年6月，JVT第5次会议通过了H.264的FCD板；2002年12月，ITU-T

在日本的会议上正式通过了H.264标准，并于2003年5月正式公布了该标准。国际电信联盟将该系统命名为

H.264/AVC，国际标准化组织和国际电工委员会将其称为14496-10/MPEG-4 AVC。

二、H.264标准概述

H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多

的选项，获得比H.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，

有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输（存储）场合的需

求。

技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与H.263 v2(H.263+)或MPEG-4简单类

(Simple Profile)相比，H.264在使用与上述编码方法类似的最佳编码器时，在大多数码率下最多可节省50%的

码率。H.264在所有码率下都能持续提供较高的视频质量。H.264能工作在低延时模式以适应实时通信的应用(如

视频会议)，同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。H.264

提供包传输网中处理包丢失所需的工具，以及在易误码的无线网中处理比特误码的工具。

在系统层面上，H.264提出了一个新的概念，在视频编码层(Video Coding Layer, VCL)和网络提取层(Network

Abstraction Layer, NAL)之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型

网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。H.264的系统编码框图如图

1所示。 图1 H.264系统框图

三、H.264标准的关键技术

1.帧内预测编码

帧内编码用来缩减图像的空间冗余。为了提高H.264帧内编码的效率，在给定帧中充分利用相邻宏块的空间相关

性，相邻的宏块通常含有相似的属性。因此，在对一给定宏块编码时，首先可以根据周围的宏块预测（典型的是

根据左上角的宏块，因为此宏块已经被编码处理），然后对预测值与实际值的差值进行编码，这样，相对于直接

对该帧编码而言，可以大大减小码率。

H.264提供6种模式进行4×4像素宏块预测，包括1种直流预测和5种方向预测，如图2所示。在图中，相邻块

的A到I共9个像素均已经被编码，可以被用以预测，如果我们选择模式4，那么，a、b、c、d4个像素被预测

为与E相等的值，e、f、g、h4个像素被预测为与F相等的值，对于图像中含有很少空间信息的平坦区，H.264

也支持16×16的帧内编码。 图2 帧内编码模式

2.帧间预测编码

帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。H.264的运动补偿支持以往的视频编码标准中的

大部分关键特性，而且灵活地添加了更多的功能，除了支持P帧、B帧外，H.264还支持一种新的流间传送帧—

—SP帧，如图3所示。码流中包含SP帧后，能在有类似内容但有不同码率的码流之间快速切换，同时支持随机

接入和快速回放模式。 图3 SP-帧示意图H.264的运动估计有以下4个特性。

(1)不同大小和形状的宏块分割

对每一个16×16像素宏块的运动补偿可以采用不同的大小和形状，H.264支持7种模式，如图4所示。小块模式

的运动补偿为运动详细信息的处理提高了性能，减少了方块效应，提高了图像的质量。 图4 宏块分割方法

(2)高精度的亚像素运动补偿

在H.263中采用的是半像素精度的运动估计，而在H.264中可以采用1/4或者1/8像素精度的运动估值。在要求

相同精度的情况下，H.264使用1/4或者1/8像素精度的运动估计后的残差要比H.263采用半像素精度运动估计

后的残差来得小。这样在相同精度下，H.264在帧间编码中所需的码率更小。

(3)多帧预测

H.264提供可选的多帧预测功能，在帧间编码时，可选5个不同的参考帧，提供了更好的纠错性能，这样更可以

改善视频图像质量。这一特性主要应用于以下场合：周期性的运动、平移运动、在两个不同的场景之间来回变换

摄像机的镜头。

(4)去块滤波器

H.264定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直块边缘，大大减少了方块效应。

3.整数变换

在变换方面，H.264使用了基于4×4像素块的类似于DCT的变换，但使用的是以整数为基础的空间变换，不存在

反变换，因为取舍而存在误差的问题，变换矩阵如图5所示。与浮点运算相比，整数DCT变换会引起一些额外的

误差，但因为DCT变换后的量化也存在量化误差，与之相比，整数DCT变换引起的量化误差影响并不大。此外，

整数DCT变换还具有减少运算量和复杂度，有利于向定点DSP移植的优点。

图5 整数变换的变换矩阵

4.量化

H.264中可选32种不同的量化步长，这与H.263中有31个量化步长很相似，但是在H.264中，步长是以12.5%

的复合率递进的，而不是一个固定常数。

在H.264中，变换系数的读出方式也有两种：之字形(Zigzag)扫描和双扫描，如图6所示。大多数情况下使用简

单的之字形扫描；双扫描仅用于使用较小量化级的块内，有助于提高编码效率。 图6 变换系数的读出方式

5.熵编码

视频编码处理的最后一步就是熵编码，在H.264中采用了两种不同的熵编码方法：通用可变长编码（UVLC）和基

于文本的自适应二进制算术编码（CABAC）。

在H.263等标准中，根据要编码的数据类型如变换系数、运动矢量等，采用不同的VLC码表。H.264中的UVLC码

表提供了一个简单的方法，不管符号表述什么类型的数据，都使用统一变字长编码表。其优点是简单；缺点是单

一的码表是从概率统计分布模型得出的，没有考虑编码符号间的相关性，在中高码率时效果不是很好。

因此，H.264中还提供了可选的CABAC方法。算术编码使编码和解码两边都能使用所有句法元素(变换系数、运动

矢量)的概率模型。为了提高算术编码的效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的

统计特性。内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存在于符号间的相关性可以通过选

择目前要编码符号邻近的已编码符号的相应概率模型来去除，不同的句法元素通常保持不同的模型。

四、H.264在视频会议中的应用

目前，大多数的视频会议系统均采用H.261或H.263视频编码标准，而H.264的出现，使得在同等速率下，H.264

能够比H.263减小50%的码率。也就是说，用户即使是只利用 384kbit/s的带宽，就可以享受H.263下高达

768kbit/s的高质量视频服务。H.264 不但有助于节省庞大开支，还可以提高资源的使用效率，同时令达到商业

质量的视频会议服务拥有更多的潜在客户。

目前，已经有少数几家厂商宣布其视频会议产品支持H.264协议，厂商们致力于普及H.264这个全新的业界标准。

随着其它视频会议方案厂商陆续效仿他们的做法，我们必将能全面体验H.264视频服务的优势。

3.H.264压缩性能和应用分析

摘 要：随着ITU-T、MPEG标准组织分别批准了H.264标准，具有较好压缩性能的H.264标准得到了业界的广泛

关注，其应用前景非常广阔。本文主要介绍、分析H.264标准的压缩性能比较和应用情况.

关键词：视频压缩 H.264 MPEG

一、概述

视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264和由MPEG制定的MPEG-1、MPEG-2、MPEG-4，

其中H.262/MPEG-2和H.264/MPEG-4 AVC由ITU-T与MPEG联合制定。

视频压缩系列标准H.26x主要用于视频通信应用中，例如，基于ISDN网络的H.320框架标准的视频标准为H.261、

H.262和H.263，基于LAN网络的H.323和基于PSTN网络H.324框架标准中的视频标准为H.261和H.263。视频

压缩系列标准MPEGx主要用于视频存储播放应用中，例如，VCD中的视频压缩标准为MPEG-1，DVD中的视频压缩

标准为MPEG-2。MPEG-4和H.264标准则可以广泛应用于多种领域中，MPEG-4标准已在无线视频通信和流媒体应

用中得到采用，由于H.264在压缩性能方面所具有的优势，H.264将会在实时视频通信、广播电视、视频存储播

放等领域中得到应用。本文将主要介绍、分析H.264标准的压缩性能比较和应用情况.

二、H.264压缩性能

与以前的视频压缩标准H.261、H.263、MPEG-1、MPEG-2、MPEG-4类似，H.264也是采用帧间预测和帧内变换的混

合编码方法来消除或减少图像中的信息冗余。

但是，H.264采用了许多新技术以提高压缩效率，其主要技术特点包括：

(1)4%4类DCT整数变换以及相应的量化方法；

(2)7种宏块预测模式：16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4，运动估计和补

偿更加精确；

（3）多参考帧；

（4）帧内预测；

（5）改进的去块效应滤波器（Deblocking filter）；

（6）增强的熵编码方法UVLC（Universal VLC）、CAVLC（Context adaptive VLC）和

CABAC；

（7）1/4像素插值；

（8）宏块级逐行、隔行自适应编码MBAFF。

正是采用了这样一些切实有效的技术方法，H.264才具有了前所未有的高压缩效率，在相同的图像质量下所许的

码流量更低，H.264与H.263、MPEG-2和MPEG-4的码率节省率比较如图1所示。

图 1 码率节省率比较

从图2可以看出，在相同的图像质量下，H.264所需码率约为MPEG-2的36%、H.263的51％、MPEG-4的61％，

并且随着今后实现优化性工作做得更好，其压缩性能方面的优势将更为突出。这种高压缩效率可以给视频实时通

信、数字广播电视、视频存储等应用带来很多好处，提高人们的视频欣赏质量。当然，与这种高压缩效率相伴的

是H.264需要较高的实现复杂度。与MPEG-2相比，虽然H.264的压缩性能提高一倍以上，H.264的计算复杂度也

要提高两倍以上。

三、H.264应用情况

在H.264标准中增加了一个网络提取层NAL（Network Abstraction Layer），考虑到了与具体应用网络的连接和

接口问题。下面将分3个方面分别简单介绍H.264在视频通信领域、数字广播电视领域和视频存储播放领域的应

用情况。

1.在视频通信领域中的应用

由于H.264是在H.26L的已有成果基础上由JVT完成标准最后制定的，而H.26L首先就是针对视频实时通信应用

的，例如，会议电视、可视电话等应用，因此，H.264在视频实时通信领域首先得到了应用，到2004年2月为止，

国外声称已经可以提供基于H.264的会议电视产品的公司有POLYCOM、TANDBERG、VCON、SONY等。

2.在数字广播电视领域中的应用

MPEG已经完成了基于MPEG-2系统兼容H.264码流内容的标准“Amendment 3: Transport of AVC video data over

ITU-T Rec. H.222.0|ISO/IEC 13818-1 streams”的制定，这就为H.264标准在数字广播电视领域和视频存储播

放领域中的应用打下了基础。据数字视频广播(DVB)标准组AV编码组主席Ken McCann说，欧洲已经考虑修订当

前的数字视频广播标准，将MPEG-4音频和H.264视频同时列为基于IP视频传输的候选选项，而专注于数字电视

的独立技术咨询公司ZetaCast公司董事McCann指出，DVB的AV编码组已经考虑用于DVB广播应用的H.264实施

指南问题。可以预计，随着H.264将来在数字广播特别是高清电视领域中的应用，用户可以看到更高质量的视频

图像节目、可以选择更多的电视节目频道。

3.在视频存储播放领域中的应用

在2003年11月19日于日本千叶县幕张Messe会展中心开幕的“2003年国际广播电视设备展（Inter BEE 2003）”

上，不少公司利用H.264/MPEG-4 AVC编解码器进行了录像播放演示，编解码器的形态各种各样，从FPGA等芯片

到电脑软件应有尽有。在DVD等视频存储播放领域应用中，H.264将是最好的选择，并且对于高清晰度DVD（HD DVD）

应用来说，更加需要具有高压缩效率的视频压缩标准。

四、结论

由于H.264的压缩性能比之前的视频压缩标准H.261、H.263、MPEG-2、MPEG-4等都较优，因此，在ITU-T、MPEG

标准组织分别批准了H.264标准，基于H.264标准的产品纷纷面世，并且，其应用前景非常广阔。

值得一提的是，国内由中科院计算所牵头的先进音视频编解码标准组织AVS已于2003年12月完成了AVS视频标

准第一版的制定工作，并正在进行国标的审查工作，由于AVS标准具有如下一些特点：（1）在高清图像压缩方

面，与H.264的压缩性能类似；（2）具有自主知识产权；（3）得到了国家相关部门的支持和重视，因此，受到

了国内外一些企业的欢迎，在2003年12月进行的AVS论坛上夏新电子、青岛海信集团有限公司、北京海尔集成

电路设计有限公司等公司都表示可以在较短时间内推出基于AVS的视频压缩芯片，从而为AVS的产业应用打下基

础。

本文标签： 视频编码标准应用