(B)条件再补给

MPEG1编码算法所支持有一个基本特点是,如需要时(即与 前帧同一个宏模块相：比,宏模块内容已有变更时),可以在解码器 中更新宏模块的信息(条件宏模块再补给)在较低比特率要实行 规频序列的有效编码的关键,是选择合适的预测模式,以实现条件 再补给,MPEG标准主要区分有三种不同的宏模块编码类型(MB 类型)： 跳跃MB：来自前帧的预测,运动矢量为零。根本无宏模块信息被进行编码,及被传送至接收机。 帧间MB：根据前帧,采用运动补偿预测。传送MB类型及MB 地址;如需要,也传送运动矢量、DCT系数及量化步长。 帧内MB：根本不采用来自前帧的预测(仅仅采用帧内预测) 仅仅向接收机传送MB类型、MB地址、DCT系数及量化步长

(C)特殊的存储媒体功能

为了从存储媒体中存取视频,MPEG1视频压缩算法设计成能 支持一些重要功能,如随机存取有及快进(FF)和快倒(FR)重 放等功能。考虑到对存储媒体的需求比及进一步探索运动补偿和运 动内描的优越性,由MPEGl引入B图像(双向预测测/双向内扫图 像)概念。这一概念示于图8,对象为视频序列中的一组连接图像。 图像有三种类型：帧内图像(I图像)编码时,不参照视频序列中 的其它图像,已在图4中介绍过,I图像允许存取点进行随机存取, 并对比特流进行FF／FR功能,不过只能进行低压缩。帧内预测图 像(P图像)编码时要参照挨差最近的前一个已编码的I图像或P 图像,通常采用运动补偿,以提高编码效率。由于通常用P图像作 为参照物来预测未来帧或过去帧,故P图像不提供用于随机存取或 编辑的合适的存取点。双向预测／内描的图像(B图像)备用过去帧 和未来帧作为参照物。为了实现高压缩,可以依据挨得最近的过 去、未来的P图像或I,图像,来实施运动补偿。B图像本身永不会 当作参照物来加以使用。 图8在MPEGl视频序列中所采用的I图像(I)、P图像(P) 和B图像(B),依据两个最近的已编码帧(I图像或P图像)采用 运动补偿预测,可以对B图像进行编码。为了适应不同应用的需 求,视频序列内图像编码类型的安排具有灵活性。图中指出了预测 的方向。 使用者在安排视频序列中的图像类型时具有很大的灵活性,以 适应各种不同应用的需求。作为总的原则,仅仅采用I图像(IIIIII.....)编码的视频序列,具有最好的随机存取、FF／FR和编辑功 能,但只能实现低压缩。已编码的,带有一个常规修正的I图像及 无B图像的序列(即IPPPPPPIPPP......),能实现中度压缩,具 有一定程度的随机存取及FF／FR功能。所有这三种图像类型的结 合,如图8中所示(1BBPBBPBBIBBP......),能做到高压缩,具有 较好的随机存取和FF／FR功能,但大大增加了编码延迟时间。这 一延迟也许在一些应用场合是不允许的,如视频电话、视频会议 .

(D)速率控制

MPEGl编码算法所支持的一个重要特点是,通过调节量化 DCT系数的量化器步长(sz)(见图5),为了满足特殊应用的要 求,可以调节比特率(因而也调节了再现视频信号的质量) DCT 系数的粗量化能对具有高的视频信号进行存储或传送,但会产生较 大的编码人工产物,这取决于量化等级 MPEGI标准允许编码器 为每一个已编码宏模块选择不同的量化器值——这样,可以对需要 改进画面质量的位置上分配比特,具有很大的灵活性。另外,还能 产生常量和变量比特率,用于压缩视频的存储或实时传送。 压缩的视频信息从实质上来讲本来就是可变的。通常是由连续 视频帧的变化的内容所引起的,必须对由编码器产生的可变比特流 缓冲于视频缓冲器中,如图5所示。进入到编码器VB的输入在时 间上是可变的,而输出是一个恒定比特流。在解码器,VB输入比 特流是恒定的,用于解码的输出是可变的 MPEG编码器和解码器 采用同样尺寸的缓冲器,以避免产生再现误差。 编码器中的速率控制算法,依据视频内容和活动程度,调节量 化器的步长(SZ),以保证视频缓冲器永不溢流——同时,应保持 缓冲器尽可能的满,以尽量提高画面质量。理论上讲,采用大的视 频缓冲器,可以避免缓冲器出现溢流现象。然而,除大型缓冲器价 格昂贵外,对于要求在编码器与解码器之间的延迟小的应用场合,大型缓冲器还存在另外一些缺点,如对话或视频的实时传送。如果 由于采用了视频缓冲器来产生一个恒定的比特率输出,编码器比特 流是平坦的,那么在编码处理跟在解码器视频再现时间之间就会引 入一个延迟。通常,缓冲器越大,所引入的延迟时间越长 MPEG已规定了最小的视频缓冲器的尺寸,它需要获得所有解 码器运作的支持。该数值等同于VB尺寸的最大值,编码器用它来 产生比特流。然而,为了减少延迟或编码器的复杂性,在编码器选 择一个虚拟缓冲器尺寸值是可能的,该值比需要得到解码器支持的 最小VB尺才要小。在发送视频比特流之前,先将该虚拟缓冲器尺 才值传送给解码器。 用于压缩视频的速率控制算法不属于MPEG—1标准,这就留 给实施者去开发有效的战略方法。应着重指出：制造厂商以指定比 特率去压缩视频所选择的速率控制算法的效率,对在解码器再现的 视频的可视质量有非常大的影响

(E）隔行视频源的编码

用于MPEG—1的标准化视频输人格式是非隔行制。然而,对 MPEG1来讲,隔行彩色电视(525行,29．97帧/每秒及625行, 25帧/秒)编码是一个重要的应用。基于隔行源到逐行中间格式的 转换,MPEGl已对Rec．601数字彩色电视信号的编码提出一个建 议。从本质上讲,只对每一个隔行视频输入帧中的一个水平二次取 样场进行编码,即二次取样顶(top)场。在接收机,根据已解码的 和水乎内插的奇数场,采预测偶数场,加以显示。在编码之前所必 须的预处理及编码之后所需的后处理,均在MPEGl国际标准文件 的信息附录中有详细叙述.

MPEG2标准：用于活动图像和伴音的 通用编码

世界范围的MPEGl正在开发一个重要的及成功的视频编码标 准,有关产品不断增多,并开始商品化。成功的关键因素在于标准 的通用结构,能支持广泛的应用及应用的特别参数。然而,在1991 年,MPEG继续它的标准化努力,进入第二阶段(MPEG—2),为 MPEG—l最初没有包括在内或尚未想到的应用,提供了一种视频 编码方法。特别是,已对MPEG—2提出一个要求,即它所提供的 视频质量,不能低于NTSC／PAL,最高应可达到CCIR601质量。 正在出现的一些应用,如数字有线电视分配、通过ATM的网络数 据库业务、数字VTR应用以及卫星和地面数字广播分配等,由于 新的MPEG—2标准化阶段结果提高了图像质量,均能从中受益。 已与ITU—TSGl5专家组(ATM视频编码专题)联合,开展了研 究工作。1994年,发布了MPEG—2的草案国际标准(与ITU—T H．262建议书相同)该标准的技术规格打算应具有通用性—所 以,该标准的目的在于,应有助于比特流在不同应用、传输和存储 媒体之间的互换。 从本质上说,MPEG—2可以视为是一组MPEG—1的最高级 编码标准,并设计或能向后跟MPEG—1相兼容—每一个MPEG —2兼容解码器能对有效的MPEG—1比特流进行解码。为了满足 多种不同应用的需求,许多视频编码算法被综合于单个句法之中。 为获得足够的性能和质量,MPEG—2已增添了新的编码特性,已 开发出来的预测模式,是为了支持隔行视频的有效编码。此外,还 引进了可分等级的视频编码扩展,以提供另外的功能,如数字电视 和HDTV的嵌入式编码,没出现传输误差时质量的缓慢降低。 然而,整个句法的实施,对于大部分应用来讲也许是不实际 的,MPEG—2已引进了“型”和“层”的概念,来规定设备之间 的一致性,并不支持整个句法的实施。型和层提供了定义句法子集 的方法,以及对特殊比特流进行解码所需的解码器功能。表2和表 3中表明了这种概念。 作为一般法规,每一个型定义一组新的算法,作为最高级组加在下一个型中的算法上。层规定了参数的范围,在实施中得到支持 (即画面尺寸、帧频和比特率)主型(MAINProfile)的MPEG—2 核心算法的特点是,对于逐行和隔行视频源均为非可分等级编码。 并希望：大部分MPEG—2实施过程至少应符合位于主层(MAIN LEvel)的主型,该主型支持数字视频的非可分等级编码,并拥有近 似的数字电视参数—最大的取样密度,每帧576行,每行720 个取样;最高的帧频30帧/秒;最高的比特率15Mb／s。

(A）MPEG—2非可分等级编码模式

在主型中所定义的MPEG—2算法,是MPEG—I编码方案的 直接扩展,以适应隔行视频的编码,同时保留了MPEG—1所提供 的所有功能。与MPEG—1标准一样,MPEG—2编码算法的基础 为通用的混合DCT／DPCM编码方案,如图5所示,并并入了宏模 块结构、运动补偿和编码模式,以便执行宏模块的条件再补给。图 8中所示的I图像、P图像和B图像的概念,在MPEG—2中全部保 留,以获得有效的运动颈测及有助于随机存取功能的实现。注意： MPEG—2单型(SIMPLEFrofile)中所定义的算法9基本上跟主型 中的算法相同,不一样的地方是,在编码器根本不存在B图像预测 模式。故B图像解码所需要的额外的实施复杂性和另外的帧存储 器,对于MPEG—2解码器来说不必要的,而只要求MPEG—2解 码器符合该单型就行。 场图像和帧图像：MPEG—2已介绍了帧图像和场图像的概念, 也介绍了特殊的帧预测和场预测模式,以适应逐行和隔行视频的编 码。对于隔行序列来讲,假设编码器输入是由一系列奇数(顶)场 和偶数(底)场所组成,而奇数场与偶数场在时间相隔—场的时 间。一帧中两场是分别编码的(场图像,见图9)在这种情况下, 每一场被分离成相邻的不重叠的宏模块,并对场进行DCT处理。 另一种方法是,将两场看成为一帧(帧图像),与一般的逐行视频 序列编码相类似,一起进行编码。在这里,顶场和底场的连续行就简单地汇合组成帧。注意：在单一的视频序列中,帧图像和场图像 均能被使用 图9场图像概念和可能的场预测举例。顶场和底场是分别编码 的。采用以那个前编码顶场为依据的运动补偿场间预测,来对每一 个底场进行编码。而顶场编码采用的是运动补偿场间预测,依据是 前编码顶场或者是前编码底场。这一概念可以加以延伸,以并入B 图像。 场和帧预测：MPEG—2已介绍了一些新的运动补偿场预测模 式,以便有效地对场图像和帧图像加以编码。图9中简单描述了这 种新概念的一个例子,这里出示的是一个隔行视频序列,只会有三 个场图像,不带B图像。在场预测中,是采用来自一个或多个前解 码场的数据,来对每一场单独进行预测的,也就是说,对于顶场来 说,测是根据一个前解码顶场(采用运动补偿预测)或属于同一 图像的前解码底场来获取的。一般来说,若场间根本没有运动时, 宁愿采用依赖于同一图像解码场的场间预测。采用哪一个参照场来 进行预测,这一信息随着比特流被发送出去。在场图像中,所有预测 均为场预测。 帧预测作出帧图像的预测,依据于一个或多个前解码帧。在帧 图像中,可以采用场预测,也可以采用帧预测;可以一个宏模块一 个宏模块地,来选择所喜爱的那种预测模式。 然而必须值得,颈测所依赖的那些场和帧,它们本身也许曾作 为场图像或者帧像,已完成了解码工序 MPEG—2已介绍了一些新的运动补偿模式,以便有效地探索 场间的时间冗长余度,名称叫做“双主”(Dual Prime)预测,运动补 偿基于16×8画面块。这些方法的讨论已超出本文的范畴。 色度格式：MPEG—2已规定了补充的Y：V：V亮度和色度二 次取样比率格式,以促进最高视频质量需求的应用。除了已得到 MPEG—1所支持4：2：0格式外,MPEG—2的规格已扩展至4：2：2格式,符合演播全视频编码应用的要求.

(B)MPEG—2可分等级编码的扩展

MPEG—2已对可分级性方法进行了标准化,这些方法所支持 的应用范围,已超出基本主型编码算法所支持的应用范围。可分级 编码的目的在于,在不同业务之间能提供互操作性,能较灵活地支 持具有不同显示功能的各种接收机。有的接收机既没有能力或者也 不要求再现视频的全部清晰度,那么就可以只对分层比特流的子集 进行解码,以较低的空间或时间清晰度,或者较低的质量,来显示 视频图像。可分级编码的另一个重要目的是可提供分层视频比特 流,它适合用于按优先顺序的传输。这里主要的难点在于,在出现 额道误差情况下,如基于ATM传输网络中单元的丢失,或地面数 字广播的同频道干扰,这时如何可靠地来传送视频信号。 能灵活地支持多种清晰度,这一功能对于DHTV跟标准清晰度 电视(SDTV)相互配合运作来讲十分重要,这里问题是HDTV接 收机应跟SDTV产品相兼容。对HDTV源进行了可分级编码,就 能实现这一兼容性,这就能避免很浪费地将两个单独的比特流分别 地传输给HDTV和SDTV接收机。可分级编码的其它一些重要应 用,包括视频数据库浏览以及在多媒体环境中视频的多清晰度重 放。 图10显示了多级视频编码方案的一般原理。这里提供了两层, 每一层支持着一个不同级上的视频,即将输入视频信号降级成为一 种较低清晰度视频(在空间上或时间上降低取样率),就能实现多 清晰度的显示。可对降低视频进行编码,进入基层比特流,这样也 降低了比特率。可用升级再现的基层视频(在空间上或时间上提高 取样率)来对原始输入视频信号加以预测。预测测误差经编码进入一 个增强层比特流。若接收机没能力或不需要显示视频信号的全部质 量,那就可以只对基层比特流加以解码,以再现降级的视频信号。 这里着重指出：如只对较低比特率的基层进行解码,那么最高清晰度视频的显示,质量也可能有所降低。对于每一层均分配有一个合 适比特率的视频,可以对其进行可分级编码,以满足传输频道或存 储媒体对带宽的特殊需求。这一功能被认为对于浏览视频数据库和 经不同网络的视频传输等业务是有用的。 在MPEG—2的标准化阶段,发现下面的想法是不可能实现的, 去开发一个通用的可分级编码方案,以适应已想到的所有各种应用 的需求。有些应用被限制于低的装置复杂性,另外一些要求非常高 的编码效率。结果是MPEG—2已对三种可分级编码方案进行了标 准化：SNR(质量)可量测性、空间可量测性及时间可量测性—— 每一种方案的目标在于有助于满足特殊应用的需求。这些可分级性 方法可将算法扩展到主型定义的非可分级方案。可以将不同的可分 级姓方法结合于一个混合编码方案之中,也就是说,将空间可分级 性和时间可分级性方法结合于一个混合层编码方案之中,这样,拥 有不同空间清晰度和帧频的各种业务之间的互操体性就能得到支 持。将空间可分级性与SNR可分级性相结合,就能够获得HDTV 与SDTV业务之间的互操作性,并对频道误差有一定的恢复功能 MPEG—2句法最多可支持三个不同的可分级层。 空间可分级性已经开发完成,以便在接收机显示不同的空间清 晰度—从基层能够再现空间清晰度较低的视频,这一功能对于许 多应用均是有用的,包括对HDTV／TV系统采用嵌入式编码,这样 就允许从数字TV业务向具有较高空间清晰度的HDTV业务过渡。 这一算法的依据是用于逐行扫描画面编码的一种标准锥形方法,空 间可分级性能够灵活的支持很宽范围的空间清晰度,但给主要编码 方案增添了很大的装置复杂性。 SNR可分级性：该方法已基本开发成功,对于按优先排列传输 媒体来说,SNR可分级性能使视频质量下降时比较缓慢(质量可分级性),如果基层能避免受到传输误差的影响,那么只要对基层信 号加以解码,就能获得质量衰减缓慢的视频。用来实现质量缓慢衰 减的算法,它基于一种频率(DCT域)可分级性技术。图11中的 两个层以同样的空间清晰度对视频信号加以图编码,11a和图llb 示出了SNR可分级性编码器和解码器可能的实施方法。该方法的 实施,也就是主型MPEG—2的一种简明的扩展,能够获得极佳的 编码效率。 在基层,DCT系数被低级量化和发送,以便在低比特率情况下 来获取适中的图像质量。非量化DCT系数跟来自基层、量化步长 较小的量化系数之间存在差值,而增强层就对这一差值进行编码, 加以发送。在解码器,通过对较低层和较高层比特流进行解码,就 能再现最高质量的视频信号。 利用这一方法,也可能在接收机中获取空间清晰度较低的视频 图像。如果解码器从基层比特流选用最低的N×N DCT系数,就可 用非标准反向DCT系数(尺寸为N×N)来再现空间清断度已降低 了的视频图像。然而,这个最低层已降级的视频易于发生漂移现 象,这取决于编码器和解码器的操作运行。 已开发的时间可分级性方法的目的跟空间可分级性的相类似 —具有一个适用于立体显示功能接收机的分层比特流,立体视频 就能得到支持。以由基层发送出来的、从对面观看到的编码图像为 依据,来预测增强层的立体视频的一个图像(左视图像),这样就 实现了分层工序。 当在ATM,地面广播或者磁记录环境中出现传输或频道误差 时,数据分配的作用在于促进误差隐蔽功能。由于这一做法完全可 以作为任一单层编码方案的后处理和预处理技术采用,它与MPEG —2的标准化工作尚未正式完成,但在MPEG—2DIS文件的信息 附录中,已注明了有关这一做法的资料来源。该算法依赖于DCT 系数的分离,跟SNR可分类性方法相类似,与其它可分级编码方 案相比较,这一算法实施起来较为简单。为了提供误差保护,比特 流中的已编码DCT系数,在带有不同误差的两个层中被分离和发送。