解码视频帧的序列的方法、编码多视图帧的序列的方法.pdf

提供一种解码视频帧的序列的方法、编码多视图帧的序列的方法。编码方法包括：接收第一视图图像和第二视图图像；采样第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；采样第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；采样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像；采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图像；生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；以及生成封装的视频帧的第二边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一起以形成封装的视频帧。

权利要求书1.  一种用于利用计算机解码视频帧的序列的方法，所述方法包括： 接收输入视频帧，所述输入视频帧包括按照交织布置的两个分离图 像； 访问第一边信息，所述第一边信息指示所述输入帧的所述交织布置的 采样格式； 访问第二边信息，所述第二边信息指示所述输入帧的按照所述交织布 置的所述两个分离图像的像素的布置；以及 生成第一输出图像和第二输出图像，其中，生成所述第一输出图像和 所述第二输出图像包括： 如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指 示垂直布置，则 将所述输入视频帧划分为左上半部图像、左下半部图像、右上半 部图像和右下半部图像； 基于所述左上半部图像和所述左下半部图像的像素生成所述第 一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和 奇数列的样本，且所述左下半部图像表示所述第一输出图像的偶数行和偶 数列的样本；以及 基于所述右上半部图像和所述右下半部图像的像素生成所述第 二输出图像，其中，所述右上半部图像表示所述第二输出图像的奇数行和 偶数列的样本，且所述右下半部图像表示所述第二输出图像的偶数行和奇 数列的样本。 2.  根据权利要求1所述的方法，还包括： 如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指 示水平布置，则 将所述输入视频帧划分为左上半部图像、左下半部图像、右上半 部图像和右下半部图像； 基于所述左上半部图像和所述右上半部图像的像素生成所述第 一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和 偶数列的样本，且所述右上半部图像表示所述第一输出图像的偶数行和偶 数列的样本；以及 基于所述左下半部图像和所述右下半部图像的像素生成所述第 二输出图像，其中，所述左下半部图像表示所述第二输出图像的奇数行和 偶数列的样本，且所述右下半部图像表示所述第二输出图像的偶数行和奇 数列的样本。 3.  根据权利要求1所述的方法，还包括： 如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指 示对角线布置，则 将所述输入视频帧划分为左上半部图像、左下半部图像、右上半 部图像和右下半部图像； 基于所述左上半部图像和所述右下半部图像的像素生成所述第 一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和 奇数列的样本，且所述右下半部图像表示所述第一输出图像的偶数行和偶 数列的样本；以及 基于所述右上半部图像和所述左下半部图像的像素生成所述第 二输出图像，其中，所述右上半部图像表示所述第二输出图像的奇数行和 偶数列的样本，且所述左下半部图像表示所述第二输出图像的偶数行和奇 数列的样本。 4.  根据权利要求1所述的方法，其中，所述第一边信息或所述第二 边信息被基于所述视频帧的特性适应性地改变。 5.  根据权利要求1所述的方法，其中，所述第一边信息或所述第二 边信息被在序列级、图片级或切片级适应性地改变。 6.  一种用于将多视图帧的序列编码为比特流的方法，所述方法包括： 接收第一视图图像和第二视图图像； 采样所述第一视图图像的奇数行和奇数列，以生成封装的视频帧的第 一子图像； 采样所述第一视图图像的偶数行和偶数列，以生成所述封装的视频帧 的第二子图像； 采样所述第二视图图像的奇数行和偶数列，以生成所述封装的视频帧 的第三子图像； 采样所述第二视图图像的偶数行和奇数列，以生成所述封装的视频帧 的第四子图像； 生成所述封装的视频帧的第一边信息，所述第一边信息指示交织的第 一视图图像和第二视图图像的梅花形五点采样格式；以及 生成所述封装的视频帧的第二边信息，所述第二边信息指示所述第 一、第二、第三和第四子图像如何被平铺在一起以形成所述封装的视频帧。 7.  根据权利要求6所述的方法，其中，所述封装的视频帧包括四个 平铺部分，其中 左上半部平铺部分包括所述第一子图像， 左下半部平铺部分包括所述第二子图像， 右上半部平铺部分包括所述第三子图像， 右下半部平铺部分包括所述第四子图像，以及 所述第二边信息指示垂直布置。 8.  根据权利要求6所述的方法，其中，所述封装的视频帧包括四个 平铺部分，其中， 左上半部平铺部分包括所述第一子图像， 右上半部平铺部分包括所述第二子图像， 左下半部平铺部分包括所述第三子图像， 右下半部平铺部分包括所述第四子图像，以及 所述第二边信息指示水平布置。 9.  根据权利要求6所述的方法，其中，所述封装的视频帧包括四个 平铺部分，其中， 左上半部平铺部分包括所述第一子图像， 右下半部平铺部分包括所述第二子图像， 右上半部平铺部分包括所述第三子图像， 左下半部平铺部分包括所述第四子图像，以及 所述第二边信息指示对角线布置。 10.  根据权利要求6所述的方法，其中，所述第一边信息或所述第二 边信息被基于所述第一视图图像和所述第二视图图像的特性适应性地改 变。 11.  根据权利要求6所述的方法，其中，所述第一边信息或所述第二 边信息被在序列级、图片级或切片级适应性地改变。

说明书解码视频帧的序列的方法、编码多视图帧的序列的方法
本申请是申请号为201080006265.2(PCT/US2010/022445)、申请日 为2010年1月28日、发明名称为“视频编码方法、视频装置和编码系统” 的母案申请的分案申请。
相关申请的交叉引用
本申请要求2009年1月29日提交的美国临时专利申请61/148,051 号的优先权，通过引用将其全部内容包含于此。
技术领域
本发明涉及数字数据的编码和解码，尤其涉及数字视频数据。
背景技术
近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。 这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到 若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将 立体素材传送到家庭的系统。
发明内容
本发明人实现了对3D以及其它多图像视频系统更好地编码和解码的 需要。在各种实施例中，本发明提供了用于编码和解码视频数据的方法、 系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交 织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进 行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被 统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例 如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和 “黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据 中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如， 交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同 或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之 一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或 者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器 的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式 或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如， 可以通过MPEG-4AVC或者另一种编码技术进行编码。
在一个实施例中，本发明提供了一种用于利用计算机解码视频帧的序 列的方法，该方法包括：接收输入视频帧，输入视频帧包括按照交织布置 的两个分离图像；访问第一边信息，第一边信息指示输入帧的交织布置的 采样格式；访问第二边信息，第二边信息指示输入帧的按照交织布置的两 个分离图像的像素的布置；以及生成第一输出图像和第二输出图像，其中， 生成第一输出图像和第二输出图像包括：如果第一边信息指示梅花形五点 采样格式且第二边信息指示垂直布置，则将输入视频帧划分为左上半 部图像、左下半部图像、右上半部图像和右下半部图像；基于左上半部图 像和左下半部图像的像素生成第一输出图像，其中，左上半部图像表示第 一输出图像的奇数行和奇数列的样本，且左下半部图像表示第一输出图像 的偶数行和偶数列的样本；以及基于右上半部图像和右下半部图像的像素 生成第二输出图像，其中，右上半部图像表示第二输出图像的奇数行和偶 数列的样本，且右下半部图像表示第二输出图像的偶数行和奇数列的样 本。
在另一个实施例中，本发明提供了一种用于将多视图帧的序列编码为 比特流的方法，该方法包括：接收第一视图图像和第二视图图像；采样第 一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；采样 第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；采 样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像； 采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图 像；生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图 像和第二视图图像的梅花形五点采样格式；以及生成封装的视频帧的第二 边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一 起以形成封装的视频帧。
在一个实施例中，本发明提供了一种方法，包括步骤：对n个图像进 行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像； 将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编 码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像 的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该 图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像 之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图 像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。
分离步骤可以包括例如基于行和基于列中至少之一分离采样图像。分 离步骤可以包括从采样图像中的每个采样图像准备多个块的邻近数据。封 装步骤可以包括以预定格式交织子图像。预定格式可以基于例如图像、采 样图像和所分离的图像样本的任何一个自适应地改变。该方法还可以包括 编码标识预定格式的映射的步骤。可以在例如图像帧的区域中编码映射， 并且在图像帧的其它区域中执行子图像的封装。映射可以被编码为边信 息。交织可以包括例如水平交织、垂直交织和矩形块交织之一。
该子采样步骤可以包括梅花形五点采样，该分离步骤可以包括使用子 采样图像的每个其它行和每个其它列之一准备子图像，并且该封装步骤可 以包括布置基于行和基于列的子图像之一。该方法可以还包括编码子图像 在该图像帧内的布置的标识符的步骤。在一个实施例中，该标识符是放置 在该编码模式块的边信息中的代码。作为一种选择，它还可以被放置在该 图像帧中。
该封装步骤可以包括根据这里描述的模式和其它模式的任何一个进 行封装。该封装可以例如维持至少一个尺寸与该子采样图像之一的尺寸相 等。该封装可以包括例如要有效利用解码该编码图像要使用的资源而选择 的封装格式。该封装可以包括为了允许包括SNR/分辨率可伸缩性和2D 至3D可伸缩性的高级可伸缩性特征而选择的封装格式。基于诸如处理能 力的可用资源，可以选择该封装格式。该封装可以包括例如维持具有高值 的像素以解码/上采样互相非常靠近的每个[子图像]。该编码步骤可以包括 诸如JPEG、JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的 任何一个图像或者视频编码系统。
在其它实施例中，本发明可以被实现为一种视频装置，包括：解码器， 被配置为解码编码的视频信号，在视频信号中每帧包括多于一个的图像； 以及格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的 各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一 图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视 频数据。该格式转换器可以包括例如去交织器，该去交织器被配置为从多 个交织格式对数据组进行去交织。该格式转换器可以包括例如格式读取 器，该格式读取器被配置为确定该数据组的交织格式。该格式转换器可以 包括选择装置，该选择装置被配置为基于交织数据组的格式选择算法和专 用电子部件之一进行去交织。该格式转换器可以被配置为例如对水平的、 垂直的、基于块的和基于映射的交织视频数据组的至少之一进行去交织。
本发明还可以包括上转换器，上转换器被配置为对来自图像至少之一 的去交织数据组进行上转换。该上转换数据可以例如被作为2D图像输出。 例如，可以以HDMI兼容信号格式化该2D图像。该上转换数据可以包括 包含3D图像中的第一视图的第一图像的数据和包含该3D图像的第二视 图的第二图像的数据。
视频装置可以是例如蓝光DVD播放器、媒体播放器、机顶盒、电视 译码器、计算机视频卡、调谐器或者其它电子装置至少之一的一部分。该 解码器可以包括MPEG-2、MPEG-4AVC、VC1以及其它解码器之一。
在另一个实施例中，本发明可以被实现为一种编码系统，包括：子采 样器，被配置为对至少两个不同视图的图像进行子采样；格式化器，被配 置为从每个视图中选择至少一组图像数据，并且将组交织在视频流的单个 图像帧中；以及编码器，被配置为对视频流进行编码。编码器可以包括例 如MPEG-4AVC编码器。图像数据组包括例如多于一个像素的组。格式 化器可以包括例如奇偶行列选择器，并且交织图像数据组包括包含水平重 新布置、垂直重新布置、交织水平重新布置、交织垂直重新布置、块重新 布置、交织块重新布置、垂直交织重新布置和水平交织重新布置中至少之 一的组
该编码器可以还包括选择装置，该选择装置被配置为选择用于交织该 组数据的布置。该编码器还可以包括映射器，该映射器被配置为从所格式 化的这两个图像映射数据的布置。
本发明还可以被实现为一种媒体存储器，其具有存储在其上的视频 流，其中该视频流包括来自至少两个视图的交织的数据集，当由相应媒体 播放器装载和读取时，使播放器解码，然后去交织该视频流，之后，格式 化显示装置的视频流。该数据集可以包括例如对应于3D图像的第一视图 的多个数据集和对应于该3D图像的第二视图的多个数据集。媒体存储器 可以包括存储卡、盘和电磁载体的物理属性至少之一。由存储卡、电磁载 体和光盘至少之一的物理特性表示的该媒体存储器的存储内容包括视频 流，并且被加密。
本发明又可以被实现为一种视频编码系统，包括：格式化器，被配置 为将对应于第一图像的数据的至少一个封装、对应于第二图像的数据的至 少一个封装、第一图像的分辨率和动态范围增强至少之一、以及第二图像 的分辨率和动态范围增强至少之一格式化到视频流的图像数据帧中；编码 器，被配置为将格式化的第一图像数据和增强、第二图像和增强编码到视 频流中，以进行存储和广播至少之一。该编码器可以限制子图像根据对应 于其它子图像的样本进行预测。该编码器可以限制空间内在先封装的子图 像根据对应于其它子图像的样本进行预测。
本发明又可以被实现为一种视频解码系统，包括：解码器，被配置为 解码视频流的数据帧，其中该数据帧包括至少两个图像中的图像数据和该 图像至少之一的增强；重新格式化器，被配置为重新格式化来自该图像至 少之一的解码的图像数据，以产生由该解码的图像数据实现的低分辨率版 本的原始图像。该重新格式化器可以包括例如去交织器，该去交织器被配 置为对对应于该至少一个图像的数据进行去交织。该重新格式化器可以被 进一步配置为丢弃该图像至少之一的第二图像数据和增强至少之一。视频 解码系统还可以包括增强器，该增强器被配置为利用该解码的增强中的至 少某些来增强该解码图像，并且产生较高分辨率和较高动态范围图像至少 之一。该增强可以递进地应用于每个图像，并且在某种程度上，该视频解 码系统能够实时地这样做。如果该视频解码系统能够实时地这样做，并且 输出显示装置能够显示该增强图像，则该增强可以递进地应用于每个图 像。
装置和方法的各部分均可以以在通用计算机、或者网络计算机上进行 编程的方式方便地实现，并且结果可以显示在连接到通用计算机、网络计 算机的输出装置上，也可以发送到远程装置上来输出和显示。此外，可以 以计算机程序、数据序列和/或者控制信号的方式表示的本发明的任何部 件都可以由任何频率任何媒体中的电子信号广播(或者发送)来实现，该 媒体包括但是并不局限于无线广播、以及通过(各)铜线、(各)光纤线 缆或者(各)同轴线缆等的传输。
附图说明
因为当结合附图考虑时，通过参考下面的详细描述，可以更好地理解， 所以这样可以更全面理解本发明并且容易地获得其相应优点，其中：
图1是例示根据本发明实施例的棋盘式(CB)复用(multiplexing) 格式的图；
图2是例示根据本发明实施例以帧模式对CB数据执行基于变换的 去复用的图；
图3是例示根据本发明实施例以场模式对CB数据执行基于变换的 去复用的图；
图4是例示根据本发明实施例，在不考虑交叠的情况下的块运动补偿 的图；
图5是例示根据本发明实施例以帧模式对CB数据执行基于变换的去 复用的图；
图6是根据本发明实施例的视频编码器的图；
图7是根据本发明实施例的视频编解码器的图；
图8是例示根据本发明实施例，依据被编码内容的性质，利用可以被 扩展到菱形的正方形块或者其它块的图；
图9是例示根据本发明实施例的梅花形五点采样图像的图；
图10是例示根据本发明实施例，为了提高改善编码效率，水平重新 布置和垂直重新布置(格式化)梅花形五点样本的图；
图11是示出根据本发明实施例的水平和垂直“块”重新布置(格式 化)梅花形五点样本，以提高编码效率的图；
图12是例示根据本发明实施例，可以对梅花形五点采样数据(也可 以扩展到其它采样技术)采用的各种布置的图；
图13是例示根据本发明实施例，对采样数据块进行交织的CB布置 的图；
图14是例示根据本发明实施例，指示或者标识交织采样的每个子区 域内的布置的布置和映射；
图15是根据本发明实施例的视频编码器的图；以及
图16是根据本发明实施例的视频解码器的图。
具体实施方式
在一个实施例中，本发明扩展MPEG-4AVC标准，以更适当地考虑 编码信号的特性，允许提高的编码效率和性能。本发明不仅可以在例如编 码器上实现，而且可以在解码器上实现。可以相似地扩展到其它编码/解 码标准、方法、装置和/或者系统。应用包括例如蓝光视频盘，并且还可 以包括(其它之中)更多宽带约束的广播和下载解决方案。本发明还可以 用于可以将当前杜比消费级3D视频编码系统(或者其它3D和/或者多视 图系统)提高或者增强到全分辨率的可升级解决方案。
各种实施例中的发明预期主要用于杜比(或者其它)立体(3D)格 式视频编码器和解码器中，但是也可以用于其它杜比和/或非杜比的特定 设备和/或其它类型的视频(例如，多节目、多视图、多3D视图，或者是 单独的或者与其它组合)。应用包括例如蓝光盘、存储卡、广播、卫星和 IPTV系统等。
本发明人认识到为了保证在消费者中迅速采用3D技术和其它技术， 解决方案应当是这样的解决方案：以对诸如机顶盒、DVD和蓝光盘播放 器以及现有能够显示3D画面的显示器的现有播放装置改变最少或者不改 变来实现。然而，专门为新格式或者多个格式采用的或者设计的转换器箱、 硬件/固件/软件修改、装置和/或显示器也适用于本发明。在不改变播放装 置的情况下传送3D内容的一种可能的解决方案是：通过使用棋盘式布置 (参见图1)复用两个视图来创建、编码和传送视频内容信息。这种系统 可以利用MPEG-4AVC/H.264视频编码标准或者其它标准(例如，微软 公司的VC1)来实现。然而，该标准化的编解码器没有考虑到3D编码视 频信号的性质，导致不是最理想的编码性能。
特别是，这些编解码器是考虑到渐进(progressive)的或者行交织的 (交错的)视频内容(例如，仅渐进的或者交错的视频内容)而设计的， 并且包括相应的工具。这些工具包括诸如运动估计、运动补偿、变换和量 化的工具。然而，棋盘式交织数据可以具有与渐进内容或者交错的内容非 常不同的特性。在本发明的各种实施例中，这些工具被扩展，以正确考虑 数据的特性和/或放置数据的布置，从而提高内容(例如，棋盘式格式的 内容)的编码效率。
在一个实施例中，通过仅修改要对棋盘式去复用数据应用的变换和量 化处理，可以实现棋盘式交织内容的视频编码效率。特别是，如还可以从 图2中看出的，在这种情况下，利用传统的不考虑(account for)交叠块的 基于块的方法(图4)，进行运动估计和补偿。棋盘式复用数据通常由相 似运动特征化的论证可以证明该处理是正确的。
然而，执行了运动补偿或者帧内预测后，在变换和量化之前，对剩余 数据进行棋盘式去复用。假定现有编解码器中采用的普通变换方法是正方 形或者正交的，则不仅按照不同的视图，而且按照行，不发生这种情况下 的去复用。这样会产生4个需要进行变换(例如使用4×4或者8×8的 Integer DCT或者其它变换)、量化、之字形扫描和编码的块。在另一个 实施例中，对于交错(即，场)图片，可以仅需要执行垂直去复用，因为 该数据已经处于适于执行这种操作的布置。可以在序列级、图片级、切片 (slice)级、宏块级或者块级信令化该处理。还可以适当设计量化的系数 的扫描顺序，以考虑水平轴和垂直轴上的频率差。特别是，对于场内容， 给定水平频率和垂直频率之间的差，变换的系数的扫描顺序通常垂直地偏 置。然而，如果我们引入新编码布置，则不需要进行这种修改，并且仍使 用正常(例如，之字形)扫描顺序。
在可替选实施例中，以与考虑内容的特性的方式相似，除了变换，还 修改该运动估计和补偿处理。更具体地，将参考数据和源数据二者重新布 置到多个组中，每个组根据视图和奇偶性将数据分离。这样基本上会获得 四(4)种不同的布置(例如，偶数/上或者奇数/下左视图和右视图)。这 在包括参考图像去交织结果的实施例的示例的图5中可以看出，包括：顺 时针方向，以左上方框开始，从左视图图片的偶数行(或者CBLT(左上)) 起的一组“x”、从左视图的奇数行(或者CBLB(左下))起的一组“x”、 从右视图图片的偶数行(或者CBRT(右上))起的一组“o”、右视图图 片的奇数行(或者CBRT(右下))的一组“o”。还对源图像例示以匹配 格式去交织。
来自该源的每个布置都可以与用于预测的参考数据的任一个布置匹 配，该预测可以包括帧内预测和帧间预测。在该源数据被预测后，剩余数 据也以相同的布置被变换、量化和编码。可以认为该处理与如何执行交错 编码非常相似，在交错编码中，数据被布置到奇场/行和偶场/行数据中。 然而，在本发明中，数据还被进一步布置到奇列和偶列。与我们的变换方 法(可以单独使用，也可以与其它技术组合使用)相似，该方法可以被信 令化，以在序列级、图片级、切片级、宏块级或者块级使用。
例如，图片级方法可以被看作对4个不同图片CBLT、CBLB、CBRT 和CBRB进行编码。这四个图片可以参考缓冲器中可用的任何先前编码 的图片。因为显而易见的原因，根据这些图片的布局，偏置默认参考列表 顺序，即，CBLT图片会赋予先前CBLT图片更高的优先级，CBLB图片 将赋予先前CBLB图片更高的优先级，等。可以利用现有编码工具，即 AVC，编码每个这种图片。当所有图片均被解码时，在帧缓冲器中重新组 合它们，以将它们进一步处理为棋盘式图像。如果不行，则采用现有的例 如递进的或者交错的编码方法，诸如MPEG-4AVC或者VC1中已经可用 的编码方法。应当注意：信令化的各种方法使得在图片级、切片级和宏块 级或/和块级处我们的方法与传统方法的组合能够与MPEG-4AVC中已经 存在的用于交错编码的方法相似。
在又一个实施例中，仅在同一组的像素上应用采用这种方法对像素数 据的去块化。在图6和图7中分别可以看到采用这种方法的编码器和解码 器。
在附加实施例中，如果代替利用正方形或者正交块进行预测、变换和 量化，而给出内容特性，则我们可以不考虑菱形块(参见图8，在图8中， 示出了典型右视图图片的暗/红“o”像素分量(菱形的)和典型左视图图 片的直接位于每个暗/红“o”像素分量下面的非暗的“x”像素分量(也 是菱形的))。即，现在，利用大小为N×M的菱形块，应用运动估计和 补偿，而通过首先将剩余数据旋转适当角度(例如，45度)，利用正方形 变换(square transform)或者正交变换可以执行该剩余数据的变换。在 这种情况下，对该菱形块数据的边缘执行去块化。此外，通过适当地填充 数据处理图像边界。在次，该方法可以应用于序列级、图片级、切片级、 宏块级或者块级，并且该方法可以与前面描述的任何方法组合。然而，主 要因为复杂性和性能的原因，优选地，主要在序列级或者图片级考虑该方 法。
在又一个实施例中，上述方法中的任何一种方法都可以用于不仅编码 棋盘式交织图像，而且编码棋盘式交织图像的剩余数据，或者利用周期性 正方形平铺方法(periodic square tiling method)，组合被交织的四个图像。
本发明可以被配置为视频编码系统的扩展，视频编码系统诸如基于 MPEG-4AVC的视频编码系统。
显然，根据上面的教导，可以设想本发明的许多修改和变型。因此， 应当明白，在随后提交的实用专利申请所包括的权利要求书的范围内，除 非在此具体描述，可以实现本发明。
再参考附图，其中相同的附图标记指相同或者相应的部分，并且特别 是对于其图9，示出了一种用于图像和数据的采样方法，被称为梅花形五 点采样。在梅花形五点采样中，以梅花形五点布置对数据进行采样，如图 9所示。与水平和/或者垂直采样不同，这种方法的好处是，在采样过程中， 仅丢失～30％的信息，这样在重构该信号期间，可以实现高质量。例如， 该方法可以用于产生要被复用在图1所示CB交织图片中的样本。在这种 情况下，例如，梅花形五点采样被部分地用于压缩3D图像。更具体地， 首先梅花形五点采样3D图像的两个视图，然后，在利用编解码器(例如， 诸如MPEG－2、MPEG－4AVC和VC－1等的现有编解码器)进行压 缩之前，利用棋盘式布置对其进行交织。
尽管我们已经说明，可以压缩梅花形五点采样的数据，但是不幸的是， 现有压缩算法的设计不佳，并且在某种程度上，它是处理其特性的次优选 择。本发明包括用于编码这种内容的不同方法，其允许采用现有设施，而 实现改善的编码效率和性能。这可以通过对更适合该内容特性(和编码机 制)的梅花形五点采样的数据执行各种重新布置实现。
特别地，我们观察到：梅花形五点采样可以以奇数和偶数列(或者行) 数据的方式分离。如果单独看，即使其频率特性可以稍许不同，奇数列数 据仍与标准图像具有相似的特性。这同样适用于偶数列数据。因此，我们 可以将梅花形五点采样的图像分离为两个子图像，即，奇数列子图像和偶 数列子图像。这些子图像含有与诸如亮度和色度信息、透明度和深度信息 等的数据相关的全部信息。显然，对于可扩展的图像系统，每个子图像还 会含有诸如SNR层的全部相关可伸缩性信息。
即使我们可以分别编码每个子图像，也期望某些环境和/或应用仍使 子图像作为单个图像保持在一起。例如，可能的方法是：垂直(图10a) 封装或者垂直(图10b)封装该两个子图像。然而，对于某些其它应用， 还可以考虑将这两个子图像交织(图11)。该交织量可以被固定或者自适 应调整，并且可以取决于我们的系统或者体系结构可能具有的各种要求。 例如，如果压缩比较重要，则交织被可以保持最小，因此，在压缩(例如， 采用离散余弦变换/DCT和量化、预测等)期间，可以较好地利用信号特 性。然而，如果包括存储器存取的数据的重构比较重要，则在两个视图之 间可以采用一些交织。例如，代替保持利用原始梅花形五点布置封装的数 据，可以根据数据的梅花形五点奇偶性(奇或偶)将它们封装到N×M的 矩形块中。在这两种最极端的情况下，{N＝1,M＝1}和{N＝宽度/2,M＝高度 /2}，其中宽度和高度是原始非采样图像的宽度和高度。可以以各种方式 布置这些矩形块，诸如水平布置的4×2大小的块(图11a)，或者垂直布 置的2×2大小的块(图11b)。在特定例子中，假设大多数现有视频和图 像编解码器利用16×16大小的块进行预测，则也可以采用这种块大小， 或者采用比该大小大的块大小(例如，32×32、32×48、48×48等)。请 注意，在这种布置中，即使该要求不是必要的，仍可以期望保持分辨率之 一与原始非采样图像的分辨率相同。
如前面讨论的，梅花形五点采样数据的特殊情况是用于3D应用。在 这种情况下，两个立体图像被首先梅花形五点采样，然后，它们被交织在 一起，以生成单个立体图像。代替仅利用像素级棋盘式布置交织这些图像 (例如，如图1所示)，采用上面描述的交织方法更好地分离这两个图像， 因此，更好地利用现有工具进行压缩。更具体地说，我们现在可以将左视 图和右视图分离为左奇(Lo)、左偶(Le)、右奇(Ro)和右偶(Re)数 据(Lo|Le|Ro|Re)。
在一个实施例中，每组数据表现不同的子图像。在Lo|Le|Ro|Re的 情况下，这四个子图像可以以各种布置平铺在一起，例如，如图12中所 示(也可以采用布置的图像的不同大小和其它布置)。然后，该平铺的图 像表示现在可以使用现有的或者新开发的编码算法进行编码的新图像。例 如，我们可以以如图12所示的Lo|Le|Ro|Re帧布置方式，或者以类似帧 级布置B的棋盘式方式(Lo|Ro|Re|Le)，布置这四个子图像。也可以 全部以水平或者垂直子图像布置方式(布置D和E)，布置该子图像。也 可以是其它布置。布置类型可以取决于应用及其要求。例如，布置A的 好处是：可以独立于其它视图立即对一个视图重构所有样本，特别是在要 求重构为全分辨率的情况下；而方法B的好处是：将梅花形五点数据重 新组织为其它布置。
在不同实施例中，交织可以不考虑单个样本或者整个子图像，而再一 次考虑样本组，该样本组基本上包括矩形甚或任意的块/区域。例如，如 上所讨论的，块也可以是固定大小M×N(图13)，或者图像可以由不同 形状和/或大小的块构成。通过例如诸如映射的元数据方法，可以将这种 布置信令化。该映射可以对整个视频序列固定，或者可以是自适应的，以 及在需要时被信令化。作为例子，在图14中，提供了这样的映射：该映 射提供如何按照交织组织大小为4×4的子块的信息。同样的对应关系可 以应用于与像素相关的所有样本，例如，亮度和色度信息、透明度、深度 /遮挡信息等，但是也可以采用不同的布置，包括存在特定组或者每种不 同类型信息的多个/分离映射。该分离还可以包括不同图像表示或者不同 图像层(例如，SNR、位深度等)。
在另一个实施例中，上述方法中的任何一种都不仅可以被用于编码棋 盘式交织图像，并且可以被用于编码棋盘式交织图像的剩余数据，也可以 编码使用周期性正方形平铺方法交织的任何图像的组合。该方法还可以容 易地扩展到包括深度/遮挡信息的多个图像(超过2个)的交织。最后， 所建议的交织方法不仅可以在编码图像时使用，而且可以用于生成可以用 于运动补偿视频编码环境的预测图像。
图15示出采用格式转换器的编码器，该格式转换器将梅花形五点采 样的图像或者立体对转换为适当格式。图16示出相应解码器，该解码器 解码该图像，并且将该格式转换为可能是为了显示或者为了其它处理而需 要的不同格式。
因此，本发明可以取很多形式。下面提供了一组列举的示例性实施例 (EEE)。它们是作为例子提供的本发明的示例形式。因为这种EEE不应 当被看作对上述任何讨论或者下面提供的任何一项权利要求，或者对任何 后续继续中、重发行、或者外国对应专利和/或者专利申请构成限制。例 子有：
EEE1.一种方法，包括步骤：
子采样n个图像；
将每个采样的图像分离为子图像；以及
将子图像一起封装在图像帧中；以及
通过视频编码器对该单个图像帧进行编码。
EEE2.根据EEE1所述的方法，其中该子采样步骤包括梅花形五点 采样。
EEE3.根据EEE1所述的方法，其中该图像包括3D图像的左视图和 右视图、同一个场景的多个视图以及多个图像中至少之一。
EEE3A.根据EEE3所述的方法，其中该图像包括深度和遮挡信息之 一。
EEE4.根据EEE1所述的方法，其中子图像包括其特性与标准图像 相似的图像内的数据。
EEE5.根据EEE1所述的方法，其中分离步骤包括基于行和基于列 至少之一分离采样图像。
EEE6.根据EEE1所述的方法，其中子图像包括来自图像之一的一 组多于一个的像素。
EEE7.根据EEE1所述的方法，其中子图像包括从相应图像通过模 式选择的数据。
EEE8.根据EEE1所述的方法，其中分离步骤包括从采样图像中的 每个采样图像准备多个块的邻近数据。
EEE9.根据EEE1所述的方法，其中封装步骤包括以预定格式交织 子图像。
EEE10.根据EEE9所述的方法，其中预定格式基于图像、采样图像 和分离的图像样本至少之一自适应地改变。
EEE11.根据EEE1所述的方法，还包括编码标识该预定格式的映射 的步骤。
EEE11B.根据EEE11所述的方法，其中在图像帧的区域中，编码该 映射，并且在图像帧的其它区域中，执行子图像的封装。
EEE12.根据EEE11所述的方法，其中该映射被编码为边信息。
EEE13.根据EEE9所述的方法，其中该交织包括水平交织、垂直交 织和矩形块交织之一。
EEE14.根据EEE1所述的方法，其中子采样步骤包括梅花形五点采 样，分离步骤包括使用子采样图像的每个其它行和每个其它列之一准备子 图像，并且封装步骤包括布置基于行和基于列的子图像之一。
EEE15.根据EEE1所述的方法，还包括编码子图像在图像帧内的布 置的标识符的步骤。
EEE16.根据EEE1所述的方法，还包括编码子图像的布置的标识符 的步骤，其中该标识符是放置在该编码的模式块的边信息中的代码。
EEE17.根据EEE1所述的方法，其中封装包括上面描述的模式的至 少之一。
EEE18.根据EEE1所述的方法，其中该封装维持至少一个尺寸等于 子采样图像之一的尺寸。
EEE19.根据EEE1所述的方法，其中封装包括为有效使用要用于解 码该编码图像的资源而选择的封装格式。
EEE19B.根据EEE1所述的方法，其中封装包括为了允许包括SNR/ 分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征，而选择的封 装格式。
EEE19C.根据EEE19B所述的方法，其中基于诸如处理能力的可用 资源选择该封装格式。
EEE20.根据EEE1所述的方法，其中该封装包括维持具有高值的像 素，以解码/上采样互相非常靠近的每个[子图像]。
EEE21.根据EEE1所述的方法，其中编码步骤包括诸如JPEG、 JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的任何一个图像 或者视频编码系统。
EEE22.一种视频装置，包括：
解码器，被配置为解码编码的视频信号，在视频信号中每帧包括多于 一个的图像；
格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的 各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一 图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视 频数据。
EEE23.根据EEE22所述的视频装置，其中该格式转换器包括被配 置为从多个交织格式对所述数据组进行去交织的去交织器。
EEE24.根据EEE22所述的视频装置，其中该格式转换器包括格式 读取器，该格式读取器被配置为确定该数据组的交织格式。
EEE25.根据EEE22所述的视频装置，其中该格式转换器包括选择 装置，该选择装置被配置为基于交织数据组的格式，选择算法和专用电子 部件之一，以进行去交织。
EEE26.根据EEE22所述的视频装置，其中该格式转换器被配置为 对水平的、垂直的、基于块的和基于映射的交织视频数据组的至少之一进 行去交织。
EEE27.根据EEE22所述的视频装置，还包括上转换器，该上转换 器被配置为对来自所述图像至少之一的去交织数据组进行上转换。
EEE28.根据EEE27所述的视频装置，其中上转换数据被作为2D图 像输出。
EEE29.根据EEE28所述的视频装置，其中以HDMI兼容信号格式 化该2D图像。
EEE30.根据EEE27所述的视频装置，其中该上转换数据包括包含 3D图像的第一视图的第一图像的数据和包含该3D图像的第二视图的第 二图像的数据。
EEE31.根据EEE22所述的视频装置，其中该视频装置是蓝光DVD 播放器、媒体播放器、机顶盒、电视译码器、计算机视频卡、调谐器或者 其它电子装置的至少之一的部分。
EEE32.根据EEE22所述的视频装置，其中解码器包括MPEG-2、 MPEG-4AVC、VC1以及其它解码器之一。
EEE33.一种编码系统，包括：
子采样器，被配置为对至少两个不同视图的图像进行子采样；
格式化器，被配置为从每个视图中选择至少一组图像数据，并且将该 组交织在视频流的单个图像帧中；以及
编码器，被配置为对视频流进行编码。
EEE34.根据EEE33所述的编码系统，其中该编码器包括MPEG-4 AVC编码器。
EEE35.根据EEE33所述的编码系统，其中该组图像数据包括多于 一个像素的组。
EEE36.根据EEE33所述的编码系统，其中格式化器包括奇偶行列 选择器，并且交织图像数据组包括包含水平重新布置、垂直重新布置、交 织水平重新布置、交织垂直重新布置、块重新布置、交织块重新布置、垂 直交织重新布置和水平交织重新布置中至少之一的组。
EEE37.根据EEE33所述的编码器，还包括选择装置，该选择装置 被配置为选择用于交织该组数据的布置。
EEE38.根据EEE33所述的编码器，还包括被配置为从所格式化的 两个图像映射数据的布置的映射器。
EEE39.一种媒体存储器，具有存储在其上的视频流，其中该视频流 包括来自至少两个视图的交织的数据集，当由相应媒体播放器装载和读取 时，使播放器解码，然后去交织该视频流，之后，格式化显示装置的视频 流。
EEE40.根据EEE39所述的媒体存储器，其中该数据集包括对应于 3D图像的第一视图的多个数据集和对应于该3D图像的第二视图的多个 数据集。
EEE41.根据EEE39所述的媒体存储器，其中该媒体存储器包括存 储卡、盘和电磁载体的物理属性至少之一。
EEE42.根据EEE39所述的媒体存储器，其中存储卡、电磁载体和 光盘至少之一的物理特性表示的该媒体存储器的存储内容包括视频流，并 且被加密。
EEE43.一种视频编码系统，包括：
格式化器，被配置为将对应于第一图像的数据的至少一个封装、对应 于第二图像的数据的至少一个封装、第一图像的分辨率和动态范围增强至 少之一、以及第二图像的分辨率和动态范围增强至少之一格式化到视频流 的图像数据帧中；
编码器，被配置为将格式化的第一图像数据和增强、第二图像和增强 编码到视频流中，以进行存储和广播至少之一。
EEE44.根据EEE43所述的视频编码系统，其中该编码器限制子图 像根据对应于其它子图像的样本进行预测。
EEE45.根据EEE43所述的视频编码系统，其中该编码器限制空间 内在先封装的子图像根据对应于其它子图像的样本进行预测。
EEE46.一种视频解码系统，包括：
解码器，被配置为解码视频流的数据帧，其中该数据帧包括至少两个 图像中的图像数据和该图像至少之一的增强；
重新格式化器，被配置为重新格式化来自该图像至少之一的解码的图 像数据，以产生由该解码的图像数据实现的低分辨率版本的原始图像。
EEE47.根据EEE46所述的视频解码系统，其中该重新格式化器包 括去交织器，该去交织器被配置为对对应于该至少一个图像的数据进行去 交织。
EEE48.根据EEE46所述的视频解码系统，其中该重新格式化器被 进一步配置为丢弃该图像至少之一的第二图像数据和增强至少之一。
EEE49.根据EEE46所述的视频解码系统，还包括增强器，该增强 器被配置为利用该解码的增强中的至少某些来增强该解码图像，并且产生 较高分辨率和较高动态范围图像至少之一。
EEE50.根据EEE49所述的视频解码系统，其中该增强递进地应用 于每个图像，并且在某种程度上，该视频解码系统能够实时地这样做。
EEE60.根据EEE49所述的视频解码系统，其中如果该视频解码系 统能够实时地这样做，并且输出显示装置能够显示该增强图像，则该增强 递进地应用于每个图像。
在描述附图所示的本发明的优选实施例时，为了清楚起见，采用了特 定术语。然而，本发明无意局限于这样选择的特定术语，并且应该明白， 每个特定单元均包括以相同方式工作的全部等同技术。例如，当描述交织 技术(例如，块、垂直、视频等)时，任何其它等同交织、或者所列交织 的变型、或者亦解决在此讨论的相同问题的完全不同的交织方式可以代 替。此外，本发明认为，现在未知的新开发的技术也可以代替所描述的本 发明的一个或者多个部分，并且也不脱离本发明的范围。还应当根据任何 一项或者全部可用等同，理解所描述的所有其它用语，包括但是并不局限 于解码器、采样、交织、解码器、映射、模式/布置/格式等。
利用根据本公开的教导编程的传统通用或者专用数字计算机或者微 处理器，可以方便地实现本发明的各部分，并且对于计算机技术领域内的 技术人员是显而易见的。
根据本公开的教导，熟练程序员可以轻而易举地准备正确的软件编 码，并且对于软件技术领域内的技术人员是显而易见的。本发明还可以通 过准备专用集成电路或者通过将传统部件电路的适当网络互连来实现，并 且对于基于本公开的技术领域内的技术人员是显而易见的。
本发明包括计算机程序产品，它是其上存储了可以用于控制、或者使 计算机执行本发明的各种处理中的任何一种处理的指令的(各)存储介质。 该存储介质可以包括，但是并不局限于：任何类型的盘，包括软盘、迷你 盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或者DVD RW +/－、微型硬盘和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、 VRAM、快擦洗存储器器件(包括闪速存储卡、存储棒)、磁卡或者光学 卡(optical card)、SIM卡、MEMS、纳米系统(包括分子存储器IC)、 RAID装置、远程数据存储/档案/仓库(warehousing)、或者适于存储指 令和/或者数据的任何类型的介质或者装置。
存储在(各)计算机可读介质中任一个上的内容，本发明包括用于控 制通用计算机/专用计算机或者微处理器，并且用于使该计算机或者微处 理器与采用本发明的成果的用户或者其它机构交互的软件。这种软件可以 包括，但是并不局限于：设备驱动器、操作系统和用户应用程序。最后， 这种计算机可读介质还包括用于执行本发明的软件，如上所述。
通用/专用计算机或者微处理器的程序(软件)中包括的是，用于实 现本发明教导的内容的软件模块，包括但是并不局限于，采样、识别子图 像、布置子图像、编码与交织方案相关的任何形式的边信息或者与本发明 相关的子图像、解码之后重新格式化、以及显示、存储或者传送根据本发 明的处理结果。
本发明可以适当包括、包含或者基本上含有在此描述的任何单元(本 发明的各部分或者特征)及其等同。此外，在此说明性披露的本发明可以 在没有任何单元的情况下实施，无论是否是在此具体披露。显然，根据上 面的教导，可以对本发明进行许多修改和变型。因此，应当明白，在所附 权利要求书的范围内，在在此所做的具体描述之外，可以实施本发明。