对视频编码的方法和设备以及对视频解码的方法和设备.pdf

一种对视频编码的方法和设备以及对视频解码的方法和设备，其中的帧间预测包括如下步骤：从在当前图像之前恢复的图像的块中，确定当前图像的当前块的共同定位块；优先检查是否参考了共同定位块的参考列表中的第一参考列表，并根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表；基于检查的结果，从第一参考列表和第二参考列表中确定一个共同定位参考列表；使用共同定位参考列表的运动信息来确定当前块的参考块；使用确定的参考块来执行对当前块的帧间预测。

权利要求书1.  一种用于视频解码的设备，所述设备包括：处理器，被配置为在预测因子候选中确定当前块的运动矢量预测因子，其中，所述预测因子候选包括根据当前块的共同定位块的运动矢量预测因子候选；存储器，被配置为存储通过使用当前块的运动矢量预测因子的帧间预测而重构的画面，其中：当当前块的共同定位块的参考画面从列表L0和列表L1被确定，并且对于当前块的预测可用的参考画面将先于包括当前块的当前画面被输出时，处理器被配置为在所述共同定位块的L0运动矢量和L1运动矢量中选择与当前块的参考列表相应的运动矢量，并通过使用选择的运动矢量来来确定根据所述共同定位块的运动矢量预测因子候选。

说明书对视频编码的方法和设备以及对视频解码的方法和设备
本申请是申请日为2012年7月2日、申请号为201280042736.4、题为“伴随使用共同定位的图像的帧间预测的对视频编码的方法和设备以及对视频解码的方法和设备”的专利申请的分案申请。
技术领域
本发明涉及通过帧间预测和运动补偿对视频进行编码的方法和设备以及通过帧间预测和运动补偿对视频进行解码的方法和设备。
背景技术
随着用于再现和存储高分辨率或高品质视频内容的硬件的开发和供应，对用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需要日益增加。根据传统的视频编解码器，基于具有预定尺寸的宏块，根据有限的编码方法对视频进行编码。
通过频率变换将空域的图像数据变换为频域的系数。为了频率变换的快速计算，根据视频编解码器，将图像划分为具有预定尺寸的多个块，对每个块分别执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码。与空域的图像数据相比，频域的系数被容易地压缩。具体地讲，在空域中图像的像素值根据视频编解码器的帧间预测或帧内预测被表示为预测误差，因此，当对预测误差执行频率变换时，大量的数据可被变换为0。根据视频编解码器，可通过将连续且重复地产生的数据替换为小数据，来减少数据量。
发明内容
技术问题
本发明提供一种用于使用共同定位的画面确定参考图像的帧间预测方法和设备、通过帧间预测的视频编码方法和视频解码方法以及通过帧间预测的视频解码方法和视频解码设备。
技术方案
根据本发明的一方面，提供了一种帧间预测方法，所述方法包括：从在当前图像之前恢复的图像的块中，确定当前图像的当前块的共同定位块；优先检查是否参考了共同定位块的参考列表中的第一参考列表，并根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表；基于检查的结果，从第一参考列表和第二参考列表中确定一个共同定位参考列表；使用共同定位参考列表的运动信息来确定当前块的参考块；使用确定的参考块来执行对当前块的帧间预测。
有益效果
无需为了确定当前块的参考图像而检查包括在共同定位块的参考列表中的全部的多个参考图像，帧间预测设备可优先检查第一参考列表，所述第一参考列表包括在共同定位画面中位于与从当前块至共同定位块的方向相反的方向上的参考图像。帧间预测设备可选择性地检查剩余参考列表。因此，在用于通过使用共同定位块确定当前块的参考图像的处理中跳过了不必要的处理，从而提高用于针对帧间预测确定参考图像的处理的效率。
最佳实施方式
根据本发明的一方面，提供了一种帧间预测方法，所述方法包括如下步骤：从在当前图像之前恢复的图像的块中，确定当前图像的当前块的共同定位块；优先检查是否参考了共同定位块的参考列表中的第一参考列表，并根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表；基于检查的结果，从第一参考列表和第二参考列表中确定一个共同定位参考列表；使用共同定位参考列表的运动信息来确定当前块的参考块；使用确定的参考块来执行对当前块的帧间预测。
第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
选择性地检查第二参考列表的步骤可包括：当针对帧间预测而参考了第一参考列表时，跳过用于检查是否参考了第二参考列表的操作。
确定共同定位参考列表的步骤可包括：当共同定位块的图像的画面顺序计数(POC)号总是小于当前图像的POC号时，将当前块的参考列表确定为 共同定位参考列表。
选择性地检查第二参考列表的步骤可包括：根据是否存在第一参考列表的运动信息或第二参考列表的运动信息，检查第一参考列表或第二参考列表。
根据本发明的另一方面，提供了一种帧间预测设备，包括：共同定位参考列表检查单元，从在当前图像之前恢复的图像的块中确定当前图像的当前块的共同定位块，优先检查是否参考了共同定位块的参考列表中的第一参考列表，并根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表；参考块确定器，基于检查的结果，从第一参考列表和第二参考列表中确定一个共同定位参考列表，以及使用共同定位参考列表的运动信息来确定当前块的参考块；帧间预测单元，使用确定的参考块来执行对当前块的帧间预测。
根据本发明的另一方面，提供了一种视频解码设备，包括：解析器，对通过解析接收的比特流而获得的比特串执行熵解码以恢复样本；逆变换器，对恢复的样本中的量化的变换系数执行反量化和逆变换以恢复样本；帧内预测器，对由逆变换器恢复的样本中的帧内预测模式下的块执行帧内预测；运动补偿器，为了对由逆变换器恢复的样本中的帧间模式下的当前块执行帧间预测，优先检查是否参考了当前块的共同定位块的参考列表中的第一参考列表，根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表，基于检查的结果从第一参考列表和第二参考列表中确定一个共同定位参考列表，并使用基于共同定位参考列表的运动信息的当前块的参考块对当前块执行帧间预测；恢复器，使用通过帧间预测或帧内预测恢复的块来恢复图像。
根据本发明的另一方面，提供了一种视频编码设备，包括：帧内预测器，对视频的块中的帧内预测模式下的块执行帧内预测；帧间预测器，为了对帧间模式下的当前块执行帧间预测，优先检查是否参考了当前块的共同定位块的参考列表中的第一参考列表，根据是否参考了第一参考列表来选择性地检查是否参考了第二参考列表，基于检查的结果从第一参考列表和第二参考列表中确定一个共同定位参考列表，并使用基于共同定位参考列表的运动信息的当前块的参考块对当前块执行帧间预测；变换量化器，对帧间预测或帧内预测的结果执行变换和量化；输出单元，输出通过对样本执行熵编码而产生的比特流，其中，所述样本包括作为变换和量化的结果而产生的量化的变换系数。
根据本发明的另一方面，提供了一种在其上记录有用于执行所述帧间预测方法的程序的计算机可读记录介质。
附图说明
图1是根据本发明的实施例的帧间预测设备的框图；
图2示出使用共同定位块来确定参考图像的传统方法；
图3示出根据本发明的实施例的使用共同定位块来确定参考图像的方法；
图4是根据本发明的实施例的帧间预测方法的流程图；
图5是根据本发明的实施例的通过帧间预测的视频编码方法的流程图；
图6是根据本发明的实施例的通过帧间预测的视频解码方法的流程图；
图7是根据本发明的实施例的基于根据树结构的编码单元的视频编码设备的框图；
图8是根据本发明的实施例的基于根据树结构的编码单元的视频解码设备的框图；
图9是用于描述根据本发明的实施例的编码单元的概念的示图；
图10是根据本发明的实施例的基于编码单元的图像编码器的框图；
图11是根据本发明的实施例的基于编码单元的图像解码器的框图；
图12是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图；
图13是用于描述根据本发明的实施例的编码单元和变换单元之间的关系的示图；
图14是用于描述根据本发明的实施例的与编码深度对应的编码单元的编码信息的示图；
图15是根据本发明的实施例的根据深度的较深层编码单元的示图；
图16至图18是用于描述根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；
图19是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图。
具体实施方式
下文中，将参照图1至图5描述使用共同定位块(collocated block)的参考列表的帧间预测方法和设备。将参照图5和图6描述通过帧间预测的视频编码方法和视频解码设备。另外，将参照图7至图19描述基于具有树结构的编码单元的通过帧间预测的视频编码方法和视频解码设备。下文中，术语“图像”可表示静止图像或运动画面，即，视频本身。
首先，参照图1至图4，将描述根据本发明的实施例的使用共同定位块的参考列表的帧间预测方法和帧间预测设备。另外，参照图5和图6，将描述根据本发明的实施例的通过帧间预测的视频编码方法和视频解码方法。
图1是根据本发明的实施例的帧间预测设备10的框图。
帧间预测设备10包括参考列表检查单元12、参考块确定单元14和帧间预测单元16。
帧间预测设备10对用于每个视频图像的每个块分别进行编码。块可具有正方形形状、矩形形状或任意几何形状，且不限于具有预定尺寸的数据单元。根据本发明的实施例，块可以是根据树结构的编码单元中的最大编码单元、编码单元、预测单元、变换单元等。将在下面参照图7至图19描述基于根据树结构的编码单元的视频编码和解码方法。
参考列表检查单元12可从在当前图像之前恢复的图像的块中确定当前图像的当前块的共同定位块。可从在当前图像之前恢复的图像中确定当前图像的共同定位画面，随后可确定在共同定位画面中位于与在当前图像中的当前块的块位置对应的块位置处的共同定位块。
参考列表检查单元12可使用共同定位块的参考列表来确定当前块的参考列表。
参考列表检查单元12可优先地检查是否参考了共同定位块的参考列表中的第一参考列表。根据本实施例的第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
参考列表检查单元12可根据是否参考了第一参考列表，来选择性地检查是否参考了第二参考列表。当参考了第一参考列表时，不是必需检查是否参考了第二参考列表。
当针对共同定位块的帧间预测，参考了第一参考列表时，参考列表检查单元12可跳过用于检查是否参考了第二参考列表的处理。
参考列表检查单元12可根据是否存在第一参考列表或第二参考列表的 运动信息，来检查是否参考了第一参考列表或第二参考列表。
参考块确定单元14可根据检查是否参考了第一参考列表或第二参考列表的结果，来确定当前块的参考块。
参考块确定单元14可从第一参考列表和第二参考列表中确定一个共同定位参考列表。当检查到能够参考第一参考列表时，参考块确定单元14确定第一参考列表是共同定位参考列表。当参检查到能够参考第二参考列表时，参考块确定单元14确定第二参考列表是共同定位参考列表。
参考块确定单元14可使用共同定位参考列表的运动信息，来确定当前块的参考块。可根据共同定位参考列表，来确定共同定位参考图像。可根据共同定位画面至共同定位参考图像的方向和距离，来确定当前图像的参考图像。另外，可通过与从共同定位画面至共同定位参考图像的方向和距离成比例地修改共同定位参考列表的运动信息，来确定当前块的运动信息，以及可根据共同定位参考列表的修改的运动信息，来在当前图像的参考图像中确定参考块。
但是，当共同定位块的图像的画面顺序计数(POC)号总是小于当前图像的POC号时，参考块确定单元14可将共同定位参考列表替换为当前块的参考列表。因此，可根据当前块的参考列表确定当前块的参考图像。
在用于防止视频编码的延迟的低延迟条件下，参考块确定单元14可根据当前块的参考列表来确定当前块的参考图像。例如，当当前块的参考列表的列表0和列表1包括相同参考图像，即，在广义P和B(GPB)模式下时，可根据当前块的参考列表确定参考图像。当用于对图像进行解码的当前条件满足低延迟条件时，参考块确定单元14可根据当前块的参考列表确定当前块的参考图像。
帧间预测单元16可使用由参考块确定单元14确定的参考块，来对当前块执行帧间预测。
帧间预测设备10可包括中央处理器(未示出)，以整体控制参考列表检查单元12、参考块确定单元14和帧间预测单元16。可选地，参考列表检查单元12、参考块确定单元14和帧间预测单元16可被各个处理器(未示出)控制，并且处理器可相互协同作用以控制帧间预测设备10的整体操作。可选地，可根据帧间预测设备10的外部处理器(未示出)的控制而控制参考列表检查单元12、参考块确定单元14和帧间预测单元16。
帧间预测设备10可包括用于存储输入到参考列表检查单元12、参考块确定单元14和帧间预测单元16的数据和从参考列表检查单元12、参考块确定单元14和帧间预测单元16输出的数据的至少一个数据存储单元(未示出)。帧间预测设备10可包括用于控制数据存储单元(未示出)的数据的输入/输出的控制器(未示出)。
帧间预测设备10可优先地检查第一参考列表，所述第一参考列表包括位于与从当前块至共同定位画面中的共同定位块的方向相反的方向上的参考图像。为了确定当前块的参考图像，帧间预测设备10可选择性地检查剩余参考列表，而不是检查包括在共同定位块的参考列表中的多个参考图像的全部。
当帧间预测设备10检查到共同定位块的第一参考列表用于共同定位画面的帧间预测时，由于帧间预测设备10可基于共同定位块的第一参考列表确定当前块的参考图像，因此可跳过用于再次检查是否参考了共同定位块的剩余参考列表的处理。因此，在用于使用共同定位块来确定当前块的参考图像的处理中跳过了不必要的处理，从而提高用于针对帧间预测确定参考图像的处理的效率。
图2示出使用共同定位块来确定参考图像的传统方法。
可参照当前块25的共同定位块27的参考列表，来确定当前图像20的当前块25的参考图像。
参考列表的索引可由List028和List129表示。根据图像22、20、21和23的POC顺序，包括当前图像20之前的参考图像的参考列表可由列表0L0表示，而包括当前图像20之后的参考图像的参考列表可由列表1L1表示。
当前块25的共同定位画面21的“colDir”值表示朝向共同定位画面21的方向。由于共同定位画面21包括在当前图像20的列表126中，所以“colDir”可以是1。作为另一示例，“collocated_from_l0_flag”值可被用作用于搜索共同定位画面21的参数。“collocated_from_l0_flag”值可指示共同定位画面21是当前图像20的列表0的图像。因此，可将当前图像20的“collocated_from_l0_flag”值确定为0。
共同定位块27可在共同定位画面21中位于与在当前图像20中的当前块25的块位置对应的块位置处。在传统方法中，可通过检查是否参考了共同定位块27的参考列表的List0 28和List1 29二者，来确定当前块25的参考图像。
代表性地，可从共同定位块27沿跨过当前图像20的参考方向确定当前 块25的参考图像。由于从共同定位块27跨过当前图像20的参考方向是朝向List0 28的方向，所以当前块25的参考图像很可能位于朝向List0 28的方向上。因此，传统地，即使检查是否参考了List1 29的处理很可能是不必要的，也需要检查共同定位块27的参考列表的List0 28和List1 29二者是否被参考。
图3示出根据本发明的实施例的使用共同定位块来确定参考图像的方法。
一般来讲，可从共同定位块37沿跨过当前图像30的参考方向确定当前块35的参考图像。即，如果共同定位画面31包括在当前块35的列表1 36中，则很可能从共同定位块37沿跨过当前图像30朝着List0 38的参考方向确定当前块35的参考图像。
如果另一共同定位画面位于朝List0 38的参考方向上，则很可能从共同定位画面沿跨过当前图像30的朝着List1 36的参考方向确定当前块35的参考图像。
因此，根据本实施例，为了确定当前块35的参考图像，帧间预测设备10可优先地检查是否参考了共同定位块37的参考列表(即，List0 38和List139)中的一个参考列表。可根据共同定位块37是否具有关于对应参考列表的运动信息(其中，共同定位块37是否具有关于对应参考列表的运动信息是在恢复共同定位块37期间是否已预先参考对应参考列表的结果)，来确定是否参考了对应参考列表。
如果优先检查的参考列表没有用于共同定位块37的帧间预测，则帧间预测设备10可检查是否参考了共同定位块37的剩余参考列表。
如上所述，可从共同定位块37沿跨过当前图像30的参考方向，来确定参考列表。因此，如果共同定位画面31包括在当前块35的1 36中，则帧间预测设备10可从共同定位块37沿跨过当前图像30的方向检查是否参考了List0 38。当确定参考List0 38时，无需检查是否参考了List1 39。但是，如果没有参考共同定位块36的List0 38的图像以进行帧间预测，则帧间预测设备10可简单检查是否参考了共同定位块36的List1 39。
相似地，如果当前块的共同定位画面包括在当期块的列表0中，则帧间预测设备10可优先地检查是否参考了共同定位块的列表1。
因此，帧间预测设备10可基于从当前块至共同定位画面的参考方向，从共同定位块的参考列表中确定如下参考列表，其中，该参考列表经历优先检 查是否参考了该参考列表的操作。
即，帧间预测设备10将朝向共同定位块的参考列表中的如下参考列表的方向确定为与从当前块至共同定位画面的参考方向相反的方向，其中，该参考列表将经历优先检查是否参考了该参考列表的操作。因此，如果共同定位画面是当前图像的列表0的图像，则可优先地检查是否参考了共同定位块的列表1。如果共同定位画面是当前图像的列表1的图像，则可优先地检查是否参考了共同定位块的列表0。
例如，可以与从当前块至共同定位画面的参考方向相反地确定共同定位块的参考列表中的如下参考列表，其中，该参考列表将经历优先检查是否参考了该参考列表的操作。因此，当从当前块至共同定位画面的参考方向被表示为“colDir”时，帧间预测设备10可在共同定位块的参考列表中沿“1-colDir”确定如下参考列表，其中，该参考列表将经历优先检查是否参考了该参考列表的操作。
作为另一示例，当共同定位画面是当前图像的列表0的图像时，当前块的“collocated_from_l0_flag”值是1。当共同定位画面是当前图像的列表1的图像时，“collocated_from_l0_flag”值是0。因此，帧间预测设备10可根据当前块的“collocated_from_l0_flag”值确定朝向共同定位块的参考列表中的如下参考列表的方向，其中，该参考列表将经历优先检查是否参考了该参考列表的操作。
因此，帧间预测设备10可使用基于是否参考了第一参考列表而选择的共同定位参考列表的运动信息，来确定当前块的参考块。
但是，在低延迟条件下，帧间预测设备10可基于当前块的参考列表，而不是共同定位块的参考列表，来确定当前块的参考图像。例如，当共同定位块的图像的POC号总是小于当前图像的POC号时，或当满足包括GPB预测模式的预定条件(在GPB预测模式下，当前块的参考列表的列表0和列表1包括相同参考图像)时，以低延迟条件对图像进行解码。在低延迟条件下，帧间预测设备10可将共同定位参考列表替换为当前块的参考列表，随后可使用共同定位参考列表的运动信息来确定当前块的参考块。
图4是根据本发明的实施例的帧间预测方法的流程图。
在操作41，从在当前图像之前恢复的图像的块中确定当前图像的当前块的共同定位块。
在操作42，优先地检查是否从共同定位块的参考列表中参考第一参考列表，并且根据是否参考了第一参考列表来检查是否参考了第二参考列表。
根据本实施例，第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。当针对共同定位块的帧间预测，参考了第一参考列表时，可跳过检查是否参考了第二参考列表的处理。
在操作43，基于操作42的检查的结果，从第一参考列表和第二参考列表中确定一个共同定位参考列表。当在低延迟条件下对视频进行解码时，将当前块的参考列表确定为共同定位参考列表，并且可根据当前块的参考列表确定参考图像。
在操作44，使用共同定位参考列表的运动信息来确定当前块的参考块。在操作45，使用在操作44确定的参考块对当前块执行帧间预测。
因此，在根据本实施例的针对帧间预测确定参考图像的方法中，如果检查到共同定位块的第一参考列表用于共同定位画面的帧间预测，则可跳过用于再次检查是否参考了共同定位块的剩余参考列表的不必要处理，从而提高帧间预测的效率。
图5是根据本发明的实施例的通过帧间预测的视频编码方法的流程图。
在操作51，对在视频的块中的帧内预测模式下的块执行帧内预测。
在操作52，针对帧间模式下的当前块的帧间预测，优先检查是否参考了当前块的共同定位块的参考列表中的第一参考列表。第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
当能够参考第一参考列表时，不必检查是否参考了第二参考列表。当没有参考第一参考列表时，可检查是否参考了第二参考列表。基于检查的结果，可从第一参考列表和第二参考列表中确定一个共同定位参考列表，并且可基于共同定位参考列表的运动信息确定当前块的参考块。可使用当前块的参考块对当前块执行帧间预测，以产生残差值。
在操作53，对帧内预测或帧间预测的结果执行变换和量化，以产生量化的变换系数。在操作55，输出通过对包括操作53的量化的变换系数的样本执行熵编码而产生的比特流。可发送表示朝向当前块的共同定位画面的方向的参数“colDir”或表示共同定位画面的当前图像是否是列表0的图像的参数“collocated_from_l0_flag”。
另外，在操作52的帧间预测期间，当在低延迟条件下恢复图像时，可根 据当前块的参考列表，而不管共同定位参考列表，来确定参考图像。
执行图5的视频编码方法的视频编码设备可包括根据本发明的实施例的帧间预测设备10。包括帧间预测设备10的视频编码设备可针对每个图像块执行帧内预测、帧间预测、变换和量化以产生样本，并且可对样本执行熵编码以产生比特流。在包括帧间预测设备10的视频编码设备中，为了输出视频编码结果，帧间预测设备10可以与安装在视频编码设备中以执行包括变换的视频编码操作的视频编码处理器或外部视频编码处理器交互。根据本发明的实施例，在视频编码设备的内部视频编码处理器中，由于视频编码设备、中央处理设备或图形处理设备可包括视频编码模块以及单独的处理器，因此可执行基本的视频编码操作。
图6是根据本发明的实施例的通过帧间预测的视频解码方法的流程图。
在操作61，对通过解析接收的比特流而获得的比特串执行熵解码，以恢复样本。在操作62，对样本中的量化的变换系数执行反量化和逆变换，以恢复样本。在操作63，对帧内模式下的样本执行帧内预测。在操作64，对帧间模式下的样本执行运动补偿。在操作65，使用通过操作63的帧内预测或操作64的运动补偿所恢复的块，来恢复图像。
在操作64，针对帧间模式下的当前块的帧间预测，从样本中确定当前块的共同定位块。可从比特流解析和恢复表示朝向当前块的共同定位画面的方向的参数“colDir”或表示共同定位画面的当前图像是否是列表0的图像的参数“collocated_from_l0_flag”。可基于参数“colDir”或参数“collocated_from_l0_flag”确定当前块的共同定位块。
优先地检查是否参考了共同定位块的参考列表中的第一参考列表。第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
当能够参考第一参考列表时，不必检查是否参考了第二参考列表。当没有参考第一参考列表时，可检查是否参考了第二参考列表。基于检查的结果，可从第一参考列表和第二参考列表中确定一个共同定位参考列表，并且可基于共同定位参考列表的运动信息确定当前块的参考块。可使用当前块的参考块对当前块执行当前块的运动补偿，以产生块像素样本值。
另外，在操作63的运动补偿期间，当在低延迟条件下恢复图像时，可根据当前块的参考列表确定参考图像，而不管共同定位参考列表如何。
执行图6的视频解码方法的视频解码设备可包括根据本发明的实施例的帧间预测设备10。包括帧间预测设备10的视频解码设备可解析通过对比特流进行编码而获得的样本，并且可针对每个图像块执行反量化、逆变换、帧内预测和运动补偿，以恢复样本。在视频解码设备中，为了输出视频解码结果，帧间预测设备10可以与安装在视频解码设备中以执行包括逆变换或预测/补偿的视频解码操作的视频解码处理器或外部视频解码处理器交互。根据本发明的实施例，在内部视频解码处理器或视频解码设备中，由于视频解码设备、中央处理设备或图形处理设备可包括视频解码模块以及单独的处理器，因此可执行基本的视频解码操作。
在帧间预测设备10中，通过划分视频数据而获得的块被划分为具有树结构的编码单元，且预测单元用于如上所述的编码单元的帧间预测。以下，参照图7至图19，将描述基于具有树结构的编码单元和编码单元对视频进行编码的方法和设备以及对视频进行解码的方法和设备。
图7是根据本发明的实施例的基于根据树结构的编码单元的视频编码设备100的框图。
通过基于根据树结构的编码单元的视频预测的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。以下，为了便于描述，通过基于根据树结构的编码单元的视频预测的视频编码设备100被称为“视频编码设备100”。
最大编码单元划分器110可基于用于图像的当前画面的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明的实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中，数据单元的形状是宽度和长度均为2的若干次方的正方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。
根据本发明的实施例的编码单元可以由最大尺寸和深度来表征。深度表示编码单元在空间上从最大编码单元被划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度加深而减小，因此与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据本发明的实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空域的图像数据可根据深度被分层分类。
限制最大编码单元的高度和宽度被分层划分的总次数的编码单元的最大深度和最大尺寸可以被预先确定。
编码单元确定器120对通过根据深度划分最大编码单元的区域所获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于最终输出编码的图像数据的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。因此，最终输出与确定的编码深度相应的编码单元的编码的图像数据。此外，与编码深度相应的编码单元可被视为编码的编码单元。将确定的编码深度和根据确定的编码深度的编码的图像数据输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在比较较深层编码单元的编码误差之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度被分层划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。此外，即使编码单元在一个最大编码单元中对应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与该相同深度相应的编码单元中的每一个划分到更低的深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也被划分为根据深度的区域，并且编码误差可根据所述一个最大编码单元中的区域而不同，因此，编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元划分最大编码单元的图像数据。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明的实施例的“具有树结构的编码单元”包括包含在最大编码单元中的所有较深层编码单元中的与被确定为编码深度的深度相应的编码单元。编码深度的编码单元可在最大编码单元的相同区域中根据深度被 分层确定，并且可在不同区域中被独立地确定。类似地，当前区域中的编码深度可独立于另一区域中的编码深度而被确定。
根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数相关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元执行预测编码和变换。可根据正交变换或整数变换的方法执行变换。
由于每当最大编码单元根据深度被划分时较深层编码单元的数量增加，因此对随着深度加深产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，而且选择与编码单元不同的数据单元，以对编码单元中的图像数据执行预测编码。为了对最大编码单元执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)执行预测编码。下文中，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元所获得的分区可包括通过划分预测单元的高度和宽度中的至少一个所获得的预测单元或数据单元。分区是通过划分编码单元的预测单元而获得的数据单元，并且预测单元可以是与编码单元具有相同尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并且变为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称地划分预测单元的高度或宽度所获得的对称分区、通过非对称地划分预测单元的高度或宽度(诸如1:n或n:1)所获得的分区、通过在几何上划分预测单元所获得的分区以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一种。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。此外，可仅对2N×2N的分区执行跳过模式。在编码单元中对一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元而且基于与编码单元不同的变换单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的变换单元可包括用于帧内模式的变换单元和用于帧间模式的数据单元。
与根据本实施例的根据树结构的编码单元类似地，编码单元中的变换单元可递归地被划分为更小尺寸的区域，并且可以按照根据变换深度的具有树结构的变换单元来划分编码单元中的残差数据。
根据本发明的实施例，还可在变换单元中设置指示通过划分编码单元的高度和宽度而执行划分以达到变换单元的次数的变换深度。例如，当当前编码单元的变换单元的尺寸是2N×2N时，变换深度可被设置为0。当变换单元尺寸是N×N时，变换深度可被设置为1。另外，当变换单元的尺寸是N/2×N/2时，变换深度可被设置为2。即，还可根据变换深度设置根据树结构的变换单元。
根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，而且需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，而且确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
稍后将参照图7至图19详细地描述根据本发明的实施例的根据最大编码单元中的树结构的编码单元和预测单元/分区以及确定变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化，来测量根据深度的较深层编码单元的编码误差。
输出单元130以比特流输出基于由编码单元确定器120确定的至少一个编码深度被编码的最大编码单元的图像数据以及关于根据编码深度的编码模式的信息。
可通过对图像的残差数据进行编码来获得编码的图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度、预测单元中的分区类型、预测模式和变换单元的尺寸的信息。
关于编码深度的信息可通过使用根据深度的划分信息来定义，其表示是否对更低深度(而非当前深度)的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此，划分信息可被定义为不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此，划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，因此，对更低深度的每个编码单元重复地执行编码，从而可针对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此，可针对一个最大编码单元确定关于至少一个编码模式的信息。此外，最大编码单元的图像数据的编码深度可根据位置而不同，这是因为图像数据根据深度被分层划分，因此，可针对图像数据设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配到包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本发明的实施例的最小单元是通过将构成最低深度的最小编码单元划分为四个所获得的矩形数据单元。可选地，最小单元可以是可被包括在在最大编码单元中包括的所有的编码单元、预测单元、分区单元和变换单元中的具有最大尺寸的最大矩形数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息和关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于 运动矢量的信息、关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息。
此外，关于根据画面、条带或画面组(GOP)定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的头、序列参数集(SPS)或画面参数集(PPS)中。
此外，对于当前视频可接受的关于变换单元的最大尺寸的信息以及关于变换单元的最小尺寸的信息还可经由比特流的头、SPS或PPS输出。输出单元130可对与参照图1至图6描述的预测相关的参考信息、预测信息、单方向预测信息以及关于包括第四条带类型的条带类型的信息进行编码和输出。
在视频编码设备100中，较深层编码单元可以是通过将上述的作为一层的上级深度的编码单元的高度或宽度划分两次所获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。此外，具有2N×2N尺寸的当前深度的编码单元可包括最多四个更低深度的编码单元。
因此，视频编码设备100可通过基于考虑当前画面的特性确定的最大深度和最大编码单元的尺寸针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任何一种对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。
因此，如果具有高分辨率或大数据量的图像以传统宏块被编码，则对于每个画面宏块的数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，图像压缩效率可以提高，这是因为在考虑图像的特性时调整编码单元，同时在考虑图像的尺寸时增大编码单元的最大尺寸。
图7的视频编码设备100可执行参照图1描述的帧间预测设备10的操作。
编码单元确定器120可执行帧间预测设备10的操作。针对每个最大编码单元，可以按根据树结构的编码单元确定用于帧间预测的预测单元，并且可以按预测单元执行帧间预测。
具体地讲，针对预测模式下的当前预测单元的帧间预测，优先地检查是否参考了当前块的共同定位块的参考列表中的第一参考列表。第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
当能够参考第一参考列表时，不必检查是否参考了第二参考列表。当没有参考第一参考列表时，可检查是否参考了第二参考列表。基于检查的结果，可从第一参考列表和第二参考列表中确定一个共同定位参考列表，并且可基于共同定位参考列表的运动信息确定当前预测单元的参考块。可通过使用当前预测单元的参考块来对当前预测单元执行帧间预测，以产生残差值。可发送表示当前预测单元的共同定位块的参数“collocated_from_l0_flag”或参数“colDir”。
图8是根据本发明的实施例的基于根据树结构的编码单元的视频解码设备200的框图。
基于根据树结构的编码单元的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。下文中，为了便于描述，使用基于根据树结构的编码单元的视频预测的视频解码设备200将被称为“视频解码设备200”。
用于视频解码设备200的解码操作的诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息的各种术语的定义与参照图7描述的术语和视频编码设备100的术语的定义相同。
接收器210接收并解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码的图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、SPS或PPS提取关于当前画面的编码单元的最大尺寸的信息。
此外，图像数据和编码信息提取器220从解析的比特流提取关于编码深度和编码模式的信息，其中，所述编码深度和编码模式用于具有根据每个最大编码单元的树结构的编码单元。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。此外，可提取根据深度的划分信息， 作为关于编码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于如下编码深度和编码模式的信息，所述编码深度和编码模式被确定为当编码器(诸如视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配到相应编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。分配有关于编码深度和编码模式的相同信息的预定数据单元可被推断为包括在相同最大编码单元中的数据单元。
图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换言之，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元的信息，来对编码的图像数据进行解码。解码处理可包括包含帧内预测和运动补偿的预测以及逆变换。可根据逆正交变换或逆整数变换的方法执行逆变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式和分区类型的信息，根据每个编码单元的预测模式和分区来执行帧内预测或运动补偿。
此外，为了针对每个最大编码单元进行逆变换，图像数据解码器230可读取针对每个编码单元的根据树结构的变换单元信息，以确定针对每个编码单元的变换单元，并基于针对每个编码单元的变换单元执行逆变换。通过逆变换，可恢复编码单元中的空域的像素值。
图像数据解码器230可通过使用根据深度的划分信息，来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元尺寸的信息，对当前最大编码单元中的与每个编码深度相应的至少一 个编码单元的编码数据进行解码，并输出当前最大编码单元的图像数据。
换言之，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被视为将在相同编码模式下被图像数据解码器230解码的一个数据单元。针对如上所述确定的每个编码单元，可获得关于编码模式的信息，来对当前编码单元进行解码。
图8的视频解码设备200的图像数据解码器230可执行如上参照图1描述的帧间预测设备10的操作。
图像数据解码器230可针对根据树结构的每个编码单元确定用于帧间预测的预测单元，并且可针对最大编码单元执行用于每个预测单元的帧间预测。
具体地讲，针对在帧间模式下的当前块的帧间预测，从恢复的样本中确定当前块的共同定位块。可基于通过解析比特流而获得的当前预测单元的参数“collocated_from_l0_flag”或参数“colDir”，确定当前预测单元的共同定位块。
优先地检查是否参考了共同定位块的参考列表中的第一参考列表。第一参考列表可包括位于与从当前图像至共同定位块的方向相反的方向上的图像。
当能够参考第一参考列表时，不必检查是否参考了第二参考列表。当没有参考第一参考列表时，可检查是否参考了第二参考列表。基于检查的结果，可从第一参考列表和第二参考列表中确定一个共同定位参考列表，并且可基于共同定位参考列表的运动信息确定当前预测单元的参考块。可通过使用当前预测单元的参考块来对当前预测单元执行运动补偿，以产生块像素样本值。
另外，当在低延迟条件下恢复图像时，可根据当前预测单元的参考列表确定参考图像，而不管共同定位参考列表如何。
视频解码设备200可获得关于在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用该信息对当前画面进行解码。换言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此外，考虑分辨率和图像数据量来确定编码单元的最大尺寸。
因此，即使图像数据具有高分辨率和大量数据，也可通过使用关于从编码器接收的最佳编码模式的信息，通过使用根据图像数据的特性自适应地确 定的编码单元的尺寸和编码模式来对图像数据有效地进行解码并恢复图像数据。
图9是用于描述根据本发明的实施例的编码单元的概念的示图。
编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图9中示出的最大深度表示从最大编码单元到最小解码单元的划分总数。
如果分辨率高或数据量大，则编码单元的最大尺寸可以大，从而不但提高编码效率，而且精确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及因通过将最大编码单元划分两次而深度加深到两层的长轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及因通过将最大编码单元划分一次而深度加深到一层的长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及因通过将最大编码单元划分三次而深度加深到3层的长轴尺寸为32、16和8的编码单元。随着深度加深，可精确表示详细信息。
图10是根据本发明的实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对当前帧405中的帧间模式下的编码单元执行帧间估 计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空域中的数据，恢复的空域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
为了将图像编码器400应用在视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490)在考虑每个最大编码单元的最大深度的同时基于具有树结构的编码单元中的每个编码单元来执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
具体地讲，为了确定用于当前预测单元的帧间预测的参考图像，运动补偿器425优先地检查是否参考了共同定位块的第一参考列表，并且当因为优先地参考共同定位块的第一参考列表而存在第一参考列表的运动信息时不再次检查是否参考了共同定位块的剩余参考列表。但是，当因为没有参考共同定位块的第一参考列表而不存在第一参考列表的运动信息时，运动补偿器425可检查是否参考了共同定位块的剩余参考列表。运动补偿器425可使用已执行检查操作的共同定位块的参考列表，来确定当前预测单元的参考列表。
图11是根据本发明的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空域中的图像数据。
帧内预测器550针对空域中的图像数据对处于帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对处于帧间模式下的编码单元执行运动补偿。
通过帧内预测器550和运动补偿器560的空域中的图像数据在通过去块 单元570和环路滤波单元580进行后处理之后可被输出为恢复帧595。此外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。
为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510执行操作之后执行的操作。
为了将图像解码器500应用在视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580)基于针对每个最大编码单元的具有树结构的编码单元来执行操作。
具体地讲，帧内预测器550和运动补偿器560基于具有树结构的编码单元中的每个编码单元的分区和预测模式来执行操作，并且逆变换器540基于每个编码单元的变换单元的尺寸来执行操作。
具体地讲，为了确定用于当前预测单元的帧间预测的参考图像，运动补偿器560优先地检查是否参考了共同定位块的第一参考列表，并且当因为优先地参考共同定位块的第一参考列表而存在第一参考列表的运动信息时不检查是否参考了共同定位块的剩余参考列表。但是，当因为没有参考共同定位块的第一参考列表而不存在第一参考列表的运动信息时，运动补偿器560可再次检查是否参考了共同定位块的剩余参考列表。运动补偿器560可使用已执行检查操作的共同定位块的参考列表，来确定当前预测单元的参考列表。
图12是示出根据本发明的实施例的根据深度的较深层编码单元和分区的示图。
视频编码设备100和视频解码设备200使用分层编码单元，以便考虑图像的特性。编码单元的最大高度、最大宽度和最大深度可根据图像的特性适应性地确定，或者可由用户不同地设置。根据深度的较深层编码单元的尺寸可根据编码单元的预定最大尺寸来确定。
在根据本发明的实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均为64，最大深度为4。在此情况下，最大深度表示编码单元从最大编码单元到最小编码单元被划分的总次数。由于深度沿分层结构600的纵轴加深，因此较深层编码单元的高度和宽度均被划分。此外，沿分层结构600的横轴示出作为用于每个较深层编码单元的预测编码的基础的预测单元和分区。
换言之，在分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸(即，高度×宽度)为64×64。深度沿纵轴加深，存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630和尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿横轴排列。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则该预测单元可被划分为包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
类似地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
类似地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。
类似地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量随着深度加深而增加。例如，需要与深度2相应的四个编码单元以涵盖在与深度1相应的一个编码单元中包括的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。
为了针对深度中的当前深度执行编码，可通过针对沿分层结构600的横轴的与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。可选地，可通过针对随深度沿分层结构600的纵轴加 深的每个深度执行编码，通过将根据深度的最小编码误差进行比较来搜索最小编码误差。编码单元610中的具有最小编码误差的深度和分区可被选择为编码单元610的编码深度和分区类型。
图13是用于描述根据本发明的实施例的编码单元710和变换单元720之间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元根据尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换来对尺寸为64×64的编码单元710的数据进行编码，并随后可选择具有最小编码误差的变换单元。
图14是用于描述根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。
视频编码设备100的输出单元130可对针对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820进行编码，并发送信息800、信息810和信息820，作为关于编码模式的信息。
信息800指示关于通过将当前编码单元的预测单元进行划分所获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的任何一个。这里，关于分区类型的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808之一。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变 换单元826或第二帧间变换单元828。
视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元提取信息800、810和820，并且使用信息800、810和820来进行解码。
图15是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图15仅示出通过将预测单元910进行对称划分所获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每个分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
将在分区类型912至918中包括预测编码的编码的误差进行比较，并且在分区类型中确定最小编码误差。如果编码误差在分区类型912至916之一中最小，则预测单元910可不被划分到更低深度。
如果编码误差在分区类型918中最小，则深度从0改变到1以在操作920划分分区类型918，并对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946和尺寸为N_1×N_1的分区类型948。
如果编码误差在分区类型948中最小，则深度从1改变到2以在操作950划分分区类型948，并对深度为2且尺寸为N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。
当最大深度为d时，可执行根据每个深度的划分操作，直到深度变为d-1，并且可对划分信息进行编码，直到深度为0至d-2之一。换言之，当执行编码直到在与深度d-2相应的编码单元在操作970被划分之后深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996和尺寸为N_(d-1)×N_(d-1)的分区类型998。
可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
即使当分区类型998具有最小编码误差时，由于最大深度为d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，并且构成当前最大编码单元900的编码单元的编码深度被确定为d-1，且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此不设置用于最小编码单元980的划分信息。
数据单元999可以是针对当前最大编码单元的“最小单元”。根据本发明的实施例的最小单元可以是通过将最小编码单元980划分为四个所获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过将根据编码单元900的深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
如此，在所有深度1至d中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码和发送。此外，由于编码单元从深度0被划分到编码深度，因此仅编码深度的划分信息被设置为0，除了编码深度之外的深度的划分信息被设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取和使用关于编码深度的信息以及编码单元900的预测单元，以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息为0的深度确定为编码深度，并使用关于相应深度的编码模式的信息来进行解码。
图16至图18是用于描述根据本发明的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是编码单元1010中的每一个的预测单元的分区，变换单元1070是编码单元1010中的每一个的变换单元。
当在编码单元1010中最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。
在预测单元1060中，通过对编码单元1010中的编码单元进行划分来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换言之，编码单元1014、1022、1050和1054中的分区类型具有尺寸2N×N，编码单元1016、1048和1052中的分区类型具有尺寸N×2N，编码单元1032中的分区类型具有尺寸N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元1052的数据单元中对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状方面不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换言之，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元单独地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，在最大编码单元的每个区域中对具有分层结构的编码单元中的每一个递归地执行编码，以确定最佳编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可由视频编码设备100和视频解码设备200设置的编码信息。
表1


视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分到更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分的编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式之一。可在所有分区类型中定义帧内模式和帧间模式，仅在尺寸为2N×2N的分区类型中定义跳过模式。
关于分区类型的信息可指示通过将预测单元的高度或宽度进行对称划分所获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型以及通过将预测单元的高度或宽度进行非对称划分所获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按照1:3和3:1将预测单元的高度进行划分而分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按照1:3和3:1将预测单元的宽度进行划分而分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
变换单元尺寸可被设置为帧内模式下的两种类型和帧间模式下的两种类型。换言之，如果变换单元的划分信息是0，则变换单元尺寸可以是作为当 前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，而如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括预测单元和最小单元中的至少一个，所述预测单元和最小单元包含相同的编码信息。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，从而可确定最大编码单元中的编码深度的分布。
因此，如果当前编码单元基于邻近数据单元的编码信息被预测，则可直接参考和使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
可选地，如果当前编码单元基于邻近数据单元的编码信息被预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元来对当前编码单元进行预测。
图19是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图。
最大编码单元1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为如下分区类型之一：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336和尺寸为nR×2N的分区类型1338。
变换单元的划分信息(TU(变换单元)尺寸标记)是一种变换索引。与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而变化。
例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或 1328)时，如果变换单元的划分信息(TU尺寸标记)是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。
当分区类型被设置为非对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。
参照图19，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于1比特，在TU尺寸标记从0增加时，变换单元可被分层划分为具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的示例。
在此情况下，可一起使用根据本发明的实施例的变换单元的TU尺寸标记和最大变换的最大尺寸和最小尺寸，来表示已被实际使用的变换单元的尺寸。根据本发明的实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS中。根据本发明的实施例，视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标记是0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标记是1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标记是2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标记是0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能小于32×32，因此TU尺寸标记不能被设置为除0之外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记是1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能被设置为除0或1之外的值。
因此，如果当TU尺寸标记是0时，最大TU尺寸标记被定义为“MaxTransformSizeIndex”，最小变换单元尺寸是“MinTransformSize”，并且变换单元尺寸是“RootTuSize”，则在当前编码单元中可确定的当前最小变换单元尺寸“CurrMinTuSize”可通过等式(1)来定义。
CurrMinTuSize
＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)
与在当前编码单元中可确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可表示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示当在TU尺寸标记为0时的变换单元尺寸“RootTuSize”被划分与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”表示最小变换单元尺寸，因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中的较小的值可以是在当前编码单元中可确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本发明的实施例，最大变换单元尺寸“RootTuSize”可根据预测模式的类型而变化。
例如，如果当前预测模式是帧间模式，则“RootTuSize”可通过下面的等式(2)来确定。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，“PUSize”表示当前预测单元尺寸。
RootTuSize＝min(MaxTransformSize,PUSize).........(2)
即，如果当前预测模式是帧间模式，则当TU尺寸标记是0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小的值。
如果当前分区单元的预测模式是帧内模式，则“RootTuSize”可通过下面的等式(3)来确定。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。
RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)
即，如果当前预测模式是帧内模式，则当TU尺寸标记是0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元尺寸中的较小的值。
然而，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“RootTuSize”仅是示例，且本发明不限于此。
根据如参照图7至图19描述的基于具有树结构的编码单元的视频编码方法，针对树结构的每个编码单元对空域的图像数据进行编码。根据基于具有树结构的编码单元的视频解码方法，针对每个最大编码单元执行解码，以恢 复空域的图像数据。因此，可恢复作为画面序列的视频和画面。恢复的视频可通过再现设备再现，可存储在存储介质中，或者可经由网络发送。
本发明的实施例可被写为计算机程序，并且可被实现在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。
尽管已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。