图像处理设备和方法.pdf

提供可以利用少量控制信息生成高度精确的预测图像的图像处理设备和方法。该图像处理设备包括：解码已编码图像的电路；通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；以及通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路。此图像处理设备和方法例如可应用于编码和解码装置。

权利要求书1.  一种图像处理设备，包括：解码已编码图像的电路；通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；以及通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路。2.  如权利要求1所述的图像处理设备，其中，所述滤波处理加重运动补偿图像的高频分量。3.  如权利要求1所述的图像处理设备，其中，从由已编码图像形成的参考帧进行生成第一运动补偿图像的处理；而从不同于从其生成第一运动补偿图像的参考帧的参考帧进行生成第二运动补偿图像的处理。4.  如权利要求2所述的图像处理设备，其中，通过使用运动补偿图像中包括的时间方向上的相关性来进行运动补偿图像的高频分量的加重。5.  如权利要求1所述的图像处理设备，其中，通过使用由编码图像的编码设备共享的特定成本函数，第二运动补偿图像匹配或类似于从参考帧生成的第一运动补偿图像，该第二运动补偿图像用作对应于预测图像的运动补偿图像。6.  如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。7.  如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的最小平方差的函数。8.  如权利要求1所述的图像处理设备，其中，生成预测图像的电路包括：用于对第一运动补偿图像和第二运动补偿图像之间的差异图像进行低通滤波的电路，用于对通过低通滤波所获得的图像进行高通滤波的电路，以及用于将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至第一运动补偿图像和第二运动补偿图像中的任何一个从而生成预测图像的电路。9.  如权利要求8所述的图像处理设备，其中，用于相加的电路将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧生成的运动补偿图像。10.  如权利要求1所述的图像处理设备，进一步包含：用于接收用以识别要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过进行滤波处理生成预测图像的识别标志的电路；以及用于通过参照接收到的识别标志，判断要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过滤波处理生成预测图像的电路。11.  如权利要求10所述的图像处理设备，进一步包含：用于使用多个运动补偿图像进行单向预测以生成预测图像的电路；以及用于使用多个运动补偿图像进行双向预测以生成预测图像的电路。12.  一种图像处理方法，包括：解码已编码图像；通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像；以及通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像。

说明书图像处理设备和方法
相关申请的交叉参考
本申请是国际申请号为PCT/JP2010/052017的、于2010年2月12日进入中国国家阶段的国家申请号为201080016294.7的、中文发明名称为“图像处理设备和方法”的发明申请的分案申请。
技术领域
本发明涉及图像处理设备和方法，具体地，涉及使得能够在不增大处理负荷的情况下生成高度精确的预测图像的图像处理设备和方法。
背景技术
传统上，使用动作补偿(如，MPEG(运动图像专家组)或H.26x)和正交变换(如，离散余弦变换、Karhunen Loeve变换或小波变换)的编码方法已经通常用作应对运动图像的情况下的编码方法。在这些运动图像编码方法中，通过使用要进行编码的输入图像信号的特性之中的空间方向和时间方向上的相关性，代码量得到降低。
例如，在H.264中，将单向预测或双向预测用于通过使用时间方向上的相关性来生成作为用作帧间帧预测(帧间预测)的目标的帧的帧间帧(inter-frame)。帧间帧预测基于不同时间的帧生成预测图像。
图1是图示单向预测的示例的示图。
如图1所示，在通过单向预测生成待编码帧P0(其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去或将来的时间的编码帧用作参考帧来进行运动补偿。使用时间方向上的相关性对预测图像和实际图像之间的残差(residual)进行编码，从而可以减少代码量。参考帧信息和运动矢量分别用作指定参考帧的信息和指定要在参考帧中参照的位置的信息，并且将这些个信息从编码侧发送至解码侧。
这里，参考帧的数目不一定是一个。例如，在H.264中，可以将多个帧用作参考帧。当将在时间上接近于待编码帧P0的两个帧用作参考帧R0和R1 时，如图1中所示，可以根据参考帧R0或R1中的任意像素的像素值预测待编码帧P0中任意宏块(macroblock)的像素值。
图1中各个帧内部图示的方框表示宏块。当假设作为预测目标的待编码帧P0中的宏块为宏块MBP0时，对应于宏块MBP0的参考帧R0中的宏块是由运动矢量MV0指定的宏块MBR0。此外，参考帧R1中的宏块是由运动矢量MV1指定的宏块MBR1。
当假设宏块MBR0和MBR1的像素值(运动补偿图像的像素值)是MC0(i,j)和MC1(i,j)时，由于任何运动补偿图像的像素值在单向预测中都用作预测图像的像素值，因此由下列等式(1)表达预测图像Pred(i,j)。(i,j)表示宏块中像素的相对位置，并且满足0≤i≤16且0≤j≤16。在等式(1)中，"||"表示采用MC0(i,j)和MC1(i,j)中任何的值。
[算式1]
Pred(i，j)＝MC0(i，j)||MC1(i，j)         ...(1)
此外，可以将16×16像素的单个宏块分割为例如具有大小为16×8像素的更小的块，并且可以通过参考不同的参考帧对通过分割形成的各个块进行运动补偿。通过发送小数(decimal)精度的运动矢量(而不是整数精度的运动矢量)，并且通过使用根据标准定义的FIR滤波器进行内插，可以将要参考的对应位置周围的像素的像素值用于运动补偿。
图2是图示双向预测的示例的示图。
如图2所示，在通过双向预测生成待编码帧B0(其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去和将来的时间的编码帧用作参考帧来进行运动补偿。使用与这些帧的相关性对预测图像和实际图像之间的残差进行编码，从而可以减少代码量。在H.264中，也可以将多个过去的帧和多个后续的帧用作参考帧。
如图2所示，当在待编码帧B0用作基础的情况下将一个过去的帧和一个后续的帧用作参考帧L0和L1时，基于参考帧L0和L1的任意像素的像素值，可以预测待编码帧B0中任意宏块的像素值。
在图2的示例中，对应于待编码帧B0中宏块MBB0的参考帧L0中的宏块是由运动矢量MV0指定的宏块MBL0。此外，对应于待编码帧B0中宏块MBB0的参考帧L1中的宏块是由运动矢量MV1指定的宏块MBL1。
当假设宏块MBL0和MBL1的像素值分别是MC0(i,j)和MC1(i,j) 时，可以获得预测图像Pred(i,j)的像素值Pred(i,j)作为这些像素值的平均值，如下列等式(2)所表达的。
[算式2]
Pred(i,j)＝(MC0(i,j)+MC1(i,j))/2        ...(2)
在使用单向预测的前述动作补偿中，通过增大运动矢量的精度并减小宏块的尺寸以减小相对于实际图像的残差，增大了预测图像的精度，从而增大了编码效率。
此外，在使用双向预测的动作补偿中，将在时间上接近的参考帧的像素的像素值的平均用作预测图像的像素的像素值，从而根据概率的观点，在预测残差中实现了稳定的降低。
此外，作为另一方法，提出了使用像素值的动作补偿和FIR滤波将时间方向上的相关性转换为空间分辨率并使用空间分辨率的方法(例如，参见NPL1)。
在NPL1描述的方法中，将时间方向上的相关性用于对输入图像序列进行的分辨率增大处理。特别地，计算关于已经进行了运动预测/补偿的过去图像和当前图像之间差异(difference)的差异信息，并且将该差异信息反馈至目标当前图像，从而恢复输入图像中包括的高频分量。
引用列表
非专利文献
NPL1:"Improving Resolution by Image Registration",MICHAL IRANI AND SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem,91904Jerusalem,Israel,Communicated by Rama Chellapa,1989年6月16日收到；1990年5月25日收录
发明内容
技术问题
在传统的单向预测的情况下，即使在可以选择多个参考帧的时候，也需要选择性地使用参考帧中任何一个的像素值作为待编码帧的像素值。由此，由于未选择的参考帧不用于运动补偿，因此未充分地使用参考帧和待编码帧之间的时间相关性，根据增大编码效率的观点，存在许多有待改善。
此外，在传统的双向预测的情况下，使用两个参考帧的像素值的平均值 作为待编码帧的像素值，以便进行时间上的低通滤波处理并且从预测图像中失去了高频分量。结果，由于包括高频分量的残差信号不能被编码，因此通过解码获得的图像不包括高频分量，并且分辨率退化。
进而，通过以NPL2中所述的方法对关于两个或更多个参考帧的信息进行滤波并且使用它，相比于传统的双向预测，可以更高精度地进行预测。然而，在此情况下，需要将涉及两个或更多个参考帧的运动矢量信息发送至解码器。即，为了增大预测精度，大量的控制信息是必要的，这根据编码效率的观点可能不是高效的。
本发明鉴于这些情形而做出，并且目标在于通过降低对于进行双向预测或者参考多个图像所需要的运动矢量的代码量，使得可以使用少量的控制信息生成高度精确的预测图像。
问题的解决方案
本发明的一方面是图像处理设备，包括：解码已编码图像的电路；通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；以及通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路。
所述滤波处理加重运动补偿图像的高频分量。
从由已编码图像形成的参考帧进行生成第一运动补偿图像的处理，而从不同于从其生成第一运动补偿图像的参考帧的参考帧进行生成第二运动补偿图像的处理。
通过使用运动补偿图像中包括的时间方向上的相关性来进行运动补偿图像的高频分量的加重。
通过使用由编码图像的编码设备共享的特定成本函数，第二运动补偿图像匹配或类似于从参考帧生成的第一运动补偿图像，该第二运动补偿图像用作对应于预测图像的运动补偿图像。
所述成本函数可以是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。
所述成本函数也可以是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的最小平方差的函数。
生成预测图像的电路包括：用于对第一运动补偿图像和第二运动补偿图像之间的差异图像进行低通滤波的电路，用于对通过低通滤波所获得的图像进行高通滤波的电路，以及用于将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至第一运动补偿图像和第二运动补偿图像中的任何一个从而生成预测图像的电路。
用于相加的电路将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧生成的运动补偿图像。
该图像处理设备进一步包含：用于接收用以识别要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过进行滤波处理生成预测图像的识别标志的电路；以及用于通过参照接收到的识别标志，判断要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过滤波处理生成预测图像的电路。
该图像处理设备进一步包含：用于使用多个运动补偿图像进行单向预测以生成预测图像的电路；以及用于使用多个运动补偿图像进行双向预测以生成预测图像的电路。
本发明的一方面是图像处理方法，包括：解码已编码图像；通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像；以及通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像。
本发明的另一方面是图像处理设备，包括：解码部件，其用于对编码图像进行解码；生成部件，其用于通过将解码部件解码的图像与预测图像相加以生成解码图像；第一提取部件，其用于通过将生成部件生成的解码图像所形成的帧用作参考帧，借助于编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；第二提取部件，其用于从与提取出运动补偿图像的参考帧不同的参考帧中，提取与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及预测图像生成部件，其用于通过对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添 加高频分量。
所述第二提取部件可以通过使用由对图像进行编码的编码设备共享的特定的成本函数，从参考帧中提取出与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像。
所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的差异值的绝对值的总和的函数。
所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的最小平方误差的函数。
所述预测图像生成部件可以包括：第一滤波器部件，其用于对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像之间的差异图像进行低通滤波；第二滤波器部件，其用于对通过第一滤波器部件进行的低通滤波所获得的图像进行高通滤波；以及相加部件，其用于将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像中的任何一个，从而生成预测图像。
所述相加部件可以将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧中提取出的运动补偿图像。
所述图像处理设备可以进一步包含：单向预测部件，其用于使用多个运动补偿图像进行单向预测以生成预测图像；双向预测部件，其用于使用多个运动补偿图像进行双向预测以生成预测图像；以及判断部件，其用于通过使用编码图像的头文件中包括的识别标志，判断通过单向预测部件进行的单向预测、双向预测部件进行的双向预测、还是预测图像生成部件进行的滤波处理来生成预测图像。
本发明的一方面是图像处理方法，包含：对编码图像进行解码；通过将解码的图像与预测图像相加以生成解码图像；通过将生成的解码图像所形成的帧用作参考帧，借助于编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及通过对多个提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中 包括的时间方向上的相关性来添加高频分量。
本发明的另一方面是图像处理设备，包括：编码部件，其用于对作为待编码图像的原始图像进行编码，以生成编码图像；检测部件，其基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；第一提取部件，其用于通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测部件检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；第二提取部件，其用于从与提取出运动补偿图像的参考帧不同的参考帧中，提取与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及生成部件，其用于通过对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
所述第二提取部件可以通过使用由对编码图像进行解码的解码设备共享的特定的成本函数，从参考帧中提取出与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像。
所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。
所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的最小平方误差的函数。
所述生成部件可以包括：第一滤波器部件，其用于对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像之间的差异图像进行低通滤波；第二滤波器部件，其用于对通过第一滤波器部件进行的低通滤波所获得的图像进行高通滤波；以及相加部件，其用于将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像中的任何一个，从而生成预测图像。
所述相加部件可以将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧中提取出的运动补偿图像。
所述编码部件可以使得编码图像的头文件包括识别标志，该识别标志用 于识别要通过单向预测、双向预测、还是滤波处理来生成要加至由解码设备解码的图像的预测图像。
本发明的另一方面是图像处理方法，包括：对作为待编码图像的原始图像进行编码，以生成编码图像；基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及通过对多个提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
在本发明的另一方面中，对编码图像进行解码；将解码的图像与预测图像相加以生成解码图像；通过将生成的解码图像所形成的帧用作参考帧，使用编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；对多个提取出的运动补偿图像进行滤波处理，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量，从而生成预测图像。
在本发明的另一方面中，对作为待编码图像的原始图像进行编码，生成编码图像；基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；并且对多个提取出的运动补偿图像进行滤波处理，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量，从而生成预测图像。
本发明的有益效果
根据本发明，可以在不增加流中传送的运动矢量的数量的情况下生成高度精确的预测图像，并且可以取得高的编码效率。
附图说明
图1是图示单向预测的示例的示图。
图2是图示双向预测的示例的示图。
图3是描述生成本发明的预测图像的概要的示图。
图4是图示根据本发明实施例的解码设备的示例配置的框图。
图5是图示第三预测模式的构思的示图。
图6是图示图3中的运动预测/补偿电路的示例配置的框图。
图7是图示参考帧的示例的示图。
图8是图示参考帧的另一示例的示图。
图9是图示图6中的预测电路的示例配置的框图。
图10是图示图6中的滤波电路的示例配置的框图。
图11是描述解码设备进行的解码处理的流程图。
图12是描述图11中步骤S9中进行的运动预测/补偿处理的流程图。
图13是描述提取处理的过程的示例的流程图。
图14是描述滤波预测处理的过程的示例的流程图。
图15是图示编码设备的示例配置的框图。
图16是图示图15中的模式确定电路的示例配置的框图。
图17是图示图15中的运动预测/补偿电路的示例配置的框图。
图18是描述编码设备进行的编码处理的流程图。
图19是描述图18中的步骤S108中进行的模式确定处理的流程图。
图20是描述图18中的步骤S111中进行的运动预测/补偿处理的流程图。
图21是图示滤波电路的另一示例配置的框图。
图22是图示滤波电路的又一示例配置的框图。
图23是图示使用三个参考帧的情况的示例的示图。
图24是图示使用三个参考帧的情况下的滤波电路的示例配置的框图。
图25是图示个人计算机的示例配置的框图。
图26是图示本发明应用到的电视接收器的主要示例配置的框图。
图27是图示本发明应用到的移动电话装置的主要示例配置的框图。
图28是图示本发明应用到的硬盘记录器的主要示例配置的框图。
图29是图示本发明应用到的相机的主要示例配置的框图。
图30是图示宏块的尺寸的示例的示图。
具体实施方式
下文描述用于实施本发明的实施例(下文称为实施例)。注意，将按照下列顺序给出描述。
1.第一实施例(解码处理)
2.第二实施例(编码处理)
3.第三实施例(滤波电路的修正)
<1.第一实施例>
[预测的概要]
图3是描述本发明应用到的预测图像生成方法的概要的示图。
在本发明中，以比特流的方式发送至少一个运动矢量(运动矢量A)，以便在解码器中从多个参考平面中获得多个运动补偿图像。
图3图示将帧(N-1)和帧(N-2)这两个帧用作运动补偿的参考平面以便对帧N进行解码的状态。
在图3中，以流的方式发送指示帧(N-1)中的坐标的运动矢量A。解码器使用该矢量获得图像MC。
然后，解码器基于帧(N-2)进行运动预测以便进行运动补偿。即，在帧(N-2)中搜索对于图像MC具有适当值的图像MC’。搜索方法，例如，搜索算法、搜索范围、成本函数等可以任意地确定，只要它们由编码器和解码器预先共享即可。当它们由编码器和解码器共享时，编码器和解码器中的搜索结果(即，图像MC’的像素值)彼此匹配。
以此方式，解码器可以基于帧(N-1)和帧(N-2)获得运动预测图像。据此，MC’的运动矢量不是必要的。即，运动矢量的代码量减少。由此，解码器和编码器可以使用少量的控制信息生成高度精度的预测图像。
[解码设备的配置]
图4是图示根据本发明实施例的解码设备1的示例配置的框图。
下面将要描述的编码设备所编码的图像信息经由线缆、网络或可拆卸介质输入至解码设备1。压缩的图像信息例如是根据H.264标准编码的的图像信息。
存储缓冲器11依次存储作为压缩的图像信息输入的比特流。在必要时，无损解码电路12以诸如构成帧的宏块之类的某些单元的图像为单位读取存储缓冲器11中存储的信息。在H.264标准中，不仅可以以16×16像素的宏块为单位，而且可以以通过进一步分割宏块获得的8×8像素或4×4像素的块为单位进行处理。
无损解码电路12对从存储缓冲器11读取出的图像进行与编码方法对应的解码处理，如可变长度解码处理或算术解码处理。无损解码电路12将通过解码处理获得的量化的变换系数输出至逆量化电路13。
此外，无损解码电路12基于要解码的图像的头文件(header)中包括的识别标志，识别图像是帧内编码图像还是帧间编码图像。如果无损解码电路12判断要解码的图像是帧内编码图像，则无损解码电路12将图像的头文件中存储的帧内预测模式信息输出至帧内预测电路22。帧内预测模式信息包括有关帧内预测的信息，如用作处理的单位的块的大小。
如果无损解码电路12判断要解码的图像是帧间编码信息，则无损解码电路12将图像的头文件中存储的识别标志和运动矢量输出至运动预测/补偿电路21。利用识别标志，可以识别用于通过帧间预测生成预测图像的预测的模式。识别标志例如以宏块或帧为单位进行设置。
作为预测的模式，除了图1中的单向预测的模式和图2中的双向预测的模式之外，准备了用于通过对从一个或两个时间方向上安置的多个参考帧中提取出的运动补偿图像进行滤波以生成预测图像的第三预测模式。
图5是图示第三预测模式的构思的示图。
在图5的示例中，通过将当前帧(预测帧)的时间用作基础，将在时间上一个时间单位之前的帧当作参考帧R0，将参考帧R0的一个时间单位之前的帧当作参考帧R1。在此情况下，根据第三预测模式，将从参考帧R0和R1中提取出的运动补偿图像MC0和MC1输入至滤波电路，将滤波电路输出的图像的像素值当作作为目标宏块的预测图像的像素值。
下文将如上面参照图1描述的那样从一个方向上安置的多个参考帧提取出的任何运动补偿图像的像素值当作预测图像的像素值的预测模式简称为单 向预测模式。此外，将如上面参照图2描述的那样从两个方向上安置的多个参考帧提取出的运动补偿图像的像素值的平均值当作预测图像的像素值的预测模式简称为双向预测模式。
图5图示的第三预测模式(其中通过对从一个方向或两个方向上安置的多个参考帧提取出的各个运动补偿图像进行滤波而获得预测图像的像素值)称为滤波预测模式。下面详细描述滤波预测模式。
返回参照图4，逆量化电路13以与编码侧使用的量化方法对应的方法，对无损解码电路12提供的量化的变换系数进行逆量化。逆量化电路13将通过进行逆量化获得的变换系数输出至逆正交变换电路14。
逆正交变换电路14使用与编码侧使用的正交变换方法(如，离散余弦变换或Karhunen Loeve变换)对应的方法，对逆量化电路13提供的变换系数进行四阶逆正交变换，并且将获得的图像输出至加法器电路15。
加法器电路15将逆正交变换电路14提供的解码图像和运动预测/补偿电路21或帧内预测电路22经由开关23提供的预测图像进行组合，并且将复合图像输出至解块滤波器16。
解块滤波器16去除加法器电路15提供的图像中所包括的块噪声，并且输出已经去除了块噪声的图像。解块滤波器16输出的图像供给重排缓冲器17和帧存储器19。
重排缓冲器17临时存储解块滤波器16提供的图像。重排缓冲器17例如以其中存储的宏块为单位根据图像生成各个帧，以某种顺序(如，显示顺序)重排所生成的帧，并且将它们输出至D/A(Digital/Analog，数字/模拟)转换器电路18。
D/A转换器电路18对重排缓冲器17提供的各个帧进行D/A转换，并且将各个帧的信号输出至外部。
帧存储器19临时存储解块滤波器16提供的图像。帧存储器19中存储的信息经由开关20供给运动预测/补偿电路21或帧内预测电路22。
开关20在使用帧间预测生成预测图像的情况下连接至端子a1，而在使用帧内预测生成预测图像的情况下连接至端子b1。开关20的切换例如受控制电路31控制。
运动预测/补偿电路21根据无损解码电路12提供的识别标志确定预测模式，并且根据预测模式从帧存储器19中存储的解码帧之中选择要用作参考帧 的帧。运动预测/补偿电路21基于无损解码电路12提供的运动矢量，从构成参考帧的宏块之中确定对应于目标预测图像的宏块，并且提取出所确定的宏块作为运动补偿图像。运动预测/补偿电路21根据预测模式从运动补偿图像的像素值获取预测图像的像素值，并且经由开关23将已获得了像素值的预测图像输出至加法器电路15。
帧内预测电路22根据无损解码电路12提供的帧内预测模式信息进行帧内预测以生成预测图像。帧内预测电路22经由开关23将生成的预测图像输出至加法器电路15。
开关23在运动预测/补偿电路21生成预测图像的情况下连接至端子a2，而在帧内预测电路22生成预测图像的情况下连接至端子b2。开关23的切换例如也受控制电路31控制。
控制电路31切换开关20和23的连接，并且控制解码设备1的整体操作。要处理的图像是帧内编码图像还是帧间编码图像可以由控制电路31识别。
图6是图示图3中的运动预测/补偿电路21的示例配置的框图。
如图6所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、双向预测电路43、预测电路44和滤波电路45构成。无损解码电路12提供的识别标志和运动矢量输入至预测模式确定电路41。
预测模式确定电路41根据无损解码电路12提供的识别标志确定预测模式。预测模式确定电路41在确定要使用单向预测进行预测图像的生成时将运动矢量输出至单向预测电路42，而在确定要使用双向预测进行预测图像的生成时将运动矢量输出至双向预测电路43。此外，预测模式确定电路41在确定要使用滤波预测进行预测图像的生成时将运动矢量输出至预测电路44。
以此方式，为了使得能够识别滤波预测，可以将与传统H.264标准中定义的表示单向预测的值和表示双向预测的值不同的值设置为识别标志的值。可替换地，代之根据识别标志确定，可以通过预定方法确定预测模式，以便减少信息量。
单向预测电路42将一个时间方向上安置的多个帧当作参考帧，并且如图1所示那样基于运动矢量确定与预测图像对应的参考帧中的宏块。此外，单向预测电路42从帧存储器19中读取各个参考帧中的确定宏块作为运动补偿图像，并且使用任何运动补偿图像的像素值作为预测图像的像素值以生成预测图像。单向预测电路42将预测图像输出至加法器电路15。作为单向预测 电路42进行的单向预测，例如使用H.264标准中定义的单向预测。
双向预测电路43将两个时间方向上安置的多个帧当作参考帧，并且如图2所示那样基于运动矢量确定对应于预测图像的参考帧中的宏块。此外，双向预测电路43从帧存储器19中读取各个参考帧中的确定宏块作为运动补偿图像，并且使用读取的运动补偿图像的像素值的平均作为预测图像的像素值以生成预测图像。双向预测电路43将预测图像输出至加法器电路15。作为双向预测电路43进行的双向预测，例如使用H.264标准中定义的双向预测。
预测电路44确定一个或两个时间方向上安置的多个帧作为参考帧。要用作参考帧的帧可以预先确定，或者可以通过连同识别标志一起从编码侧发送的信息加以指定。
图7是图示参考帧的示例的示图。
在图7的示例中，通过将预测帧的时间用作基础，将在时间上一个时间单位之前和两个时间单位之前的两个帧用作参考帧，如上面参照图5所述的示例中那样。在两个参考帧当中，将更接近于预测帧并且在预测帧之前一个时间单位的帧当作参考帧R0，而将参考帧R0之前一个时间单位的帧当作参考帧R1。
图8是图示参考帧的另一示例的示图。
在图8的示例中，通过将预测帧的时间用作基础，将在时间上一个时间单位之前和一个时间单位之后的两个帧当作参考帧。在两个参考帧当中，将预测帧之前一个时间单位的帧当作参考帧L0，将预测帧之后一个时间单位的帧当作参考帧L1。
以此方式，在滤波预测中，将在一个时间方向上安置的多个帧或者在两个方向上安置的多个帧用作参考帧。
此外，预测电路44基于预测模式确定电路41提供的运动矢量，确定以图7或图8中所示的方式确定出的至少一个参考帧中的各解码块当中预测图像所对应的宏块。
进而，预测电路44使用基于运动矢量确定出的预测图像所对应的宏块，对以图7或图8中所示的方式确定出的参考帧当中的剩余参考帧(至少一个参考帧)进行运动预测，从而确定对应于预测图像的宏块。
预测电路44从帧存储器19读取各个参考帧中确定的宏块作为运动补偿图像，并且将读取出的运动补偿图像输出至滤波电路45。
即，预测电路44基于运动矢量从部分参考帧中提取运动补偿图像，并且基于使用运动补偿图像的运动预测从剩余的参考帧中提取出运动补偿图像。
不仅可以以16×16像素的宏块为单位，而且可以以通过进一步分割宏块获得的块为单位执行运动矢量。例如将以宏块为单位的图像输入至滤波电路45。在图6中，从预测电路44朝向滤波电路45延伸的两个箭头的图示表示提供两个运动补偿图像。
滤波电路45接收预测电路44提供的运动补偿图像并对其进行滤波，并且将通过进行滤波所获得的预测图像输出至加法器电路15。
图9是图示图6中的预测电路44的示例配置的框图。在图9中，预测电路44具有运动补偿电路51和运动预测电路52。
运动补偿电路51使用预测模式确定电路41提供的运动矢量，指定部分参考帧中预测图像所对应的宏块。运动补偿电路51从帧存储器19中读取指定宏块的图像，并且将其提取为运动补偿图像。运动补偿电路51将提取出的运动补偿图像MC0供给滤波电路45，并且还将其供给运动预测电路52。
运动预测电路52在至少一个或更多个剩余参考帧(与已经提取出运动补偿图像MC0的参考帧不同的参考帧)中，对运动补偿电路51提供的运动补偿图像MC0进行匹配(进行运动预测)。
当在参考帧中搜索与运动补偿图像MC0匹配或类似的部分时，运动预测电路52使用提前由编码设备和解码设备1共享的某个成本函数。例如，共享下列等式(3)表达的成本函数。
[算式3]
Cost=Σx=0bkwidth-1Σy=0bkheight-1|Refi(posX+x,posY+y)-MC[1](x,y)|...(3)]]>
在等式(3)中，Refi(posX+x,posY+y)表示参考平面i中坐标(posX+x,posY+y)上的像素值。同样地，MC[1](x,y)表示从运动补偿图像MC[1]的块的左上端(即，运动补偿图像MC0)起的相对位置(x,y)上的像素值。Bkwidth和Bkheight分别表示块的宽度和高度。
如等式(3)所表达，通过将对于块中所有像素的差的绝对值进行相加，可以计算参考平面i中(posX,posY)上的块和运动补偿图像MC[1]之间的相似度。
相似度由编码设备和解码设备共享的这种成本函数定义。即，相似度的 定义可以通过改变成本函数而改变。下列等式(4)表达了成本函数的另一示例。等式(4)是最小平方误差用作成本函数的示例。
[算式4]
Cost=Σx=0bkwidth-1Σy=0bkheight-1|Refi(posX+x,posY+y)-MC[1](x,y))2...(4)]]>
可以针对每个块或每个序列定义和切换多个成本函数。用于优化随后滤波处理的结果的成本函数的自适应改变导致编码效率的改善。
在这种成本函数中，当(posX,posY)变化时，使得Cost(成本)最小的宏块的图像最相似于运动补偿图像MC[1](即，运动补偿图像MC0)。
(posX,posY)变化的范围是搜索范围，并且需要搜索范围由编码设备和解码设备1共享。注意，对于每个序列、每个帧、每个区域等，可以使用任意值，例如，可以使用固定值，或者可以自适应地改变值。在改变值的情况下，可以在流中单独地描述对应的标志，或者编码设备和解码设备1可以基于确定的过程中的判断而实现改变。
获得运动补偿图像MC[1]以使得类似于当前块(要处理的宏块)的编码图像，由此使用这种成本函数通过运动预测获得的运动补偿图像MC[i]类似于当前块的编码图像。
解码器以此方式进行运动预测，由此可以使用一个运动矢量获得多个运动补偿图像MC[i](i>1)。
运动预测电路52从帧存储器122中读出与参考帧中运动补偿图像MC0匹配或类似的宏块的图像，并且将其提取为运动补偿图像。运动预测电路52将提取出的运动补偿图像MC1供给滤波电路45。
图10是图示滤波电路45的示例配置的框图。在具有图10中配置的滤波电路45中，在时域中对信号进行滤波。
如图10所示，滤波电路45由差异计算电路61、低通滤波器电路62、增益调节电路63、高通滤波器电路64、增益调节电路65、加法器电路66和加法器电路67构成。预测电路44提供的运动补偿图像MC0输入至差异计算电路61和加法器电路67，并且运动补偿图像MC1输入至差异计算电路61。
在如图7中所示那样使用单向预测生成预测图像的情况下，例如，将视为与预测图像具有更高相关性的、从参考帧R0提取出的图像当作运动补偿图像MC0，而将从参考帧R1提取出的图像当作运动补偿图像MC1。可以将从 参考帧R0提取出的图像当作运动补偿图像MC1，而将从参考帧R1提取出的图像当作运动补偿图像MC0。
另一方面，在如图8中所示那样使用双向预测生成预测图像的情况下，例如，将从作为一个时间单位之前的参考帧L0提取出的图像当作运动补偿图像MC0，而将从一个时间单位之后的参考帧L1提取出的图像当作运动补偿图像MC1。可以将从参考帧L0提取出的图像当作运动补偿图像MC1，并且可以将从参考帧L1提取出的图像当作运动补偿图像MC0。
差异计算电路61计算运动补偿图像MC0和运动补偿图像MC1之间的差异，并且将差异图像输出至低通滤波器电路62。差异图像D由下列等式(5)表达。
[算式5]
D(i，j)＝MC0(i，j)-MC1(i，j)         ...(5)
在等式(5)中，(i,j)表示运动补偿图像中像素的相对位置。当要以16×16像素的宏块为单位进行处理时，满足0≤i≤16且0≤j≤16。这在下面是相同的。
低通滤波器电路62具有FIR滤波器电路。低通滤波器电路62对差异计算电路61提供的差异图像D进行低通滤波，并且将获得的图像输出至增益调节电路63和高通滤波器电路64。作为通过进行低通滤波获得的图像的差异图像D'由下列等式(6)表达。在等式(6)中，LPF(X)表示使用二维FIR滤波器对输入图像X进行低通滤波。
[算式6]
D′＝LPF(D)        ...(6)
增益调节电路63调节低通滤波器电路62提供的差异图像D'的增益，并且将已经调节了增益的图像输出至加法器电路66。增益调节电路63的输出图像X(i,j)由下列等式(7)表达。
[算式7]
X(i,j)＝αD′(i,j)   ...(7)
高通滤波器电路64具有FIR滤波器电路。高通滤波器电路64对低通滤波器电路62提供的差异图像D'进行高通滤波，并且将获得的图像输出至增益调节电路65。作为通过进行高通滤波获得的图像的差异图像D″由下列等式(8)表达。在等式(8)中，HPF(X)表示使用二维FIR滤波器对输入图像 X进行高通滤波。
[算式8]
D"＝HPF(D′)         ...(8)
增益调节电路65调节高通滤波器电路64提供的差异图像D″的增益，并且将已经调节了增益的图像输出至加法器电路66。增益调节电路65的输出图像Y(i,j)由下列等式(9)表达。
[算式9]
Y(i,j)＝βD"(i,j)    ...(9)
作为等式(7)中的α和等式(9)中的β的值，例如选择值α＝0.8且β＝0.2，但是可以使用其它的值以增大预测图像的精度。此外，值可以根据输入序列的性质自适应地改变。
加法器电路66将已经调节了增益的图像Y(i,j)和图像X(i,j)进行相加，并且输出通过相加获得的图像。加法器电路66的输出图像Z(i,j)由下列等式(10)表达。
[算式10]
Z(i,j)＝X(i,j)+Y(i,j)           ...(10)
输出图像Z(i,j)表示可以从运动补偿图像MC0和运动补偿图像MC1之间的差异(即，其之间的相关性)获得的图像的高频分量。
加法器电路67将加法器电路66提供的输出图像Z(i,j)加至运动补偿图像MC0，并且将所获得的图像作为预测图像输出至加法器电路15。作为加法器电路67的最终输出的预测图像S(i,j)由下列等式(11)表达。
[算式11]
S(i，j)＝MC0(i，j)+Z(i，j)     ...(11)
以此方式，根据滤波预测模式，通过将表示高频分量的图像加至运动补偿图像MC0所获得的图像被生成为预测图像。该预测图像相比于在仅进行双向预测的情况下获得的预测图像包括更大量的高频分量。如上所述，由于获得多个运动补偿图像的像素值的平均作为像素值，因此在通过进行双向预测生成的预测图像中失去了高频分量。
此外，由于在加法器电路15中将包括大量高频分量的预测图像加至解码图像，因此最终从解码设备1输出的图像是包括大量高频分量的高分辨率图像。
进而，相比于只进行单向预测的情况，可以更加高效地使用图像的时间相关性生成预测图像。通过单向预测生成的预测图像不被当作通过充分使用图像的时间相关性所生成的图像，这是由于如上所述那样使用多个运动补偿图像中任何的像素值。
以此方式，解码设备1能够在抑制负荷增大的同时增大编码效率。
[解码处理过程的描述]
现在描述具有前述配置的解码设备1所进行的处理。
首先参照图11中的流程图描述解码设备1进行的解码处理。
例如当无损解码电路12从存储缓冲器11中存储的信息读取诸如16×16像素的宏块之类的某个大小的图像时，图11中的处理开始。图11各个步骤中的处理与另一步骤中的处理并行地进行，或者在必要时以改变的顺序进行。这在下面描述的各自流程图的各个步骤的处理中相同。
在步骤S1中，无损解码电路12对从存储缓冲器11读取出的图像进行解码处理，并且将量化的变换系数输出至逆量化电路13。此外，无损解码电路12在要解码的图像是帧内编码图像的情况下将帧内预测模式信息输出至帧内预测电路22，而在要解码的图像是帧间编码图像的情况下将运动矢量和识别标志输出至运动预测/补偿电路21。
在步骤S2中，逆量化电路13以与编码侧使用的量化方法对应的方法进行逆量化，并且将变换系数输出至逆正交变换电路14。
在步骤S3中，逆正交变换电路14对逆量化电路13提供的变换系数进行逆正交变换，并且将所获得的图像输出至加法器电路15。
在步骤S4中，加法器电路15将逆正交变换电路14提供的解码图像和运动预测/补偿电路21或帧内预测电路22提供的预测图像进行组合，并且将复合图像输出至解块滤波器16。
在步骤S5中，解块滤波器16进行滤波以去除复合图像中所包括的块噪声，并且输出已经去除了块噪声的图像。
在步骤S6中，帧存储器19临时存储解块滤波器16提供的图像。
在步骤S7中，控制电路31判断目标图像是否是帧内编码图像。
如果在步骤S7中判断目标图像是帧内编码图像，则帧内预测电路22进行帧内预测以在步骤S8中生成预测图像，并且将生成的预测图像输出至加法器电路15。
另一方面，如果在步骤S7中判断目标图像不是帧内编码图像，即，帧间编码图像，则运动预测/补偿电路21在步骤S9中进行运动预测/补偿处理。通过进行运动预测/补偿处理所生成的预测图像输出至加法器电路15。下面参照图12中的流程图描述运动预测/补偿处理。
在步骤S10中，控制电路31判断是否已经对一个完整帧中的各宏块进行了前述处理。如果控制电路31判断尚未对一个完整帧中的各宏块进行该处理，则从步骤S1起针对另一宏块重复该处理。
另一方面，如果在步骤S10中判断已经对一个完整帧中的各宏块进行了该处理，则重排缓冲器17在步骤S11中根据控制电路31进行的控制，将生成的帧输出至D/A转换器电路18。
在步骤S12中，D/A转换器电路18对重排缓冲器17提供的帧进行D/A转换，并且将模拟信号输出至外部。对各个帧进行前述处理。
接下来参照图12中的流程图描述图11的步骤S9中进行的运动预测/补偿处理。
在步骤S31中，运动预测/补偿电路21的预测模式确定电路41判断无损解码电路12提供的识别标志是否表示要在滤波预测模式下进行处理。
如果在步骤S31中判断识别标志表示要在滤波预测模式下进行处理，则处理前进至步骤S32。在步骤S32中，预测电路44进行提取运动补偿图像的提取处理。下面描述提取处理的细节。
在已经提取了运动补偿图像之后，滤波电路45在步骤S33中进行滤波预测处理。下面描述滤波预测处理的细节。
在步骤S33中的处理已结束之后，运动预测/补偿处理结束，并且处理返回到图11中的步骤S9，并且前进至步骤S10。
此外，如果在步骤S31中判断识别标志不表示要在滤波预测模式下进行处理，则在步骤S32中进行单向预测或双向预测，并且生成预测图像。
即，如果识别标志表示要在单向预测模式下进行处理，则将运动矢量从预测模式确定电路41提供至单向预测电路42，并且在单向预测电路42中进行单向预测。此外，如果识别标志表示要在双向预测模式下进行处理，则将运动矢量从预测模式确定电路41提供给双向预测电路43，并且在双向预测电路43中进行双向预测。在预测图像已经输出至加法器电路15之后，运动预测/补偿处理结束，并且处理返回至图11中的步骤S9并前进至步骤S10。
接下来参照图13中的流程图描述图12的步骤S32中执行的提取处理的过程的示例。
当提取处理开始时，预测电路44在步骤S51中将变量i设置为零。在步骤S52中，运动补偿电路51对第i个参考帧(即，参考平面0)进行运动补偿，从而提取运动补偿图像MC[0]。在步骤S53中，运动补偿电路51将运动补偿图像MC[0]输出至滤波电路45。
在步骤S54中，预测电路44判断变量i的值是否为N或更小。如果判断变量i的值为某个自然数N或更小，则处理前进至步骤S55。
在步骤S55中，运动预测电路52递增变量i。在步骤S56中，运动预测电路52使用运动补偿图像MC[0]对参考平面i进行运动预测(如，匹配)，从而生成运动补偿图像MC[i]。在步骤S57中，运动预测电路52输出运动补偿图像MC[i]。在步骤S57中的处理已结束之后，处理返回到步骤S54，并且执行随后的处理。
如果在步骤S54中判断变量i的值大于所述的某个自然数N，则提取处理结束，并且处理返回到图12中的步骤S32并前进至步骤S33。
接下来参照图14的流程图描述图12的步骤S33中执行的滤波处理的过程的示例。
当在已经提取出运动补偿图像之后开始滤波处理时，滤波电路45的差异计算电路61计算运动补偿图像MC0和运动补偿图像MC1之间的差异，并在步骤S71中将差异图像输出至低通滤波器电路62。
在步骤S72中，低通滤波器电路62对差异计算电路61提供的差异图像进行低通滤波，并且将由此获得的图像输出至增益调节电路63和高通滤波器电路64。
在步骤S73中，增益调节电路63调节低通滤波器电路62提供的图像的增益，并且将已经调节了增益的图像输出至加法器电路66。
在步骤S74中，高通滤波器电路64对低通滤波器电路62提供的差异图像进行高通滤波，并且将由此获得的图像输出至增益调节电路65。
在步骤S75中，增益调节电路65调节高通滤波器电路64提供的差异图像的增益，并且将已经调节了增益的图像输出至加法器电路66。
在步骤S76中，加法器电路66将增益调节电路63提供的图像(低通滤波器的输出)和增益调节电路65提供的图像(高通滤波器的输出)进行相加， 由此获得图像的高频分量。将获得的高频分量从加法器电路66供给加法器电路67。
在步骤S77中，加法器电路67将加法器电路66提供的输出图像(高频分量)加至运动补偿图像MC0，并且将由此获得的用作预测图像的图像输出至加法器电路15。在步骤S78中，滤波电路45判断是否已经处理了所有的运动补偿图像。如果判断存在未处理的运动补偿图像，则处理返回到步骤S71，并且重复随后的处理。
另一方面，如果在步骤S78中判断已经处理了所有的运动补偿图像，则滤波预测处理结束，处理返回到图12中的步骤S33，运动预测/补偿处理结束，并且处理返回到图11中的步骤S9且前进至步骤S10。
以此方式，使用通过滤波预测生成的预测图像进行解码，从而可以获得高分辨率的解码图像。此外，此时，使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量获得的运动补偿图像的运动预测(匹配等)，获得剩余的运动补偿图像。据此，要编码的运动矢量的数目可以得到降低。即，解码设备1能够使用少量控制信息生成高度精确的预测图像。
<2.第二实施例>
[编码设备的配置]
接下来描述编码侧的设备的配置和操作。
图15是图示编码设备101的示例配置的框图。通过编码设备101进行的编码获得的压缩图像信息输入至图4中的解码设备1。
A/D转换器电路111对输入信号进行A/D转换，并且将图像输出至重排缓冲器112。
重排缓冲器112根据压缩图像信息的GOP(Group of Pictures，画面组)结构进行帧的重排，并且以特定的单位(如，宏块)输出图像。重排缓冲器112输出的图像提供至加法器电路113、模式确定电路123、运动预测/补偿电路125和帧内预测电路126。
加法器电路113获得重排缓冲器112提供的图像与运动预测/补偿电路125或帧内预测电路126生成的并且经由开关127提供的预测图像之间的差异，并且将残差输出至正交变换电路114。由于预测图像更加类似于原始图像并且由于这里获得的残差更小，因此分配给残差的代码量更小，由此编码 效率更高。
正交变换电路114对加法器电路113提供的残差进行正交变换(如，离散余弦变换或Karhunen Loeve变换)，并且将通过进行正交变换获得的变换系数输出至量化电路115。
量化电路115根据比率控制电路118进行的控制，对正交变换电路114提供的变换系数进行量化，并且输出量化的变换系数。量化电路115量化的变换系数提供至无损编码电路116和逆量化电路119。
无损编码电路116通过进行无损编码(如，可变长度编码或算术编码)，对量化电路115提供的变换系数进行压缩，并且将信息输出至存储缓冲器117。
此外，无损编码电路116根据模式确定电路123提供的信息设置识别标志的值，并且在图像的头文件中描述识别标志。基于无损编码电路116描述的识别标志，如上面所述那样在解码设备1中确定预测模式。
无损编码电路116还在图像的头文件中描述运动预测/补偿电路125或帧内预测电路126提供的信息。进行帧间预测时检测到的运动矢量等从运动预测/补偿电路125提供，并且有关应用的帧内预测模式的信息从帧内预测电路126提供。
存储缓冲器117临时存储无损编码电路116提供的信息，并且以特定时刻将其输出作为压缩图像信息。存储缓冲器117将有关生成的代码的量的信息输出至比率控制电路118。
比率控制电路118基于存储缓冲器117输出的代码量计算量化规模(scale)，并且控制量化电路115以使得以计算出的量化规模进行量化。
逆量化电路119对量化电路115量化的变换系数进行逆量化，并且将变换系数输出至逆正交变换电路120。
逆正交变换电路120对逆量化电路119提供的变换系数进行逆正交变换，并且将获得的图像输出至解块滤波器121。
解块滤波器121去除在局部解码的图像中出现的块噪声，并且将已经去除了块噪声的图像输出至帧存储器122。
帧存储器122存储解块滤波器121提供的图像。模式确定电路123在必要时读取帧存储器122中存储的图像。
模式确定电路123基于帧存储器122中存储的图像以及重排缓冲器112 提供的原始图像，确定要进行帧内编码还是要进行帧间编码。此外，如果模式确定电路123确定要进行帧间编码，则模式确定电路123确定单向预测模式、双向预测模式和滤波预测模式当中的任何模式。模式确定电路123将表示确定结果的信息作为模式信息输出至无损编码电路116。
如果模式确定电路123确定要进行帧间编码，则模式确定电路123经由开关124将帧存储器122中存储的并且通过局部解码获得的帧输出至运动预测/补偿电路125。
此外，如果模式确定电路123确定要进行帧内编码，则模式确定电路123将帧存储器122中存储的并且通过局部解码获得的帧输出至帧内预测电路126。
开关124在进行帧间编码时连接至端子a11，而在进行帧内编码时连接至端子b11。开关124的切换例如受控制电路131控制。
运动预测/补偿电路125基于重排缓冲器112提供的原始图像以及从帧存储器122读取的参考帧检测运动矢量，并且将检测到的运动矢量输出至无损编码电路116。此外，运动预测/补偿电路125使用检测到运动矢量和参考帧进行运动补偿以生成预测图像，并且经由开关127将生成的预测图像输出至加法器电路113。
帧内预测电路126基于重排缓冲器112提供的原始图像以及本地解码并存储在帧存储器122中的参考帧进行帧内预测，以便生成预测图像。帧内预测电路126经由开关127将生成的预测图像输出至加法器电路113，并且将帧内预测模式信息输出至无损编码电路116。
开关127连接至端子a12或端子b12，并且将运动预测/补偿电路125或帧内预测电路126生成的预测图像输出至加法器电路113。
控制电路131根据模式确定电路123确定的模式切换开关124和127的连接，并且控制编码设备101的整体操作。
图16是图示图15中模式确定电路123的示例配置的框图。
如图16中所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误差计算电路143和确定电路144构成。在模式确定电路123中，对具有彼此不同大小的块进行帧内预测和帧间预测，并且基于结果确定要用于预测的预测模式。对于帧间预测，在单向预测模式、双向预测模式和滤波预测模式的各自预测模式下进行处理。重排缓冲器112提供的原始图像输入 至帧内预测电路141、帧间预测电路142和预测误差计算电路143。
帧内预测电路141基于原始图像和从帧存储器122读取的图像，以彼此不同大小的块为单位进行帧内预测，并且将生成的预测图像输出至预测误差计算电路143。在4×4预测电路151-1中，以4×4像素的块为单位进行帧内预测。在8×8预测电路151-2中，以8×8像素的块为单位进行帧内预测。在16×16预测电路151-3中，以16×16像素的块为单位进行帧内预测。
帧间预测电路142的预测电路161基于原始图像和从帧存储器122读取的参考帧，以彼此不同大小的块为单位检测运动矢量。此外，预测电路161基于检测到的运动矢量进行运动补偿，并且输出用于生成预测图像的运动补偿图像。
在16×16预测电路161-1中，以16×16像素的块为单位对图像进行处理。在16×8预测电路161-2中，以16×8像素的块为单位对图像进行处理。此外，在4×4预测电路161-(n-1)中，以4×4像素的块为单位对图像进行处理。在跳过/直接预测电路161-n中，在跳过预测模式或直接预测模式下检测运动矢量，并且使用检测到的运动矢量进行运动补偿。
从相对于当前帧在一个方向上安置的多个参考帧提取出的运动补偿图像从预测电路161的各个电路提供至单向预测电路162。此外，从相对于当前帧在两个方向上安置的多个参考帧提取出的运动补偿图像从预测电路161的各个电路提供至双向预测电路163。
在使用从一个方向上安置的多个参考帧提取出的运动补偿图像进行滤波预测的情况下，如上所述，从一个方向上安置的参考帧提取出的运动补偿图像从预测电路161的各个电路提供至滤波电路164。在使用从两个方向上安置的多个参考帧提取出的运动补偿图像进行滤波预测的情况下，从两个方向上安置的参考帧提取出的运动补偿图像从预测电路161的各个电路提供至滤波电路164。
单向预测电路162使用预测电路161的各个电路提供的彼此不同大小的运动补偿图像进行单向预测，从而生成预测图像，并且将生成的预测图像输出至预测误差计算电路143。例如，单向预测电路162通过将预测电路161-1提供的16×16像素的多个运动补偿图像中的任何的像素值当作预测图像的像素值来生成预测图像。
双向预测电路163使用预测电路161的各个电路提供的彼此不同大小的 运动补偿图像进行双向预测，从而生成预测图像，并且将生成的预测图像输出至预测误差计算电路143。例如，双向预测电路163通过将预测电路161-1提供的16×16像素的多个运动补偿图像的像素值的平均值当作预测图像的像素值来生成预测图像。
滤波电路164使用预测电路161的各个电路提供的彼此不同大小的运动补偿图像进行滤波预测，从而生成预测图像，并且将生成的预测图像输出至预测误差计算电路143。滤波电路164对应于解码设备1的滤波电路45，并且具有与图10中所示的配置相同的配置。
例如，在使用预测电路161-1提供的16×16像素的运动补偿图像MC0和MC1生成预测图像的情况下，滤波电路164获得运动补偿图像MC0和MC1之间的差异，并且对所获得的差异图像进行低通滤波。此外，滤波电路164对低通滤波的输出进行高通滤波，并且将已经调节了增益的其输出的图像和已经调节了增益的低通滤波的输出的图像进行相加。滤波电路164将作为表示高频分量的相加结果的图像添加至运动补偿图像MC0，从而生成预测图像，并且将生成的预测图像输出至预测误差计算电路143。
预测误差计算电路143获得原始图像和帧内预测电路141的各个电路提供的各个预测图像之间的差异，并且将表示所获得的差异的残差信号输出至确定电路144。此外，预测误差计算电路143获得原始图像和帧间预测电路142的单向预测电路162、双向预测电路163与滤波电路164提供的各个预测图像之间的差异，并且将表示所获得的差异的残差信号输出至确定电路144。
确定电路144测量预测误差计算电路143提供的残差信号的强度，并且将用于根据原始图像生成具有小差异的预测图像的预测方法确定为用于生成要用以编码的预测图像的方法。确定电路144将表示确定结果的信息(其为模式信息)输出至无损编码电路116。模式信息包括表示要用作处理的单位的块大小的信息等。
此外，如果确定电路144确定要使用帧间预测生成预测图像(确定要进行帧间编码)，则确定电路144将从帧存储器122读取的参考帧连同模式信息一起输出至运动预测/补偿电路125。如果确定电路144确定要使用帧内预测生成预测图像(确定要进行帧内编码)，则确定电路144将从帧存储器122读取的并且要用于帧内预测的图像连同模式信息一起输出至帧内预测电路126。
图17是图示图15中的运动预测/补偿电路125的示例配置的框图。
如图17所示，运动预测/补偿电路125由运动矢量检测电路181、单向预测电路182、双向预测电路183、预测电路184和滤波电路185构成。运动预测/补偿电路125具有与图8中所示的运动预测/补偿电路21的配置类似的配置，除了代替预测模式确定电路41提供了运动矢量检测电路181之外。
运动矢量检测电路181基于重排缓冲器112提供的原始帧和模式确定电路123提供的参考帧进行块匹配等来检测运动矢量。运动矢量检测电路181参照模式确定电路123提供的模式信息，并且将运动矢量连同参考帧一起输出至单向预测电路182、双向预测电路183和预测电路184中的任何一个。
运动矢量检测电路181在选择单向预测的情况下将运动矢量连同参考帧一起输出至单向预测电路182，而在选择要进行双向预测的情况下将那些条信息输出至双向预测电路183。运动矢量检测电路181在选择要进行滤波预测的情况下将运动矢量连同参考帧一起输出至预测电路184。
如同图8中的单向预测电路42，单向预测电路182通过进行单向预测生成预测图像。单向预测电路182将生成的预测图像输出至加法器电路113。
如同图8中的双向预测电路43，双向预测电路183通过进行双向预测生成预测图像。双向预测电路183将生成的预测图像输出至加法器电路113。
如同图8中的预测电路44，预测电路184从多个(例如，两个)参考帧提取运动补偿图像，并且将提取出的多个运动补偿图像输出至滤波电路185。
如同图8中的滤波电路45，滤波电路185通过进行滤波操作生成预测图像。滤波电路185将生成的预测图像输出至加法器电路113。注意，滤波电路185具有与图12中所示的滤波电路45的配置类似的配置。下文通过适当地引用图12中所示的滤波电路45的配置作为滤波电路185的配置来给出描述。
相比于通过单向预测或双向预测生成的预测图像，通过滤波预测生成的预测图像包括大量的高频成分，并且是具有与原始图像较小差异的图像。由此，分配给残差的代码量较小，由此可以增大编码效率。
此外，可以在参考帧的数目为至少两个的情况下进行滤波操作，由此可以在不会使处理复杂的情况下实现编码效率的这种增大。例如，通过在帧间预测中使用大量数目的参考帧生成高度精确的预测图像并且通过使用它，相对于原始图像的残差可以降低并且编码效率可以增大。然而，在此情况下，处理由于参考帧的数目较大而复杂化。
注意，当要选择预测方法时，可以考虑预测所需要的诸如运动矢量之类的信息的代码量和编码模式，根据代码量将权重添加至残差信号的强度，以便选择最佳的预测方法。据此，可以进一步改善编码效率。此外，为了简化编码处理，可以使用输入原始图像的时间和空间方向上的特征量自适应地选择预测方法。
[编码处理的过程的描述]
接下来描述具有前述配置的编码设备101进行的处理。
将参照图18中的流程图描述编码设备101进行的编码处理。当从重排缓冲器112输出某个单位(如，宏块)的图像时，此处理开始。
在步骤S101中，加法器电路113获得重排缓冲器112提供的图像与运动预测/补偿电路125或帧内预测电路126生成的预测图像之间的差异，并且将残差输出至正交变换电路114。
在步骤S102中，正交变换电路114对加法器电路113提供的残差进行正交变换，并且将变换系数输出至量化电路115。
在步骤S103中，量化电路115对正交变换电路114提供的变换系数进行量化，并且输出量化的变换系数。
在步骤S104中，逆量化电路119对量化电路115量化的变换系数进行逆量化，并且将变换系数输出至逆正交变换电路120。
在步骤S105中，逆正交变换电路120对逆量化电路119提供的变换系数进行逆正交变换，并且将获得的图像输出至解块滤波器121。
在步骤S106中，解块滤波器121进行滤波以去除块噪声，并且将已经去除了块噪声的图像输出至帧存储器122。
在步骤S107中，帧存储器122存储解块滤波器121提供的图像。
在步骤108中，模式确定电路123进行模式确定处理。要用于生成预测图像的预测模式通过模式确定处理而确定。模式确定处理将在下面描述。
在步骤S109中，控制电路131基于模式确定电路123做出的确定判断是否要进行帧内预测。
如果在步骤S109中判断要进行帧内预测，则帧内预测电路126在步骤S110中进行帧内预测，并且将预测图像输出至加法器电路113。
另一方面，如果在步骤S109中判断不进行帧内预测，即，要进行帧间预 测，则运动预测/补偿电路125在步骤S111中进行运动预测/补偿处理，并且预测图像输出至加法器电路113。下面描述运动预测/补偿处理。
在步骤S112中，无损编码电路116压缩量化电路115提供的变换系数，并且将其输出至存储缓冲器117。此外，无损编码电路116根据模式确定电路123提供的信息，在图像的头文件中描述识别标志，并且在图像的头文件中描述运动预测/补偿电路125提供的运动矢量。
在步骤S113中，存储缓冲器117临时存储无损编码电路116提供的信息。
在步骤S114中，控制电路131判断是否已经对一个完整帧中的各宏块进行了前述处理。如果判断尚未对一个完整帧中的各宏块进行该处理，则从步骤S111起针对另一宏块重复该处理。
另一方面，如果在步骤S114中判断已经对一个完整帧中的各宏块进行了该处理，则存储缓冲器117在步骤S115中根据控制电路131进行的控制输出压缩图像信息。对各个帧进行前述处理。
接下来参照图19中的流程图，描述图18的步骤S108中进行的模式确定处理。
在步骤S131中，帧内预测电路141和帧间预测电路142分别对具有彼此不同大小的块进行帧内预测和帧间预测，从而生成预测图像。生成的预测图像提供给预测误差计算电路143。
在步骤S132中，预测误差计算电路143获得原始图像和从帧内预测电路141的各个电路以及从帧间预测电路142的单向预测电路162、双向预测电路163和滤波电路164提供的各个预测图像之间的差异。预测误差计算电路143将残差信号输出至确定电路144。
在步骤S133中，确定电路144基于预测误差计算电路143提供的残差信号的强度，确定用于生成要供给加法器电路113的预测图像的预测方法。
在步骤S134中，确定电路144将作为有关所确定的预测方法的信息的模式信息输出至无损编码电路116。然后，处理返回到图18中的步骤S108，并且进行随后的处理。
接下来参照图20中的流程图，描述图18的步骤S111中进行的运动预测/补偿处理。
在步骤S151中，运动矢量检测电路181基于原始图像和参考帧检测运动矢量。
在步骤S152中，运动矢量检测电路181判断模式确定电路123是否已经确定要在滤波预测模式下进行处理。
如果判断已经确定在滤波预测模式下进行处理，则处理前进至步骤S153。步骤S153和步骤S154中的各个处理以与图12中的步骤S32和步骤S33的情况类似的方式执行。即，在步骤S153中，以上面参照图13中的流程图描述的方式进行提取处理。在步骤S154中，以上面参照图14中的流程图描述的方式进行滤波预测处理。
在步骤S154中的处理已经结束后，运动预测/补偿处理结束，并且处理返回到图18中的步骤S111并前进至步骤S112。
此外，如果在图20的步骤S152中判断尚未确定在滤波预测模式下进行处理，则处理前进至步骤S155。在步骤S155中，单向预测电路182或双向预测电路183进行单向预测或双向预测，从而生成预测图像。
即，如果已经确定在单向预测模式下进行处理，则将运动矢量从运动矢量检测电路181供给单向预测电路182，并且在单向预测电路182中进行单向预测。此外，如果已经确定在双向预测模式下进行处理，则将运动矢量从运动矢量检测电路181供给双向预测电路183，并且在双向预测电路183中进行双向预测。在预测图像已经输出至加法器电路113并且图20中步骤S155的处理已结束之后，运动预测/补偿处理结束，并且处理返回到图18中的步骤S111并前进至步骤S112。
如上所述，通过使用经由滤波预测生成的预测图像进行编码，编码效率可以得到增大。
<3.第三实施例>
[滤波电路的修正]
在上面给出的描述中，滤波电路45和185具有图10中所示的配置，但是此配置可以在需要时加以改变。
图21是图示滤波电路45的另一示例配置的框图。用相同的附图标记表示与图10所示的配置对应的配置。冗余的描述将会适当地省略。
图21中的差异计算电路61计算运动补偿图像MC0和运动补偿图像MC1之间的差异，并且将差异图像输出至低通滤波器电路62。
低通滤波器电路62对差异计算电路61提供的差异图像进行低通滤波， 并且将获得的图像输出至加法器电路67。
加法器电路67将低通滤波器电路62提供的图像加至运动补偿图像MC0，并且输出所获得的图像作为预测图像。
通过使用图21所示的配置，处理量相比于使用图10中的配置的情况可以得到减小，并且可以实现高速操作。
图22是图示滤波电路45的又一示例配置的框图。用相同的附图标记表示与图10所示的配置对应的配置。冗余的描述将会适当地省略。
在图22的滤波电路45中，对频域上的信号而不是时域上的信号进行滤波。图10和图21中图示的滤波电路45均对时域上的信号进行滤波。
图22中的差异计算电路61计算运动补偿图像MC0和运动补偿图像MC1之间的差异，并且将差异图像输出至正交变换电路201。
正交变换电路201对差异图像进行由DCT(Discrete Cosine Transform，离散余弦变换),Hadamard变换和KLT(Karhunen Loeve Transformation)表示的正交变换，并且将正交变换后的信号输出至带通滤波器电路202。对频域上的信号进行正交变换，并且进行滤波，由此相比于对时域上的信号进行滤波的情况可以更加灵活地进行高度精确的滤波处理。
当DCT用作正交变换时，正交变换后的输出DF由下列等式(12)表达。在等式(12)中，DCT(X)表示对信号X进行二维DCT处理。
[算式12]
DF＝DCT(D)        ...(12)
带通滤波器电路202对正交变换电路201的输出进行滤波，并且输出特定波段中的信号。
增益调节电路203通过将其乘以α来调节带通滤波器电路202的输出的增益，并且还调节频率分量。增益调节电路203的输出XF由下列等式(13)表达。在等式(13)中，BPF(X)表示对信号X进行带通滤波处理。
[算式13]
XF＝α·BPF(DF)...(13)
逆正交变换电路204以与正交变换电路201进行的正交变换对应的方法进行逆正交变换，以便将增益调节电路203提供的频域上的信号变换为时域上的信号。例如，当在正交变换电路201中将DCT用作正交变换时，在逆正交变换电路204中进行IDCT。逆正交变换电路204的输出X由下列等式(14) 表达。在等式(14)中，IDCT(X)表示对信号X进行二维IDCT处理。
[算式14]
X＝IDCT(XF)     ...(14)
加法器电路57在时域上将逆正交变换电路204提供的信号X加至运动补偿图像MC0，并且输出获得的图像作为预测图像。作为加法器电路57的最终输出的预测图像S(i,j)由下列等式(15)表达。
[算式15]
S(i,j)＝MC0(i，j)+X(i,j)        ...(15)
以此方式，可以通过对频域上的信号进行滤波生成高度精确的预测图像。
此外，在上面给出的描述中，使用两个参考帧进行滤波预测，但是将两个或更多个帧用作参考帧。
图23是图示使用三个参考帧的情况的示例的示图。
在图23的示例中，通过将预测帧的时间用作基础，将在时间上一个时间单位之前、两个时间单位之前和三个时间单位之前的三个帧当作参考帧。将更加接近于预测帧并且在其之前一个时间单位的帧当作参考帧R0，将参考帧R0之前一个时间单位的帧当作参考帧R1，将参考帧R1之前一个时间单位的帧当作参考帧R2。
图24是图示使用三个参考帧的情况下的滤波电路的示例配置的框图。
如图24所示，滤波电路211由滤波电路221和滤波电路222构成。滤波电路221和滤波电路222均具有图10、图21或图22中所示的配置。即，通过级联用于两个输入和一个输出的滤波电路45，滤波电路211配置为用作三个输入和一个输出的电路。
这里，通过将从参考帧R0提取出的运动补偿图像当作运动补偿图像MC0，将从参考帧R1提取出的运动补偿图像当作运动补偿图像MC1，将从参考帧R2提取出的运动补偿图像当作运动补偿图像MC2来给出描述。运动补偿图像MC1和MC2输入至滤波电路221，运动补偿图像MC0输入至滤波电路222。
通过分别将运动补偿图像MC1和MC2当作图10中的运动补偿图像MC0和MC1等，滤波电路221进行滤波，并且将作为滤波结果的中间输出X输出至滤波电路222。
通过分别将中间输出X和运动补偿图像MC0当作图10中的运动补偿图 像MC0和MC1等，滤波电路221进行滤波，并且输出用作预测图像的滤波结果。
还可以的是，代之滤波电路45，在图4的解码设备1中或者在图15的编码设备101中提供应对这三个参考帧的滤波电路211。
另外，滤波电路221和滤波电路222无需具有相同的配置，并且各自配置可以相互不同，例如，一个具有图10所示的配置，而另一个具有图21所示的配置。此外，可以鉴于滤波之前和之后的输入/输出特性改变用于滤波器的参数。
滤波电路211可以对从两个时间方向上安置的三个参考帧中提取出的运动补偿图像进行滤波，而不是对从一个时间方向上安置的参考帧中提取出的运动补偿图像进行滤波。
注意，在使用预测帧的时间之前和之后的帧作为参考帧的情况(包括上面参照图8描述的情况)下，可以根据参考帧的时间方向或距离动态地改变用于滤波的参数(如，抽头系数)。
压缩图像信息从编码设备101到解码设备1的传输经由各种类型的介质进行，如记录介质(包括光盘、磁盘和闪存)、卫星广播、有线电视、因特网和移动电话网络。
上述一系列处理可以通过硬件执行，并且可以通过软件执行。在通过软件执行这一系列处理的情况下，通过程序记录介质将组成软件的程序安装至专用硬件里并入的计算机、能够通过用各种类型的程序进行安装以执行各种类型功能的通用个人计算机等。
图25是图示根据程序执行上述一系列处理的计算机300的示例硬件配置的框图。
CPU(Central Processing Unit，中央处理单元)301、ROM(Read Only Memory，只读存储器)302和RAM(Random Access Memory，随机存取存储器)303经由总线304相互连接。
输入/输出接口310进一步连接至总线304。由键盘、鼠标、麦克风等制成的输入单元311，由显示器、扬声器等制成的输出单元312，由硬盘、非易失性存储器等制成的存储单元313，由网络接口等制成的通信单元314，驱动可拆卸介质321(如，光盘或半导体存储器)的驱动器315连接至输入/输出接口310。
在具有前面配置的计算机300中，CPU301例如经由输入/输出接口310和总线304将存储单元313中存储的程序加载至RAM303并且运行它，从而进行上述一系列处理。
CPU301运行的程序例如在记录在可拆卸介质321上的同时或者经由有线或无线传输介质(如，局域网、因特网或数字广播)来提供，并且安装在存储单元313中。
另外，计算机运行的程序可以是根据此描述中所述的次序按时间顺序进行处理的程序，或者可以是并行或者在所需要的时刻(如，当进行调用时)进行处理的程序。
此外，在此描述中，描述记录介质上记录的程序的步骤当然包括根据所述次序按时间顺序进行的处理，并且还包括并行或单独而不按时间顺序进行的处理。
此外，在此描述中，系统是由多个设备构成的整个装置。
此外，关于上面的描述，可以将作为单个设备(或处理单元)描述的配置分割为多个设备(或处理单元)。相比之下，可以将作为多个设备(或处理单元)描述的配置集成至单个设备(或处理单元)。可替代地，当然可以将除了上述配置以外的配置添加至每个设备(或每个处理单元)。进而，可以将特定设备(或处理单元)的配置的一部分包括在另一设备(或另一处理单元)的配置中，只要整个系统的配置和操作基本上相同即可。即，本发明的实施例不限于上述实施例，可以在不脱离本发明要旨的情况下接受各种改变。
例如，上述解码设备1和编码设备101可以应用于任意的电子装置。下文描述其示例。
图26是图示使用了本发明应用到的解码设备1的电视接收器的主要示例配置的框图。
图26中所示的电视接收器1000具有地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020和显示面板1021。
地面调谐器1013经由天线接收模拟地面广播的广播波信号，对其进行解调，获得视频信号并将其供给视频解码器1015。视频解码器1015对地面调谐器1013提供的视频信号进行解码处理，并且将获得的数字分量信号供给视频信号处理电路1018。
视频信号处理电路1018对视频解码器1015提供的视频数据进行诸如降噪之类的特定处理，并且将获得的视频数据供给图形生成电路1019。
图形生成电路1019生成要在显示面板1021上显示的节目的视频数据、基于根据经由网络等提供的应用程序的处理的图像数据，并且将生成的视频数据和图像数据供给面板驱动电路1020。此外，图形生成电路1019进行如下处理：生成用于显示用户选择条目所要使用的屏幕的视频数据(图形)，将其叠加在节目的视频数据上，并在必要时将由此获得的视频数据供给面板驱动电路1020。
面板驱动电路1020基于图形生成电路1019提供的数据驱动显示面板1021，并且使得显示面板1021显示上述各种类型屏幕和节目的视频。
显示面板1021由LCD(Liquid Crystal Display，液晶显示器)等制成，并且根据面板驱动电路1020进行的控制显示节目的视频等。
此外，电视接收器1000具有音频A/D(Analog/Digital，模拟/数字)转换器电路1014、音频信号处理电路1022、回声消除/音频合成电路1023、音频放大器电路1024和扬声器1025。
地面调谐器1013对接收到的广播波信号进行解调，由此不仅获得视频信号而且获得音频信号。地面调谐器1013将获得的音频信号供给音频A/D转换器电路1014。
音频A/D转换器电路1014对地面调谐器1013提供的音频信号进行A/D转换处理，并且将获得的数字音频信号供给音频信号处理电路1022。
音频信号处理电路1022对音频A/D转换器电路1014提供的音频数据进行诸如降噪之类的特定处理，并且将获得的音频数据供给回声消除/音频合成电路1023。
回声消除/音频合成电路1023将音频信号处理电路1022提供的音频数据供给音频放大器电路1024。
音频放大器电路1024对回声消除/音频合成电路1023提供的音频数据进行D/A转换处理和放大处理以将其调节到特定音量，并且使得从扬声器1025输出音频。
此外，电视接收器1000具有数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播(数字地面广播、BS(Broadcasting Satellite，广播卫星)/CS(Communications Satellite，通信卫星) 数字广播)的广播波信号，对其进行解调，获得MPEG-TS(Moving Picture Experts Group-Transport Stream，运动图像专家组-传输流)，并且将其供给MPEG解码器1017。
MPEG解码器1017消除数字调谐器1016提供的MPEG-TS上设置的扰频(scramble)，并且提取包括要回放(要观看/收听)的节目的数据的流。MPEG解码器1017对构成所提取的流的音频分组进行解码并将获得的音频数据供给音频信号处理电路1022，并且还对构成流的视频分组进行解码并将获得的视频数据供给视频信号处理电路1018。此外，MPEG解码器1017经由路径(未示出)将从MPEG-TS提取出的EPG(Electronic Program Guide，电子节目指南)数据供给CPU1032。
电视接收器1000使用上述的解码设备1作为以此方式对视频分组进行解码的MPEG解码器1017。注意，从广播站等发送的MPEG-TS由编码设备101编码。
如解码设备1的情况下那样，MPEG解码器1017使用通过滤波预测生成的预测图像进行解码。此外，此时，如解码设备1的情况下那样，MPEG解码器1017使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量所获得的运动补偿图像的运动预测，获得剩余的运动补偿图像(一个或多个)。由此，MPEG解码器1017可以减少要编码的运动矢量的数目。
MPEG解码器1017提供的视频数据在视频信号处理电路1018中经历特定处理，如视频解码器1015提供的视频数据的情况下那样，图形生成电路1019中生成的视频数据等适当地叠加在其之上，视频数据经由面板驱动电路1020等供给显示面板1021，并且显示其图像。
MPEG解码器1017提供的音频数据在音频信号处理电路1022中经历特定处理，如音频A/D转换器电路1014提供的音频数据的情况下那样，经由回声消除/音频合成电路1023供给音频放大器电路1024，并且经历D/A转换处理和放大处理。结果，调节到特定音量的音频从扬声器1025输出。
此外，电视接收器1000具有麦克风1026和A/D转换器电路1027。
A/D转换器电路1027接收由电视接收器1000中提供的麦克风1026捕获的用于音频转换的用户音频信号，对接收到的音频信号进行A/D转换处理，并且将获得的音频数据供给回声消除/音频合成电路1023。
在A/D转换器电路1027提供电视接收器1000的用户(用户A)的音频 数据的情况下，回声消除/音频合成电路1023对用户A的音频数据进行回声消除，并且使得通过与其它音频数据的合成所获得的音频的数据经由音频放大器电路1024从扬声器1025输出。
此外，电视接收器1000具有音频编解码器1028、内部总线1029、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)1030、闪存1031、CPU1032、USB(Universal Serial Bus，通常串行总线)I/F1033和网络I/F1034。
A/D转换器电路1027接收由电视接收器1000中提供的麦克风1026捕获的用于音频转换的用户音频信号，对接收到的音频信号进行A/D转换处理，并且将获得的数字音频数据供给音频编解码器1028。
音频编解码器1028将A/D转换器电路1027提供的音频数据转换为用于经由网络对其进行发送的特定格式的数据，并且经由内部总线1029将其供给网络I/F1034。
网络I/F1034经由附连至网络端子1035的线缆连接至网络。网络I/F1034例如将音频编解码器1028提供的音频数据发送至与网络连接的另一装置。此外，例如，网络I/F1034经由网络端子1035接收经由网络连接的另一装置发送的音频数据，并且经由内部总线1029将其供给音频编解码器1028。
音频编解码器1028将网络I/F1034提供的音频数据转换为某种格式的数据，并且将其供给回声消除/音频合成电路1023。
回声消除/音频合成电路1023对音频编解码器1028提供的音频数据进行回声消除，并且使得通过与其它音频数据的合成所获得的音频数据经由音频放大器电路1024从扬声器1025输出。
SDRAM1030存储CPU1032进行处理所需要的各种类型的数据。
闪存1031存储CPU1032运行的程序。闪存1031中存储的程序例如由CPU1032在特定时刻(例如，在电视接收器1000启动时)读取。闪存1031还存储经由数字广播获得的EPG数据以及经由网络从特定服务器获得的数据。
例如，闪存1031在CPU1032进行的控制下，存储包括经由网络从特定服务器获得的内容数据的MPEG-TS。闪存1031例如在CPU1032进行的控制下，经由内部总线1029将MPEG-TS供给MPEG解码器1017。
MPEG解码器1017如数字调谐器1016提供的MPEG-TS的情况下那样 处理MPEG-TS。以此方式，电视接收器1000能够经由网络接收视频、音频等的内容数据、使用MPEG解码器1017对其进行解码，并且使得显示视频或输出音频。
此外，电视接收器1000具有光接收单元1037，用于接收遥控器1051发送的红外信号。
光接收单元1037从遥控器1051接收红外线，并且将通过解调获得的表示用户操作的细节的控制码输出至CPU1032。
CPU1032运行闪存1031中存储的程序，并且根据光接收单元1037提供的控制码等控制电视接收器1000的整体操作。CPU1032经由路径(未示出)连接至电视接收器1000的各自单元。
USB I/F1033进行向/自电视接收器1000的外部装置发送/接收数据，该装置经由附连至USB端子1036的USB线缆连接。网络I/F1034经由附连至网络端子1035的线缆连接至网络，并且进行向/自连接至网络的各种类型装置发送/接收音频数据以外的数据。
电视接收器1000使用解码设备1作为MPEG解码器1017，由此能够在对形成流的视频分组进行的解码期间，使用少量控制信息生成高度精确的预测图像。结果，电视接收器1000能够在抑制负荷增大的同时增大编码效率。
图27是图示使用本发明应用到的解码设备1和编码设备101的移动电话装置的主要示例配置的框图。
图27中所示的移动电话装置1100具有配置为统一控制各个单元的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、相机I/F单元1154、LCD控制单元1155、图像解码器1156、多路复用器/多路分配器单元1157、记录/再现单元1162、调制/解调电路单元1158和音频编解码器1159。这些经由总线1160相互连接。
此外，移动电话装置1100具有操作按键1119、CCD(Charge Coupled Device，电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风1121和扬声器1117。
当通过用户操作电源按键开启或呼叫结束时，电源电路单元1151将来自电池组的电力供给各个单元，从而使得移动电话装置1100进入可操作状态。
移动电话装置1100基于包括CPU、ROM、RAM等的主控制单元1150进行的控制，在各种类型的模式(如，音频呼叫模式或数据通信模式)下进 行各种类型的操作(如，音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获或数据记录)。
例如，在音频呼叫模式下，移动电话装置1100使用音频编解码器1159将麦克风1121采集的音频信号转换为数字音频数据，使用调制/解调电路单元1158对其进行频谱扩展处理，并且使用发送/接收电路单元1163进行数模转换处理和频率转换处理。移动电话装置1100经由天线1114将通过转换处理获得的待发送信号发送至基站(未示出)。要发送至基站的待发送信号(音频信号)经由公共电话线网络供给呼叫另一侧的移动电话装置。
此外，例如，在音频呼叫模式下，移动电话装置1100使用发送/接收电路单元1163对天线1114接收到的接收信号进行放大，进一步进行频率转换处理和模数转换处理，使用调制/解调电路单元1158进行频谱逆扩展处理，并且使用音频编解码器1159将其转换为模拟音频信号。移动电话装置1100将通过转换获得的模拟音频信号从扬声器1117输出。
此外，例如，在数据通信模式下发送电子邮件的情况下，移动电话装置1100在操作输入控制单元1152中接受通过操作按键1119的操作输入的电子邮件的文本数据。移动电话装置1100在主控制单元1150中处理文本数据，并且经由LCD控制单元1155使得其作为图像显示在液晶显示器1118上。
此外，移动电话装置1100基于操作输入控制单元1152接受的用户指令或文本数据，在主控制单元1150中生成电子邮件数据。移动电话装置1100使用调制/解调电路单元1158对电子邮件数据进行频谱扩展处理，并且使用发送/接收电路单元1163进行数模转换处理和频率转换处理。移动电话装置1100经由天线1114将通过转换处理获得的待发送信号发送至基站(未示出)。要发送至基站的待发送信号(电子邮件)经由网络和邮件服务器等供给特定的目的地。
此外，例如，在数据通信模式下接收电子邮件的情况下，移动电话装置1100使用发送/接收电路单元1163接收经由天线1114从基站发送的信号，将其放大，并且进一步进行频率转换处理和模数转换处理。移动电话装置1100使用调制/解调电路单元1158对接收到的信号进行频谱逆扩展处理以恢复原始的电子邮件数据。移动电话装置1100经由LCD控制单元1155将恢复后的电子邮件数据显示在液晶显示器1118上。
另外，移动电话装置1100能够使得经由记录/再现单元1162将接收到的 电子邮件数据记录(存储)在存储单元1123中。
存储单元1123是任意的可重写存储介质。存储单元1123可以是半导体存储器(如，RAM或内置的闪存)、硬盘或可拆卸介质(如，磁盘、磁光盘、光盘、USB存储器或存储卡)。当然，可以使用其它类型的介质。
此外，例如，在数据通信模式下发送图像数据的情况下，移动电话装置1100使用CCD相机1116通过捕获生成图像数据。CCD相机1116具有光学设备(如，透镜和光圈)和用作光电转换元件的CCD，其捕获被摄体的图像，将接收到的光的强度转换为电信号，并且生成被摄体的图像的图像数据。CCD相机1116经由相机I/F单元1154使用图像编码器1153对图像数据编码，从而将图像数据转换为编码的图像数据。
移动电话装置1100使用上述的编码设备101作为进行这种处理的图像编码器1153。如编码设备101的情况下那样，图像编码器1053使用通过滤波预测生成的预测图像进行编码。此外，此时，如编码设备101的情况下那样，图像编码器1153使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量获得的运动补偿图像的运动预测获得剩余的运动补偿图像(一个或多个)。据此，图像编码器1153可以减少要编码的运动矢量的数目。
另外，同时，移动电话装置1100在音频编解码器1159中，在使用CCD相机1116的图像捕获期间对麦克风1121采集到的音频进行模数转换，并且进一步对其进行编码。
移动电话装置1100在多路复用器/多路分配器单元1157中以特定方法对图像编码器1153提供的编码图像数据和音频编解码器1159提供的数字音频数据进行多路复用。移动电话装置1100使用调制/解调电路单元1158对作为结果获得的多路复用数据进行频谱扩展处理，并且使用发送/接收电路单元1163进行数模转换处理和频率转换处理。移动电话装置1100经由天线1114将通过转换处理获得的待发送信号发送至基站(未示出)。要发送至基站的待发送信号(图像信号)经由网络等供给通信的另一侧。
注意，在不发送图像数据的情况下，移动电话装置1100可以使得经由LCD控制单元1155(不经由图像编码器1153)将CCD相机1116生成的图像数据显示在液晶显示器1118上。
此外，例如，在数据通信模式下接收被链接至简单网页等的运动图像文件的数据的情况下，移动电话装置1100使用发送/接收电路单元1163接收经 由天线1114从基站发送的信号，将其放大，并且进一步进行频率转换处理和模数转换处理。移动电话装置1100使用调制/解调电路单元1158对接收到的信号进行频谱逆扩展处理以恢复原始的多路复用数据。移动电话装置1100使用多路复用器/多路分配器单元1157将多路复用数据多路分配为编码的图像数据和音频数据。
移动电话装置1100使用图像解码器1156对编码的图像数据进行解码以生成再现的运动图像数据，并且使得该数据经由LCD控制单元1155显示在液晶显示器1118上。据此，例如，将链接至简单网页的运动图像文件中包括的运动图像数据显示在液晶显示器1118上。
移动电话装置1100使用上述的解码设备1作为用于进行这种处理的图像解码器1156。即，如在解码设备1的情况下那样，图像解码器1156使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量获得的运动补偿图像的运动预测获得剩余的运动补偿图像(一个或多个)。据此，图像解码器1156可以减少要编码的运动矢量的数目。
此时，移动电话装置1100使用音频编解码器1159将数字音频数据转换为模拟音频信号，并且使得其从扬声器1117输出。据此，例如，再现被链接至简单网页的运动图像文件中包括的音频数据。
注意，如电子邮件的情况下那样，移动电话装置1100也可以使得经由记录/再现单元1162将被链接至简单网页等的接收数据记录(存储)在存储单元1123中。
此外，移动电话装置1100可以使用主控制单元1150分析CCD相机1116通过图像捕获获得的二维码并获得二维码中记录的信息。
此外，移动电话装置1100可以使用红外通信单元1181通过红外线与外部装置进行通信。
通过使用编码设备101作为图像编码器1153，移动电话装置1100可以减少要在对CCD相机1116中生成的图像数据进行编码并且发送图像数据时要发送的运动矢量的数目，从而增大了编码效率。
此外，通过使用解码设备1作为图像解码器1156，在接收被链接至简单网页等的运动图像文件的数据(编码数据)时进行的解码期间，移动电话装置1100可以使用少量控制信息生成高度精确的预测图像。结果，移动电话装置1100可以在抑制负荷增大的同时增大编码效率。
注意，尽管上面已经给出了移动电话装置1100使用CCD相机1116的描述，但是可以使用应用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替CCD相机1116。在此情况下，移动电话装置1100也可以如使用CCD相机1116的情况下那样捕获被摄体的图像并且生成被摄体的图像的图像数据。
此外，尽管上面已经给出了移动电话装置1100的描述，但是可以如移动电话装置1100的情况下那样，将解码设备1和编码设备101应用于具有与移动电话装置1100的那些类似的图像捕获功能和通信功能的任何装置，如PDA(Personal Digital Assistants)、智能电话、UMPC(Ultra Mobile Personal Computer)、上网本或笔记本型个人计算机。
图28是图示使用了本发明应用到的解码设备1和编码设备101的硬盘记录器的主要示例配置的框图。
图28所示的硬盘记录器(HDD记录器)1200是这样的装置：其存储从卫星、地上的天线等发送的、并且由其中包括的硬盘中的调谐器接收到的广播波信号(电视信号)中所包括的广播节目的音频数据和视频数据，并且在与用户提供的指令对应的时刻将存储的数据提供给用户。
硬盘记录器1200可以从广播波信号提取音频数据和视频数据，适当地对它们进行解码，并且使得它们例如存储在其中所包括的硬盘中。此外，硬盘记录器1200可以经由网络从另一装置获得音频数据和视频数据，适当地对它们进行解码，并且使得它们例如存储在其中所包括的硬盘中。
此外，硬盘记录器1200可以对其中包括的硬盘上记录的音频数据和视频数据进行解码，将它们供给监视器1260，使得其图像显示在监视器1260的屏幕上，并且使得其音频例如从监视器1260的扬声器输出。此外，硬盘记录器1200可以对从经由调谐器获得的广播波信号提取出的音频数据和视频数据或者经由网络从另一装置获得的音频数据和视频数据进行解码，将它们供给监视器1260，使得其图像显示在监视器1260的屏幕上，并且使得其音频例如从监视器1260的扬声器输出。
当然，可以进行另一操作。
如图28中所示，硬盘记录器1200具有接收单元1221、解调单元1222、多路分配器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200进一步具有EPG数据存储器1227、程序存储器1228、工作 存储器1229、显示转换器1230、OSD(屏显)控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234和通信单元1235。
此外，显示转换器1230具有视频编码器1241。记录/再现单元1233具有编码器1251和解码器1252。
接收单元1221从遥控器(未示出)接收红外信号，将其转换为电信号，将其输出至记录器控制单元1226。记录器控制单元1226例如由微处理器等构成，并且根据程序存储器1228中存储的程序执行各种类型的处理。此时，记录器控制单元1226在需要时使用工作存储器1229。
通信单元1235连接至网络，并且经由网络与另一装置进行通信处理。例如，通信单元1235由记录器控制单元1226控制，与调谐器(未示出)进行通信，并且主要将频道选择控制信号输出至调谐器。
解调单元1222对调谐器提供的信号进行解调，并且将其输出至多路分配器1223。多路分配器1223将解调单元1222提供的数据多路分配为音频数据、视频数据和EPG数据，并将它们分别输出至音频解码器1224、视频解码器1225和记录器控制单元1226。
音频解码器1224对输入其之中的音频数据进行解码，并且将其输出至记录/再现单元1233。视频解码器1225对输入至其之中的视频数据进行解码，并且将其输出至显示转换器1230。记录器控制单元1226将输入至其之中的EPG数据供给EPG数据存储器1227以便将它存储在其之中。
显示转换器1230利用视频编码器1241将视频解码器1225或记录器控制单元1226提供的视频数据例如编码为NTSC(National Television Standards Committee)方法的视频数据，并且将其输出至记录/再现单元1233。此外，显示转换器1230将视频解码器1225或记录器控制单元1226提供的视频数据的屏幕的尺寸转换为与监视器1260的尺寸对应的尺寸，利用视频编码器1241将其转换为NTSC方法的视频数据，将其转换为模拟信号，并且将其输出至显示控制单元1232。
显示控制单元1232在记录器控制单元1226进行的控制下，将OSD(On Screen Display,屏显)控制单元1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上，将其输出至监视器1260的显示器，并且使得显示它。
此外，监视器1260供有从音频解码器1224输出的并且已经通过D/A转 换器1234转换为模拟信号的音频数据。监视器1260将此音频信号从其之中包括的扬声器输出。
记录/再现单元1233具有作为存储介质的硬盘，用于使得将视频数据、音频数据等记录在其之上。
记录/再现单元1233例如利用编码器1251对音频解码器1224提供的音频数据进行编码。此外，记录/再现单元1233利用编码器1251对显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/再现单元1233利用多路复用器将音频数据的编码数据和视频数据的编码数据进行组合。记录/再现单元1233对复合数据进行信道编码以将其放大，并且经由记录磁头将数据写在硬盘上。
记录/再现单元1233经由再现磁头再现硬盘上记录的数据，将其放大，并且使用多路分配器将其多路分配为音频数据和视频数据。记录/再现单元1233利用解码器1252对音频数据和视频数据进行解码。记录/再现单元1233对解码的音频数据进行D/A转换，并且将其输出至监视器1260的扬声器。此外，记录/再现单元1233对解码的视频数据进行D/A转换，并且将其输出至监视器1260的显示器。
记录器控制单元1226基于遥控器提供的并且经由接收单元1221接收到的红外信号所表示的用户指令，从EPG数据存储器1227读取最新的EPG数据，并且将其供给OSD控制单元1231。OSD控制单元1231生成与输入的EPG数据对应的图像数据，并且将其输出至显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出至监视器1260的显示器，并且使得显示它。据此，EPG(电子节目指南)显示在监视器1260的显示器上。
此外，硬盘记录器1200可以获得经由网络(如，因特网)从另一装置提供的各种类型的数据(如，视频数据、音频数据或EPG数据)。
通信单元1235由记录器控制单元1226控制，获得另一装置经由网络发送的视频数据、音频数据和EPG数据的编码数据，并且将其供给记录器控制单元1226。记录器控制单元1226获得的视频数据和音频数据的编码数据供给记录/再现单元1233，并且例如使得硬盘存储它。此时，记录器控制单元1226和记录/再现单元1233可以在必要时进行诸如重新编码之类的处理。
此外，记录器控制单元1226对所获得的视频数据和音频数据的编码数据 进行解码，并且将所获得的视频数据供给显示转换器1230。显示转换器1230处理记录器控制单元1226提供的视频数据，像视频解码器1225提供的视频数据那样，经由显示控制单元1232将其供给监视器1260，并且使得显示图像。
此外，根据此图像显示，记录器控制单元1226可以经由D/A转换器1234将解码的音频数据供给监视器1260，并且使得音频从扬声器输出。
此外，记录器控制单元1226对获得的EPG数据的编码数据进行解码，并且将解码的EPG数据供给EPG数据存储器1227。
上面所述的硬盘记录器1200使用解码设备1作为视频解码器1225、解码器1252和记录器控制单元1226中包括的解码器。即，如解码设备1的情况下那样，视频解码器1225、解码器1252和记录器控制单元1226中包括的解码器使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量所获得的运动补偿图像的运动预测来获得剩余的运动补偿图像(一个或多个)。据此，视频解码器1225、解码器1252和记录器控制单元1226中包括的解码器可以减少要编码的运动矢量的数目。
因此，在调谐器或通信单元1235接收视频数据(编码数据)时或者记录/再现单元1233从硬盘再现视频数据(编码数据)时所进行的解码期间，硬盘记录器1200可以使用少量控制信息生成高度精确的预测图像。结果，硬盘记录器1200可以在抑制负荷增大的同时增大编码效率。
此外，硬盘记录器1200使用编码设备101作为编码器1251。由此，如编码设备101的情况下那样，编码器1251使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量所获得的运动补偿图像的运动预测来获得剩余的运动补偿图像(一个或多个)。据此，编码器1251可以减少要编码的运动矢量的数目。
因此，硬盘记录器1200可以在硬盘上记录编码数据时减少运动矢量的数目，从而增大编码效率。
注意，尽管上面已经针对用于在硬盘上记录视频数据和音频数据的硬盘记录器1200给出了描述，然而当然可以使用任何类型的记录介质。例如，如上述硬盘记录器1200的情况下那样，解码设备1和编码设备101可以应用于应用了硬盘以外的记录介质(例如，闪存、光盘或录像磁带)的记录器。
图29是图示使用了本发明应用到的解码设备1和编码设备101的相机的 主要示例配置的框图。
图29所示的相机1300捕获被摄体的图像，使得LCD1316显示被摄体的图像，并且将其作为图像数据记录在记录介质1333上。
透镜块1311使得光(即，被摄体的图像)进入CCD/CMOS1312。CCD/CMOS1312是使用CCD或CMOS的图像传感器，将接收到的光的强度转换为电信号，并且将其供给相机信号处理单元1313。
相机信号处理单元1313将CCD/CMOS1312提供的电信号转换为Y、Cr和Cb的色差信号，并且将它们供给图像信号处理单元1314。图像信号处理单元1314对相机信号处理单元1313提供的图像信号进行特定的图像处理，并且利用编码器1341，在控制器1321进行的控制下对图像信号进行编码。图像信号处理单元1314将通过对图像信号编码所生成的编码数据供给解码器1315。此外，图像信号处理单元1314获得在屏显(OSD)1320中生成的待显示数据，并且将其供给解码器1315。
在前述处理中，相机信号处理单元1313适当地使用经由总线1317连接的DRAM(Dynamic Random Access Memory)1318，并且在必要时使得DRAM1318保持图像数据、通过对图像数据编码所获得的编码数据等。
解码器1315对图像信号处理单元1314提供的编码数据进行解码，将获得的图像数据(解码的图像数据)供给LCD1316。此外，解码器1315将图像信号处理单元1314提供的待显示数据供给LCD1316。LCD1316将解码器1315提供的解码图像数据的图像和待显示数据的图像适当地组合，并且显示复合图像。
屏显1320在控制器1321进行的控制下，经由总线1317将待显示数据(如，由符号、字符或数字组成的菜单屏幕、以及按钮)输出至图像信号处理单元1314。
控制器1321基于表示用户使用操作单元1322提供的指令的细节的信号执行各种类型的处理，并且经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、屏显1320、介质驱动器1323等。控制器1321执行各种类型的处理所需要的程序、数据等存储在闪速ROM1324中。
例如，控制器1321可以代表图像信号处理单元1314或解码器1315，对DRAM1318中存储的图像数据进行编码并且对DRAM1318中存储的编码数据进行解码。此时，控制器1321可以以与图像信号处理单元1314或解码器 1315的编码/解码方法类似的方法进行编码/解码处理，或者可以以与图像信号处理单元1314或解码器1315兼容的方法进行编码/解码处理。
此外，例如，如果从操作单元1322提供要开始打印图像的指令，则控制器1321从DRAM1318读取图像数据，并且经由总线1317将其供给连接至外部接口1319的打印机1334以打印它。
此外，例如，如果从操作单元1322提供要记录图像的指令，则控制器1321从DRAM1318读取编码数据，并且经由总线1317将其供给加载在介质驱动器1323中的记录介质1333以存储它。
记录介质1333是任意的可读写的可拆卸介质，如磁盘、磁光盘、光盘或半导体存储器。当然，记录介质1333可以是任何类型的可拆卸介质，并且可以是磁带设备、盘或存储卡。当然，记录介质1333可以是非接触式IC卡等。
此外，介质驱动器1323和记录介质1333可以被集成，并且可以由非便携存储介质(如，内置的硬盘驱动器或SSD(Solid State Drive，固态驱动器))构成。
外部接口1319例如可以由USB输入/输出端子等构成，并且在打印图像的情况下连接至打印机1334。此外，驱动器1331在必要时连接至外部接口1319，可拆卸介质1332(如，磁盘、光盘或磁光盘)适当地加载至其中，并且从其读取的计算机程序在必要时被安装至闪存ROM1324。
此外，外部接口1319具有与特定网络(如LAN或因特网)连接的网络接口。控制器1321例如可以根据操作单元1322提供的指令，从DRAM1318读取编码数据并且将其从外部接口1319供给经由网络连接的另一装置。此外，控制器1321可以经由外部接口1319获得另一装置经由网络提供的编码数据或图像数据，并且使得DRAM1318保存它或者将其供给图像信号处理单元1314。
上面描述的相机1300使用解码设备1作为解码器1315。即，如解码设备1的情况下那样，解码器1315使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量获得的运动补偿图像的运动预测获得剩余的运动补偿图像(一个或多个)。据此，解码器1315可以减少要编码的运动矢量的数目。
因此，在读取来自记录介质1333或DRAM1318的视频数据的编码数据或CCD/CMOS1312中生成的图像数据时，或者在经由网络获得视频数据的编码数据时，相机1300可以使用少量的控制信息生成高度精确的预测图像。 结果，相机1300可以在抑制负荷增大的同时增大编码效率。
此外，相机1300使用编码设备101作为编码器1341。如编码设备101的情况下那样，编码器1341使用运动矢量获得运动补偿图像的一部分，并且通过使用运动矢量获得的运动补偿图像的运动预测获得剩余的运动补偿图像(一个或多个)。据此，编码器1341可以减少要编码的运动矢量的数目。
因此，例如在DRAM1318或记录介质1333上记录编码数据时或者将编码数据提供给另一装置时，相机1300可以减少运动矢量的数目，并且可以增大编码效率。
另外，解码设备1的解码方法可以应用于控制器1321进行的解码处理。同样地，编码设备101的编码方法可以应用于控制器1321进行的编码处理。
此外，相机1300捕获的图像数据可以是运动图像或静态图像。
当然，解码设备1和编码设备101可以应用于上述装置以外的装置或系统。
此外，宏块的大小可以任意地设置。本发明例如可以如图30所示那样应用于各种大小的宏块。例如，本发明也可以应用于32×32像素的扩展宏块(扩展宏块)以及16×16像素的普通宏块。
在图30的上面部分(upper stage)，从左边起依次图示了由32×32像素构成的宏块，其被分割为32×32像素、32×16像素、16×32像素和16×16像素的块(分区)。此外，在中间部分，从左边起依次图示了由16×16像素构成的块，其被分割为16×16像素、16×8像素、8×16像素和8×8像素的块。进而，在下面部分，从左边起依次图示了由8×8像素构成的块，其被分割为8×8像素、8×4像素、4×8像素和4×4像素的块。
即，可以将32×32像素的宏块处理为上面部分示出的32×32像素、32×16像素、16×32像素和16×16像素的块。
如H.264/AVC方法中那样，可以将上面部分的右侧示出的16×16像素的块处理为中间部分示出的16×16像素、16×8像素、8×16像素和8×8像素的块。
如H.264/AVC方法中那样，可以将中间部分的右侧示出的8×8像素的块处理为下面部分示出的8×8像素、8×4像素、4×8像素和4×4像素的块。
可以将这些块分类为下列三种层。即，将图30的上面部分示出的32×32像素、32×16像素和16×32像素的块称为第一层。将上面部分右侧示出的 16×16像素的块、中间部分示出的16×16像素、16×8像素和8×16像素的块称为第二层。将中间部分右侧示出的8×8的块、下面部分示出的8×8像素、8×4像素、4×8像素和4×4的块称为第三层。
通过采用这种层级结构，对于16×16像素或更小的块，可以在保持与H.264/AVC方法的兼容性的同时将更大的块定义为其超集(superset)。
例如，解码设备1和编码设备101可以为各个层生成预测图像。此外，例如，解码设备1和编码设备101在第一层(其为相比于第二层中更大的块尺寸的层)中生成的预测图像也可以用于第二层。
如第一层和第二层中那样使用相对大的块尺寸进行编码的宏块具有相对少量的高频分量。相比之下，认为如第三层中那样使用相对小的块尺寸进行编码的宏块具有相对大量的高频分量。
据此，通过根据不同块大小的各个层单独地生成预测图像，可以实现适合于图像局部特性的编码性能的改善。
附图标记列表
1解码设备,21运动预测/补偿电路,41预测模式确定电路,42单向预测电路,43双向预测电路,44预测电路,45滤波电路,51运动补偿电路,52运动预测电路,61差异计算电路,62低通滤波器电路,63增益调节电路,64高通滤波