带块丢弃的图像编码.pdf

带运动预测和补偿的图像和视频编码，其中基于两个参数的组合来禁止运动预测误差信号的编码，这两个参数是：表示运动预测误差的值和表示运动矢量非一致性(运动矢量场的均一性)的值。

1.  一种图像编码器(10；100)，至少包括：
至少一个编码器输入端(11)；
至少一个连接到所述编码器输入端的存储器设备(12，121-123)，用于存储在所述输入端接收的至少一幅图像；
至少一个图像预测器设备(13，131-139)，用于基于在所述存储器设备中存储的至少一第一图像预测一预测图像；
用于确定与在原始图像和预测图像之间差别有关的残余数据的合成器设备(15，151-153)；
用于确定至少一个第一特征的第一鉴别器设备(161，1611-1613)；
连接到所述合成器设备和所述第一鉴别器设备的禁止器设备(18，181-183；23，231-233)，用于如果对照所述第一预定标准核对所述第一特征的话就进一步传输所述残余数据；和
至少一个连接到所述禁止器设备的编码器输出端(19)，
其特征在于：
所述图像编码器(10；100)还包括：
一个用于确定至少第二特征的第二鉴别器设备(162，1621-1622)；
和
所述禁止器设备(18，181-183；23，231-233)设置为依据所述第一特征和所述第二特征进一步传输所述残余数据。

2.  根据权利要求1的一种图像编码器(10；100)，其中
所述第一鉴别器设备(161，1611-1613)设置为确定至少一个与所述差别有关的第一特征和
一个第二鉴别器设备(162，1621-1622)，用于确定至少一个第二特征，其对应于与所述至少一个第一图像相比较在所述原始图像中的要素变化。

3.  根据权利要求1或2的一种图像编码器(10；100)，其中
所述第一鉴别器设备(161，1611-1613)设置为对照所述第一标准核对所述第一特征，
所述第二鉴别器设备(162，1621-1622)设置为对照所述第二标准核对所述第二特征，和
所述禁止器设备设置为如果对照所述第一标准核对所述第一特征并且对照所述第二标准核对所述第二特征的话就进一步传输所述残余数据。

4.  根据权利要求3的一种图像编码器，其中
所述第一鉴别器设备(161)包括：
用于确定一平均预测误差的平均设备；
用于将所述平均预测误差和一误差极限值比较的第一比较器设备。

5.  根据权利要求3的图像编码器，其中
所述图像预测器设备包括：
至少一个运动矢量计算机设备(136，1361-1363)，用于预测与在所述图像中的要素位置变化有关的运动矢量；和
所述第二鉴别器设备(162)包括：
运动矢量非一致性计算机和
第二比较器设备，用于将所述运动矢量非一致性值和预定的非一致性极限值相比较。

6.  根据权利要求5的图像编码器(10；100)，其中所述运动矢量非一致性计算机设备设置为执行一个由以下数学算法表示的操作：
VI ( x , y , t ) = 1 ( 2 N + 1 ) ( 2 M + 1 ) ( P + 1 ) Σ ξ = 1 N Σ γ = 1 M Σ τ P | D → ( x , y , t ) - D → ( x + ξ , y + γ , t - τ ) | ]]>
其中VI表示所述矢量非一致性，表示一个运动矢量，N表示所述预测图像的估计区域的水平尺寸，M表示所述空间区域的垂直尺寸，P表示在前矢量场的数值。

7.  根据权利要求5的图像编码器(10；100)，其中所述运动矢量非一致性计算机设备设置为执行一个由下面数学算法表示的操作：
VI ( x , y , t ) = max - N ≤ ξ ≤ N ^ - M ≤ γ ≤ M ^ 0 ≤ τ ≤ P | D → ( x , y , t ) - D → ( x + ξ , y + γ , t - τ ) | ]]>
其中VI表示所述矢量非一致性，表示一个运动矢量，N表示所述预测图像的估计区域的水平尺寸，M表示所述空间区域的垂直尺寸，P表示在前矢量场的数值。

8.  根据权利要求5-7之一的图像编码器(10；100)，其中所述第二比较器设置为执行一个由下面数学算法表示的操作：

其中SVI表示指示所述核对结果的二进制值，T_VI表示所述预定的极限值。

9.  根据前面任一权利要求的图像编码器(10；100)，其中所述预测图像是一种插值图像，从至少所述原始图像之前的一个在前图像和至少所述原始图像之后的一个随后图像来预测。

10.  根据权利要求9的图像编码器(10；100)，其中所述插值图像是一种MPEG B-帧图像。

11.  根据权利要求5-10中任一的图像编码器，其中所述运动计算机设备(136，1361-1363)是真运动计算机设备。

12.  根据权利要求3-12中任一的图像编码器，其中第一标准与第二特征有关。

13.  根据权利要求12的图像编码器，其中矢量非一致性用于根据下面的数学算法计算所述第一极限值：
T_{MAD(x，y，t)}＝α(VI_max-VI(x，y，t)，其中带有一个正的乘法因子，并且 VI max = 2 | D → | max ]]>是VI值的最大可能值。

14.  一种适用MPEG的图像编码器，包括至少一种如前面任一权利要求所述的图像编码器。

15.  一种编码方法，包括：
接收(I)至少一个第一图像和一个原始图像；
基于所述至少一个第一图像来预测(IV)一预测图像；
确定(V)与原始图像和预测图像之间的差别有关的残余数据；和
如果至少满足一个预定标准就进一步传输(VIII)所述残余数据，特征在于：
所述至少一个标准包括：
确定(V)至少一个第一特征；并
确定(III，VI)至少一个第二特征。

16.  一种数据传输设备(40)，包括输入信号接收器装置(41)，用于发射一编码信号的发射器装置(42)以及连接到输入信号接收器装置和发射器装置的如权利要求1-4所述的图像编码器设备(10)。

17.  一种用于在数据保持设备(31)上存储数据的数据存储设备(30)，包括用于所述数据保持设备的固定器装置(32)，用于向数据保持设备写入数据的写入器装置(33)，输入信号接收器装置(34)和连接到输入信号接收器装置和写入器装置的如权利要求1-14所述的图像编码器设备(10)。

18.  一种视听记录器设备(60)，包括视听输入(61)装置，数据输出装置(62)和如权利要求1-14中任一个所述的图像编码器设备(10)。

19.  一种编码系统，包括：
一种编码器设备；
通讯地连接到所述编码器设备的解码器设备，
特征在于：
所述编码器设备包括至少一个与如权利要求1-14中所述的图像编码器设备逆向的图像编码器设备。

20.  一种数据保持设备，包含有表示用如权利要求1-14中任一个所述的图像编码器设备编码的图像的数据。

21.  一种计算机程序，包括执行如权利要求15所述方法的步骤的编码部分。

22.  一种数据载体设备，包括表示如权利要求21所述的计算机程序的数据。

23.  一种表示编码图像的信号流，所述流包括
表示至少一个预测图像的数据，和
所述流包括：
与所述预测图像和原始图像之间的差别有关的残余数据，其依靠如果至少一个第一值与第一标准核对并且至少一个第二值与第二标准核对的第一特征和第二特征，其中第一值相应于所述差别，而第二值相应于在预测的所述预测图像中的要素变化。

带块丢弃的图像编码
本发明涉及一种根据权利要求1的前序部分的图像编码器。
在预测性的图像编码技术中，这样的编码器是公知的。动态补偿的视频压缩一般需要残余信息的传输以校正动态补偿的预测。该残余信息可以基于在原始帧和预测帧之间象素方式的差别。
但是，已知的编码器是不利的，因为一旦估计错误，残余数据的量会在详细(detailed)区域中显著趋于增加，因此输出数据的量会变大。
因此本发明的一个目标是提供一种具有较小输出数据量的编码器。为了实现这一目标，根据本发明，介绍了一种编码器设备，其特征在于所述图像编码器进一步包括：一个用于确定至少一个第二特征的第二鉴别器设备，并且所述禁止器设备设置为用于传输所述残余数据，该数据进一步依据所述第一特征和所述第二特征。
由于残余数据是依据第一和第二特征来传输的，所以输出数据的量减小了。此外，如果第一特征涉及在原始图像和预测图像之间的差别；而第二特征对应于与第一图像相比原始图像中要素的改变，那么在察觉不到图像质量下降的情况下，输出图像的量会减少，因为如果要素变化在空间上(和时间上)是一致的，那么在预测中的小误差不会被察觉。
本发明还涉及根据权利要求15的一种编码方法。这样方法的效果是输出数据更少。
本发明还涉及根据权利要求16-18的设备，这些设备根据本发明引入了一种图像编码器设备。同时，本发明涉及根据权利要求19的一种编码系统，根据权利要求20的一种数据保持设备，根据权利要求21的一种计算机程序，根据权利要求22的一种载体设备以及根据权利要求23的一种信号流。这样的设备，系统以及程序输出更少的数据。
本发明的具体实施方式在独立权利要求中得到了阐述。
更具体地，将参照附图对本发明地各个方面和实施例进行描述。
图1是根据本发明的一种设备的第一实施例的框图。
图2是根据本发明的一种设备的第二实施例的框图。
图3是根据本发明的一种方法的第一例子的流程图。
图4是包含根据本发明的一种设备的第一实施例的MPEG编码器的框图。
图5是一幅示例性图像。
图6、7示出了表示作为矢量非一致性函数极限值的方法。
图8图示了根据本发明的和预测编码器设备一起提供的数据传输设备。
图9图示了根据本发明的和预测编码器设备一起提供的数据存储设备。
图10图示了根据本发明的和预测编码器设备一起提供的视听记录器设备。
图1示出了根据本发明的编码器设备10实施例的框图。该编码器设备10具有编码器输入端11，其连接到存储器或缓冲器12的存储器输入端121。将存储器或缓冲器12的第一存储器输出端122连接到图像预测器设备13的预测器输入端131，而将第二存储器输出端123连接到合成器设备15的第二输入端153。预测器设备13通过第一预测器输出端133与合成器设备15的第一合成器输入端151相连接。将合成器设备15的合成输出端152连接到禁止器设备18的禁止器输入端181和第一表征器设备161的第一表征器输入端1611上。预测器设备13通过第一预测器输出端132连接到第二表征器设备162的第二表征器输入端1621。第二预测器输出端133连接到第二编码器输出端192。表征器设备161通过输出端1612连接到鉴别器设备17的输入端1711。第二表征器设备162的表征器输出端1622连接到极限确定器设备163的输入端1631。设备163的输出端1632连接到与逻辑设备17的第二输入端1712。通过输出端172将鉴别器设备17连接到禁止器设备18的控制输入端183。禁止器设备18地输出端连接到第一编码器输出端191。
在使用中，在编码器输入端11上接收表示二维矩阵，例如图像或帧的信号。所接收的图像存储在存储器设备12中。在本例中，在存储器设备12中存储有图像M_t，在前图像M_t-1和随后图像M_t+1。在该应用中，术语图像、帧和矩阵可以互换使用。
预测器设备13可以基于存储在存储器12中的帧预测一个预测图像。在本例中，预测器设备13可以基于在前帧M_t-1和帧图像M_t+1来预测图像M_t的预测图像M_pred。经过预测，将预测图像M_pred通过预测器输出端132传输到合成器输入端151，第二鉴别器16和第二编码器输出端192。图像M_t也从存储器12传输到合成器15。
合成器设备15从当前图像和预测图像获得残余数据或误差数据。该残余数据包含关于预测图像和当前图像之间差别的信息。合成器设备15将误差数据传输到禁止器18和第一表征器设备161。基于该残余数据，由第一设备161确定一个第一特征。鉴别器设备17将该第一特征和第一标准比较。
预测图像M_pred也由预测器设备13传输到第二编码器输出端表征器。预测器13将涉及相对于在前或随后图像的当前图像要素变化的矢量数据输出到第二表征器162。第二鉴别器设备162确定预测图像M_pred的第二特征。在本例中，第二特征相应于与各图像相比在当前或原始图像中的要素变化。预测图像M_pred是从例如在前图像M_t-1和随后的图像M_t+1来确定的。把第二特征传送到鉴别器17，其用一个第二标准来核对第二特征。
鉴别器设备17比较来自设备161，162的信号，如果两个特征都满足它们的标准就输出一个二进制一信号。否则，设备17输出一个二进制零。
来自鉴别器设备17的信号控制着禁止器设备18。该禁止器设备18防止残余数据进一步传输，即，如果在控制部分183出现一个二进制的一信号，禁止器丢弃残余数据。如果在控制部分183处的信号是一个二进制的零，那么禁止器18允许残余数据进一步传送到第一编码器输出端191。
这样，如果第一特征和第二特征都符合相应的预定条件，那么仅传送残余数据。由此，由编码器设备10输出的数据量就减少了。此外，发现只要要素变化的局部变量比较小，由在误差变化中错误的估计引起的在预测图像中的误差就不会被观看图像的人所察觉。当在要素变化中的局部变量比较大的时候，要素变化被说成是局部的不一致。第二特征的值和要素变化的局部不一致成比例。因此，在没有察觉图像视频质量下降的情况下，由编码器传送的数据量减小了。
图2示出了根据本发明的图像编码器10′的第二实施例。除了图1的编码器的各设备外，编码器10′具有图像处理设备14。设备14通过输入端141与合成器输出端152相连接。设备14的输出端142连接到禁止器输入端。设备14可以执行数据处理操作，例如用量化器144量化残余数据或转换数据，例如用转换器143从时域转换到频域。
图3表示根据本发明一种预测编码方法例子的流程图。在接收步骤I中接收图像。在存储步骤II中，将所接收的图像M_t±n，M_t存储在缓冲器中。在向量化(vectorising)步骤III中，确定当前图像相应于另一图像的要素变化。在步骤IV中，确定这些变化的一致性，其形成了第二特征。在预测步骤IV中，预测图像M_pred由图像M_t基于至少一个存储在缓冲器中的图像M_t±n和要素变化构成。图像M_t±n可以是在前图像M_t，随后图像M_t以及在前和随后矩阵的组合。在合成步骤V中由图像M_t合成预测图像M_pred。作为合成步骤的一个结果得到了残余数据M_res。在估计步骤VI中，对残余数据进行估计并拿第一预定标准进行核对。在估计步骤VII中，对第二特征也进行估计并拿第二预定标准进行核对。如果两个标准都得到满足，那么在步骤VIII中会进一步传送该残余数据，否则该残余数据会在步骤IX中丢弃。
可以以适于具体实施的任何方式来确定残余数据。该残余数据可以是在原始图像M_t和估计图像M_pred之间象素方式的差别，就像例如在视频压缩应用中的，并且可以数学地定义为：
  R(x，y，t)＝I_est(x，y，t)-I_orlg(x，y，t)，              (1)
其中R(x，y，t)表示残余数据，I_est(x，y，t)是估计的象素亮度，而I_orlg(x，y，t)是在时间距离t上图像中在矩阵位置x，y上的原始象素亮度。
在残余数据的估计中，可以从误差和残余数据确定一个值，例如，可以使用均方误差(MSE)，绝对平均差(MAD)或绝对差之和(SAD)。例如，第一鉴别器设备161可以确定MAD，MSE或SAD并将其与预定极限值T相比较。举例来说，可以用MAD来描述鉴别器设备的功能，但是其它方法可以用于代替该鉴别器设备。
MAD可以数学地定义为：
MAD ( x , y , t ) = 1 NM Σ ξ = 1 N Σ γ = 1 M | R ( x + ξ , y + γ , t ) | - - - ( 2 ) ]]>
在等式(2)中，R代表在等式(1)中定义的残余量，而其中N和M分别指示在该算式中所估计空间区域的宽度和高度。SAD可以数学地表示为N×N×MAD的乘积，或
SAD ( x , y , t ) = Σ ξ = 1 N Σ γ = 1 M | R ( x + ξ , y + γ , t ) | - - - ( 2 ′ ) ]]>
作为用在残余数据估计中的第一预定标准。MAD值可以极限化(thresholded)。作为极限化结果，如果局部MAD超出了可察觉的量级，就返回一个表示二进制一的信号，数学地表示为：

作为在图像中要素运动的检测，可以使用运动矢量的局部空间和/或时间一致性。可以通过预测器设备或鉴别器设备来估计运动矢量，象例如在图像编码技术中公知的，来自运动图像专家组(MPEG)压缩标准。在图5的图像例子中，区域A-C(例如足球运动员，球，等)指示运动发生并且因此估计为非零运动矢量的区域。矢量非一致性VI可以数学地表示为
VI ( x , y , t ) = 1 ( 2 N + 1 ) ( 2 M + 1 ) ( P + 1 ) Σ ξ = 1 N Σ γ = 1 M Σ τ P | D → ( x , y , t ) - D → ( x + ξ , y + γ , t - τ ) | , - - - ( 4 ) ]]>
其中表示一个2维运动矢量，其描述在两个连续帧之间的要素位移，并且其中P是前一矢量场的数值。
作为第二个预定标准，矢量非一致性值可以极限化(thresholded)。如果矢量非一致性VI已经超出了可察觉的量级，就返回一个表示二进制一的信号。

误差(即S_MAD＝1)仅在运动矢量局部非一致的情况下才被观察者察觉。由此，作为禁止标准，其可以要求MAD和VI必须都在相应的极限之上，即S_MAD和S_VI具有值一。在数学方式该内容可以描述为：
       S_perceived(x，y，t)＝S_MAD(x，y，t)∧S_VI(x，y，t)，    (6)
其中“∧”指示布尔“与”操作。
在作为结果的选择中只有在强烈运动矢量非一致性(例如，足球运动员和球，还是参见图5，区域A-C)的区域中，MAD误差才作为可以察觉的而被识别出来。在图5帧上方部分的观众中的MAD误差是由一个错误的但是一致运动的补偿引起的，其中离开真运动(true motion)的小偏离不会被察觉。可能能通过其它任何线性或非线性的MAD和矢量非一致性值的组合来获得可选的标准。例如，局部速度可以包括一个附加参数。
如果作为矢量非一致性的检测方法，使用等式(4)的定义，那么在矢量场的短边(edge)会引起一个低的VI值。因此，在矢量场中空间上一个小的扰动(或边缘(edge))会保持不易察觉，相反由空间上小的非一致性引起的误差一般容易察觉。
一种可选择的用于描述运动矢量时间一致性的方法是不去确定平均绝对矢量差而是最大绝对矢量差，

用等式7计算的矢量一致性对于在“核心”范围内的所有矢量差同等重要，而不管对差别有影响的矢量要素的数目。根据等式(7)计算的矢量非一致性在扰动(或边缘(edge))周围包含宽范围的高VI值。由核心尺寸参数N、M和P来确定高VI值区域的空间(时间)尺寸。
第一标准可以和第二特征或第二标准有关。例如，MAD的极限可以和矢量非一致性有关。例如，如果表达式(7)代替等式(4)来确定矢量非一致性，那么可以使用矢量非一致性值对MAD值进行极限化，
       T_MAD(x，y，t)＝α(VI_max-VI(x，y，t))    (8)
其中α是一个正的乘法因子，而 VI max = 2 | D → | max ]]>是VI值的最大可能值。极限T_MAD和矢量非一致性VI成反比。图6示出了由等式(8)表述的作为矢量非一致性函数的极限。在极限T_MAD和矢量非一致性VI之间的关系不必是线性的。一般，函数T_MAD(VI)可以是任一非上升函数，并且可以作为一个解析函数或查询表来实现。
固定极限的特性，即用图7中描述的函数可以得到等式(3)和(5)的效用。T_MAD(固定的)是在等式(3)中的T_MAD值，T_VI(固定)是在表达式(5)中的T_VI值。如果VI＞T_VI(固定)并且MAD＞T_MAD(固定的)，则忽略残余数据。
残余数据和图像中的运动要素都可以在模块基础上被确定和估计，就像例如从MPEG适应图像编码中所知的。可以以根据一种存在的视频压缩标准的方法或设备来应用本发明。现有的视频压缩标准例如MPEG-2，一般基于运动补偿预测以开发连续图像或帧之间的时间关系，见例如[1，2]。
在MPEG中，解码帧是从在前传输的帧中得到的运动补偿数据块中以块方式建立起来的。运动补偿预测可以基于观看顺序上的在前帧，也可以基于观看顺序上的在前和随后帧。单向预测和双向预测分别称为P帧和B帧。B帧的使用需要帧在时间上的量排(滑移)，这样传输顺序就不会再和观看顺序相同。对于P和B帧都可以由编码器输出残余数据来校正在运动补偿预测中的误差。
图4示出了适用于运动图像专家组2(MPEG-2)标准的图像编码器设备100的例子。从这一点来说该编码器设备被称为MPEG-编码器设备100，在所示的编码器设备100中预测的是B帧。但是，I-或P-帧可以替代使用。
MPEG编码器设备100具有用于接收视频图像的编码器输入端11。连接到编码器输入端11的是存储器设备12的存储器输入端121。存储器设备12具有连接到预测器设备13的第一预测器输入端131的第一存储器输出端122。预测器设备13的第一输出端132连接到第一合成器设备15的第一输入端151。第二存储器输出端123连接到第一合成器设备15的第二合成器输入端153。合成器输出端152连接到开关18的开关输入端181。开关输出端182经一个DCT输入端201连接到离散余弦变换器设备(DCT)20。DCT20的DCT输出端202连接到量化器设备21的量化器输入端212。量化器设备21通过量化器输出端212连接到跳过设备23的输入端231。跳过设备23经跳过输出端232和VLC输入端241连接到可变长度编码器设备(VLC)24。VLC24的输出端连接到编码器输出端19。
量化器设备21还连接到逆量化器设备(IQ)22的逆量化器(IQ)输入端221。IQ22通过IQ输出端222连接到逆余弦变换器设备(IDCT)25的输入端251。IDCT25通过IDCT输出端252连接到第二合成器设备15′的第一合成器输入端151′。第二合成器设备15′还通过第二合成器输入端153′连接到预测器设备13的预测器输出端132。第二合成器设备15的输出端152′连接到预测器设备13的第二输入端133。预测器设备13的第二预测器输出端139连接到鉴别器设备16的第一鉴别器输入端1601，第一鉴别器设备还通过第二鉴别器输入端1603连接到第一合成器设备的合成器输出端152。鉴别器输出端1602连接到开关18的开关控制输入端183和跳过设备23的跳过控制输入端233。
在使用中，可以在MPEG-2编码器输入端11处接收表示图像的信号。所接收的图像存储在存储器设备12中并传输到预测器设备13和第一合成器设备15。预测器设备可以预测B帧，这样在存储器12中，所接收图像的顺序可以重排以允许预测。
预测器设备13基于在前和/或随后的图像来预测图像。第一合成器设备15将所预测的图像与存储在存储器12中的原始图像合成。合成导致在残余数据中含有关于在预测的图像和原始图像之间差别的信息。由第一合成器设备15将残余数据传送到鉴别器设备16和开关设备18中。
在导通状态中开关输入端和开关输出端相互通信连接。在不导通状态中，开关输入端和开关输出端通信不通。开关的状态由出现在开关控制输入端183上的信号控制。在图3的例子中，鉴别器设备控制开关的状态。在导通状态中，开关设备将残余数据传送到DCT设备20。需要注意的是开关18可以省去，在所示的例子中，在编码器中使用开关18以避免要由跳过设备23丢弃的残余数据的无用处理。
DCT20可以使用离散余弦变换(DCT)将残余数据信号从空间域转换到频域。将导致从转换到频域的频域转换系数提供给量化器设备21。
量化器设备21将转换系数量化以减少表示转换系数所使用的位数，并将作为结果的量化数据传送到跳过设备23。
如在MPEG-2标准中定义的，跳过设备23可以根据出现在跳过控制输入端233上的信号决定可以插入一个跳过宏块逸出码或编码块形式的逸出码。
可变长度编码器24使来自量化器21(具有任何插入的跳过编码)的量化的转换系数进行可变长度编码，例如霍夫曼编码和运转周期编码。作为结果的编码转换系数，连同来自预测器13的运动矢量，都作为一个位流经过输入缓冲器19馈送到数字传输媒体，例如一个数字通用磁盘，计算机硬盘或一种(无线)数据传输连接。
预测器设备13包括两个存储器134，135(MEM fw/bw和MEM bw/fw)，它们分别通过存储器输入端1341，1351连接到第二预测器输入端133。存储器134，135包含有在前的I-或P-帧和接下来的P-帧。将存储器中的这些帧传送到一个运动计算机设备(ME)136和一个运动补偿预测器设备(MC)138，它们通过它们的输入端1361，1381连接到存储器的输出端1342，1352。当然，存储器134，135可以同样用作信号存储设备，存储表示各帧的数据。
ME136可以估计运动矢量场并将估计的矢量传送到矢量存储器(MEMMV)137，其通过输入端1371连接到ME输出端1362。运动估计(ME)可以基于存储在存储器134，135中的各帧，或是基于在滑移存储器12中的各帧。将存储在MEM MV137中的矢量提供给运动补偿预测器138并用于运动补偿预测。将运动补偿预测的结果传送到第一预测器输出端132。
存储在MEM MV137中的矢量还被传送到预测器设备13的第二输出端139。鉴别器设备16中的矢量非一致性计算机经过第一预测器输入端1601接收矢量。矢量非一致性计算机为来自矢量存储器137的矢量执行一个由等式(4)或等式(7)表示的操作。
第二鉴别器输入端1602将SAD设备161连接到第一合成器设备15的合成器输出端152。SAD设备161从第一合成器设备15的输出端的残余数据确定例如由等式2′表示的SAD。SAD和矢量非一致性都由各自设备极限化。将极限结果馈送到与逻辑设备163，如上所述，其执行一个与操作。把与逻辑设备163的输出端信号馈送到开关设备18的控制输入端和跳过设备23。
由此，SAD和矢量非一致性的合成值导致每个宏块的一个二进制判定(误差标准)来决定是否传送残余数据以及是否插入宏块跳过码。所估计运动矢量的大小和方向可以从真运动局部偏离。在运动矢量小的局部偏移的情况下，R的局部值取决于高频繁细节(detail)的局部等级。在高等级局部细节的情况下，高数值的R表明需要局部“修正”错误的估计。但是，在运动矢量在一个大区域上偏离的情况下，以及在该区域中偏离的方向和大小不一致的情况下，小的偏离不会被察觉。
二进制判定用于避免DCT的进一步计算并导致跳过宏块逸出码(跳过MB)和编码块形式逸出码的产生以在一个宏块内跳过空的DCT块。宏块逸出码和编码块形式逸出码的使用产生一种残余帧数据的有效描述。根据新的标准，编码器仍然产生能够由每种适用于MPEG-2的解码器进行解码的MPEG-2位流。二进制判定用于避免DCT的进一步计算并导致跳过宏块逸出码(跳过MB)和编码块形式逸出码的产生以在一个宏块内跳过空的DCT块。
MPEG-2位流和专有的残余流都被复用以形成一个适应MPEG的流。MPEG-2标准为专有数据使用所谓的私人数据通过提供了一种可能。可能没有残余数据被传送而只传送布尔图S_perceived(x，y，t)。跳过宏块和编码块形式逸出码的使用使我们避免了布尔图S_perceived(x，y，t)的单独传输。在每帧内的逸出编码的结构隐含地保持了用于再生布尔图S_perceived(x，y，t)的信息。
运动计算机可以是适于具体应用的任何一种类型。在视频编码中，用于运动估计的大多数方法是基于全搜索块匹配(FSBM)方案或其的有效派生。运动估计还可以基于一种来自帧率转换方法的已知估计方法。在这些方法中，类似于视频补偿，使用在前和未来的帧在时间上将帧内插。但是，由于没有可用的残余数据，所以用于帧率转换的正确运动矢量场几乎总是代表在图像平面内物体的真运动。三维递归搜索(3DRS)的方法或许是实施真运动估计最有效的方法，它适于用户应用[3，4，5，6，7]。使用3DRS估计的运动矢量趋于和真运动相等，运动矢量场抑制高等级的空间和时间一致性。由此，矢量非一致性是低的，这导致SAD值的高极限。由于SAD值不是经常极限化，所以和非真运动估计相比所传送的残余数据的量减小了。
本发明可以应用于各种设备，例如，如图8所示的一种数据传输设备40，比如一种无线传送器或计算机网络路由器，其包括输入信号接收器装置41和例如天线或光缆的用于发射编码信号的发射器装置42。数据传输设备40和根据本发明实施例的图像编码器设备一同提供，所述图像编码器设备连接到输入信号接收器装置41和发射器装置44。由于在不被察觉图像质量下降的情况下通过编码处理对数据进行压缩，所以这样的设备能够使用窄的带宽传输大量的数据。
这相当于可以在如图9所示的数据存储设备中应用图像编码器设备10，数据存储设备例如一种光盘写入器，用于在例如SACD，DVD，光盘或计算机硬盘的数据保持设备31上存储图像。如图10所示，这样的设备30可以包括用于数据保持设备31的固定器装置32，用于象数据保持设备31写入数据的写入器装置33，例如一种麦克风的输入信号接收器装置34，和连接到输入信号接收器装置34和写入器装置33的根据本发明的预测编码器设备1。数据存储设备30能够在数据保持设备31上存储更多的数据，即图像或视频，而察觉不到图像或视频质量的下降。
类似的，如图10所示的一种视听记录器设备60，包括视听输入装置61，例如一种相机或电视电缆，并且可以同图像编码器设备10一起提供数据输出装置62，由此可以在使用相同的数据存储空间时记录更多的图像或视频数据。
而且，本发明可以应用于存储在数据保持器设备上的数据，这种设备例如软盘，数字通用盘，超级音频CD，或用于生产DVD或SACD的母盘或模子。
本发明还可以以适于在计算机系统上运行的一种计算机程序来实现，该程序至少包括编码部分，用于在计算机系统上运行时执行根据本发明方法的步骤或者使通用计算机系统能够执行根据本发明计算机系统的功能。这样的计算机程序可以提供在一种数据载体上，例如存储有可装载在计算机系统存储器中数据的CD-rom或磁盘，该数据表示计算机程序。数据载体还可以是一种数据连接，例如传输表示根据本发明的计算机程序信号的电视电缆或无线连接。
在上述说明中，已经参考本发明的具体实施例对本发明进行了描述。因此说明和附图可以看作一种说明而不是限制性的。但是，在不脱离如所提出的权利要求的本发明范围和主旨的情况下，显然可以作出各种修改和变化。
例如，本发明并不限制在所述设备例子的实施中，而是可以在其它设备中应用。特别地，本发明并不限制于物理设备而是可以应用于更抽象类型的逻辑设备或在计算机上运行时能够执行根据本发明设备功能的计算机程序。
此外，设备可以是物理上分散布置的一些装置，而在逻辑上看作一个单一的设备。同样，逻辑上看作分离设备的设备可以集成到一个具有各分离设备功能的单一物理设备中。
参考资料
[1]D.L.Gall，“MPEG：A video compression standard for multimedia applications，”Communications of the ACM，vol.34，no.4，pp.46-58，1991.
[2]J.L.Mitchell，W.B.Pennebaker，C.E.Fogg，and D.J.LeGall，MPEG VideoCompression Standard.Digital Multimedia Standards Series，New York，NY：Chapman&Hall，1997.
[3]G.de Haan and H.Huijgen，“Method of estimating motion in a picture signal.”U.S.Patent Nr.5,072,293，Dec.1991.
[4]G.de Haan and H.Huijgen，“Motion vector processing device.”U.S.Patent Nr.5,148,269，Sept.1992.
[5]G.de Haan and H.Huijgen，“Apparatus for motion vector estimation with asymmetricupdate region.”U.S.Patent Nr.5,212,548，May 1993.
[6]G.de Haan，P.W.A.C.Biezen，H.Huijgen，and O.A.Ojo，“True-motion estimationwith 3-D recursive search block matching，”IEEE transactions on Circuits and Systems forVideo Technology，vol. 3，pp.368-379，Oct.1993.
[7]G.de Haan and P.W.A.C.Biezen，“Sub-pixel motion estimation with 3-D recursivesearch blockmatching，”Signal Processing：Image Communication，vol.6，pp.229-239，1994.
[8]U.S.Patent Nr.5,057,921.