利用基于特征点的逐象素运动估算 的图象处理系统 本发明涉及一种用于编码视频信号的装置；并且，更具体地，涉及一种利用基于特征点的逐象素运动估算编码视频信号的装置。
众所周知，数字视频信号的传输可获得比模拟信号传输质量高得多的视频图象。当包括有一序列图象“帧”的图象信号以数字形式表示时，将生成大量要传输的数据，特别是在高清晰度电视系统地情况中。然而，一常规传输信道的可用频带宽度是有限的，因此，为了发送大量的数字数据，必须压缩或减少传输数据的量，在各种视频压缩技术中，将时间及空间压缩技术与统计编码技术相结合的所谓的混合编码技术是所知最为有效的。
大多数混合编码技术采用运动补偿DPCM(差分脉冲码调制)，二维DCT(离散余弦变换)，DCT系数的量化及VLC(可变长度编码)。运动补偿DPCM是对在一当前帧和一先前帧之间的目标的运动进行估算，并根据目标的运动流预测当前帧以产生一个代表当前帧及其预测之间的差的误差信号的处理。这种方法在例如Staffan Ericsson的“用于混合预测/变换编码的固定及自适应预测器”IEEETransactions on Communications，COM-33，No.12(1985年12月)；及在Ninomiya和Ohtsuka的“一种用于电视画面的运动补偿帧间编码方案”，IEEE Transactions on Communications，COM-30，No.1(1982年1月)中被描述。
特别地，在运动补偿DPCM中，基于对当前帧及先前帧间的运动的估算，当前帧数据自相应的先前帧被预测。这种预测的运动可以用表示先前及当前帧之间象素的位移的准运动矢量表述。
已有两种基本方法估算目标象素的位移：一种是逐块估算，另一种是逐象素的方法。
在逐块的运动估算中，将一当前帧中的一块与其先前帧中的各块进行比较直至确定最佳匹配。由此，可以估算该整个块的帧间位移矢量(代表该象素块已在帧间移动了多少)。然而，在逐块运动估算中，如果块中各象素不以相同的方式移动，可导致差的估算，从而降低了整体编码效率。
另一方面，在逐象素估算的情况中，可确定用于各个象素的位移。这种技术可取得象素值的更精确的估算并能容易地处理标度改变(例如变焦、垂直于图象平面的运动)。然而，在逐象素的方法中，由于是确定每个象素的运动矢量，因此几乎不可能将所有的运动矢量数据传输给一接收机。
引入的用于改善涉及由逐象素方法导致的剩余或多余的传输数据的问题的一种技术是基于特征点的运动估算方法。
在该基于特征点的运动估算技术中，用于一组被选择的象素即特征点的运动矢量被传输给一接收机，其中特征点被定义为能够代表其相邻象素的象素，以使当前帧中从的象素的全部运动矢量可在接收机中特征点的运动矢量被还原或近似。
在采用在第08/367,520号，题目为“利用逐象素运动估算编码视频信号的方法和装置”的共有未决的美国专利申请中公开的基于特征点的运动估算技术中的编码器中，首先从包含在先前帧中的象素中选择一些特征点。接着，确定这些被选择的特征点的第一组运动矢量，其中各运动矢量表示先前帧中一特征点与相应的一匹配点，即当前帧中一最相似的象素之间的空间位移。该当前帧中最相似的象素称为一准特征点。然后，通过利用所述第一组运动矢量，确定当前帧中所包含的所有象素的一第二组运动矢量。即，通过转换第一组运动矢量的各运动矢量，首先确定第二组运动矢量中用于这些准特征点的一部分；并通过对位于一预定大小的圆形边界内的准特征点的运动矢量进行平均而确定第二组运动矢量中其它用于非准特征点的部分。
由于确定用于这些非准特征点的第二组运动矢量的其它部分时未采用任何涉及目标实际运动的实信息，因此不大可能对这些非准特征点的运动矢量进行精确地估算。
因此，本发明的主要目的是提供一种改进的利用基于特征点的逐象素运动估算的视频信号编码装置，该装置能通过使用边缘信息，精确地估算非准特征点的运动矢量。
根据本发明，提供了一种改进的在一运动补偿视频信号编码器中使用的用于基于数字视频信号的当前帧及先前帧确定一预测的当前帧的装置，包括有：
一边缘检测器，用于检测先前帧中表示形成图象边缘的象素的边缘点；
一特征点检测器，用于选择先前帧中边缘点内的一些象素作为特征点；
一特征点运动矢量检测器，用于检测这些特征点的一第一组运动矢量，该第一组运动矢量中的各运动矢量表示一特征点与当前帧内同其最相似的一象素之间的空间位移；
一范围检测器，用于确定各特征点的一特征点范围，其中该特征点范围包括一特征点及位于一相同边缘上的一个或多个未选择的边缘点，且在各未选择的边缘点与该特征点范围内的该特征点之间沿着该边缘的距离不大于在该特征点范围内的各来选择的边缘点与任何其它特征点范围内的一特征点之间沿着该边缘的距离；一边缘点运动矢量检则器，用于检测一特征点与该特征点范围内各未选择的边缘点之间的距离并设定该距离为所述各未选择的边缘点的一搜索半径；并用于确定在同一边缘上的在自各边缘点的搜索半径内分散的一个或多个特征点范围，及检测未选择的边缘点的一第二组运动矢量，该第二组运动矢量的各运动矢量是通过对包括在该一个或多个特征点范围内的这些特征点的运动矢量进行平均而被确定的；
一准点检测器，用于基于第一组运动矢量的各运动矢量检测当前帧中相应于这些特征点的准特征点及用于这些准特征点的一第三组运动矢量并基于第二组运动矢量中的各运动矢量检测当前帧中的准边缘点及用于这些准边缘点的一第四组运动矢量；
一准特征点选择器，用于选择对所有非准边缘及非准特征点有影响的一个或多个准特征点以便在各非准边缘点及非准特征点与各相应的一个或多个有影响的准特征点之间所连的一条直线不与这些准特征点及准边缘点相交；
一非准点运动矢量检测器，用于检测非准边缘点及非准特征点的一第五组运动矢量，该第五组运动矢量中的各运动矢量是通过将对各非准边缘点及非准特征点有影响的该一个或多个特征点的运动矢量进行平均而被确定的；
一配置单元，用于配置该第三、第四及第五组运动矢量以确定当前帧中所有象素的一组运动矢量；及
一运动补偿器，用于基于当前帧中各象素的位置及其运动矢量提供自该先前帧的一象素值，从而确定该预测的当前帧。
从以下结合附图对优选实施例的描述中，本发明的上述及其它目的和特征将变得明显，附图中：
图1为本发明的具有一当前帧预测单元的图象信号编码装置；
图2为图1的该当前帧预测单元的详细方框图；
图3A至3C描述了一种确定在各边缘上的特征点范围的方法；及
图4表示了一种选择对各非准点有影响的一个或多个准特征点的方法。
图1描绘了本发明图象信号编码装置的一优选选实施例。如图1所示，一输入视频信号的当前帧信号被存储在一第一帧存储器100中，该第一帧存储器100通过线L9与一减法器102相连并通过线L10与一当前帧预测单元150连接。
在该当前帧预测单元150内，通过利用特征点，自该第一帧存储器100取出在线L10上的一当前帧信号及来自一第二帧存储器124在线L12上的一重建先前帧信号被处理以预测该当前帧以分别生成一预测的当前帧信号到L30上及一组特征点的运动矢量到线L20上。该当前帧预测单元150的细节将参照图2予以描述。
在减法器102，从在线L9上的该当前帧信号中减去在线L30上的该预测的当前帧信号，且该结果数据，即表示该当前及预测的当前帧信号之间的差分象素值的一误差信号被送至一图象信号编码器105，其中通过利用例如一DCT及任何已知的量化方法，该误差信号被编码成一组量化的变换系数。然后，这些量化的变换系数被传送至一熵编码器107及一图象信号解码器113，在该熵编码器107，通过利用例如一可变长度编码技术，来自图象信号编码器105的量化的变换系数及来自当前帧预测单元150通过线L20被传送的运动矢量被一起编码。然后，该编码的信号被提供给一发送机(未示出)进行发送。
同时，该图象信号解码器113通过采用一逆量化及一反离散余弦变换将来自图象信号编码器105的量化的变换系数转换回成一重建的误差信号。该来自图象信号解码器113的重建的误差信号及来自当前帧预测单元150在线L30上的预测的当前帧信号在一加法器115被组合以从而提供一重建的当前帧信号，以作为一先前帧被存储在第二帧存储器124中。
现在参照图2，其说明了图1中所示的当前帧预测单元150的细节。如图2所示，在线L12上的一先前帧信号被分别提供给一边缘检测器209及一特征点运动矢量检测器212。在边缘检测器209，表示先前帧中形成图象边缘的象素的一些边缘点通过一传统的边缘检测技术被检测。先前帧中的这些边缘点被提供到线L13上送至一特征点检测器210，一范围检测器214及一准点检测器218。
在特征点检测器210，来自边缘检测器209的边缘点中的多个特征点被检测。在本发明的一优选实施例中，在网格点及边缘点的相交点处的特征点被检测到。该检测方法公开在一共有未决的08/367,520号，题为“利用逐象素运动估算编码视频信号的方法及装置”的美国专利申请中，在此全部引入作为参考。来自特征点检测器210的这些特征点被提供到线L14上送至特征点运动矢量检测器212及范围检测器214。
在特征点运动矢量检测器212，用于这些特征点的一第一组运动矢量被检测。该第一组运动矢量的各运动矢量表示先前帧中一特征点与称作准特征点的当前帧中的同其最相似的一象素之间的空间位移。为检测一特征点与一准特征点之间的运动矢量，采用一块匹配算法。即，当自特征点检测器210接收到一特征点时，自第二帧存储器124(图1中所示)经过线L12取出先前帧的在其中心有该特征点的一特征点块，例如5×5象素块。然后，在完成对该特征点块与取自第一帧存储器100(图1中所示)的当前帧的例如10×10象素的一通常较大的搜索区域内所包括的多个大小相同的候选块中每一个之间的相似性计算后，该特征点块的运动矢量被确定。该确定的特征点块的运动矢量被指定为该特征点块中所包含的特征点的运动矢量。
在确定完所有特征点的运动矢量后，该第一组运动矢量通过线20被提供给一边缘点运动矢量检测器216、一准点检测器218及一熵编码器107(图1中所示)。
同时，在范围检测器214，具有一些特征点的各边缘通过在各边缘中将各边缘点划分给沿着该边缘与其最近的一个特征点而被划分成相应数目的特征点范围。
此时参照图3A至3C，其示出了一种确定在各边缘上的特征点范围的方法。如图3A所示，如果特征点，例如FP1至FP5沿着三条边缘EDGE1、EDGE2和EDGE3分布，边缘EDGE2的一边缘点依据其间接近的程度被划分给一特征点FP1或FP5。例如，如图3B所示，如果边缘点EP隔着沿着该边缘的5及3个象素而与特征点FP1和FP5隔开，则该边缘点被划分给特征点FP5。以相类似的方式，各边缘点被划分给与其最近的一特征点。如果一边缘点位于两相邻的特征点中间，则该边缘点可被划分给该相邻的两特征点中的任意一个。一个特征点及划分给其的边缘点构成一特征点范围。换句话说，一边缘上的各特征点范围包括一个特征点及一个或多个边缘点，各边缘点以沿着该边缘距其最近的一个特征点为其特征点。参照图3C，其示出了位于边缘EDGE1、EDGE2及EDGE3上的特征点范围。
在确定完各边缘上的特征点范围后，表示边缘点归属的特征点范围的范围信息被馈至边缘点运动矢量检测器216。该边缘点运动矢量检测器216首先确定一搜索半径，即在相同特征点范围内的一边缘点与一特征点间的距离，并检测相同边缘上的一个或多个有影响的特征点且基于该被检测的有影响的特征点计算该边缘点的一运动矢量。如图3B所示，如果边缘点EP的搜索半径为r且在相同的边缘EDGE2上的特征点范围FPR1及FPR5内所包括的边缘点被包括在由该搜索半径r所确定的范围内，则特征点FP1及FP5被确定为边缘点EP的有影响的特征点。该边缘点EP的运动矢量MVEP可由下式计算：MVEP=Σj=1M(MVjLjXWj)Σj=1M(1LjXWj)---(1)]]>其中MVj是第j个特征点的运动矢量，M是该范围内的特征点范围的总数，Lj是第j个特征点与该边缘点EP之间的距离；且Wj是第j个特征点的加权因数。如果一给定的特征点是一有影响的特征点，则该特征点的加权因数为1；否则为0。根据式(1)，该运动矢量MVEP是通过对两特征点FP1及FP5的两运动矢量平均而被确定。边缘点运动矢量检测器216提供除特征点外的边缘点的一第二组运动矢量。
基于来自边缘检测器209的边缘点信息及来自运动矢量检测器212和216的第一及第二组运动矢量，准点检测器218通过将各特征点及边缘点移位过其运动矢量而确定当前帧内准特点和准边缘点；并为这些准特征点提供一第三组运动矢量及为这些准边缘点提供一第四组运动矢量。由于第一及第二组运动矢量的各运动矢量表示当前帧中一象素点自其先前帧中相应的象素点移过的位移，该第三及第四组运动矢量中的各运动矢量的幅值等于该第一及第二组运动矢量中的相应的运动矢量的幅值，除了该两运动矢量的方向相反外。该来自准点检测器218的第三及第四组运动矢量经过线L16被提供给一准特征点选择器220、一非准点运动矢量检测器222及一配置单元224。
准特征点选择器220选择当前帧内对各非准边缘点及非准特征点有影响的一些准特征点。这些非准边缘点及非准特征点表示当前帧中除准边缘点及准特征点以外的所有象素点；此后，它们中的各点被称为“一个非准点”。对一给定的非准点有影响的多个准特征点被从所有的准特征点中选择出来以使自该非准点到相应的有影响的准特征点所连的直线不与该当前帧中由的准特征点及准边缘所形成的任何重建的边缘相交。例如，如图4所示，如果准特征点，例如QFP1至QFP6沿着四条重建的边缘EDGE1、EDGE2、EDGE3及EDGE4的各边缘分布，则准特征点QFP1、QFP2、QFP4、QFP5、QFP6被选为对一非准点NQP有影响的准特征点，而准特征点QFP3被除外，因为EDGE2介于该非准点NQP与该准特征点QFP3之间。返回参照图2，一些对各非准点有影响的准特征点被提供给非准点运动矢量检测器222。
在非准点运动矢量检测器222，用于这些非准点的一第五组运动矢量基于来自准点检测器218及准特征点选择器220的有影响的准特征点信息而被检测。该第五组运动矢量的各运动矢量是通过对与其相应的有影响的准特征点的运动矢量进行平均而被确定的。如图4所示，例如，该非准点NQP的运动矢量MVNQP由下式计算：MVNQP=Σi=1N(MViLiXWi)Σi=1N(1LiXWi)---(2)]]>其中MVi是第i个准特征点的运动矢量，N是当前帧中准特征点的数量，Li是第i个准特征点与该非准点NQP间的距离；及Wi是第i个准特征点的加权因数。如果该第i个准特征点是一有影响的准特征点，则加权因数为1；否则为0。这些非准点的第五组运动矢量被提供给一配置单元224。
配置单元224配置这些用于准特征点的第三组运动矢量、用于准边缘点的第四组运动矢量及用于非准点的第五组运动矢量以确定当前帧中所有象素的一组运动矢量。当前帧中所有象素的该组运动矢量被发送至一运动补偿器226。
运动补偿器226基于当前帧中各象素的位置数据及其运动矢量，提供来自存储在第二帧存储器124(图1中所示)内的先前帧的一象素值，从而确定该预测的当前帧。
虽然本发明是对特定的实施例描述的，但显然对于熟悉本领域的技术人员而言，在不偏离以下权利要求书中所限定的本发明精神和范围的情况下，可以作出各种变化及改型。