用于消除区块效应和/或铃振噪声的滤波方法和装置 【技术领域】
本发明涉及消除区块效应(blocking artifact)和铃振噪声(ringing noise)，更具体的，涉及用于消除当以逐块为基础处理视频帧时所产生的区块效应和/或铃振噪声的滤波方法和装置。
背景技术
通常，通过以块为单位处理视频帧来编码视频数据。特别的，根据诸如运动图像专家组(MPEG)和H.263的视频数据编码标准，通过以块为单位对视频帧进行离散余弦变换(DCT)和量化来编码视频数据。但是，以块为单位编码视频数据会在视频帧中产生区块效应和铃振噪声。包含区块效应的视频帧具有在视频帧的块之间的边界，该边界不包含在原始的视频帧中，从而产生了邻接像素间的不连续性。同样，在包含铃振噪声的视频帧的情形中，不能流畅地描画视频帧中的物体地边界线，例如，所述边界线可能是不规则的。视频数据的压缩率越高，区块效应和铃振噪声越严重。
为了滤掉区块效应和铃振噪声，首先找到在其中出现区块效应和/或铃振噪声的视频帧的精确区域是很重要的。如果不这样做，原始图像帧中存在的边缘区域会被错误地当作是由于区块效应而产生的，并且被消除，从而使图像的质量恶化。
传统上，通过测量诸如在8×8或4×4像素块的边界上的像素的辉度(brightness)、亮度(luminance)、和颜色的分布的值，并将测量的值与预定的临界值进行比较来检测再现的像素块的边缘区域。通过测量上述像素值的诸如辉度、亮度、和颜色的分布，并找出该分布与图像帧中是否存在边缘区域之间的关系来以实验的方法得到临界值。
为了测量像素值的分布，必须在垂直或水平方向上检验邻接块之间的边界区域中的像素值。但是，事实上，由于计算量大且复杂，检验每个像素值几乎是不可能的。特别的，在垂直方向上的像素值的计算需要连续的存储器读取，而这是不可能的。
【发明内容】
为了解决上述问题，本发明的第一个方面是提供一种用于有效地检测像素块中的边缘区域的滤波方法和装置。
本发明的第二个方面是提供一种用于有效地检测像素块中的边缘区域，从而减少边缘检测计算的滤波方法和装置，
为了实现上述目标中的一个方面，提供了一种滤波方法，该方法包括(a)以逐块为基础，在水平或垂直方向上对视频数据进行一维离散余弦变换(1D DCT)；(b)在(a)的另一个方向上对关于像素的至少一个1D DCT系数进行1D DCT和量化，所述至少一个1D DCT系数是通过对视频数据进行1D DCT而得到的，所述像素是根据像素位置而选择的；和(c)基于从(b)得到的量化的像素系数而产生滤波信息。
较好的，在(b)中所选择的像素是在像素块的最上边的行上的、除了DC分量之外的多个像素中的至少一个，在(c)中产生的滤波信息是关于在所述像素块的垂直方向上所产生的区块效应的信息。
所选择的像素是与所述DC分量相邻接的像素，并且在像素块的最上边的行上。所述滤波方法还包括(c1)当在(b)中所选择的像素的量化的系数具有一预定值时，将作为滤波信息的垂直区块标志(VBF)设定为1。(b)还包括(b1)当在(b)中所选择的像素的量化的系数不是预定值时，在(a)的另一个方向上对在像素块的最上边的行上的、除了DC分量和在像素块的最上边的行上的所选择的像素之外的至少一个像素进行1D DCT和量化。
为了实现上述目标中的另一个方面，提供了一种滤波方法，该方法包括(a)以逐块为基础，在水平或垂直方向上对视频数据进行1D DCT；(b)在(a)的另一个方向上对根据像素位置而从系数中选择的至少一个像素进行1D DCT，所述系数是通过对视频数据进行1D DCT而得到的；(c)量化在(b)中得到所选择的像素的系数；(d)基于在(c)中量化的所选择的像素的量化后的系数而产生滤波信息；和(e)基于所产生的滤波信息对视频数据进行滤波。
较好的，所选择的像素是在像素块的最上边或最左边的行上的、除了DC分量之外的至少一个像素。
更好的，所选择的像素是在块的最上边或最左边的行上与DC分量相邻接的像素。所述滤波方法进一步包括：(b1)在(a)的另一个方向上对通过对视频数据进行1D DCT所得到1D DCT系数中、除了DC分量和在最上边或最左边的行上所选择的像素之外的像素的1D DCT系数进行1D DCT和量化；(c1)量化在(b1)中变换的像素的系数；和(d1)基于在(c1)中量化的像素的系数产生滤波信息。所述滤波信息是关于在块的水平或垂直方向上产生的区块效应的程度的信息。
较好的，所选择的像素是不在块的最上边和最左边的行上的像素中的一个，所述滤波信息是关于铃振噪声的程度的信息。
为了实现上述目标中的又一个方面，提供了一种滤波装置，该装置包括：滤波信息产生器，用于在水平或垂直方向上以块为单位对视频数据进行1DDCT，在另一个方向上对通过1D DCT所得到的系数中的、根据像素位置所选择的一个像素的至少一个系数进行1D DCT和量化，并基于该量化的系数产生滤波信息；滤波器特性决定单元，用于根据所产生的滤波信息确定滤波器特性；和环路滤波单元，用于根据所确定的滤波器特性对视频数据进行解块滤波。
较好的，所选择的像素是块的最上边的行上、除DC分量之外的像素中的至少一个，所述滤波信息是关于在该块的垂直方向产生的区块效应的信息。
【附图说明】
结合附图，通过对本发明优选实施例的详细描述，本发明的上述方面和优点将变得更加清楚，其中：
图1是根据本发明的编码单元的方框图；
图2A和2B是图1中所示的环路滤波单元的实施例的方框图；
图3是说明根据本发明的滤波方法的一个实施例的视图；
图4是说明根据本发明的滤波方法的另一实施例的视图；
图5是说明根据本发明的滤波方法的一个实施例的流程图；
图6是说明根据本发明的滤波方法的另一实施例的流程图；
【具体实施方式】
通常，视频数据由多个图像帧组成。一个图像帧被编码成一个内部帧(intraframe)和一个中间帧(inter frame)，并随后被传送。不参考其他图像地对内部帧进行编码，并且内部帧可以被独立的解码。另一方面，根据前一图像来编码中间帧，即编码该中间帧与前一图像的帧之间的差异，因此，中间帧的解码需要前一帧。同样，每个图像帧由多个宏块组成，并且每个宏块包含多个像素块。
在根据本发明的滤波方法和装置中，通过对每个像素值进行离散余弦变换(DCT)和检验所得到的变换值的分布和/或通过量化该变换后的值所得到的值来检测边缘区域。下面将描述一种滤波方法和用于执行该方法的编码单元。
图1是根据本发明的编码单元的优选实施例的方框图。参照图1，编码单元包括运动估计器(ME)1、离散余弦变换(DCT)单元2、量化器3、逆量化器4、逆DCT(IDCT)单元5、运动补偿器(MC)6和环路滤波单元7。该编码单元还包括控制器(未示出)以及由该控制器控制的第一至第三开关10、20和30。
视频数据被输入到控制器，该控制器控制第一开关10以便使中间帧和内部帧分别被直接输入到DCT单元2和ME1。ME1以像素块为单元将一个像素值与前一像素值进行比较，并将该像素值和该前一像素值之间的差异输出到DCT单元2。DCT单元2在内部帧的情形中对图像帧进行变换，在中间帧的情形中对所述差异进行变换。换句话说，DCT单元2对内部帧和所述差异的像素值进行离散余弦变换(DCT)。在本公开中，进行DCT来变换视频数据帧，但是可以使用诸如离散小波变换(DWT)的任何可应用的变换方法来代替DCT。量化器3根据预定的量化级(step)来量化变换后的值，即DCT系数。可以与各个块单元相适应地确定所述量化级。但是，量化级的大小越大，由于数值的量化而产生的噪声增大得就越多。利用例如可变长度编码(VLC)对通过DCT和量化而得到的数值进行编码，并将其发送至一接收地点。
同时，通过DCT和量化而得到的数值被输入到逆量化器4或环路滤波单元7。同样，控制器控制第二开关20，以便将内部帧输入到环路滤波单元7和将中间帧仅输入到逆量化器4。更具体的，在量化器3输出的内部帧是检测边缘区域所需要的值，即是通过以块为单位对像素值进行DCT和量化所得到的值的情况下，内部帧可以被直接输入到环路滤波单元7，而不用进行额外的处理；在量化器3输出的中间帧是通过对中间帧和他们的前一帧之间的差异进行DCT和量化所得到的值的情况下，中间帧被输入到逆量化器4以得到对其进行了DCT和量化的值，所述中间帧被输出到逆量化器4是以块为单位恢复像素值的处理。
逆量化器4根据预定的量化级对给定的像素值进行逆量化，IDCT单元5对逆量化的值进行逆离散余弦变换(IDCT)。但是，在DCT单元2采用除DCT之外的变换方法的情形中，IDCT单元5根据该变换方法而不是IDCT来进行逆变换。例如，如果DCT单元2被设定为进行离散小波变换(DWT)，则IDCT单元5随后进行逆DWT(IDWT)。从IDCT单元5输出的内部帧是将被滤波的像素值，即当前图像帧的像素值，并从而被输入到环路滤波单元7。中间帧由于他们的运动而需要被补偿，以便得到关于当前图像帧的像素值，从而中间帧被输入到运动补偿器(MC)6。接着，控制器控制第三开关30，以将从IDCT单元5输出的内部帧输入到环路滤波单元7，和将从IDCT单元5输出的中间帧输入到MC6。然后，MC6将当前图像帧和前一图像帧之间的差异以块为单位加到前一图像帧、恢复该当前图像帧、并将结果输出到环路滤波单元(LF)7。
根据本发明，环路滤波单元7对视频帧进行滤波。更具体的，环路滤波单元7在水平方向上对每个块进行一维(1D)DCT、顺序地在垂直方向上对根据像素位置所选择的像素进行1D DCT、对1D变换的像素进行量化、并且最后适应性地对最终结果进行滤波。
图2A是图1的环路滤波单元7的优选实施例的方框图。参照图2A，环路滤波单元7包括一维(1D)水平环路DCT单元71(下文中称为“1D水平DCT单元71”)；一维(1D)垂直DCT/量化器72(下文中称为“1D垂直DCT/Q 72”)；滤波信息产生器73；滤波器特性决定单元74；解块(deblocking)滤波器75；和去铃振(dering)滤波器76。
输入到环路滤波单元7的数据有两种：(i)将被滤波的对象数据；和(ii)将被用来创建滤波信息的原始数据。在图2A中，参考数字①指示对象数据，参考数字②和③指示原始数据。
所述对象数据包括关于图像帧的以块为单位的像素值。用于内部帧的目标数据经由第三开关30被发送到环路滤波单元7，用于中间帧的对象数据被从MC6输入至环路滤波单元7。
在原始数据的情形中，内部帧的每个块的像素值经过DCT处理和量化，随后经由第二开关20被直接发送至环路滤波单元7。另一方面，关于中间帧的以块为单位的像素值被输入到MC6，以获得DCT处理和量化了的值。即，中间帧的像素值必须在环路滤波单元7内被变换和量化。经由第二开关20输入的像素值，即将被用来创建滤波信息的原始数据中的中间帧的像素值被输入到滤波信息产生器73，而从运动补偿器6中输出的像素值，即以块为单位的中间帧的像素值被输入到1D水平DCT单元71。
所述1D水平DCT单元71以逐块为基础变换和量化中间帧的像素值。所述1D水平DCT单元71和1D垂直DCT/Q 72具有与如图1中所示的DCT单元2和量化器3相同的功能，即变换和量化。但是，由1D水平DCT单元71和1D垂直DCT/Q 72产生的像素值仅被用来检测区块效应的发生。因此，1D水平DCT单元71和1D垂直DCT/Q 72的变换和量化不需要与DCT单元2和量化器3相同的精确度，该DCT单元2和量化器3变换和量化视频数据以便对视频数据进行编码。
1D垂直DCT/Q 72对位于某些位置的像素的一些1D DCT系数进行1D垂直DCT和量化，所述某些位置的像素的一些1D DCT系数是在1D DCT之后从1D水平DCT单元71输出的。
滤波信息产生器73检查由1D垂直DCT/Q 72产生的量化的系数是否满足预定的条件。如果预定的条件得到满足，则滤波信息产生器73创建诸如水平滤波标志HFF、垂直滤波标志VFF、和铃振标志RF的滤波信息。否则，滤波信息产生器73控制1D垂直DCT/Q 72对位于其他像素位置的系数进行ID垂直DCT和量化。后面将参考图4和5对所述预定的条件和滤波信息的产生进行描述。
滤波器特性决定单元74基于所产生的滤波信息来确定和输出滤波器特性，解块滤波器75和去铃振滤波器76根据所确定的滤波器特性适应性地对视频数据进行滤波。
可选的，在1D水平DCT单元71和1D垂直DCT/Q 72的DCT和量化中，能够通过使用整数运算代替小数运算、增加量化级的大小、或执行FAST-模式DCT来降低DCT的精确度，从而减少计算量。
根据本发明的一个方面，1D水平DCT单元71在水平方向上对视频数据进行一维DCT，而1D垂直DCT/Q 72在垂直方向上对视频数据进行一维DCT。但是，这并非是必须遵循的。例如，1D水平DCT单元71和1D垂直DCT/Q 72可以分别在垂直方向和水平方向上对视频数据进行一维DCT。
图2B是图1的环路滤波单元7的另一实施例的方框图。参照图2B，二维(2D)DCT单元71和量化器72对位于输入视频数据的某些像素位置的系数进行2D DCT和量化。除了2D DCT单元71和量化器72之外，图2B中所示的部件与图2A中的那些相同，因此这里省略对他们的详细描述。
滤波信息产生器73检查由量化器72产生的量化的系数是否满足预定的条件。如果量化的系数满足预定的条件，则滤波信息产生器73创建诸如水平滤波标志HFF、垂直滤波标志VFF、和铃振标志RF的滤波信息。否则，滤波信息产生器73控制2D DCT单元71和量化器72对位于输入视频数据的其他位置的系数进行2D DCT和量化。
图3是说明可以根据DCT的可分离性通过执行1D垂直DCT和1D水平DCT来实现2D DCT的本发明的视图。参照图3，对基本单元，即4×4的像素块(a)进行1D水平DCT，以得到4×4的1D水平DCT变换后的块(b)，对1D水平DCT变换后的块(b)进行1D垂直DCT，以得到2D DCT变换后的块(c)。2D DCT变换后的块(c)与通过对4×4的像素块(a)直接进行2D DCT所得到的块相同。
图4是说明根据本发明的一个实施例的滤波方法的视图，当通过环路滤波单元7产生滤波信息时，利用DCT的可分离性来执行该用于减少计算量的滤波方法。
更具体的，参照图4，(a)是对其进行了1D水平DCT的4×4的像素块，其对应于图3中的DCT块(b)。(b)是仅对其像素A，即4×4块的一个DC分量进行了1D垂直DCT和量化的4×4的像素块。
(c)是仅对其像素B进行了1D垂直DCT和量化的4×4的像素块，该像素B在所述块的最左边的行上与所述DC分量，即像素A邻接。在(c)中，箭头表示如果需要的话可以对像素C和D进行1D垂直DCT和量化。
(d)是仅对其像素E进行了1D垂直DCT和量化的4×4的像素块，该像素E在所述块的最上边的行上与所述DC分量，即像素A邻接。同样的，如果需要的话可以对像素F和G进行1D垂直DCT和量化。
(e)是仅对其另一像素a进行了1D垂直DCT和量化，并且未对该块的最上边和最左边行上的像素进行1D垂直DCT和量化的4×4的像素块，该像素a与所述DC分量，即像素A邻接。如果需要的话，同样可以对像素b、c、d和其他像素进行1D垂直DCT和量化。
此处，DCT块的A是一个DC分量。除DC分量之外、DCT块的最左边的行上的B、C和D指示在4×4像素块的水平方向上是否存在边缘区域。除DC分量之外、最上边的行上的E、F和G指示在4×4像素块的垂直方向上是否存在边缘区域。同样，除了DCT块最左边和最上边的行之外，从a到i指示在4×4像素块的所有方向上、存在具有边缘区域的对象处产生了铃振噪声。
下文中，将参照图4、5和6来描述根据本发明的滤波方法。
图5是说明根据本发明的滤波方法的一个实施例的流程图。参照图5，在步骤500中，在水平方向上对关于每个块的输入视频数据进行一维(1D)DCT，以便计算1D水平DCT变换后的系数。
接着，在步骤510，对在步骤500计算出的DCT系数中关于像素B的DCT系数进行1D垂直DCT，所述像素B位于4×4像素块的最左边的行上与DC分量相邻接。量化变换后的DCT系数，以计算量化的系数(参见图4(c))。
在步骤512，检验在步骤510计算出的量化的系数。如果量化后的系数是0，则进行到步骤514，而如果量化后的系数是一预定值或被量化的像素是位于4×4像素块的最左边的行的最后的像素D，则进行到步骤516。
在步骤514，对4×4像素块的最左边的行上的下一个像素进行1D垂直DCT和量化，计算出量化的系数，并再次进行到步骤512。
在步骤516，当在前一步骤512中最后检验的量化的系数是除零以外的预定值时，作为滤波信息的水平区块标志(HBF)被设定为1。
在步骤518，对在步骤500计算出的DCT系数中与DC分量，即像素A相邻接的像素E进行1D垂直DCT，该像素E位于4×4像素块的最上边的行上。然后，量化变换后的DCT系数，以计算量化的系数(参见图4D)。
在步骤520，检验在步骤518中计算出的量化的系数。如果量化后的系数是0，则进行到步骤522，而如果量化后的系数是除零之外的预定值或被量化的像素是位于4×4像素块的最上边的行的最后的像素G，则进行到步骤524。
在步骤522，对4×4像素块的最上边的行上的下一个像素进行1D垂直DCT和量化，计算出量化的系数，并再次进行到步骤520。
在步骤524，如果在步骤520中最后检验的量化的系数是除零以外的预定值时，作为滤波信息的垂直区块标志(VBF)被设定为1。
在步骤526，对在步骤500计算出的DCT系数中的像素a进行1D垂直DCT，并量化变换后的DCT系数，以计算量化的系数(参见图4E)，所述像素a是与DC分量相邻接的像素中的一个并且不在最上边和最左边的行上。
在步骤528，检验在步骤526中计算出的量化的系数，如果量化后的系数是0，则进行到步骤530，或者如果量化后的系数是除零之外的预定值或被量化的像素是4×4像素块的最后的像素i，则进行到步骤532。
在步骤530，对随后的像素b到i进行1D垂直DCT和量化，计算出量化的系数，并进行到步骤528。
在步骤532，如果在步骤528中检验出的量化的系数是除零以外的预定值时，作为滤波信息的铃振标志RF被设定为1。
接着，在步骤534中，编码单元基于所产生的滤波信息确定滤波器特性并对输入视频数据进行滤波。
可选的，在图5中示出的滤波方法还包括对已对其进行了1D水平DCT的块的DC分量进行1D垂直DCT和量化，并计算该DC分量的量化的系数。
在图5所示的步骤510、518、和526中，首先对以下的像素进行1D垂直DCT和量化：块的最左边的行上的多个像素中除DC分量之外的、与DC分量相邻接的像素；最上边的行上的多个像素中除DC分量之外的、与DC分量相邻接的像素；除了最左边和最上边的行之外的多个像素中与DC分量相邻接的像素。但是，可以首先对多个像素中的一组进行1D垂直DCT和量化。
可选的，可以对根据像素位置选择的像素直接进行2D DCT和量化，而不需要在图5的步骤500中对4×4像素块进行1D水平DCT和量化，从而在产生滤波信息时减少了计算量。
图5中举例说明的滤波方法中的量化不需要与编码视频数据时相同的精确度，并因此可以利用如下简化的量化器来完成：
LEVEL＝(K×A(QP)+f×220)/220，
其中LEVEL指示量化的系数，K指示DCT变换后的系数，其中已对该系数进行了量化，A(QP)指示根据映射表的常量值，f是依赖于目标压缩率而确定的常数。
根据本发明的一个方面，如果K＜(220-f×220)/A(QP)则量化的系数被设定为0，否则被设定为一预定值。
可选的，可以使用在编码视频数据期间进行的量化。
如上所述，在根据本发明的滤波方法中，首先对已对其进行了1D DCT的块的DCT系数中、根据像素位置所选定的像素的系数进行1D DCT和量化。例如，当在步骤512中，关于块的最左边的行上的像素B的量化值是一预定值时，不对最左边的行上的其他像素C和D进行1D DCT和量化，并且将HBF确定为1。因此，与传统的滤波方法相比较，认为获得滤波信息所需要的计算量减少了。
根据本发明的一个实施例，在步骤516、524和523，用通过图5的滤波方法获得的量化的系数来检验区块效应的程度，并且如下所述产生滤波信息。
当像素块的最上边的行上、除DC分量之外的一个像素的量化的系数具有预定值时，在接收装置中再现的像素块在垂直方向上具有与像素相似的值。这意味着很可能在像素块的水平方向上存在边缘区域，但是很难在其垂直方向上存在边缘区域。因此，如果在再现的像素块的垂直方向上检测到边缘区域，则可以认为是由于区块效应引起的。如果这样，作为滤波信息的垂直区块标志(VBF)被设定为1。
当最左边的行上、除DC分量之外的一个像素的量化的系数具有预定值时，在接收地点中再现的像素块在水平方向上具有与像素相似的值。这意味着很可能在像素块的垂直方向上存在边缘区域，但是很难在其水平方向上存在边缘区域。因此，如果边缘区域在再现的像素块的水平方向上，则可以认为是由于区块效应引起的。如果这样，作为滤波信息的水平区块标志(HBF)被设定为1。
当不在最左边和最上边的行上的像素的量化的系数具有预定值时，意味着在像素块中存在铃振噪声。如果这样，作为滤波信息的铃振标志(RF)被设定为1。
如果除了DC分量之外的所有上述选定的像素的量化的系数都是0，并且只有所述DC分量的量化的系数具有预定的值，则在接收装置中再现的像素块的所有像素具有相同的值。如果这样，几乎不存在在像素块的垂直和水平方向上存在边缘区域的可能性。如果在像素块中存在边缘区域，则它更可能是由于区块效应引起的。因此，作为滤波信息的水平区块标志(HBF)和垂直区块标志(VBF)都被设定为1。
图6是说明根据本发明的滤波方法的另一实施例的流程图。参照图6，在步骤610中，以逐块为基础进行1D水平DCT，在步骤620中，对根据像素位置所选择的像素进行1D垂直DCT和量化。
接着，在步骤630，检验所选择的像素的量化的系数，并且如果量化的系数与预定的条件相一致则进行到步骤640。在步骤640，基于检验结果产生滤波信息。之后，在步骤650中，根据所产生的滤波信息适应性地进行滤波。
这里，预定的条件是：如果量化的系数是除0以外的预定值或者所选择和量化了的前一像素是位于块的最左边和最上边行的最后的像素或块的最后的像素，则进行到步骤640。
同时，根据本发明的滤波方法和装置是用包含在编码单元中的环路滤波单元实现的，但是其也可以用包含在解码单元中的后置滤波器来实现。另外，可以用包含在解码单元中的环路滤波单元来实现根据本发明的滤波方法和装置，所述解码单元由如上所述的逆量化器4、IDCT单元5、第三开关30、运动补偿器6、环路滤波单元7和第二开关20组成。
工业适用性
虽然已参考其优选实施例详细示出和描述了本发明，但本领域的技术人员应当明白，可以在不背离如随后的权利要求所限定的本发明的精神和范围的前提下，对本发明在形式和细节上作出各种变化。
如上所述，用根据本发明的滤波方法和装置，可以有效地得到滤波信息，以消除视频数据中的区块效应和/或铃振噪声。因此，计算量仍小于在传统的滤波方法和装置中的计算量。