图像分析技术领域
本发明涉及视频信号或数据的图像分析,以便检测先前的基于块的处
理并对块相关的图像损伤进行量化。
背景技术
对于视频或图像处理技术来说,利用图像被划分为相等尺寸的区域且
每个区域内的像素被一起处理的“基于块的”处理是非常普遍的。合适的
实例是视频压缩方法,在该方法中对每组规则结构的像素块组应用变换且
每个块通过一组变换系数表示(用于传输或存储)。当对不同的块应用不
同的处理时,例如变换系数的不同分层(quantisation),由于传输系统的
空间频率响应在不同的块之间存在不同,所以块结构由于图像假象
(artefact)而变得可见。
在广播和多媒体内容的产生和发行中,经常期望检查视频和图像数据
的主观质量,尤其,自动评估主观质量的方法越来越追求经济原因。视频
质量分析方法分为两种类型:“双终止”方法,其中比较已处理的图像与
未处理的图像以识别假象;以及“单终止”方法,其中不参考未处理的图
像而分析已处理的图像。双终止方法通常仅应用于研究和开发环境;单终
止方法更适宜通常的商业生产和发行操作。
对于自动分析主观“块效应(blockiness)”或块假象,存在许多已知
的方法。在本文中,“块效应”或块假象是由于基于块的处理导致的图像
的主观损伤的测量。
通常这些方法需要块的边界位置或块的尺寸的先验知识。例如,如果
已知边界位置,那么可以跨边界估计平均亮度或色度差异;以及如果已知
块的尺寸,那么可以在周期性等于块的尺寸的重复图案中估计像素间的差
异。
对于块结构的先验知识的需求严重限制了这些方法的实用性。对图像
进行空间变换并不是不寻常的,例如改变块的尺寸的纵横比转换;这些处
理可以分多级进行,并且基于块的压缩或处理可以在单链的任何点上应
用。因此图像可能经受许多不同的具有任意的块尺寸和边界位置的基于块
的处理;并且不同组假象可能存在以不同块结构呈现的多于一组的基于块
的假象。
在作为参考的WO 2007/125286中示出了一种已知的方法。
特别是如果存在大量的信道从这个和其它质量方面需要被监控,以有
效利用处理资源的方式准确确定块的尺寸也非常重要。如果实时执行监
控,那么对于通过处理所引进的延迟或等待时间尽可能小通常也很重要。
一旦已经确定了块的尺寸(当然,其本身表示视频的以前处理的块)包括
上述已知技术的各种技术可以用于量化基于块的假象。
发明内容
本发明包括可以精确、有效以及低延迟测量处理块的尺寸的新颖的图
像分析方法。一方面,提供了一种分析图像处理器中的图像数据以对先前
的基于块的数据处理进行量化的方法,该方法包括步骤:处理得自所述图
像数据的一组像素值以沿着垂直于假定的块边缘的线产生空间差异分布,
该空间差异分布表示在平行于所述线的方向上空间隔开的像素的值之间
的差异;对垂直于所述线的方向上的空间差异分布求和(sum);以像素
节距为单位测量所述空间差异分布中的极大值间的距离至小数精度;以及
聚集(aggregate)测量的极大值间的距离以确定块的尺寸。
测量所述空间差异分布中的极大值间的距离的步骤包括以像素节距
为单位利用基于矩的检测器检测峰值至小数精度的步骤。聚集测量的极大
值间的距离的步骤可以包括形成差异的直方图。可以根据中途(interim)
检测的块尺寸对缺失峰值进行分析。空间差异分布可以通过高通滤波器或
带通滤波器产生。可以额外提供第二空间差异分布,该第二空间差异分布
表示在平行于所述线的方向上通过更大的距离空间隔开的像素的值之间
的差异,第一或第二空间差异分布的使用根据所确定的块尺寸的置信度来
选择。
另一方面,提供了用于分析图像数据以对先前的基于块的数据处理进
行量化的装置,包括:第一滤波器,用于处理得自所述图像数据的一组像
素值,以沿着垂直于假定的块边缘的线产生第一空间差异分布,该空间差
异分布表示在平行于所述线的方向上空间隔开的像素的值之间的差异;累
加器,用于对垂直于所述线的方向上的第一空间差异分布求和;峰值检测
器和距离测量块,用于以像素节距为单位测量求和的所述空间差异分布中
的极大值间的距离至小数精度;聚集器(aggregator),用于聚集测量的极
大值间的距离;以及块尺寸确定器,对所聚集的所测量的最大值间的距离
进行操作以确定块的尺寸。
峰值检测器可以包括基于矩的检测器从而以像素节距为单位检测峰
值至小数精度。聚集器可以用于形成差异的直方图。峰值检测器可以被配
置为根据中途检测的块尺寸对缺失峰值进行分析。第一滤波器可以是高通
滤波器或带通滤波器。该装置还可以包括第二滤波器,用于处理得自所述
图像数据的一组像素值以沿着垂直于假定的块边缘的线产生第二空间差
异分布,该第二空间差异分布表示通过以比第一空间差异分布中的相应距
离大的距离在平行于所述线的方向上空间隔开的像素的值之间的差异。第
一或第二空间差异分布的使用可以根据所确定的块尺寸的置信度来选择。
附图说明
现在将参照附图通过实例方式描述本发明,其中:
图1以框图形式示出根据本发明实施方式的图像分析系统;
图2示出根据本发明实施方式的图像分析系统的第一部分;
图3示出根据本发明实施方式的图像分析系统的第二部分;以及,
图4是本发明使用的滤波器的频率响应的示图。
具体实施方式
本发明可以用于分析表示与图像的像素相关联的值的图像数据。该值
可以表示亮度、色差(例如,CB或CR)、基色分量(例如,R、G或B)
或任何其它合宜的像素参数。可以对模拟视频信号采样以获得用于分析的
像素值。
在简单的概述中,所公开的方法基于对经滤波的像素值(或其它空间
差异分布)的单向空间和的组中的成员之间的最大值间的距离形成直方图
(或以其它适当的方式聚集)。在下面的描述中,对基于块的损伤的水平
特性进行分析,并且求和(summation)方向是垂直的。可以对其它方向
进行分析;例如,当确定基于块的损伤的垂直特性时使用滤波的像素值的
水平求和。利用基于矩的极大值(maxima)检测器,或识别经滤波的和中
的峰值至小数像素位置精度的其它检测器,并且对这些距离形成直方图,
可以确定块的尺寸至小数精度。优选地,使用误差反馈技术。以这种方式,
以少于先前的技术方法的处理资源可以获得可靠的和精确的块尺寸测量。
若已检测了块尺寸,可以根据所检测的块尺寸对经滤波的空间差异分
布进行分析以确定块相位。可以使用上述现有技术中公开的分析方法。
现在参考图1在概述中示出根据本发明一个实施方式的系统。
像素数据被提供给块(10),在块(10)中产生空间差异分布。在一
种情况下,这可以通过取得毗邻像素间的差异的绝对量产生。更方便地,
可以采用去除较低频率的空间滤波器。通常,在多个行上对水平分布求和
或在多个列上对垂直分布求和(根据要确定的是水平块还是垂直块的尺
寸)。这个和可以是对整个图像的。然后分布和被传递给块(20),在块(20)
中检测峰值然后测量那些峰值之间的距离。重要的是这要达到小数的精
度。例如,可以通过基于矩(moment)的检测器检测峰值。然后在块(30)
中聚集(aggregate)各种峰值间距离以得到块的尺寸。聚集可以是诸如取
得平均数或中值的统计操作,但是在许多应用中可以形成直方图以取得最
常见的值(modal value)来实现更好的结果。如稍后举例说明的,误差反
馈的形式对进一步提高测量的可靠性和鲁棒性非常有帮助。
现在转向本发明的详细执行的实例,图2和图3示出了根据一个实施
方式的系统的框图。简要地,使用两个不同的高通FIR空间预滤器(A&B),
均产生空间差异分布,并且这些处理均检测极大值间的距离。滤波器(A)
被设计用于在基于块的处理之后根本没有经受升尺度(upscaling)的视频,
并且它的输出用于提供(有效地)表示相邻像素间的空间差异的空间差异
分布。另一个滤波器(B)假设上转换(upconversion)已经发生,并且用
于提供(有效地)表示更大间隔的像素之间的空间差异的空间差异分布。
在图3中进行极大值间的距离的检测。对于每个预滤器,这产生块尺寸估
计S和图像损伤测量P。
每个峰值的高度被记录为(整数像素)峰值间距离的函数。从存在对
应于所期待的块尺寸(通常在6~25个像素的范围内)的柱(bin)的角度
讲,这产生直方图状的输出。每个柱包括针对那个峰值间尺寸的极大值的
和;并且每个柱中积累的值表示块尺寸的“像素差异能量”。这组值在下
面将被称作“能量直方图”。
还建立描述关于整数像素峰值间距离值的峰值的出现频率的第二直
方图。这在下面将称作“频率直方图”。进行分析以确定块尺寸S。这个
直方图的建立包括误差反馈(这是非常有帮助的),并且该处理的这个阶
段还需要在极大值的另外的局部循环组中测试缺失峰值。下面是详细描
述,由频率直方图确定的尺寸用于识别能量直方图中的柱。对该柱和它紧
邻的柱求和以为检测的尺寸产生峰值能量或峰值活动性测量P。该测量是
基于块的图像损伤的特征。
然后,在产生“块处理”/“非块处理”决定的简单测试中使用对应
于每个预滤器分支(A或B)的尺寸S和峰值能量P。如果检测到基于块
的处理(通常表示先前的数据压缩),那么对使用两个预滤器分支中的哪
一个作出决定。
现在参照附图,在图2中更详细地示出了文本区域的滤波、整流、反
核化(anti-coring)、断开(即去除),以及该方法的垂直求和阶段。滤波
器的功能是去除像素值数据的DC分量以获得像素间差异信息。图2中示
出的滤波系数对应于滤除信号频谱的较低部分的高通滤波器。“反核化”
功能滤除大振幅信号且保持较低的振幅信息。例如,少于标定峰值白电平
的5%的像素值能够通过而没有修改,5%~10%范围内的值被削弱,以及
大于峰值白电平的10%的值被零代替。
在图3中示出了对图2的每个输出执行的操作。由经过了求和的行存
储(linestore)表示的空间差异分布(301)被仅使在可能的块尺寸范围内
的信息从其通过的带通滤波器(302)空间滤波。建议的滤波器是:
zn=-(Ln-4+2Ln-3+Ln-2)
+2(Ln-1+2Ln+Ln+1)
-(Ln+2+2Ln+3+Ln+4)
其中:zn是像素位置n上的滤波器的输出;以及,
Ln是像素位置n上的滤波器输入值。
在图4中示出上述滤波器的响应;滤波器的增益是任意的。(为了完
备性在图中示出相位响应,但不需要是如图所示的线性。)如果在可能的
块尺寸的范围上不存在先验信息,那么可以省略滤波步骤。
利用简单的第一阶滤波器,在时间方向上递归过滤(303)整个经过
滤的空间差异分布,
yn(t)={zn(t)+7yn(t-1)}÷8 (等式1)
其中,yn(t)是时间t时的滤波器输出;以及,
zn(t)是时间t时的滤波器输入;
同样,此时间滤波是可选的。如果使用,那么与已知的镜头检测
(shot-detection)相结合可有用地避免在跨不相关的图像之间的片段上的
时间滤波。
然后对经可选地过滤的该组求和值进行测试(304)以检测峰值。利
用符号yn表示空间差异分布中该组值的成员,其中下标n表示在垂直于求
和方向上以像素节距为单位的像素位置,合适的测试是:
明确的峰值=(yn>yn+1)AND(yn>yn-1)
双极大峰值=(yn=yn-1)AND(yn>yn+1)AND(yn-1>yn-2)
总体峰值检测=(明确的峰值或双极大峰值)
AND(yn>0)AND(yn+1>0)AND(yn-1>0) (等式2)
沿着在(或接近)极大值处的行存储来识别(整数)像素位置指数n。
为了更准确地(至二次采样精度)确定极大值,使用矩计算,其确定以像
素位置n为中央的5个空间差异分布值的组的“质心”。
对于满足上面总体峰值检测条件的给定n,局部yn在零上削减:
if
yn>0
sn=yn
else
sn=0 (等式3)
其中:Sn是削减值。
于是如下以子像素分辨率确定峰值的位置:
假设:
N=(n-2)sn-2+(n-1)sn-1+(n)sn+(n+1)sn+1+(n+2)sn+2
以及
S=sn-2+sn-1+sn+sn+1sn+2
则: (等式4)
F=N/S
其中:F是以像素节距为单位的峰值位置。
使用这组F的值(对于满足上述测试的n的值)测量极大值间的距
离。在峰值间距离估计块(305)中处理该组。利用误差反馈,在频率直
方图确定块(306)中处理因而产生的峰值间距离,以得到峰值间距离的
出现频率的整数像素分辨率直方图。处理如下:
依次估计峰值间距离,通过定位峰值F1最靠近空间分布差异中的第
一像素位置(n=1)开始,增加n直到发现下一个峰值F2。给出第一峰值
间距离Δ1:
Δ1=F2-F1
Δ1的整数部分用于识别直方图柱,并且柱值逐一增加。保留Δ1的小
数部分作为误差反馈项。
然后增加n的值直到发现下一峰值F3。然后估计第二峰值间距离Δ2:
Δ2=F3-F2
误差反馈项(Δ1的小数部分)被添加到Δ2,并且对应于结果的整数
部分的直方图柱增加。保留结果的小数部分作为用于下一个峰值间距离的
误差反馈项。
处理继续,直到峰值Fp已经被计算出。如果存在p峰值,那么所有
直方图柱的总内容将是(p-1)。
峰值缺失并不罕见。即,在求和的行存储中规则间隔的极大值组中,
一个预期应该包含极大值的位置没有包含。这个为什么发生存在各种原
因,但是无论原因是什么,对于块检测处理识别已经缺失的峰值并相应地
进行补偿是有益的。为此,可以估计和测试相邻峰值间距离:
d0=Fp-Fp-1
d1=Fp-1-Fp-2
d2=Fp-2-Fp-3
d3=Fp-3-Fp-4
确定是否在间隔Fp-1与Fp之间存在缺失峰值,估计3个先前的峰值
间距离的差异的差异:
D1-2=|d1-d2|
D1-3=|d1-d3|
D2-3=|d2-d3|
其中,|x|是x的绝对值。
如果这3个差异的差异都小于2个像素间距,那么它们的平均值接近
d0的一半,于是可以假设在Fp-1与Fp之间的间隔中存在缺失峰值。
假设‘缺失’峰值位于具有‘双宽度’峰值间距离的检测峰值间的中
间。频率直方图应该包括任何‘缺失’峰值的影响(contribute)。它们对
能量直方图没有影响,因为根据定义,它们具有未知能量。
如上说明的,在两个不同的过滤的空间差异分布上分别进行峰值检测
处理以及能量和频率直方图的构建。对于两个信号通路在可接受的峰值间
距离的范围内强加一些限制:
对于预滤器A通路(具有空间滤波系数[1,-4,6,-4,1])仅接受
在范围6~15内的尺寸。
对于预滤器B通路(具有空间滤波系数[1,0,-4,0,6,0,-4,0,
1])仅接受在范围10~25内的尺寸。
这是因为(一般而言)通过两个滤波器的块边缘的能量在这些近似的
范围内。强加这些限制是直观的,并且有助于减少由于寄生效应而导致的
虚假警报。
返回至图3,根据通过峰值间距离估计块(305)确定的峰值间距离
的值,通过对直方图柱添加(经限幅的)空间差异分布值sn来构建能量直
方图(307)。对于每个有助于频率直方图的检测峰值,向由防御值(defence
value)Fn的整数部分表示的柱添加对应的sn值。
一旦已经处理了全部像素位置n,到达行存储的端部,完成了该处理
的直方图收集(gather)部分。
通过时间滤波器时间过滤来自块(307)的能量直方图,通过时间滤
波器时间过滤来自块(306)的频率直方图。这些滤波器递归结合来自一
系列图像中连续图像的直方图。两个滤波器均可以具有与通过等式1描述
的递归过滤器(303)相同的特性。在块结构不随着时间的流逝而连续改
变(除了可能在镜头在不相关的图像之间变化时不连续跳跃外)的假设下,
这被证明是有效的。(通常,经常包括‘镜头变化复位’以避免结合来自
不相关图像的数据。)但是大体上,时间上的变化可能取决于内容,而不
是由基于块的处理引起的,并且直方图的一些递归时间过滤是有益的。
来自‘A’和‘B’预滤器分支的经过了递归过滤的直方图用于得到
各个块尺寸参数S和块损伤参数P。
在对来自时间滤波器(309)的经过了时间过滤的频率直方图进行操
作的块尺寸确定处理(310)中获得尺寸参数S。该处理是归一化的、基于
矩的计算,以极大值柱为中心:
S=
{(i-2)Hi-2+(i-1)Hi-1+iH+(i+1)Hi+1+(i+2)Hi+2}
÷
{Hi-2+Hi-1+H+Hi+1+Hi+2} (等式5)
其中:Hi是频率直方图的柱i的内容;以及,
i是对应于极大值柱的指标值
在通过对来自时间滤波器(308)的经过过滤的能量直方图的3个相
邻柱求和来进行操作的块损伤确定处理(311)中获得块损伤参数P:
P=Ei-1+Ei+Ei+1 (等式6)
其中:Ei是能量直方图的柱i的内容;以及,
i是对应于频率直方图的极大值柱的指标值。
注意:为避免由空的直方图柱引起异常结果,强加整体的最小柱值。
从上面等式5和6对于P和S的结果,选择对来自滤波器A的空间
差异分布进行处理的结果,或对来自滤波器分支B的空间差异分布进行处
理的结果,以用于输出。该选择是根据从下面每个信号通路获得的指标值
V进行的:
VA=SA×PA
VB=SB×PB
if(VA>VB AND SA<14.5Ω)
UseA=1,UseB=0→P=PA,S=SA,Max=MaxA
else if(VB>VA AND SB>10.5Ω)
UseA=0,UseB=1→P=PB,S=SB,Max=MaxB
else if(SA<10.5Ω)
UseA=1,UseB=0→P=PA,S=SA,Max=MaxA
else if(SB>14.5Ω)
UseA=0,UseB=1→P=PB,S=SB,Max=MaxB
else
UseA=0,UseB=0→P=0,S=1,Max=don′t care
(等式7)
其中,下标A和B表示涉及各个不同的过滤的信号通路的数据;
Ω是选择适合处理的数字范围的常数;以及,
标记UseA和UseB表示来自两个信号通路的各个结果的有效性。
通过比较P的相应值与阈值,从选择的有效的通路进行“块处理的”
/“非块处理的”的决定。
if((P>Th)AND(UseA OR UseB))
compressed_flag=1
else (等式8)
compressed_flag=0
其中:阈值Th标定地是60,000倍于总计建立空间差异分布的像素的
行数。Th是使用者可调节的。并且compressed_flag表示存在或不存在基
于块的处理。
注意,在没有检测到基于块的处理的情况下,块尺寸值S没有意义。
为了识别块边缘,有必要识别块相位。不保证块结构以任何特定方式
排列,并且这对于识别具体的排列经常有帮助。即,确定经过了求和的经
过滤的行存储中的哪些峰值对应于块边缘,哪些是由于图像内容而导致的
假峰值,以及任何块边缘位置是否缺少峰值。这可以通过从具有对应于确
定的块尺寸S的节距的过滤的空间差异分布中识别空间频率分量的相位
或如上面参考所公开的来完成。
从上面的描述可以看出本发明能够通过对像素值执行简单处理而确
定块的尺寸和块相关图像损伤的测量。因此它高度适于实时应用和处理资
源受限的应用。
上面的描述基于利用专用功能块的流处理。技术人员将意识到可以通
过其它方式执行,例如一组通过处理器执行的指令。
本发明不限于水平或垂直分析;可以分析来自沿着图像中任何直线的
像素的数据。在某些情况下(例如,块的尺寸相对于像素节距较大),在
处理之前对像素做空间二次抽样(具有或不具有相关的预滤波或内插)是
适宜的。
已经以各种组合、配置和次序描述了一系列特征和处理步骤。应当理
解,可以以其它组合、配置和次序在各种应用中有利地部署那些特征和处
理步骤。
本发明可以用于分析对应于静止或运动图像的数据,并且该数据可以
得自计算机或其它存储介质。分析图像或部分图像的时间,可以快于或慢
于图像欲呈现给观众的时间长度。