基于亚像素采样的图像处理方法及图像显示方法技术领域
本发明涉及图像处理及显示技术领域,特别涉及一种基于亚像素采
样的图像处理方法以及一种基于亚像素采样的图像显示方法。
背景技术
21世纪以来,各种平板显示设备的应用在社会生活中随处可见。在
显示应用中,设备显示质量的最大化是人们追求的目标。显示分辨率作
为衡量显示质量最重要的因素之一,成为当前的研究热点。
目前,显示系统大多以单独的物理像素作为采样、寻址、显示的基
本单位,称之为全像素显示系统。为了提升设备的显示分辨率,最直接
的方法就是增加显示设备物理像素的密度与规模。然而,一方面,物理
像素密度的增加将引起制作工艺难度的加大;另一方面,物理像素密度
与规模的增加也将导致制造成本的增加。这些都限制了该方法应用领域
的进一步扩大。
亚像素采样技术以亚像素作为采样、寻址、显示的基本单位,在不
改变显示设备物理像素密度的情况下,能够有效提高系统的可寻址性及
显示规模,提升设备的显示分辨率;这种以亚像素作为采样、寻址、显
示的基本单位的显示系统称之为亚像素显示系统。亚像素采样技术的实
质是生成R、G、B基色欠采样图像,会引入颜色混淆的问题。根据人
眼视觉系统的特性,人眼对彩色细节的分辨力远比对黑白细节的分辨力
低,从而亚像素采样以人眼较不敏感的颜色混淆换取亮度分辨率的显著
提高。在有限的设备与成本的条件下,通过亚像素采样技术提高空间显
示分辨率是可行的,问题的关键在于如何有效地消除或减弱颜色混淆。
因此,针对多样的亚像素排布结构进一步研究亚像素采样技术,对
亚像素采样技术引入的颜色混淆问题提出有效的抗颜色混淆方法,这对
于在有限的设备与成本的条件下实现显示分辨率的提升有极其重要的意
义。
现有技术中,例如申请号为CN201310314907.0的中国发明专利,
其提出的一种设备相关抗颜色混淆法以各基色亚像素排布的奈奎斯特
(Nyquist)频率限制区域为依据设计各基色对应的抗颜色混淆低通滤波
器,对输入源图像各基色分别进行抗颜色混淆滤波后再进行二维亚像素
采样即可达到减弱甚至消除显示图像中颜色混淆的目的。该种设备相关
抗颜色混淆法所应用的基于亚像素采样的图像处理流程如图1所示,且
图2示出该种设备相关抗颜色混淆法中的滤波器设计流程图;在图2中,
其是根据目标显示设备各基色亚像素排布得到各基色的二维Nyquist频
率限制区域,再由各基色的二维Nyquist频率限制区域确定施加于源图
像的各基色抗颜色混淆滤波器(也即各基色低通滤波器),滤除源图像中
超出Nyquist频率限制的高频信息,以实现抗颜色混淆。下面以图3所
示的RGB-Delta排布为例对滤波器设计进行分析:
1)低通滤波器形状:该低通滤波器(如图5所示)的截止频率所围成
的形状(简称截止频率形状)不是以往的圆形或者矩形,而是与基色亚像
素排布的Nyquist频率限制区域(如图4所示)的形状相似。
2)低通滤波器截止频率大小:抗颜色混淆低通滤波器的截止频率大
小应该等于或接近基色Nyquist频率限制区域的大小,图6所示为频域
中滤波器截止频率大小相对基色亚像素排布的Nyquist频率限制区域大
小分别为:截止频率过大、截止频率适中、截止频率过小三种情况的示
意图,图6中的六边形代表截止频率形状为正六边形的上述设备相关抗
颜色混淆滤波器,矩形代表常见的截止频率形状为矩形的滤波器。
如图6(a)所示,当滤波器截止频率过大时,源图像经过低通滤波器
后其高频信息得到抑制,但仍有超出Nyquist频率限制区域的高频信息
通过滤波器,此时颜色混淆仍然存在。
如图6(b)所示,当滤波器截止频率适中时,对于设备相关正六边形
低通滤波器,原图像经过滤波器后其超出Nyquist频率限制区域的高频
信息恰好得到抑制,既抑制了各个方向上的颜色混淆,又最大程度地减
少了原图像高频信息的损失;而对于矩形滤波器,当完全抑制各个方向
的颜色混淆时,源图像在水平及竖直方向的高频信息均被过度滤除,即
损失了部分未发生混淆的高频信息,这使得图像模糊较为严重。
如图6(c)所示,当滤波器截止频率过小时,源图像经过低通滤波器
后各方向的高频信息均被过度滤除,两种滤波方法都有效抑制了各个方
向的颜色混淆,但均使图像模糊严重。
3)滤波器截止频率形状的精确度:应在允许的计算复杂度的条件下
设计较大的数字滤波器模板,以使滤波器截止频率形状更加精确,进而
获得较佳的抗颜色混淆效果。图7(a)、(b)和(c)相当于以不同的采样率
将二维模拟滤波器采样为数字滤波器,图7中的每个灰度小方块表示一
个采样值。从图7中可以看出:当模板大小为3×3时,如图7(a)所示,
数字滤波器的截止频率形状与正六边形相差较大;当模板大小为13×13
时,如图7(c)所示,数字滤波器的截止频率形状接近于正六边形;当模
板大小为7×7时,如图7(b)所示,数字滤波器的截止频率形状的精确度
介于图7(a)和图7(c)所示形状的精确度之间。由此可见,数字滤波器模
板越大,其截止频率形状越精确,则相应的抗颜色混淆效果越好。但是,
数字滤波器模板越大,硬件实现时相应的计算复杂度也越大。
由上可知,现有技术的滤波器要求数字滤波器模板应在允许的计算
复杂度的条件下尽可能大,以使滤波器的截止频率形状更加精确,进而
获得较佳的抗颜色混淆效果;但是若滤波器模板过大,虽然能有效地消
除颜色错误,却是以模糊图像为代价,不能很好地保护图像的清晰度。
发明内容
因此,针对现有技术中的缺陷和不足,本发明提供一种基于亚像素
采样的图像处理方法以及一种基于亚像素采样的图像显示方法。
具体地,本发明实施例提出的一种基于亚像素采样的图像处理方法,
包括步骤:输入源图像;对所述源图像进行插值放大以得到放大后图像;
对所述放大后图像进行抗颜色混淆滤波以得到滤波后图像;以及对所述
滤波后图像进行亚像素下采样以得到目标图像作为输出。
在本发明的一个实施例中,所述插值放大采用的插值算法为线性插
值、非线性插值或其组合。
在本发明的一个实施例中,所述线性插值为最近邻插值、双线性插
值或立方卷积插值。
在本发明的一个实施例中,所述抗颜色混淆滤波包括:根据目标显
示设备各基色亚像素排布得到各基色的二维Nyquist频率限制区域,再
由各基色的二维Nyquist频率限制区域确定施加于所述放大后图像的各
基色低通滤波器以滤除所述放大后图像中超出Nyquist频率限制的高频
信息。
在本发明的一个实施例中,所述插值放大的倍数与各基色低通滤波
器的大小相关,且各基色低通滤波器越大,插值放大的倍数也越大。
在本发明的一个实施例中,对所述滤波后图像进行亚像素下采样为
以非逐图像像素点方式对所述滤波后图像进行亚像素下采样,其中所述
非逐图像像素点方式为仅对所述滤波后图像中的部分图像像素点进行亚
像素下采样而丢弃其他图像像素点。
此外,本发明实施例提出的一种基于亚像素采样的图像显示方法,
包括步骤:输入源图像;对所述源图像进行插值放大以得到放大后图像;
对所述放大后图像进行抗颜色混淆滤波以得到滤波后图像;根据LED显
示屏的多个基色亚像素的二维空间位置分布对所述滤波后图像进行亚像
素下采样以得到目标图像;以及将所述目标图像输出至所述LED显示屏
进行显示。
在本发明的一个实施例中,上述图像显示方法中的所述抗颜色混淆
滤波包括:根据目标显示设备各基色亚像素排布得到各基色的二维
Nyquist频率限制区域,再由各基色的二维Nyquist频率限制区域确定施
加于所述放大后图像的各基色低通滤波器以滤除所述放大后图像中超出
Nyquist频率限制的高频信息。
在本发明的一个实施例中,上述图像显示方法中的所述插值放大的
倍数与各基色低通滤波器的大小相关,且各基色低通滤波器越大,插值
放大的倍数也越大。
在本发明的一个实施例中,上述图像显示方法中对所述滤波后图像
进行亚像素下采样为以非逐图像像素点方式对所述滤波后图像进行亚像
素下采样,其中所述非逐图像像素点方式为仅对所述滤波后图像中的部
分图像像素点进行亚像素下采样而丢弃其他图像像素点。
由上可知,本发明实施例是在现有设备相关抗颜色混淆法的基础上
进行改进,对输入源图像,首先进行插值放大,然后再进行抗颜色混淆
滤波,其既能使滤波器截止频率的形状比较精确,获得较佳的抗颜色混
淆效果,又能保证较好的图像清晰度,有效的提升图像质量。
通过以下参考附图的详细说明,本发明的其它方面和特征变得明显。
但是应当知道,该附图仅仅为解释的目的设计,而不是作为本发明的范
围的限定,这是因为其应当参考附加的权利要求。还应当知道,除非另
外指出,不必要依比例绘制附图,它们仅仅力图概念地说明此处描述的
结构和流程。
附图说明
下面将结合附图,对本发明的具体实施方式进行详细的说明。
图1为现有设备相关抗颜色混淆法所应用的基于亚像素采样的图像
处理流程。
图2为现有设备相关抗颜色混淆法中的滤波器设计流程图。
图3为一种RGB-Delta排布示意图。
图4为一种Nyquist频率限制区域示意图。
图5为一种低通滤波器的立体示意图。
图6为频域中低通滤波器截止频率大小分析示意图。
图7为不同大小模板下数字滤波器截止频率形状的精度示意图。
图8为本发明实施例的一种基于亚像素采样的图像处理流程。
图9为一种双线性插值的原理示意图。
图10为本发明实施例的一种插值放大原理示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合
附图对本发明的具体实施方式做详细的说明。
为了解决现有技术中的问题,本发明实施例是在现有的设备相关抗
颜色混淆法的基础上进行改进,即在对输入源图像的各个颜色分量例如
R、G、B分量进行抗颜色混淆滤波之前先对源图像进行插值放大,然后
对插值放大后的图像进行抗颜色混淆滤波,之后再对滤波后的图像进行
亚像素下采样以得到目标图像作为输出,其流程图如图8所示。
本实施例中,滤波的过程就是以某点为中心,取滤波器模板大小的
周围区域,与滤波器进行卷积的过程;图像插值放大是一个图像数据的
再生过程,利用已知采样点的灰度值估计未知采样点的灰度值,在给定
的空间范围内,从有限的离散采样数据复原出原来连续的图像信号。本
实施例采用的插值算法例如是最邻近插值、双线性插值、立方卷积插值
(也称三次卷积插值)等,这些线性插值算法的原理基本相同,主要区别
在于像素点序列的取法不同,通过对待插点周围的已知像素点进行分析,
并将它们的加权平均值作为待插点的像素值。此外,为了能够得到更好
的图像处理效果,也可以在图像插值中运用一些非线性方法对图像进行
处理,例如将高斯理论、小波方法、偏微分理论等引入图像插值领域,
其可取得很好的效果。另外,为了保护图像边缘信息,可以分区域对源
图像进行处理,一副图像采用多种处理手段相结合,例如先通过阈值对
源图像进行处理,把源图像的边缘部分分割处理,然后运用基于协方差
的自适应插值方法(一种非线性插值算法)对源图像的边缘部分进行插值
处理,用双线性插值处理平滑部分(也即非边缘部分),从而可以得到插
值放大后的图像,其能够很好地提升插值效果。
为便于更好地理解本发明实施例,下面以双线性插值算法为例介绍
一下插值放大原理:
双线性插值算法首先在选取的待插点周围选取四个已知点,进行水
平(或垂直)方向上的插值,然后在垂直(或水平)方向上插值得到所需的像
素值;这种插值方法在每个方向上进行的是一阶运算,对某个方向的先
后没有要求,并不影响结果。图9所表示的是双线性插值的实现过程。
具体地,如图9所示,点Q11(i,j)是位于源图像左上方的像素点,f(Q11)
是其对应的像素灰度值;点Q12(i+1,j)是位于源图像右上方的像素点,
f(Q12)是其对应的像素灰度值;点Q13(i,j+1)是位于源图像左下方的像素
点,f(Q13)是其对应的像素灰度值;点Q14(i+1,j+1)是位于源图像右下方
的像素点,f(Q14)是其对应的像素灰度值;P点表示的是待插点。
1)a点与b点的像素灰度值是通过在水平方向进行线性插值得到,
计算公式为:
f(a)=dx[f(Q12)-f(Q11)]+f(Q11)
f(b)=dx[f(Q14)-f(Q13)]+f(Q13)
2)待插点P的像素灰度值可以通过a点和b的像素灰度值在垂直方
向上插值得到,计算公式为:
f(P)=dy[f(b)-f(a)]+f(a)。
如图10所示,10(a)是3×3大小的源图像,10(b)为对图10(a)进行
插值放大后得到的7×7大小的插值放大后图像,其中虚线下方块为插入
点;之后可以采用3×3大小的滤波器模板进行滤波。此处需要说明的是,
图10中的源图像的大小仅为示意,实际应用中源图像的像素分辨率通常
会远大于3×3;再者,滤波器模板大小也不限于3×3,具体大小可以根
据实际情况来确定。
由于图像插值放大后,每个图像像素点与其周围增加的图像像素点
的灰度值更接近,所以参与滤波运算后的值,相较于插值放大前的值损
失较小,且与周围图像像素点的值相关性更好,从而可以减少图像的模
糊程度。
此外,值得一提的是,对输入源图像进行插值放大的倍数与滤波器
模板大小相关,滤波器模板大小越大,插值放大的倍数也应该越大,效
果才会明显。
另外,还值得一提的是,本发明实施例对输入源图像进行插值放大
后,相当于得到了一个图像分辨率增加的放大后图像;因此为确保对插
值放大后的图像进行亚像素下采样所得到的目标图像的像素分辨率大小
和对现有技术中未进行插值放大的图像进行亚像素下采样所得到的图像
的像素分辨率大小相同,则本实施例需要对插值放大和滤波后的图像以
非逐图像像素点方式进行亚像素下采样。此处,所述非逐图像像素点方
式为仅对滤波后图像中的部分图像像素点进行亚像素下采样而丢弃其他
图像像素点。另外,如果所进行的亚像素下采样是根据某个LED显示屏
的多个基色亚像素的二维空间位置分布而进行的,则得到的目标图像可
以送至该LED显示屏进行显示,以实现图像显示。此处,多个基色亚像
素的二维空间位置分布例如RGB三基色像素的二维空间位置分布可以
是RGB-delta排布(RGB三角形排布)、RGB-mosaic排布(RGB马赛克排
布)、RGBR-mosaic排布或RGGB-mosaic排布等。
由上可知,本发明实施例是在现有设备相关抗颜色混淆法的基础上
进行改进,对输入源图像,首先进行插值放大,然后再进行抗颜色混淆
滤波,其既能使滤波器截止频率的形状比较精确,获得较佳的抗颜色混
淆效果,又能保证较好的图像清晰度,有效的提升图像质量。
至此,本文中应用了具体个例对本发明的基于亚像素采样的图像处
理方法和图像显示方法的原理及实施方式进行了阐述,以上实施例的说
明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的
一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会
有改变之处,综上所述,本说明书内容不应理解为对本发明的限制,本
发明的保护范围应以所附的权利要求为准。