一种快速高质的图像超分辨率重建方法技术领域
本发明涉及图像处理领域，尤其是一种快速高质的图像超分辨率重建方法。
背景技术
图像超分辨率重建技术是图像处理领域内一个重要且基础的课题，它指的是
通过软件计算的方式处理输入的一幅或多幅同一场景的低分辨率图像来估算其
对应的高分辨率图像。这种技术在数字电视高清显示、视频监控、遥感图像通讯
等领域有着广泛的应用。其实现方法主要可分为基于插值的方法、基于重建的方
法和基于学习的方法。近年来，随着机器学习、数据挖掘等技术的兴起，基于学
习的方法逐渐为人们所重视，并成为图像超分辨率重建技术的主流。
图像本身信息丰富，数据量巨大，因此简单的超分辨率重建算法虽然速度快
但往往达不到最优的重建效果，如采用双三次插值算法，该算法速度快，处理平
滑区域能取得很好的效果，但是对于边缘和纹理区域，该算法容易引入模糊和噪
声，造成重建质量下降；复杂的方法为了追求最优的效果通常都需要占用大量的
内存空间和漫长的等待时间，如He等人发表在2011年CVPR会议上的论文
《SingleImageSuper-ResolutionUsingGaussianprocessRegression》中所提到的方
法。He等人的方法将图像中的每一个像素点和其对应的八邻域构造成训练样本
对，在每一个小区域内(文中为30×30大小的区域)训练高斯过程回归模型参
数，把该区域用双三次放大到目标尺寸后构造样本集合作为高斯过程回归模型的
输入，得到这个小区域的对应的高分辨率估计。这种方法模型训练阶段的时间复
杂度为O(M*N3)，其中，M为抽取的图像小区域的数量，N为小区域内构造的
样本对数量；预测阶段的时间复杂度为O(N’2)，N’为输入的样本数量，可以看出
该方法时间复杂度较大。由于时间复杂度的限制，该算法很难在实际情况中应用。
综上所述，目前业内亟需一种速度快且效果好的图像分辨率重建方法。
发明内容
为了解决上述技术问题，本发明的目的是：提供一种速度快且效果好的，快
速高质的图像超分辨率重建方法。
本发明解决其技术问题所采用的技术方案是：
一种快速高质的图像超分辨率重建方法，包括：
S1、对输入图像YL分别进行高斯低通滤波和双三次上采样，得到高斯低通
滤波图像XL和双三次上采样图像XH；
S2、根据输入图像YL和高斯低通滤波图像XL构建图像对训练集
然后根据图像对训练集D采用最近邻域查找法得到图像XH
的训练样本对集合，其中，p表示图像片的位置；
S3、采用多任务高斯过程回归模型对图像XH的训练样本对集合进行描述，
然后采用梯度下降法进行参数训练，求出图像XH样本所对应的多任务高斯模
型参数以及多任务高斯模型输出YH，所述图像XH样本所对应的多任务高斯模
型参数为图像XH不同位置的样本赋予了不同的噪声级别；
S4、对求出的多任务高斯模型输出YH采用反向投影法得到最终的超分辨率
图像。
进一步，所述步骤S2，其包括：
S21、从输入图像YL和高斯低通滤波图像XL中抽取图像片集合
进而构建相应的图像对训练集
S22、对双三次上采样图像XH所抽取的第i个图像片通过最近邻域查找法
查找到其在图像对训练集D中的k个最近样本对，进而构建图像XH的训练样本
对集合其中，是图像对训练集D中图像YL
第i个图像片的像素点的列向量形式，ni为中元素的个数；
是由图像片中与像素点位置相对应像素点的8
邻域所组成的列向量，i＝1,2,…,k；j＝1,2,…,ni。
进一步，所述步骤S3，其包括：
S31、采用多任务高斯过程回归模型对图像XH的训练样本对集合
进行描述，得到图像XH训练样本对集合的描述方程，所述得到的
描述方程为：
Y i = f ( X i ) + ϵ i ϵ i ~ N ( 0 , σ i 2 I n i ) , ]]>
其中，εi为图像XH训练样本对集合对应的噪声，εi服从均值是0且协方
差矩阵为的高斯分布，代表噪声的等级，是ni×ni大小的单位矩阵；
S32、根据图像XH训练样本对集合对应的描述方程得到所有训练样本的描
述方程，所述所有训练样本的描述方程为：
Y = f ( X ) + ϵ ϵ ~ N ( 0 , D ) , ]]>
其中，X＝[X1,X2,...,Xk]，Y＝[Y1,Y2,...,Yk]，ε为所有训练样本对应
的噪声，ε服从均值是0且协方差矩阵为D的高斯分布，D是对角矩阵且满足：
S33、根据图像XH训练样本对集合以及所有训练样本的描述方程采用梯度
下降法进行参数训练，求出图像XH样本所对应的多任务高斯模型参数。
进一步，所述步骤S33，其包括：
S331、为图像XH第i个图像片中每一个像素点的八邻域构造测试矩阵
从而得到所有训练样本的训练输出Y和图像XH样本
的测试输出Y*的联合分布，所述得到的联合分布为：
Y Y * ~ N ( 0 , K ( X , X ) + D K ( X , X * ) K ( X * , X ) K ( X * , X * ) + σ * 2 I * ) ; ]]>
其中，K(X,X*)、K(X*,X)和K(X,X)分别为(X,X*)、(X*,X)和
(X,X)的协方差矩阵，矩阵K(X,X*)、K(X*,X)和K(X,X)第m行第n列
元素km,n的表达式为：
k m , n = σ f 2 exp ( - | | x m - x n | | 2 2 l 2 ) , ]]>参数σf、l和均为待求的多任务高
斯模型参数；
S332、根据图像XH训练样本对集合以及所有训练样本的描述方程确定似然
函数R(x)，所述似然函数R(x)的表达式为：
R ( x ) = 1 2 [ Y T ( K + D ) - 1 Y + l n | K + D | ] + Σ i = 1 k [ lnσ i + l n ρ + ( lnσ i - μ ) 2 2 ρ 2 ] , ]]>
其中，服从对数正态分布，μ为对数正态分布的均值，ρ为对数正
态分布的标准差；
S333、采用梯度下降法求出使似然函数R(x)取得最小值时对应的多任务高斯
模型参数σf、l和
S334、根据多任务高斯模型参数σf、l和计算图像XH样本测试矩
阵的输出Y*，所述测试矩阵的输出Y*的表达式为：
Y*＝f(X*)＝K(X*,X)[K(X,X)+D]TY。
进一步，所述步骤S22在通过最近邻域查找法查找时在以图像XH所抽取的
第i个图像片对应的位置为中心，30×30大小的区域内进行查找。
进一步，所述步骤S22在对双三次上采样图像XH所抽取的第i个图像片通
过最近邻域查找法查找之前还包括根据图像XH所抽取的图像片的方差大小和
设定阈值进行初步分类的步骤。
本发明的有益效果是：采用最近邻域查找法来得到双三次上采样图像XH的
训练样本对集合，然后采用多任务高斯过程回归模型对训练样本对集合进行描述
以及采用梯度下降法进行参数训练，得到多任务高斯模型参数以及多任务高斯模
型输出YH，最后根据多任务高斯模型输出YH得到最终的超分辨率图像，与采用
简单的双三次插值算法相比，效果更好且重建后得到的图像质量更高；从图像本
身的特性出发，图像XH样本所对应的多任务高斯模型参数为图像XH不同位置
的样本赋予了不同的噪声级别，使得本发明的重建方法可以在不同图像片间独立
运行，易改造为并行算法或采用GPU图像处理器来实现，与传统的高斯模型回归
算法相比，运行时间更更短，速度更快。进一步，在通过最近邻域查找法查找最
近邻域的过程中只在以所抽取的图像片对应的位置为中心，30×30大小的区域
内进行查找，大大降低了查找所需消耗的时间，速度更快。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明一种快速高质的图像超分辨率重建方法的整体流程图；
图2为本发明实施例一的算法框架图。
具体实施方式
参照图1，一种快速高质的图像超分辨率重建方法，包括：
S1、对输入图像YL分别进行高斯低通滤波和双三次上采样，得到高斯低通
滤波图像XL和双三次上采样图像XH；
S2、根据输入图像YL和高斯低通滤波图像XL构建图像对训练集
然后根据图像对训练集D采用最近邻域查找法得到图像XH
的训练样本对集合，其中，p表示图像片的位置；
S3、采用多任务高斯过程回归模型对图像XH的训练样本对集合进行描述，
然后采用梯度下降法进行参数训练，求出图像XH样本所对应的多任务高斯模
型参数以及多任务高斯模型输出YH，所述图像XH样本所对应的多任务高斯模
型参数为图像XH不同位置的样本赋予了不同的噪声级别；
S4、对求出的多任务高斯模型输出YH采用反向投影法得到最终的超分辨率
图像。
进一步作为优选的实施方式，所述步骤S2，其包括：
S21、从输入图像YL和高斯低通滤波图像XL中抽取图像片集合
进而构建相应的图像对训练集
S22、对双三次上采样图像XH所抽取的第i个图像片通过最近邻域查找法
查找到其在图像对训练集D中的k个最近样本对，进而构建图像XH的训练样本
对集合其中，是图像对训练集D中图像YL
第i个图像片的像素点的列向量形式，ni为中元素的个数；
是由图像片中与像素点位置相对应像素点的8
邻域所组成的列向量，i＝1,2,…,k；j＝1,2,…,ni。
进一步作为优选的实施方式，所述步骤S3，其包括：
S31、采用多任务高斯过程回归模型对图像XH的训练样本对集合
进行描述，得到图像XH训练样本对集合的描述方程，所述得到的
描述方程为：
Y i = f ( X i ) + ϵ i ϵ i ~ N ( 0 , σ i 2 I n i ) , ]]>
其中，εi为图像XH训练样本对集合对应的噪声，εi服从均值是0且协方
差矩阵为的高斯分布，代表噪声的等级，是ni×ni大小的单位矩阵；
S32、根据图像XH训练样本对集合对应的描述方程得到所有训练样本的描
述方程，所述所有训练样本的描述方程为：
Y = f ( X ) + ϵ ϵ ~ N ( 0 , D ) , ]]>
其中，X＝[X1,X2,...,Xk]，Y＝[Y1,Y2,...,Yk]，ε为所有训练样本对应
的噪声，ε服从均值是0且协方差矩阵为D的高斯分布，D是对角矩阵且满足：
S33、根据图像XH训练样本对集合以及所有训练样本的描述方程采用梯度
下降法进行参数训练，求出图像XH样本所对应的多任务高斯模型参数。
进一步作为优选的实施方式，所述步骤S33，其包括：
S331、为图像XH第i个图像片中每一个像素点的八邻域构造测试矩阵
从而得到所有训练样本的训练输出Y和图像XH样本
的测试输出Y*的联合分布，所述得到的联合分布为：
Y Y * ~ N ( 0 , K ( X , X ) + D K ( X , X * ) K ( X * , X ) K ( X * , X * ) + σ * 2 I * ) ; ]]>
其中，K(X,X*)、K(X*,X)和K(X,X)分别为(X,X*)、(X*,X)和
(X,X)的协方差矩阵，矩阵K(X,X*)、K(X*,X)和K(X,X)第m行第n列
元素km,n的表达式为：
k m , n = σ f 2 exp ( - | | x m - x n | | 2 2 l 2 ) , ]]>参数σf、l和均为待求的多任务高
斯模型参数；
S332、根据图像XH训练样本对集合以及所有训练样本的描述方程确定似然
函数R(x)，所述似然函数R(x)的表达式为：
R ( x ) = 1 2 [ Y T ( K + D ) - 1 Y + l n | K + D | ] + Σ i = 1 k [ lnσ i + l n ρ + ( lnσ i - μ ) 2 2 ρ 2 ] , ]]>
其中，服从对数正态分布，μ为对数正态分布的均值，ρ为对数正
态分布的标准差；
S333、采用梯度下降法求出使似然函数R(x)取得最小值时对应的多任务高斯
模型参数σf、l和
S334、根据多任务高斯模型参数σf、l和计算图像XH样本测试矩
阵的输出Y*，所述测试矩阵的输出Y*的表达式为：
Y*＝f(X*)＝K(X*,X)[K(X,X)+D]TY。
进一步作为优选的实施方式，所述步骤S22在通过最近邻域查找法查找时在
以图像XH所抽取的第i个图像片对应的位置为中心，30×30大小的区域内进行
查找。
进一步作为优选的实施方式，所述步骤S22在对双三次上采样图像XH所抽
取的第i个图像片通过最近邻域查找法查找之前还包括根据图像XH所抽取的图
像片的方差大小和设定阈值进行初步分类的步骤。
实施例一
参照图1和图2，本发明的第一实施例：
针对现有的图像超分辨率重建方法无法同时兼顾运算速度以及重建图像质
量的缺点，本发明提出了一种快速高质的图像超分辨率重建方法，如图2所示。
该方法将输入图像YL通过高斯低通滤波器做滤波处理得到结果图像XL，将YL
通过双三次方法上采样到目标尺寸来得到与目标图像尺寸相同的图像XH，然后
利用图像XL，YL和XH来估计出XL对应的高分辨率图像YH，最后通过反向投影
法得到最终的超分辨率图像。如图1和2所示，本发明的具体实现过程为：
(1).首先从图像YL和图像XL中以a×a大小的尺寸抽取图像片集合
p表示图像片位置，进而构造图像片对训练集
(2).由于在图像XH中有重叠的抽取图像片，故对图像XH的第i个图像片
而言，通过将它和XL中的图像片进行比较，在数据集D中找到距离它最近的k
个样本对，以构造出它的样本对集合其中是
对应训练集合中图像片的列向量形式，ni为中元素个数。
是在图像片中与像素点位置相对应像素点的8
邻域组成的列向量；X＝[X1,X2,...,Xk]，Y＝[Y1,Y2,...,Yk]为所有样本的矩
阵形式。
(3).对图像XH的每一个样本对引入高斯过程回归模型来进行描述，可得
到：
Y i = f ( X i ) + ϵ i ϵ i ~ N ( 0 , σ i 2 I n i ) ]]>
εi为对图像XH样本的噪声，服从均值是0，协方差矩阵为的高斯分布，
代表噪声的等级。与之相对应，整个样本集合的高斯过程回归模型可以写成：
Y = f ( X ) + ϵ ϵ ~ N ( 0 , D ) , ]]>
其中，协方差矩阵D是对角矩阵，其形式为：
(4).对于在图像XH抽取出的第i个图像片，本实施例需采用图像片中的
每一个像素点的八邻域来构造测试矩阵那么训练输出
Y和测试输出Y*的联合分布为：
Y Y * ~ N ( 0 , K ( X , X ) + D K ( X , X * ) K ( X * , X ) K ( X * , X * ) + σ * 2 I * ) . ]]>
其中，协方差矩阵K(X,X*)、K(X*,X)和K(X,X)第m行第n列元素
km,n的表达式为：
k m , n = σ f 2 exp ( - | | x m - x n | | 2 2 l 2 ) . ]]>
为了确定高斯模型的参数σf、l和假定服从对数正态分
布，此时采用梯度下降法求解似然函数R(x)的最小值就可以确定所需的参数σf、
l和如下式所示：
arg min R ( x ) σ f , l , { σ i } i = 1 k R ( x ) = 1 2 [ Y T ( K + D ) - 1 Y + ln | K + D | ] + Σ i = 1 k [ lnσ i + ln ρ + ( lnσ i + μ ) 2 2 ρ 2 ] . ]]>
确定参数σf、l和后，即可估计出测试矩阵的输出Y*为：
Y*＝f(X*)＝K(X*,X)[K(X,X)+D]TY。
(5).在不降低超分辨率重建结果质量的情况下，为了进一步加快算法的速
度，本实施例在通过最近邻域查找法查找最近邻域的过程中只在以抽取的图像片
对应的位置为中心，30×30大小的区域内查找，这样大大降低了查找需要消耗
的时间。
另外，本实施例还根据设定的阈值a对在图像XH所抽取出的图像片做初步
的分类：如果图像片的方差大于a，则判定该图像片来自纹理或边缘等细节信息
较为丰富的区域，此时执行步骤(4)；若图像片的方差小于a，则判定图像片来
自图像的平滑区域，此时直接用双三次插值的方法放大到目标尺寸。
(6).所有从XH中抽取出图像片处理完毕后，对多任务高斯模型输出YH中
重叠的位置进行加权平均后再通过反向投影，即可重构出最终的高分辨率图像。
本发明提出的图像超分辨率重建方法从图像本身的特性出发，有别于以往的
高斯过程回归算法，其假定来自不同位置的样本有不同的噪声级别，扩展了高斯
过程回归算法。该方法的图像片与图像片之间可以独立运行，很容易被改造成并
行算法或引入到GPU进行处理，进一步加快算法的运行时间，以实现对视频图
像的实时处理。同时，该方法对于高分辨率结果中的每一个像素点都可以计算其
引入误差的概率，为后面进一步提高图像质量提供了可能。
下表1、2分别展示了采用本发明的方法与几种传统算法进行图像超分辨率
重建的质量评价比较和运行时间(其中，Lena、baboon、peppers和parrot均为
国际标准测试图像，Bicubic为双三次算法，Yangetal.算法和Heetal.算法分别为
Yangetal等人以及Heetal等人提出的超分辨率重建算法，PSNR为峰值信噪比，
SSIM为结构相似性指标)，从表1、2可以看出，本发明的方法在很大程度上优
于当前图像超分辨率重建的前沿算法。
表1图像放大三倍PSNR和SSIM的比较结果
表2运行时间的比较(单位：秒)
Yangetal算法
Heetal算法
本发明的方法
|
Lena(256*256)
115
1855
58
peppers(256*256)
112
1674
45
baboon(256*256)
120
1782
60
Parrot(256*256)
113
1706
48
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实
施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等
同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。