基于谱混合核高斯过程回归的单帧图像超分辨率重建方法.pdf

《基于谱混合核高斯过程回归的单帧图像超分辨率重建方法.pdf》由会员分享，可在线阅读，更多相关《基于谱混合核高斯过程回归的单帧图像超分辨率重建方法.pdf（29页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910194123.6 (22)申请日 2019.03.14 (71)申请人 西安电子科技大学 地址 710071 陕西省西安市太白南路2号西 安电子科技大学 (72)发明人 宁贝佳来浩坤闫闯赵建鑫 (74)专利代理机构 西安长和专利代理有限公司 61227 代理人 黄伟洪 (51)Int.Cl. G06T 3/40(2006.01) (54)发明名称 基于谱混合核高斯过程回归的单帧图像超 分辨率重建方法 (57)摘要 本发明属于图像处理技术领域， 公开了一种 基于谱混合核。

2、高斯过程回归的单帧图像超分辨 率重建方法及系统， 选取高分辨率图像形成高分 辨率训练图像集， 对高分辨率训练图像集元素进 行下采样和插值放大操作得到插值训练图像集； 提取特征形成训练数据集， 对训练数据集进行聚 类得到训练数据子集； 对每一个训练数据子集训 练出基于谱混合核的高斯过程回归模型的最优 超参数； 读取低分辨率测试图像并构建低分辨率 测试数据集； 在聚类中心中寻找与低分辨率测试 数据集内每一个特征最近的聚类中心， 形成最近 邻训练数据子集； 进行高斯过程回归， 得到高分 辨率特征集， 输出高分辨率图像。 本发明使得重 建图像包含更多高频细节， 纹理结构清晰， 重建 效果得到提高。 权。

3、利要求书5页 说明书17页 附图6页 CN 110097499 A 2019.08.06 CN 110097499 A 1.一种基于谱混合核高斯过程回归的单帧图像超分辨率重建方法， 其特征在于， 所述 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法在训练阶段， 选取高分辨率自然 图像， 并利用双立方插值法对其进行下采样得到低分辨率训练图像， 再对低分辨率训练图 像进行插值放大得到对应的插值图像； 对高分辨率图像及插值图像进行分块并提取特征， 形成训练数据集； 对训练数据集做聚类， 得到K个训练数据子集； 对这K个训练数据子集利用 谱混合核函数学习得到高斯过程回归模型的最优超参数 ； 在测试。

4、阶段， 选取低分辨率图像作为输入图像； 对输入图像进行双立方插值放大得到 插值测试图像， 并进行分块及特征提取， 得到低分辨率测试数据集； 在训练数据集的K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中心， 形 成最近邻训练数据子集， 再利用先前学习得到的最优超参数 进行回归， 得到高分辨率图像 特征集； 将这些高分辨率图像特征叠加到插值测试图像上， 重建出高分辨率结果图像。 2.如权利要求1所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法， 其 特征在于， 所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法具体包括以下步 骤： 步骤一， 选取高分辨率图像形成高分辨率训练图像。

5、集； 对高分辨率训练图像集元素进 行下采样和插值放大操作得到插值训练图像集； 提取特征形成训练数据集CH， L， 其中H 和L分别表示高、 低分辨率训练数据集； 步骤二， 对训练数据集C进行聚类得到训练数据子集及对应的K个聚类中心； 步骤三， 对每一个训练数据子集Ci训练出基于谱混合核的高斯过程回归模型的最优超 参数 i， i为列向量； 步骤四， 读取低分辨率测试图像并构建低分辨率测试数据集X； 步骤五， 在K个聚类中心中寻找与低分辨率测试数据集X内每一个特征最近的聚类中 心， 形成最近邻训练数据子集； 步骤六， 利用步骤三中训练得到的 i进行高斯过程回归， 得到高分辨率特征集F； 步骤七， 。

6、输出高分辨率图像Y。 3.如权利要求2所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法， 其 特征在于， 步骤一具体包括： 选取多幅彩色高分辨率自然图像并从RGB颜色空间转换到YCbCr颜色空间； 选取亮度图 像形成高分辨率训练图像集； 选定当前超分辨率重建放大倍数为S3， 将高分辨率训练图像集利用双立方插值下采 样S倍、 再利用双立方插值放大S倍， 得到插值训练图像集； 选定图像块大小为NN， N7为奇数， 对高分辨率图像训练集和插值训练图像集中对 应的图像按照从上到下、 从左到右的顺序逐像素取图像块； 然后求高、 低分辨率图像块中心 像素的差值， 得到高分辨率训练数据集对低分辨率图。

7、像块向量化， 得到低分辨 率训练数据集其中P100000， P小于取到的图像块的最大块数； 步骤二具体包括： 步骤1， 设定类数K35， 对低分辨率训练数据集L进行K-means聚类， 得到L1， L2， .， LK以及对应的聚类中心集V(o1， o2， .， oK； 权利要求书 1/5 页 2 CN 110097499 A 2 步骤2， 在高分辨率训练数据集H中找到对应的高分辨率数据形成H1， H2， .， HK； 步骤3， 合并L1， L2， .， LK与H1， H2， .， HK形成C1， C2， .， CK， 其中第i项CiLi， Hi称为训练数据子集。 4.如权利要求2所述的基于谱混。

8、合核高斯过程回归的单帧图像超分辨率重建方法， 其 特征在于， 步骤三具体包括： 步骤A， 定义超参数 i； 训练数据子集CiLi， Hi含有Z个数据对， 其对数似然函数为 其中 i为待学习的超参数， (Hi)、 (Li)分别为Ci中的高、 低分辨率训练数据子集Hi、 Li的 元素， |1表示1-范数， ()T表示取转置运算， Ky(l， l | i)表示协方差矩阵， 公式为 其中k(l， l )包含有超参数 i， 表达式为： 其中且q， i、 q， i和 q， i分别表示第i个训练数据子集中第 q个累加参量对应的权值、 方差和频率参数， 表示噪声标准差参数， Q15为设定的累加参 量， |表示。

9、取绝对值运算， |表示取向量模值的运算， 函数COS()的表达式为 其中lp和lp分别表示向量l和l 的第p个分量， 其中 q， i(p)表示 q， i中的第p个分量， U表 示向量l的维度； 函数 ()为 步骤B， 利用迭代法求超参数。 5.如权利要求4所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法， 其 特征在于， 步骤B具体包括： 步骤a， 构建偏导数 式中tr()表示求矩阵的迹；中位置(s， t)的元素为 权利要求书 2/5 页 3 CN 110097499 A 3 式中表示Li中第s个向量ls的第p个分量， s,t1,2,Z；中位置(s， t)的元素为 q， i(i)表示q。

10、， i中的第j个分量， j1,2,U；中位置(s， t)的元素为 式中 q， i(j)表示 q， i中的第j个分量；中位置(s， t)的元素为 步骤b， 设当前为第k步,k3,更新迭代参数值， 式中 dk-1(gk-1)Tsk-2； p6(fk-1-fk)+3(dk-1+dk)(vk-1-vk-2)； q3(fk-fk-1)-(2dk-1+dk)(vk-1-vk-2)； 式中 如果fkfopt， 则令fkfopt， 并继续迭代过程； 式中fopt表示之前迭代过程中 的最小似然值， opt表示之前迭代过程中的最优参数； 步骤c， 设定终止条件： 如果 或者循环步数达到最大设定值500时， 终止迭。

11、代过程， i opt为最优超参数， 式中 0.1和0.05为设定的控制系数； 步骤d， 初始化迭代变量： 权利要求书 3/5 页 4 CN 110097499 A 4 初始化超参数其中 式中std()表示取标准差运算， max()表示取矩阵中最大元素， min()表示取矩阵 中最小元素； 式中Ri为低分辨率数据子集Li的尺度矩阵， 表达式为 式中列向量m1， ， mz由 Li-mean(Li)m1， m2， mZ； 得出， mean()表示取均值运算； 迭代变量的初始值包括 d0d1-(s0)Ts0； foptf0； 6.如权利要求2所述的基于谱混合核高斯过程回归的单帧图像超分辨率重建方法， 。

12、其 特征在于， 在步骤四具体包括： 读取低分辨率彩色测试图像， 利用双立方插值将其放大S倍并从RGB颜色空间转换到 YCbCr颜色空间， 并分别得到亮度通道图像、 蓝色通道图像和红色通道图像； 对亮度通道图像以从上到下， 从左到右的顺序逐像素取块并将其向量化得到低分辨率 测试数据集M表示取的最大图像块数， 测试数据xn表示X中第n个向量； 步骤五具体包括： 计算X中第m个向量xm到聚类中心集V(o1， o2， .， oK)的欧式距离得到距离向量 E(x， x )表示计算向量x与x 之间的欧氏距离； 权利要求书 4/5 页 5 CN 110097499 A 5 对Sm(m1， 2.， M)中的元。

13、素排序并找出最小元素， 标记出对应的聚类中心的类数am 1， K； 对X中所有向量执行操作， 得到标记向量 式中第m个元素am为对应的低分辨率最近邻训练数据子集的类数， 为xm的最近邻训练数据子集，是对应的高分辨率最近邻训练数据子集；对应的最 优超参数为xm的最近邻超参数； 步骤六具体包括： 利用公式 计算xm对应的输出特征ym， 得到高分辨率特征集是类数为am的低分辨 率最近邻训练数据子集；是对应的高分辨率最近邻训练数据子集； 其中 式中l1， l2.， lM为中全部向量； 计算谱混合核函数所用到的是步骤五得到 的最近邻超参数； 步骤七具体包括： 由公式ymym+cen(xm)计算得到高分辨。

14、率图像像素点， 并取代亮度通道图像中对应的 像素点得到亮度重建图像， cen()表示取中心像素操作； 将亮度重建图像与蓝色通道图像、 红色通道图像结合得到YCbCr颜色空间下的超分辨 率重建图像， 转化到RGB颜色空间下得到高分辨率重建图像Y。 7.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 的的医学影像处理系统。 8.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 的的监控视频处理系统。 9.一种实施权利要求1所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 的电视图像处理系统。 10.一种实施权利要求1所述基于谱混合核高斯过程回。

15、归的单帧图像超分辨率重建方 法的遥感图像处理系统。 权利要求书 5/5 页 6 CN 110097499 A 6 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 技术领域 0001 本发明属于图像处理技术领域， 尤其涉及一种基于谱混合核高斯过程回归的单帧 图像超分辨率重建方法。 背景技术 0002 在现实生产生活中， 由于成像系统性能有限或者成像条件的限制， 所获取图像的 分辨率可能较低， 导致细节表现不足， 不能满足需要。 因此由低分辨率图像获得高分辨率图 像有着很强的现实需求。 图像超分辨率重建方法就是由已有的低分辨率图像经过软件方法 处理， 得到对应的高分辨率图像， 以满足实际需要。。

16、 该项技术在图像处理领域占有重要地 位， 受到广泛关注。 0003 当前， 图像超分辨率重建方法可以分为三类： 基于插值的方法、 基于学习的方法和 基于重建的方法。 0004 基于插值的方法是最常见的方法， 包括最近邻插值法、 线性插值法和双立方插值 法。 基于插值的方法是将待重建高分辨率图像网格中未知像素相邻的已知像素输入到预先 设定的插值核函数中， 估计出未知像素， 从而达到提高图像分辨率的目的。 这类方法原理简 单， 数据量小， 实现快速。 但是从数学原理上讲， 这类方法预设的核函数不能准确反映出真 实的图像纹理结构， 往往导致重建结果缺乏细节， 而且可能在图像边缘出现锯齿效应。 更好 。

17、的改进方法是采用更能体现图像细节的核函数来估计高分辨率图像。 0005 基于重建的方法主要包括非均匀插值法、 迭代反向投影法、 最大后验概率法、 凸集 投影法等。 这类方法将图像的降质模型作为先验知识， 包括模糊、 下采样、 噪声叠加等过程， 通过采取不同的约束条件， 寻求初始的重建图像经过降质模型后与输入低分辨图像误差的 最小化， 从而估计出最终的高分辨率重建图像。 在数学原理上， 图像的重建过程属于逆问题 的求解过程， 是典型的不适定问题， 因此不能保证解的存在性和唯一性。 因此， 在实现过程 中， 这类方法都存在迭代过程不易收敛、 重建图像有一对多等问题。 更好的方法是放弃过于 简单的降。

18、质模型， 而采用更接近真实的降质过程的数学描述。 0006 基于学习的图像超分辨率重建方法通常先搜集大量的图像， 建立训练集； 然后对 训练集进行学习， 得到高、 低图像块之间的对应关系(或映射模型)； 接着， 由输入低分辨率 图像结合映射模型， 预测出高分辨率图像所需要的信息(或者像素值)， 重建出高分辨率图 像。 在这类方法中， 由训练集学习得到映射模型是关键环节， 而其中图像块及其特征之间的 相似性， 或称为距离， 又是构建模型的核心。 现有基于学习的方法大都使用欧式距离、 角度 距离等数学工具来衡量相似性。 但是， 这些数学工具过于简单和直接， 不能充分地表征图像 块之间的逻辑关系， 。

19、反而有可能引入与图像块不相关的额外信息， 导致映射模型的学习能 力不足， 重建权值分配不合理， 致使最终的重建图像纹理结构模糊， 重建效果不佳。 因此在 基于学习的图像超分辨率重建方法中， 关键是找到合适的数学工具来表征特征之间的相似 性， 从而准确地估计出训练集中各个图像块在重建时的权重， 寻求一个最优加权值。 0007 现有的几种典型的基于学习的方法， 其不足表现在： Yang等人在文献J.Yang, 说明书 1/17 页 7 CN 110097499 A 7 J.Wright,T.Huang,and Y.Ma, “Image super-resolution via sparse rep。

20、resentation,” IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873中利用稀疏表示理论通过联合 优化框架学习出对偶字典， 再利用该字典对输入的低分辨图像进行超分辨重建。 该方法在 重建时采用欧氏距离查找低分辨字典中的最优特征组合， 以期得到基于稀疏表示的最优 解。 然而， 实际重建效果图像质量不高， 存在边缘模糊。 0008 He等人在文献L.He,H.Qi,and R.Zaretzki, “Beta process joint dictionary learning for coupled feature spaces with 。

21、application to single image super- resolution” ,in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2013,pp.345-352中 使用Beta过程来学习对偶空间字典， 进而重建出高分辨图像块。 但是该方法也将图像特征 之间的距离设定为欧式距离， 也存在重建图像边缘失真， 纹理细节模糊等问题。 0009 He等人在文献H.He and W.C.Siu, “Single image super-resolution using Gaussian process regression” ,in Proc.I。

22、EEE Conf.Comput.Vis.Pattern Recognit., 2011,pp.449-456里将高斯过程回归引入到图像超分辨率重建领域， 并利用自然图像的自 相似性在图像局部区域内建立高斯过程回归模型。 然而该方法使用简单的径向基核作为核 函数， 也就是欧氏距离的平方指数形式， 存在图像块之间的结构相似性描述不够充分的问 题， 因此图像重建效果一般， 细节呈现不足。 0010 Wang等人在文献H.Wang,X.Gao,K.Zhang,and J.Li “Single-Image Super- Resolution Using Active-Sampling Gaussian 。

23、Process Regression” ,IEEE transactions on image processing,vol.25,no.2,February 2016,pp.935-947中利用主 动采样将外部训练集缩减， 并对训练集中图像的高低分辨特征进行高斯过程回归建模， 进 而重建出高分辨率图像。 但是该方法中涉及到的核函数为线性核函数， 其本质是计算向量 之间的点积， 数学原理也过于单一， 在表征较为复杂的图像块相似性时显得能力不足， 进而 使得模型适应性下降， 图像重建效果不理想， 纹理结构模糊。 0011 另外， 近年来深度学习方法也被引入到图像超分辨率领域。 此类方法得益于海量。

24、 的训练数据量， 获得了较好的图像重建效果。 但是巨大的数据量同时也带来了在储存、 管 理、 处理、 传输等方面的问题， 如硬件设备成本过高、 方法训练时间过长等缺陷； 而且， 在数 学原理上， 这类方法还存在模型不透明、 参数调整困难等瓶颈。 因此， 深度学习类图像超分 辨率重建方法在实际应用时受到诸多限制， 尚没有得到广泛应用。 0012 综上可以看出， 现有方法采用的模型， 或者退化过程的数学描述， 过于简单， 不能 精确反映图像的纹理结构， 使得重建效果不理想。 更好的方法是引用高斯过程回归模型对 图像进行描述， 这样更能体现图像块中隐藏的非线性关系， 尽可能多地发掘出图像块中的 信息。

25、而减少虚假信息。 另一方面， 现有方法普遍使用的欧氏距离、 角度距离等距离函数， 它 们数学原理单一， 表征性差， 不能准确地体现图像块之间的逻辑关系及纹理结构相似性， 导 致模型学习能力不足， 重建时权值分配不合理， 重建图像效果质量不佳。 因此更好的方法是 在高斯过程回归模型中引入一种新的核函数(距离函数)来表征图像块之间的距离、 度量图 像块之间的相似性， 进而整体提升模型的学习能力， 最终得到更高的重建图像质量。 0013 简而言之， 针对现存的技术问题， 本发明将： 0014 (1)采用高斯过程回归模型对图像进行描述， 解决现有方法中退化过程数学描述 过于简单、 高低分辨率特征对应的。

26、映射模型不能精确反映图像纹理结构、 以致重建效果不 说明书 2/17 页 8 CN 110097499 A 8 理想等问题。 0015 (2)引入谱混合核函数作为高斯过程的核函数， 解决现有方法中使用简单的距离 函数而造成的表征性差、 不能准确地体现图像块之间的逻辑关系及纹理结构相似性、 模型 学习能力不足、 重建时权值分配不合理、 重建图像效果质量不佳等问题。 0016 本发明在解决现存技术问题的时， 存在的技术难度包括： 0017 (1)在学习过程中训练数据子集个数K的选取是一个难点， 它直接影响训练集的学 习效果。 在本发明 说明书 的仿真实验部分， 用曲线展示了K值的变化规律(如图5所。

27、示)， 并 对K值的选取作了详细的描述。 0018 (2)高斯过程回归模型的最优超参数 的求解是一个难点。 超参数 是一个向量， 每 一维都需要通过迭代算法求出最优值。权利要求书 的步骤三对求解过程做了详细描述。 0019 解决上述技术问题的意义： 0020 (1)从技术功能上讲， 本发明引入谱混合核函数到高斯过程回归模型中， 使得超分 辨率重建图像结构清晰、 纹理细致， 更接近真实图像， 评价指标更高， 整体上提升了算法性 能。 0021 (2)从实际应用方面， 本发明可直接应用但又不限于如下几方面： 1)医学影像处 理： 提供高质量医学影像， 帮助医生提高诊断效率； 2)监控视频： 提高监。

28、控视频、 图像的清晰 度， 有利于相关人员观看及提取信息； 3)电视图像： 提高电视画面的分辨率和视觉效果， 提 升了用户体验； 4)遥感图像： 提高卫星遥感图像中目标或感兴趣区域的分辨率， 便于目标检 测、 提取、 分类等后续工作的展开。 可见， 本发明在医疗、 公安、 消费以及科研等领域都能直 接应用， 而且还可以推广到更多领域， 因此本发明具有非常大的应用前景。 发明内容 0022 针对现有技术存在的问题， 本发明提供了一种基于谱混合核高斯过程回归的单帧 图像超分辨率重建方法。 本发明引用高斯过程回归模型对图像进行描述， 这样更能体现图 像块中隐藏的非线性关系， 尽可能多地发掘出图像块中。

29、的信息而减少虚假信息。 本发明引 入一种新的核函数来体现图像块的结构， 描述图像块之间的相似性， 提升回归模型的学习 能力， 准确地估计出图像块的重建权重， 最终达到更高的重建图像质量。 0023 本发明是这样实现的， 一种基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法， 所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法在训练阶段， 选取高 分辨率自然图像， 并利用双立方插值法对其进行下采样得到低分辨率训练图像， 再对低分 辨率训练图像进行插值放大得到对应的插值图像； 对高分辨率图像及插值图像进行分块并 提取特征， 形成训练数据集； 对训练数据集做聚类， 得到K个训练数据子集； 对。

30、这K个训练数 据子集利用谱混合核函数学习得到高斯过程回归模型的最优超参数 。 在高斯过程回归模 型框架下使用谱混合核函数作为距离函数， 可以更准确地表征图像块之间的相似性， 使重 建权值分配更合理。 0024 在测试阶段， 选取低分辨率图像作为输入图像； 对输入图像进行双立方插值放大 得到插值测试图像， 并进行分块及特征提取， 得到低分辨率测试数据集。 0025 在训练数据集的K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中 心， 形成最近邻训练数据子集， 再利用先前学习得到的最优超参数 进行回归， 得到高分辨 说明书 3/17 页 9 CN 110097499 A 9 率图像特征集； 。

31、将这些高分辨率图像特征叠加到插值测试图像上， 重建出高分辨率结果图 像。 使用基于谱混合核的高斯过程回归模型能够使超分辨率重建图像结构清晰、 纹理细致， 更接近真实图像， 评价指标更高。 0026 进一步， 所述基于谱混合核高斯过程回归的单帧图像超分辨率重建方法具体包括 以下步骤： 0027 步骤一， 选取高分辨率图像形成高分辨率训练图像集； 对高分辨率训练图像集元 素进行下采样和插值放大操作得到插值训练图像集； 提取特征形成训练数据集CH， L， 其中H和L分分别表示高、 低分辨率训练数据集； 0028步骤二， 对训练数据集C进行聚类得到训练数据子集及对应的K个聚类中 心； 0029 步骤三。

32、， 对每一个训练数据子集Ci训练出基于谱混合核的高斯过程回归模型的最 优超参数 i， i为列向量； 0030 步骤四， 读取低分辨率测试图像并构建低分辨率测试数据集X； 0031 步骤五， 在K个聚类中心中寻找与低分辨率测试数据集X内每一个特征最近的聚类 中心， 形成最近邻训练数据子集； 0032 步骤六， 利用步骤三中训练得到的 i进行高斯过程回归， 得到高分辨率特征集F； 0033 步骤七， 输出高分辨率图像Y。 0034 进一步， 步骤一具体包括： 0035 选取多幅彩色高分辨率自然图像并从RGB颜色空间转换到YCbCr颜色空间； 选取亮 度图像形成高分辨率训练图像集； 0036 选定当。

33、前超分辨率重建放大倍数为S3， 将高分辨率训练图像集利用双立方插值 下采样S倍、 再利用双立方插值放大S倍， 得到插值训练图像集； 0037 选定图像块大小为NN， N7为奇数， 对高分辨率图像训练集和插值训练图像集 中对应的图像按照从上到下、 从左到右的顺序逐像素取图像块； 然后求高、 低分辨率图像块 中心像素的差值， 得到高分辨率训练数据集对低分辨率图像块向量化， 得到低 分辨率训练数据集其中P100000， P小于取到的图像块的最大块数； 0038 步骤二具体包括： 0039 步骤1， 设定类数K35， 对低分辨率训练数据集L进行K-means聚类， 得到L1， L2， .， LK以及对。

34、应的聚类中心集V(o1， o2， .， oK)； 0040 步骤2， 在高分辨率训练数据集H中找到对应的高分辨率数据形成H1， H2， .， HK； 0041 步骤3， 合并L1， L2， .， LK与H1， H2， .， HK形成C1， C2， .， CK， 其中第i项Ci Li， Hi称为训练数据子集。 0042 进一步， 步骤三具体包括： 0043 步骤A， 定义超参数 i； 0044 训练数据子集CiLi， Hi含有Z个数据对， 其对数似然函数为 0045 0046 其中 i为待学习的超参数， (Hi)、 (Li)分别为Ci中的高、 低分辨率训练数据子集Hi、 说明书 4/17 页 1。

35、0 CN 110097499 A 10 Li的元素， |1表示1-范数， ()T表示取转置运算， Ky(l， l | i)表示协方差矩阵， 公式为 0047 0048 其中k(l， l )包含有超参数 i， 表达式为： 0049 0050其中且q， i、 q， i和 q， i分别表示第i个训练数据子集 中第q个累加参量对应的权值、 方差和频率参数， 表示噪声标准差参数， Q15为设定的累 加参量， |表示取绝对值运算， |表示取向量模值的运算， 函数COS()的表达式为 0051 0052 其中lp和lp分别表示向量l和l 的第p个分量， 其中 q， i(p)表示 q， i中的第p个分量， U。

36、表示向量l的维度； 函数 ()为 0053 0054 步骤B， 利用迭代法求超参数。 0055 进一步， 步骤B具体包括： 0056 步骤a， 构建偏导数 0057 0058式中tr()表示求矩阵的迹。中位置(s， t)的元素为 0059 0060式中表示Li中第s个向量ls的第p个分量， s,t1,2,Z；中位置(s， t)的元 素为 0061 0062 0063q， i(j)表示q， i中的第j个分量， j1,2,U；中位置(s， t)的元素为 说明书 5/17 页 11 CN 110097499 A 11 0064 0065式中 q， i(j)表示 q， i中的第j个分量。中位置(s， 。

37、t)的元素为 0066 0067步骤b， 设当前为第k步,k3,更新迭代参数值， 0068 0069 式中 0070 dk-1(gk-1)Tsk-2； 0071 p6(fk-1-fk)+3(dk-1+dk)(vk-1-vk-2)； 0072 q3(fk-fk-1)-(2dk-1+dk)(vk-1-vk-2)； 0073 式中 0074 0075 0076 0077 0078如果fkfopt， 则令fkfopt， 并继续迭代过程； 式中fopt表示之前迭代过 程中的最小似然值， opt表示之前迭代过程中的最优参数； 0079 步骤c， 设定终止条件： 如果 0080 0081 或者循环步数达到最。

38、大设定值500时， 终止迭代过程， i opt为最优超参数， 式中 0.1和0.05为设定的控制系数； 0082 步骤d， 初始化迭代变量： 0083初始化超参数其中 0084 0085 0086 0087 说明书 6/17 页 12 CN 110097499 A 12 0088 式中std()表示取标准差运算， max()表示取矩阵中最大元素， min()表示取 矩阵中最小元素； 式中Ri为低分辨率数据子集Li的尺度矩阵， 表达式为 0089 0090 式中列向量m1， ， mZ由 0091 Li-mean(Li)m1， m2， mZ； 0092 得出， mean()表示取均值运算； 009。

39、3 迭代变量的初始值包括 0094 0095 0096 d0d1-(s0)Ts0； 0097v10； 0098 0099 0100 foptf0； 0101 0102 进一步， 在步骤四具体包括： 0103 读取低分辨率彩色测试图像， 利用双立方插值将其放大S倍并从RGB颜色空间转换 到YCbCr颜色空间， 并分别得到亮度通道图像、 蓝色通道图像和红色通道图像； 0104 对亮度通道图像以从上到下， 从左到右的顺序逐像素取块并将其向量化得到低分 辨率测试数据集M表示取的最大图像块数， 测试数据xn表示X中第n个向量； 0105 步骤五具体包括： 0106 计算X中第m个向量xm到聚类中心集V(。

40、o1， o2， .， oK)的欧式距离得到距离向量 0107 0108 E(x， x )表示计算向量x与x 之间的欧氏距离； 0109 对Sm(m1， 2.， M)中的元素排序并找出最小元素， 标记出对应的聚类中心的类 数am1， K； 0110 对X中所有向量执行操作， 得到标记向量 0111 说明书 7/17 页 13 CN 110097499 A 13 0112式中 第m个元素am为对应的 低分辨率最近邻训练数据子集的 类数 ， 为xm的最近邻训练数据子集，是对应的高分辨率最近邻训练数据子 集；对应的最优超参数为xm的最近邻超参数； 0113 步骤六具体包括： 0114 利用公式 011。

41、5 0116计算xm对应的输出特征ym， 得到高分辨率特征集是类数为am的低 分辨率最近邻训练数据子集；是对应的高分辨率最近邻训练数据子集； 其中 0117 0118 0119式中l1， l2.， lM为中全部向量； 计算谱混合核函数所用到的是步骤五 得到的最近邻超参数； 0120 步骤七具体包括： 0121 由公式ymym+cen(xm)计算得到高分辨率图像像素点， 并取代亮度通道图像中对 应的像素点得到亮度重建图像， cen()表示取中心像素操作； 0122 将亮度重建图像与蓝色通道图像、 红色通道图像结合得到YCbCr颜色空间下的超 分辨率重建图像， 转化到RGB颜色空间下得到高分辨率重。

42、建图像Y。 0123 本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图 像超分辨率重建方法的的医学影像处理系统。 0124 本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图 像超分辨率重建方法的的监控视频处理系统。 0125 本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图 像超分辨率重建方法的电视图像处理系统。 0126 本发明的另一目的在于提供一种实施所述基于谱混合核高斯过程回归的单帧图 像超分辨率重建方法的遥感图像处理系统。 0127 综上所述， 本发明的优点及积极效果为： 0128 第一， 本发明针对现有超分辨率重建方法的因距。

43、离函数表征性不高而导致训练集 信息利用不充分、 重建图像质量不佳的问题， 将谱混合核函数引入到高斯回归模型中， 学习 训练集中高低分辨率特征的对应关系。 谱混合核函数可以更精准地表征图像块之间的结构 相似性， 使得重建时权值分配更加合理。 图6展示了不同采用核函数时， 求得的权值分布与 图像旋转角度的关系。 通过几条曲线对比可以看出： 与其它核函数相比， 本发明的谱混合核 所求得的权值对应不同旋转角度时分布均匀， 数值较为平坦， 分配最为合理。 表2显示了本 说明书 8/17 页 14 CN 110097499 A 14 发明算法和基于其它核函数的算法得到重建图像的PSNR对比： 本发明的PS。

44、NR值是最高的， 表明使用的谱混合核函数能够提高重建图像的性能。 图4是Head图重建图像展示。 由图4可 以看出本发明中的谱混合核函数重建输出图像块包含更多高频信息， 重建图像更加逼真； 0129 第二， 图3是Butterfly图重建效果展示。 图3说明本发明与现有的其它图像超分辨 率算法相比， 其重建图像纹理结构清晰， 高频信息丰富， 视觉效果逼真。 表1展示了本发明算 法与其它算法的重建效果评价指标对比， 本发明的PSNR值最高， 说明其客观质量评价最好。 0130 第三， 实际应用方面， 本发明可直接应用但又不限于如下几方面： 1)如图7所示在 医学影像处理方面： 提供高质量医学影像。

45、， 帮助医生提高诊断效率； 2)如图8所示在监控视 频方面： 提高监控视频、 图像的清晰度， 有利于相关人员观看及提取信息； 3)如图9所示在电 视图像方面： 提高电视画面的分辨率和视觉效果， 提升了用户体验； 4)如图10所示在遥感图 像处理方面： 提高卫星遥感图像中目标或感兴趣区域的分辨率， 便于目标检测、 提取、 分类 等后续工作的展开。 可见， 本发明在医疗、 公安、 消费以及科研等领域都能直接应用， 而且还 可以推广到更多领域， 因此本发明具有非常大的应用前景。 另外， 本发明所需硬件平台成本 低廉， 代码模块简明清晰， 在独立及移动图像处理平台上都能应用。 附图说明 0131 图1。

46、是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法总体流程图； 图中包括训练阶段和测试阶段。 0132 图2是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法流程图。 0133 图3是本发明实施例提供的基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法与其它方法的重建效果对比示意图。 0134 图4是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法与基于其它核函数的图像超分辨率方法的重建效果对比示意图。 0135 图5是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法与基于其它核函数的图像超分辨率方法的重建效。

47、果与参数K的关系曲线对比图。 0136 图6是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法与基于其它核函数的图像超分辨率方法的重建权重与旋转角度的关系曲线对比图。 0137 图7是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法的医学影像处理系统图。 0138 图8是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法的监控视频处理系统图。 0139 图9是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建方 法的电视图像处理系统图。 0140 图10是本发明实施例提供基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法的。

48、遥感图像处理系统图。 具体实施方式 0141 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合实施例， 对本发明 说明书 9/17 页 15 CN 110097499 A 15 进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于 限定本发明。 0142 针对现有技术可能出现因使用性能较差的距离函数而使超分辨率重建图像细节 模糊、 高频信息不足， 纹理结构缺失、 重建质量低以及应用范围受限等问题， 本发明基于谱 混合核高斯过程回归的单帧图像超分辨率重建算法， 以减少细节模糊， 增加图像高频信息， 提高重建图像的质量。 同时， 算法软件及硬件成本低廉。

49、， 在中低水平的硬件平台上也可运 行； 独立及移动图像处理平台同样适用。 本发明谱混合核可以比较精确地反映出具有复杂 纹理结构的图像块之间的相似性， 训练集中的信息能够得到合理利用， 从而恢复更多的高 频细节信息， 提高图像的重建效果。 0143 为解决上述问题， 下面结合具体方案对本发明作详细描述。 0144 如图1所示， 本发明实施例基于谱混合核高斯过程回归的单帧图像超分辨率重建 方法在训练阶段， 选取高分辨率自然图像， 并利用双立方插值法对其进行下采样得到低分 辨率训练图像， 再对低分辨率训练图像进行插值放大得到对应的插值图像； 对高分辨率图 像及插值图像进行分块并提取特征， 形成训练数。

50、据集； 对训练数据集做聚类， 得到K个训练 数据子集； 对这K个训练数据子集利用谱混合核函数学习得到高斯过程回归模型的最优超 参数 ； 在测试阶段， 选取一幅低分辨率图像作为输入图像； 对输入图像进行双立方插值放 大得到插值测试图像， 并对其分块及特征提取， 得到低分辨率测试数据集； 在训练数据集的 K个聚类中心中寻找与测试数据集内每一个特征最近的聚类中心， 形成最近邻训练数据子 集， 然后利用先前学习得到的最优超参数 进行回归， 得到高分辨率图像特征集； 然后将这 些高分辨率图像特征叠加到插值测试图像上， 重建出高分辨率重建图像。 0145 如图2所示， 本发明实施例基于谱混合核高斯过程回归。