基于混合高阶注意网络的图像超分辨率方法.pdf

《基于混合高阶注意网络的图像超分辨率方法.pdf》由会员分享，可在线阅读，更多相关《基于混合高阶注意网络的图像超分辨率方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010412993.9 (22)申请日 2020.05.15 (71)申请人 宜宾电子科技大学研究院 地址 644000 四川省宜宾市临港经济开发 区港园路西段9号208号 (72)发明人 邵杰张东阳李鑫垚 (74)专利代理机构 成都正华专利代理事务所 (普通合伙) 51229 代理人 陈选中 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于混合高阶注意网络的。

2、图像超分辨 率方法 (57)摘要 本发明公开了一种基于混合高阶注意网络 的图像超分辨率方法， 其包括以下步骤： S1、 形成 深层网络； S2、 形成浅层网络； S3、 将浅层网络与 深层网络相连接； S4、 将浅层网络中第一个级联 群的输入作为混合高阶注意网络的输入， 将深层 网络中最后一个高阶注意模组的输出作为混合 高阶注意网络的输出， 完成混合高阶注意网络的 构建； S5、 采用混合高阶注意网络对目标图像进 行处理， 完成基于混合高阶注意网络的图像超分 辨率处理。 本方法基于混合高阶注意网络， 不仅 可以恢复低分辨率图像更强大的特征和高频细 节， 而且具有更短的运行时间和更少的GPU开销。

3、。 权利要求书2页 说明书6页 附图2页 CN 111598781 A 2020.08.28 CN 111598781 A 1.一种基于混合高阶注意网络的图像超分辨率方法， 其特征在于， 包括以下步骤： S1、 将1个级联模块、 1个卷积层和一个高阶注意模块串联构成一个高阶注意模组， 将R 个高阶注意模组串联形成深层网络； 其中R3； S2、 采用3个卷积层串联构成1个级联块， 采用3个级联块和一个卷积层串联构成1个级 联群， 将2R+1个级联群串联形成浅层网络； S3、 将浅层网络中第i个级联群的输出和第2R+1-i个级联群的输出与深层网络中的第R +1-i个高阶注意模组中的级联模块相连接，。

4、 同时将浅层网络中最后一个级联群的输出和深 层网络中的第一个高阶注意模组中的级联模块相连接； 其中1iR； S4、 将浅层网络中第一个级联群的输入作为混合高阶注意网络的输入， 将深层网络中 最后一个高阶注意模组的输出作为混合高阶注意网络的输出， 完成混合高阶注意网络的构 建； S5、 采用混合高阶注意网络对目标图像进行处理， 完成基于混合高阶注意网络的图像 超分辨率处理。 2.根据权利要求1所述的基于混合高阶注意网络的图像超分辨率方法， 其特征在于， 第 i个高阶注意模组中的高阶注意模块包括个11卷积层、 i个像素级相乘单元和1个非 线性操作模块； k1,2,.,i； 其中， 第1个高阶注意模。

5、组的输入x1通过其11卷积层后得到1个1阶描述符， 第1个高阶 注意模组中的非线性操作模块对该1阶描述符进行非线性操作， 得到第1个高阶注意模组的 非线性操作结果； 第1个高阶注意模组中的像素级相乘单元将其非线性操作结构和输入x1 进行像素级相乘， 得到第1个高阶注意模组的输出； 第i个高阶注意模组中的输入xi通过其个11卷积层后分别得到k个k阶描述符； 分 别通过1个像素级相乘单元对除第一阶外任一阶的所有描述符进行像素级相乘， 得到除第 一阶外任一阶的相乘结果； 第i个高阶注意模组中的非线性操作模块将第一阶的描述符和 除第一阶外所有阶的相乘结果在求和后进行非线性操作， 得到第i个高阶注意模组。

6、的非线 性操作结果； 通过1个像素级相乘单元将第i个高阶注意模组的非线性操作结果与输入xi进 行像素级相乘， 得到第i个高阶注意模组的输出。 3.根据权利要求1所述的基于混合高阶注意网络的图像超分辨率方法， 其特征在于， 所 述深层网络中的卷积层均为11卷积层。 4.根据权利要求1所述的基于混合高阶注意网络的图像超分辨率方法， 其特征在于， 所 述级联块的具体构成方式为： 包括2个33的卷积层、 1个级联模块和1个11的卷积层串联构成， 其中第一个33的 卷积层的输入和其级联模块的一个输入共同为级联块的输入， 其11的卷积层的输出为整 个级联块的输出。 5.根据权利要求1或4所述的基于混合高阶。

7、注意网络的图像超分辨率方法， 其特征在 于， 所述级联组的具体构成方式为： 包括3个级联块、 1个级联模块和1个11的卷积层串联构成， 其中第一个级联块的输入 权利要求书 1/2 页 2 CN 111598781 A 2 和其级联模块的一个输入共同为级联组的输入， 其11的卷积层的输出为整个级联组的输 出。 6.根据权利要求2所述的基于混合高阶注意网络的图像超分辨率方法， 其特征在于， 所 述非线性操作的具体方法为： 根据公式： 进行非线性操作， 并得到非线性操作的结果AR； 其中Zr表示非线性操作对象； Fr()表 示1个11的卷积层和ReLU函数的非线性激活； sigmoid()表示sig。

8、moid函数。 权利要求书 2/2 页 3 CN 111598781 A 3 一种基于混合高阶注意网络的图像超分辨率方法 技术领域 0001 本发明涉及图像处理领域， 具体涉及一种基于混合高阶注意网络的图像超分辨率 方法。 背景技术 0002 随着社会的进步与发展， 图像的获取与分析在我们生活中越来越普遍， 图像的分 辨率越高越有助于我们准确获取信息。 遥感图像是天上卫星采集的图像， 对它进行分析可 以帮助我们进行环境监测， 土地资源利用分析， 因此， 具有很大的实用价值。 然而， 遥感图像 由于成像设备的限制、 传输噪声及运动模糊等因素， 分辨率普遍较低。 目前通常采用升级硬 件的方法来提升。

9、采集图像的分辨率， 可是， 这样做需要购买高昂的设备。 0003 现有的应用于遥感图像超分辨率的方法主要有两大类， 第一类是基于重建的方 法。 该类方法利用低分辨率图像多帧中的亚像素信息重建相对应的高分辨率图像。 由于超 分辨是一个非适定问题， 其中一些方法会引入某种先验知识， 如局部、 非局部、 稀疏先验等， 虽然基于重建的方法直观， 但它们仅限于手工制作的功能设计， 其中涉及复杂的参数调整 技术， 很难应付复杂多变的场景。 0004 第二类是基于实例学习的方法， 它试图建立低分辨率与高分辨率图像对之间的映 射关系。 基于卷积神经网络的遥感超分辨率方法都主张设计一个非常深的模型来提高性 能，。

10、 但深模型往往计算和存储成本高， 影响在实际中的应用。 虽然深卷积神经网络(CNNs)具 有强大的特征表示能力和端到端训练能力， 通常情况下可以取得非常好的超分辨率效果。 然而对于遥感图像， 这些基于CNN的SR模型仍然存在一些问题： (1)大多数基于CNN的方法都 主张设计一个非常深入的模型来提高遥感SR的性能， 但这种复杂的模型往往会带来计算和 存储成本高的问题， 阻碍了它们在实际应用中的应用； (2)在大多数CNN模型中， 常用的注意 机制要么是粗糙的， 要么是一阶的(即空间和通道注意)， 仅限于挖掘简单和粗糙的信息， 从 而导致SR图像恢复高频细节的能力不足； (3)通常情况下， 分层。

11、特征图的频带信息没有得到 充分利用。 发明内容 0005 针对现有技术中的上述不足， 本发明提供的一种基于混合高阶注意网络的图像超 分辨率方法可以对图像进行超分辨率处理。 0006 为了达到上述发明目的， 本发明采用的技术方案为： 0007 提供一种基于混合高阶注意网络的图像超分辨率方法， 其包括以下步骤： 0008 S1、 将1个级联模块、 1个卷积层和一个高阶注意模块串联构成一个高阶注意模组， 将R个高阶注意模组串联形成深层网络； 其中R3； 0009 S2、 采用3个卷积层串联构成1个级联块， 采用3个级联块和一个卷积层串联构成1 个级联群， 将2R+1个级联群串联形成浅层网络； 001。

12、0 S3、 将浅层网络中第i个级联群的输出和第2R+1-i个级联群的输出与深层网络中 说明书 1/6 页 4 CN 111598781 A 4 的第R+1-i个高阶注意模组中的级联模块相连接， 同时将浅层网络中最后一个级联群的输 出和深层网络中的第一个高阶注意模组中的级联模块相连接； 其中1iR； 0011 S4、 将浅层网络中第一个级联群的输入作为混合高阶注意网络的输入， 将深层网 络中最后一个高阶注意模组的输出作为混合高阶注意网络的输出， 完成混合高阶注意网络 的构建； 0012 S5、 采用混合高阶注意网络对目标图像进行处理， 完成基于混合高阶注意网络的 图像超分辨率处理。 0013进一。

13、步地， 第i个高阶注意模组中的高阶注意模块包括个11卷积层、 i个像 素级相乘单元和1个非线性操作模块； k1,2,.,i； 0014 其中， 第1个高阶注意模组的输入x1通过其11卷积层后得到1个1阶描述符， 第1 个高阶注意模组中的非线性操作模块对该1阶描述符进行非线性操作， 得到第1个高阶注意 模组的非线性操作结果； 第1个高阶注意模组中的像素级相乘单元将其非线性操作结构和 输入x1进行像素级相乘， 得到第1个高阶注意模组的输出； 0015第i个高阶注意模组中的输入xi通过其个11卷积层后分别得到k个k阶描述 符； 分别通过1个像素级相乘单元对除第一阶外任一阶的所有描述符进行像素级相乘，。

14、 得到 除第一阶外任一阶的相乘结果； 第i个高阶注意模组中的非线性操作模块将第一阶的描述 符和除第一阶外所有阶的相乘结果在求和后进行非线性操作， 得到第i个高阶注意模组的 非线性操作结果； 通过1个像素级相乘单元将第i个高阶注意模组的非线性操作结果与输入 xi进行像素级相乘， 得到第i个高阶注意模组的输出。 0016 进一步地， 深层网络中的卷积层均为11卷积层。 0017 进一步地， 级联块的具体构成方式为： 0018 包括2个33的卷积层、 1个级联模块和1个11的卷积层串联构成， 其中第一个3 3的卷积层的输入和其级联模块的一个输入共同为级联块的输入， 其11的卷积层的输 出为整个级联块。

15、的输出。 0019 进一步地， 级联组的具体构成方式为： 0020 包括3个级联块、 1个级联模块和1个11的卷积层串联构成， 其中第一个级联块的 输入和其级联模块的一个输入共同为级联组的输入， 其11的卷积层的输出为整个级联组 的输出。 0021 进一步地， 非线性操作的具体方法为： 0022 根据公式： 0023 0024 进行非线性操作， 并得到非线性操作的结果AR； 其中Zr表示非线性操作对象； Fr ()表示1个11的卷积层和ReLU函数的非线性激活； sigmoid()表示sigmoid函数。 0025 本发明的有益效果为： 本方法基于混合高阶注意网络， 不仅可以恢复低分辨率图 像。

16、更强大的特征和高频细节， 而且具有更短的运行时间和更少的GPU开销。 说明书 2/6 页 5 CN 111598781 A 5 附图说明 0026 图1为本发明的流程示意图； 0027 图2为具有3个高阶注意模组时混合高阶注意网络的结构示意图； 0028 图3为第1个高阶注意模组中高阶注意模块的数据处理示意图； 0029 图4为第3个高阶注意模组中高阶注意模块的数据处理示意图。 具体实施方式 0030 下面对本发明的具体实施方式进行描述， 以便于本技术领域的技术人员理解本发 明， 但应该清楚， 本发明不限于具体实施方式的范围， 对本技术领域的普通技术人员来讲， 只要各种变化在所附的权利要求限定。

17、和确定的本发明的精神和范围内， 这些变化是显而易 见的， 一切利用本发明构思的发明创造均在保护之列。 0031 如图1所示， 该基于混合高阶注意网络的图像超分辨率方法包括以下步骤： 0032 S1、 将1个级联模块、 1个卷积层和一个高阶注意模块串联构成一个高阶注意模组， 将R个高阶注意模组串联形成深层网络； 其中R3； 深层网络中的卷积层均为11卷积层； 0033 S2、 采用3个卷积层串联构成1个级联块， 采用3个级联块和一个卷积层串联构成1 个级联群， 将2R+1个级联群串联形成浅层网络； 0034 S3、 将浅层网络中第i个级联群的输出和第2R+1-i个级联群的输出与深层网络中 的第R。

18、+1-i个高阶注意模组中的级联模块相连接， 同时将浅层网络中最后一个级联群的输 出和深层网络中的第一个高阶注意模组中的级联模块相连接； 其中1iR； 0035 S4、 将浅层网络中第一个级联群的输入作为混合高阶注意网络的输入， 将深层网 络中最后一个高阶注意模组的输出作为混合高阶注意网络的输出， 完成混合高阶注意网络 的构建； 0036 S5、 采用混合高阶注意网络对目标图像进行处理， 完成基于混合高阶注意网络的 图像超分辨率处理。 0037第i个高阶注意模组中的高阶注意模块包括个11卷积层、 i个像素级相乘单 元和1个非线性操作模块； k1,2,.,i， 即第3个高阶注意模组中的高阶注意模块。

19、包括6个 11卷积层、 3个像素级相乘单元和1个非线性操作模块。 其中， 如图3所示， 第1个高阶注意 模组的输入x1(图中为X)通过其11卷积层后得到1个1阶描述符(图3中为Z1)， 第1个高阶注 意模组中的非线性操作模块对该1阶描述符进行非线性操作， 得到第1个高阶注意模组的非 线性操作结果； 第1个高阶注意模组中的像素级相乘单元将其非线性操作结构和输入x1进 行像素级相乘， 得到第1个高阶注意模组的输出(图3中为Y)。 图3中的 表示像素级相乘。 0038 如图4所示， 第3个高阶注意模组中的输入xi(图4中为X)通过其6个11卷积层后 分别得到1个1阶描述符、 2个2阶描述符和3个3阶。

20、描述符； 再分别通过1个像素级相乘单元对 2阶所有描述符和3阶所有描述符(除第一阶外任一阶的所有描述符)进行像素级相乘， 得到 2阶所有描述符和3阶所有描述符(除第一阶外任一阶)的相乘结果(图4中分别为Z2和Z3)； 第 3个高阶注意模组中的非线性操作模块将第一阶的描述符(图4中为Z1)和除第一阶外所有 阶的相乘结果(图4中分别为Z2和Z3)在求和后进行非线性操作， 得到第3个高阶注意模组的 非线性操作结果； 最后通过1个像素级相乘单元将第3个高阶注意模组的非线性操作结果与 说明书 3/6 页 6 CN 111598781 A 6 输入xi(图4中为X)进行像素级相乘， 得到第i个高阶注意模组。

21、的输出(图4中为Y)。 图4中的 表示像素级相乘。 0039 在具体实施过程中， 级联块的具体构成方式为： 包括2个33的卷积层、 1个级联模 块和1个11的卷积层串联构成， 其中第一个33的卷积层的输入和其级联模块的一个输 入共同为级联块的输入， 其11的卷积层的输出为整个级联块的输出。 0040 级联组的具体构成方式为： 包括3个级联块、 1个级联模块和1个11的卷积层串联 构成， 其中第一个级联块的输入和其级联模块的一个输入共同为级联组的输入， 其11的 卷积层的输出为整个级联组的输出。 0041 非线性操作的具体方法为： 根据公式： 0042 0043 进行非线性操作， 并得到非线性操。

22、作的结果AR； 其中Zr表示非线性操作对象； Fr ()表示1个11的卷积层和ReLU函数的非线性激活； sigmoid()表示sigmoid函数。 0044 在本发明的一个实施例中， 如图2所示， 若深层网络中只有3个高阶注意模组时， 浅 层网络包含7个级联群， 浅层网络中第一个级联群的输出和第六个级联群的输出与深层网 络中的第三个级联模块相连接， 浅层网络中第二个级联群的输出和第五个级联群的输出与 深层网络中的第二个级联模块相连接， 浅层网络中第三个级联群的输出、 第四个级联群的 输出和最后一个级联群的输出与深层网络中的第一个级联模块相连接。 0045 在实施例中， 对于浅层网络本方法采用。

23、Conv-ReLU-Conv结构， 使用加权信道级联 (WCC)和卷积核11的卷积层来构成级联块(CB)。 图2中的 1和 2分别是级联块输入和非线 性映射输出的加权因子， 若两者相等则级联块就表示为正常的残差块。 与现有网络不同的 是， 本方法通过WCC将第一个CB的输入和最后一个CB的输出融合到一个卷积核为11的卷 积层中， 而不是基于像素级求和的残差连接， 可以将可用资源重新分配给两部分中信息量 最大的部分， 从而鼓励浅层网络集中学习高频信息。 0046 深层网络中的非线性操作模块可以在0,1区间中分配AR每个元素的值来生成R 阶注意图， 然后通过像素级相乘使AR来调整输入的大小， 进而。

24、得到合适的输出大小， 该过程 可以将统计描述符转移到高阶注意图中， 提高表达能力。 0047 本方法所提出的高阶注意模块(HOA模块)简单且易于实现， 仅涉及常用的操作， 例 如11的卷积层和激活函数。 此外， 对于传统信道注意模块， 本方法可以使用全局平均池来 降低输入的空间维数， 然后使用两个级联的全连接层来产生信道统计， 实际上， 全连接层可 以看作是11卷积层。 因此， 丢弃全局平均池， 信道注意模块可以被认为是本方法的一阶 HOA模块的一个特例。 与只利用一阶信息的信道注意模块不同， 本方法提出的HOA模块更加 灵活。 本方法的模型只需分配更大的值(R值)， 就可以产生更丰富的高阶统。

25、计量， 从而产生 强大的表示能力。 0048 不同频带的特征映射对应于不同阶次的HOA模块。 对于浅层网络， 参数主要集中在 包含简单纹理的低频信息上。 对于深层网络， 参数更注重高频成分， 如充满边缘、 纹理等细 节的区域。 因此， 浅层低频信息应与更复杂、 恢复细节能力更强的高阶HOA模块相连接。 此 外， 高频分量也是遥感超分辨率的重要组成部分， 通过高阶HOA模块进一步增强从深层获得 的高频信息。 因此， 本方法提出了频率感知连接， 以弥合模型结构和频带之间的间隙， 即将 说明书 4/6 页 7 CN 111598781 A 7 浅层网络的头部和尾部的特征对馈送到深层网络中的高阶HOA。

26、模块中。 0049 在具体使用过程中， 采用本方法与现有技术在两个卫星图像数据集WHU-RS19和 RSSCN8上进行实验的结果如表1和表2所示。 0050 表1： 实验数据对比 0051 0052 表2： 运行成本和峰值信噪比对比 0053 所用方法运行时间(ms)GPU消耗(兆)模型参数峰值信噪比 SRCNN1.8477357K30.14 VDSR8.29987667K30.26 RDN58.65124416.52M30.53 D-DBPN155.36726510.28M30.66 RCAN215.35105915.59M30.57 SRFBN124.9926463.631M30.64 S。

27、AN223.86246511.98M30.68 本方法(R3)53.469378.931M30.51 说明书 5/6 页 8 CN 111598781 A 8 本方法(R4)70.65101711.35M30.64 本方法(R5)91.96116313.77M30.70 0054 从表1中可以看出本方法相比现有的方法在峰值信噪比(PSNR)和结构相似性 (SSIM)方面效果更好(数值越大效果越好)， 从表2中可以看出本方法在运行时间和GPU占用 上相比大多数现有方法更优， 在峰值信噪比上更是最好(R5时， 峰值信噪比数值越大越 好)。 表1中的Bicubic为双立方插值方法， SRCNN方法来。

28、自于C.Dong,C.C.Loy,K.He,and X.Tang, “Image super-resolution using deep convolutional networks,” IEEE Trans.Pattern Anal.Mach.Intell.,vol.38,no.2,pp.295307,2016。 RDN方法来自于 Y.Zhang,Y.Tian,Y.Kong,B.Zhong,and Y.Fu, “Residual dense network for image super-resolution,” in 2018IEEE Conference on Computer Visi。

29、on and Pattern Recognition,CVPR 2018,Salt Lake City,UT,USA,June 18-22,2018,2018,pp.2472 2481。 D-DBPN方法来自于K.Chang ,P.L.K.Ding ,and B.Li, “Single image super- resolution using collaborative representation and non-local self-similarity,” Signal Processing,vol.149,pp.4961,2018。 RCAN方法来自于Y.Zhang,K.Li,K.L。

30、i, L.Wang,B.Zhong,and Y.Fu, “Image super-resolution using very deep residual channel attention networks,” in Computer Vision-ECCV 2018-15th European Conference,Munich,Germany,September 8-14,2018,Proceedings,Part VII,2018, pp.294310。 SRFBN方法来自于Z.Li,J.Yang,Z.Liu,X.Yang,G.Jeon,and W.Wu, “Feedback netwo。

31、rk for image super-resolution,” in IEEE Conference on Computer Vision and Pattern Recognition,CVPR 2019,Long Beach,CA,USA,June 16-20,2019,2019,pp.3867 3876。 SAN方法来自于T.Dai,J.Cai,Y.Zhang ,S.Xia ,and L.Zhang , “Second-order attention network for single image super-resolution,” in IEEE Conference on Computer Vision and Pattern Recognition,CVPR 2019,Long Beach,CA,USA,June 16- 20,2019,2019,pp.11 06511 074。 0055 综上所述， 本方法基于混合高阶注意网络， 不仅可以恢复低分辨率图像更强大的 特征和高频细节， 而且具有更短的运行时间和更少的GPU开销。 说明书 6/6 页 9 CN 111598781 A 9 图1 图2 说明书附图 1/2 页 10 CN 111598781 A 10 图3 图4 说明书附图 2/2 页 11 CN 111598781 A 11 。