基于生成对抗网络的遥感图像融合方法、系统和终端.pdf

《基于生成对抗网络的遥感图像融合方法、系统和终端.pdf》由会员分享，可在线阅读，更多相关《基于生成对抗网络的遥感图像融合方法、系统和终端.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910509396.5 (22)申请日 2019.06.12 (66)本国优先权数据 201910480272.9 2019.06.03 CN (71)申请人 重庆邮电大学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 雷大江张策张莉萍彭艳辉 陈浩贾朝龙吴渝 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 郝传鑫贾允 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) (54)发明名称 。

2、一种基于生成对抗网络的遥感图像融合方 法、 系统和终端 (57)摘要 本发明公开了一种基于生成对抗网络的遥 感图像融合方法， 包括： 采用差分算子提取原始 全色图像的空间结构信息， 采样原始的多光谱图 像； 将空间结构信息与采样的多光谱图像在特征 域拼接， 得样本图像； 将样本图像输入生成对抗 网络的生成器， 生成融合图像； 将融合图像和真 实图像输入生成对抗网络的判别器进行判别区 分， 在生成器与判别器间建立对抗规则及融合目 标函数， 优化融合图像。 采用本发明所公开的基 于生成对抗网络的遥感图像融合方法， 采用差分 算子保留了原始全色图像的空间结构信息， 采样 方法保留了原始低分辨率多光谱。

3、图像的光谱信 息， 有效减少了融合过程中细节信息的丢失； 此 外， 通过在生成器和判别器间建立对抗规则及融 合目标函数， 大大优化了融合的效果。 权利要求书2页 说明书6页 附图3页 CN 110211046 A 2019.09.06 CN 110211046 A 1.一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 所述遥感图像融合方法 包括： 获取原始全色图像及对应的原始多光谱图像； 采用差分算子提取所述原始全色图像的空间结构信息， 并采样所述原始的多光谱图 像； 将所述空间结构信息与采样的所述多光谱图像在特征域拼接， 得到样本图像； 将所述样本图像输入生成对抗网络的生成器， 生成融。

4、合图像； 将所述融合图像和真实图像输入生成对抗网络的判别器进行判别区别， 在生成器与判 别器间建立对抗规则， 优化融合图像。 2.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 所 述优化融合图像的步骤包括： 所述判别器判别所述融合图像是否为真实图像； 若否， 则通过融合目标函数最小化所述融合图像与所述真实图像间的差距， 并将判别 结果反馈至所述生成器； 根据所述判别结果， 调整所述生成器的融合规则， 优化所述融合图像； 若是， 则所述融合图像为最优融合图像。 3.根据权利要求2所述的一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 所 述融合目标函数为： 其。

5、中， P表示全色图像， Y表示低分辨率多光谱图像， b1,2,B表示低分辨率多光谱图像的 通道数， Y 为上采样后的低分辨率多光谱图像， X(X1,X2,XB)表示真实图像的大小， 分别表示全色图像在水平方向和垂直方向的梯度信息。 4.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 提 取所述原始全色图像的空间结构信息的步骤为： 采用差分算子提取所述原始全色图像的空间结构信息； 所述空间结构信息包括水平方向的梯度信息和垂直方向的梯度信息。 5.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 采 权利要求书 1/2 页 2 CN 11021。

6、1046 A 2 样所述多光谱图像的步骤为： 上采样所述原始的多光谱图像， 使得采样的多光谱图像的大小与所述原始全色图像的 大小一致。 6.根据权利要求1所述的一种基于生成对抗网络的遥感图像融合方法， 其特征在于， 将 所述空间结构信息与采样的所述多光谱图像拼接输入生成器之前， 所述遥感图像融合方法 还包括： 构成生成器和判别器； 所述生成器采用多流融合架构。 7.一种基于生成对抗网络的遥感图像融合系统， 其特征在于， 所述遥感图像融合系统 包括： 原始图像获取模块： 用于获取原始全色图像及对应的原始多光谱图像； 空间结构信息提取模块： 用于提取所述原始全色图像的空间结构信息； 采样模块： 用。

7、于采样所述原始多光谱图像； 融合模块： 用于生成融合图像； 优化模块： 用于优化融合图像。 8.根据权利要求7所述的一种基于生成对抗网络的遥感图像融合系统， 其特征在于， 所 述融合模块包括： 拼接模块： 用于拼接成样本图像。 9.根据权利要求7所述的一种基于生成对抗网络的遥感图像融合系统， 其特征在于， 所 述遥感图像融合系统还包括： 构造模块： 用于构造生成器和判别器。 10.一种基于生成对抗网络的遥感图像融合终端， 其特征在于， 所述遥感图像融合终端 包括： 处理器， 用于执行一条或一条以上的可读性指令； 存储器， 存储有一条或一条以上的可读性指令， 所述一条或一条以上的可读性指令适 用。

8、于所述处理器加载并执行以实现如权利要求1-6任意一项所述的基于生成对抗网络的遥 感图像融合方法。 权利要求书 2/2 页 3 CN 110211046 A 3 一种基于生成对抗网络的遥感图像融合方法、 系统和终端 技术领域 0001 本发明涉及遥感图像处理技术领域， 尤其涉及一种基于生成对抗网络的遥感图像 融合方法、 系统和终端。 背景技术 0002 随着现代科技的不断进步， 遥感技术广泛应用于灾害预警、 军事侦测、 海洋气象预 测和土地资源分类等领域。 遥感作为一种探测目标的信息载体， 通过各种传感器获取信息， 然而， 现有技术中， 由于受遥感卫星的硬件技术的限制， 遥感卫星只能够获取高分辨。

9、率的全 色图像和低分辨率的多光谱图像， 再通过融合方法得到高分辨率、 高质量的多光谱图像。 0003 目前， 遥感图像融合方法主要包括以下几种： 一是基于分量替换的算法， 将低分辨 率的多光谱图像转化到另一个空间， 再将原有的空间信息和光谱信息分离， 最后通过替换 的方式融合， 该种融合算法虽然计算效率高， 但容易产生光谱扭曲； 二是基于多分辨率分析 的算法， 将全色图像的空间细节通过多分辨率分解注入到上采样的低分辨率多光谱图像的 每一个波段中， 该种融合方法虽然能够保留良好的光谱信息， 但由于经过多分辨分解， 全色 图像中将丢失结构细节信息， 容易造成融合图像的空间信息不足； 三是利用光谱频。

10、带之间 相关空间细节建立优化模型的算法， 该种融合方法在求解模型时， 迭代次数和模型中的超 参很难精确设定， 容易影响融合图像的精准性； 四是基于神经网络进行遥感融合的算法， 直 接求解输入图像到输出图像的映射， 本质上仍是通过最小化融合图像的和参考图像之间的 欧几里德距离来训练网络， 该种融合方法也会导致光谱信息的不足和结构信息的改变。 发明内容 0004 本发明所要解决的技术问题在于， 提供一种遥感图像融合方法， 解决融合图像光 谱信息不足和结构信息改变的问题， 保留全色图像的空间结构信息， 减少融合过程中细节 信息的丢失， 保留原始低分辨率多光谱图像的光谱信息， 优化了融合的效果。 00。

11、05 为了解决上述技术问题， 本发明提供了一种基于生成对抗网络的遥感图像融合方 法， 所述遥感图像融合方法包括： 0006 获取原始全色图像及对应的原始多光谱图像； 0007 采用差分算子提取所述原始全色图像的空间结构信息， 并采样所述原始的多光谱 图像； 0008 将所述空间结构信息与采样的所述多光谱图像在特征域拼接， 得到样本图像； 0009 将所述样本图像输入生成对抗网络的生成器， 生成融合图像； 0010 将所述融合图像和真实图像输入生成对抗网络的判别器进行判别区分， 在生成器 与判别器间建立对抗规则及融合目标函数， 优化融合图像。 0011 具体地， 所述原始全色图像为高分辨率的全色。

12、图像； 所述原始多光谱图像为低分 辨率的多光谱图像。 0012 进一步地， 所述优化融合图像的步骤包括： 说明书 1/6 页 4 CN 110211046 A 4 0013 所述判别器判别所述融合图像是否为真实图像； 0014 若否， 则通过融合目标函数最小化所述融合图像与所述真实图像间的差距， 并将 判别结果反馈至所述生成器； 0015 根据所述判别结果， 调整所述生成器的融合规则， 优化所述融合图像； 0016 若是， 则所述融合图像为最优融合图像。 0017 本 申 请 需 定 义 一 个 生 产 器 G 和 一 个 判 别 器 D ， 采 用生 成 器 G 联 合 分 布 映射到目标分。

13、布pr(X)， 通过在生成器G和判别器D间的互相对抗产生无 法与真实图像X区分的融合图像该过程可以通过下式表示： 0018 0019 其中， 0020 0021 0022 0023 其中， P表示全色图像的大小， Y表示低分辨率多光谱图像， b1,2,B表示低分辨 率多光谱图像的通道数， Y 为上采样后的低分辨率多光谱图像， X(X1,X2,XB)表示真实 图像的大小，分别表示全色图像在水平方向和垂直方向的梯度信息。 0024 进一步地， 提取所述原始全色图像的空间结构信息的步骤为： 0025 采用差分算子提取所述原始全色图像的空间结构信息； 0026 所述空间结构信息包括水平方向的梯度信息和。

14、垂直方向的梯度信息， 其中， 所述 空间结构信息中的关键信息以稀疏的形式表现。 0027 进一步地， 采样所述多光谱图像的步骤为： 0028 上采样所述原始的多光谱图像， 使得采样的多光谱图像的大小与所述原始全色图 像的大小一致。 0029 进一步地， 将所述空间结构信息与采样的所述多光谱图像拼接输入生成器之前， 所述遥感图像融合方法还包括： 0030 构成生成器和判别器； 所述生成器采用多流融合架构。 0031 相应地， 本发明提供了一种基于生成对抗网络的遥感图像融合系统， 所述遥感图 像融合系统包括： 0032 原始图像获取模块： 用于获取原始全色图像及对应的原始多光谱图像； 0033 空。

15、间结构信息提取模块： 用于提取所述原始全色图像的空间结构信息； 0034 采样模块： 用于采样所述原始多光谱图像； 说明书 2/6 页 5 CN 110211046 A 5 0035 融合模块： 用于生成融合图像； 0036 优化模块： 用于优化融合图像。 0037 进一步地， 所述融合模块包括： 0038 拼接模块： 用于拼接成样本图像。 0039 进一步地， 所述遥感图像融合系统还包括： 0040 构造模块： 用于构造生成器和判别器。 0041 相应地， 本发明提供了一种基于生成对抗网络的遥感图像融合终端， 所述遥感图 像融合终端包括： 0042 处理器， 用于执行一条或一条以上的可读性指。

16、令； 0043 存储器， 存储有一条或一条以上的可读性指令， 所述一条或一条以上的可读性指 令适用于所述处理器加载并执行以实现上述所述的基于生成对抗网络的遥感图像融合方 法。 0044 实施本发明实施例， 具有如下有益效果： 0045 采用本发明所公开的基于生成对抗网络的遥感图像融合方法， 采用差分算子保留 了原始全色图像的空间结构信息， 采样方法保留了原始低分辨率多光谱图像的光谱信息， 有效减少了融合过程中细节信息的丢失； 此外， 通过在生成器和判别器间建立对抗规则及 融合目标函数， 大大优化了融合的效果。 附图说明 0046 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点， 下面。

17、将对实施 例或现有技术描述中所需要使用的附图作简单的介绍， 显而易见地， 下面描述中的附图仅 仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其它附图。 0047 图1是本发明实施例所提供的一种基于生成对抗网络的遥感图像融合方法的流程 示意图； 0048 图2是本发明实施例中原始全色图像的示意图； 0049 图3是本发明实施例中差分算子提取的原始全色图像的垂直方向的梯度信息的结 构示意图； 0050 图4是本发明实施例中差分算子提取的原始全色图像的水平方向的梯度信息的结 构示意图； 0051 图5是本发明实施例中所提供的对抗网络的结构。

18、框图； 0052 图6是本发明实施例所提供的一种基于生成对抗网络的遥感图像融合系统的结构 示意图。 具体实施方式 0053 为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明作进一 步地详细描述。 显然， 所描述的实施例仅仅是本发明一个实施例， 而不是全部的实施例。 基 于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有 其他实施例， 都属于本发明保护的范围。 说明书 3/6 页 6 CN 110211046 A 6 0054 实施例 0055 需要说明的是， 此处所称的 “一个实施例” 或 “实施例” 是指可包含于本发明至少一 个实现方式中的特。

19、定特征、 结构或特性。 0056 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其 他实施例， 都属于本发明保护的范围。 0057 此外， 本发明的术语 “包括” 和 “具有” 以及他们的任何变形， 意图在于覆盖不排他 的包含， 例如， 包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备不必限于清楚地列 出的那些步骤或单元， 而是可包括没有清楚地列出的或对于这些过程、 方法、 产品或设备固 。

20、有的其它步骤或单元。 0058 请参考图1， 其所示为本发明实施例提供的一种基于生成对抗网络的遥感图像融 合方法的流程示意图， 本说明书提供了一种如实施例或流程图所述的方法操作步骤， 但基 于常规或无创造性的劳动可以包括更多或者更少的步骤。 实施例中列举的步骤顺序仅仅为 众多步骤执行顺序中的一种方式， 不代表唯一的执行顺序， 在实际遥感融合图像操作过程 中， 可以按照实施顺序或附图所示的方法顺序执行。 具体的如图1所示， 所述遥感图像融合 方法包括： 0059 S110获取原始全色图像及对应的原始多光谱图像； 0060 需要说明的是， 在本说明书实施例中， 所述原始全色图像为高分辨率的全色图像。

21、； 所述原始多光谱图像为低分辨率的多光谱图像。 0061 S120采用差分算子提取所述原始全色图像的空间结构信息， 并采样所述原始的多 光谱图像； 0062 在本说明书实施例中， 所述空间结构信息包括原始全色图像的水平方向梯度信息 和垂直方向梯度信息， 其中， 所述空间结构信息中的关键信息以稀疏的形式表现， 以保留原 始全色图像的空间结构信息； 0063 请参考图2-图4， 其所示为本发明实施例中差分算子提取结构信息的结果示意图， 在本发明实施例中， 所述差分算子包含垂直和水平两个方向。 0064 在本说明书实施例中， 上采样所述原始的多光谱图像， 使得采样的多光谱图像的 大小与所述原始全色图。

22、像的大小一致。 0065 S130将所述空间结构信息与采样的所述多光谱图像在特征域拼接， 得到样本图 像； 0066 在本说明书实施例中， 将所述空间结构信息与采样的所述多光谱图像在特征域拼 接之前， 所述遥感图像融合方法还包括构成生成器和判别器； 0067 在本说明书实施例中， 所述生成器采用多流融合架构。 0068 S140将所述样本图像输入生成对抗网络的生成器， 生成融合图像； 0069 S150将所述融合图像和真实图像输入生成对抗网络的判别器进行判别区分， 在生 成器与判别器间建立对抗规则， 优化融合图像。 0070 请参考图5， 其所示为本发明实施例中所提供的对抗网络的结构框图， 在。

23、本说明书 实施例中， 所述优化融合图像的步骤包括： 说明书 4/6 页 7 CN 110211046 A 7 0071 所述判别器判别所述融合图像是否为真实图像； 0072 若否， 则通过融合目标函数最小化所述融合图像与所述真实图像间的差距， 并将 判别结果反馈至所述生成器； 0073 根据所述判别结果， 调整所述生成器的融合规则， 优化所述融合图像； 0074 若是， 则所述融合图像为最优融合图像。 0075 在本说明书实施例中， 需定义一个生产器G和一个判别器D， 采用生成器G联合分布 映射到目标分布pr(X)， 通过在生成器G和判别器D间的互相对抗产生无法 与真实图像X区分的融合图像该过。

24、程可以通过下式表示： 0076 0077 其中， 0078 0079 0080 0081 其中， P表示全色图像的大小， Y表示低分辨率多光谱图像， b1,2,B表示低分辨 率多光谱图像的通道数， Y 为上采样后的低分辨率多光谱图像， X(X1,X2,XB)表示真实 图像的大小，分别表示全色图像在水平方向和垂直方向的梯度信息。 0082 采用本发明所公开的基于生成对抗网络的遥感图像融合方法， 采用差分算子保留 了原始全色图像的空间结构信息， 采样方法保留了原始低分辨率多光谱图像的光谱信息， 有效减少了融合过程中细节信息的丢失； 此外， 通过在生成器和判别器间建立对抗网络及 融合目标函数， 大大。

25、优化了融合的效果。 0083 请参考图6， 其所示为本发明实施例提供了一种基于生成对抗网络的遥感图像融 合系统的结构示意图， 本说明书提供了如实施例所述的系统结构。 实施例中列举的结构仅 仅为众多结构的一种， 不代表位移的结构， 在实际装置中， 可以按照附图所示的结构组成。 具体的图6所示， 所述遥感图像融合系统包括： 0084 原始图像获取模块210： 用于获取原始全色图像及对应的原始多光谱图像； 0085 需要说明的是， 在本说明书实施例中， 所述原始全色图像为高分辨率的全色图像； 所述原始多光谱图像为低分辨率的多光谱图像。 0086 空间结构信息提取模块220： 用于提取所述原始全色图像。

26、的空间结构信息； 0087 在本说明书实施例中， 所述空间结构信息包括原始全色图像的水平方向梯度信息 和垂直方向梯度信息， 其中， 所述空间结构信息中的关键信息以稀疏的形式表现， 以保留原 始全色图像的空间结构信息。 说明书 5/6 页 8 CN 110211046 A 8 0088 采样模块230： 用于采样所述原始多光谱图像； 0089 构造模块240： 用于构造生成器和判别器； 0090 融合模块250： 用于生成融合图像； 0091 在本发明实施例中， 所述融合模块包括： 拼接模块： 用于拼接成样本图像。 0092 优化模块260： 用于优化融合图像。 0093 本发明实施例提供了一种。

27、基于生成对抗网络的遥感图像融合终端， 所述遥感图像 融合终端包括： 0094 处理器， 用于执行一条或一条以上的可读性指令； 0095 存储器， 存储有一条或一条以上的可读性指令， 所述一条或一条以上的可读性指 令适用于所述处理器加载并执行以实现如上所述的基于生成对抗网络的遥感图像融合方 法。 0096 存储器可用于存储软件程序及单元， 处理器通过运行存储在存储器的软件程序及 单元， 从而执行各种功能应用以及数据处理。 存储器主要包括程序存储区和数据存储区， 其 中， 程序存储区可存储操作系统、 功能所需的应用程序等； 数据存储区可存储根据所述装置 的使用所创建的数据等。 此外， 存储器可以包。

28、括高速随机存取存储器， 还可以包括非易失性 存储器， 例如至少可以包括一个磁盘存储器、 闪存器件、 或其他易失性固态存储器件。 相应 地， 存储器还可以包括存储器控制器， 以提供处理器对存储器的访问。 0097 利用本发明实施例提供的技术方案， 采用差分算子保留了原始全色图像的空间结 构信息， 采样方法保留了原始低分辨率多光谱图像的光谱信息， 有效减少了融合过程中细 节信息的丢失； 此外， 通过在生成器和判别器间建立对抗规则及融合目标函数， 大大优化了 融合的效果。 0098 需要说明的是： 上述本发明实施例先后顺序仅仅为了描述， 不代表实施例的优劣， 且上述本说明书特定实施例进行了描述， 其。

29、他实施例在所附权利要求书的范围内。 在一些 情况下， 在权利要求书中记载的动作或者步骤可以按照不同于实施例中的顺序来执行并且 能够实现期望的结果。 另外， 在附图中描绘的过程不一定要求示出特定顺序或者连续顺序 才能够实现期望的结果。 在某些实施方式中， 多任务处理和并行处理也是可以的或者可能 是有利的。 0099 本说明书中的各个实施例均采用递进的方式描述， 各个实施例之间相同相似的部 分互相参见即可， 每个实施例重点说明的均为与其他实施例的不同之处。 尤其， 对于装置和 终端的实施例而言， 由于其基本相似于方法实施例， 所以描述的比较简单， 相关之处参见方 法实施例的部分说明即可。 0100。

30、 本领域普通技术人员可以理解实现上述实施例的全部或者部分步骤可以通过硬 件来完成， 也可以通过程序来指令相关的硬件完成， 所述程序可以存储于一种计算机可读 介质中。 0101 以上所述是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人员 来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰也视为 本发明的保护范围。 说明书 6/6 页 9 CN 110211046 A 9 图1 图2 说明书附图 1/3 页 10 CN 110211046 A 10 图3 图4 图5 说明书附图 2/3 页 11 CN 110211046 A 11 图6 说明书附图 3/3 页 12 CN 110211046 A 12 。