基于多任务学习的高分辨率遥感影像地物变化检测方法.pdf

《基于多任务学习的高分辨率遥感影像地物变化检测方法.pdf》由会员分享，可在线阅读，更多相关《基于多任务学习的高分辨率遥感影像地物变化检测方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010294564.6 (22)申请日 2020.04.15 (71)申请人 电子科技大学 地址 611731 四川省成都市高新区 （西区） 西源大道2006号 申请人 中国电子科技集团公司第五十四研 究所 (72)发明人 解梅付威福彭清王裕贺凯 马争徐小刚王士成李峰 (74)专利代理机构 电子科技大学专利中心 51203 代理人 甘茂 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/34(2006.01) G06K 9/62(2006.01) 。

2、G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多任务学习的高分辨率遥感影像地物 变化检测方法 (57)摘要 本发明属于遥感影像地物变化检测技术领 域， 具体一种基于多任务学习的遥感影像地物变 化检测方法， 用以克服现有技术中因地物变化检 测的精度依赖于地物分类的精度导致得误差累 计的问题。 本发明采用多任务学习地物变化检测 模型， 包括： 两条语义分割模型分支与一条变化 检测模型分支； 通过分割网络构建语义分割模 型， 该模型的特征提取模块能够有效的提取遥感 图像的特征， 接着构建孪生网络来训练地物变化 检测模型， 并且构建多任务学习机制。 。

3、综上， 本发 明既能够确定地物变化检测区域， 又能够得到不 同地物的变化检测结果和区域变化前后的地物 类型， 同时也避免了误差累计的问题， 提高了变 化检测的精度。 权利要求书2页 说明书5页 附图3页 CN 111582043 A 2020.08.25 CN 111582043 A 1.基于多任务学习的高分辨率遥感影像地物变化检测方法， 其特征在于， 包括以下步 骤： 步骤1、 遥感影像数据预处理； 步骤1-1、 针对同一地理区域、 不同时刻下的原始遥感图像进行数据标定和裁剪， 得到 像素配准的成对遥感图像； 步骤1-2、 将成对遥感图像中的两幅遥感图像分别进行逐像素标注， 标注后的数据存储。

4、 在相同尺寸的单通道标签图像中、 得到每幅遥感图像的语义标签图像； 步骤1-3、 将成对遥感图像中的两幅遥感图像对应的语义标签图像进行逐像素比对， 若 前后标签不一致则视为变化区域、 记作1， 否则视为非变化区域、 记作0， 将结果存储在相同 尺寸大小的单通道标签图像中、 得到成对遥感图像的变化标签图像； 步骤2、 构建及训练语义分割模型； 步骤2-1、 构建语义分割模型， 包括： 特征提取模块、 ASPP模块和上采样模块， 其中， 特征 提取模块采用ResNext50特征提取网络， 单幅遥感影像输入特征提取模块， 得到初步特征 图， 初步特征图通过ASPP模块和上采样模块得到语义分割结果图；。

5、 步骤2-2、 训练语义分割模型： 采用步骤1中单幅遥感图像与其对应的语义标签图构建语义分隔模型训练集； 将单幅 遥感图像的语义分割结果图与其对应语义标签图逐像素计算多分类交叉熵损失， 采用梯度 下降和反向传播算法对全模型进行迭代训练， 得到训练完成的语义分割模型； 步骤3、 构建及训练变化检测模型； 步骤3-1、 构建变化检测模型， 包括： 特征提取模块、 ASPP模块和上采样模块， 其中， 所述 特征提取模块采用步骤2训练完成的语义分割模型中的ResNext50特征提取网络， 并冻结网 络参数； 成对遥感图像输入特征提取模块， 得到两张初始特征图， 两张初始特征图通过差值 法得到差值特征图。

6、， 差值特征图通过ASPP模块和上采样模块之后得到变化检测结果图； 步骤3-2、 训练变化检测模型： 采用步骤1中成对遥感图像及其对应的变化标签图构建变化检测模型训练集； 将成对 遥感图像的变化检测结果图与其对应变化标签图求取二分类交叉熵损失， 采用梯度下降和 反向传播算法对ASPP模块进行迭代训练， 得到训练完成的变化检测模型； 步骤4、 构建及训练多任务学习地物变化检测模型； 步骤4-1、 构建多任务学习地物变化检测模型， 包括： 两条语义分割模型分支与一条变 化检测模型分支； 其中， 三条分支共享特征提取模块、 所述特征提取模块与步骤2及步骤3中 特征提取模块相同， 所述语义分割模型分支。

7、的ASPP模块和上采样模块与步骤2中训练完成 的语义分割模型中的ASPP模块和上采样模块相同， 所述变化检测模型分支的ASPP模块和上 采样模块与步骤3中训练完成的变化检测模型中的ASPP模块和上采样模块相同； 成对遥感 图像输入特征提取模块得到两张初始特征图， 两张初始特征图分别通过两条语义分割模型 分支得到两张语义分割结果图、 同时两张初始特征图通过差值法得到差值特征图， 差值特 征图通过变化检测模型分支得到变化检测结果图； 步骤4-2、 训练多任务学习地物变化检测模型： 采用步骤1中成对遥感图像及其对应的语义标签图与变化标签图构建多任务学习地物 变化检测模型训练集； 将成对遥感图像的两张。

8、语义分割结果图与对应语义分割标签图分别 权利要求书 1/2 页 2 CN 111582043 A 2 求取多分类交叉熵损失， 将成对遥感图像的变化检测结果图与对应变化检测标签图求取二 分类交叉熵损失， 将三个交叉熵损失进行等权重相加， 并基于梯度下降和反向传播算法对 全网络进行迭代训练， 得到训练完成的多任务学习地物变化检测模型； 步骤5、 基于步骤4训练完成的多任务学习地物变化检测模型进行高分辨率遥感影像地 物变化检测。 2.按权利要求1所述基于多任务学习的高分辨率遥感影像地物变化检测方法， 其特征 在于， 所述语义标签图像中， 0灰度表示背景， 16灰度分别表示建筑物、 耕地、 水体、 道。

9、路、 森林、 草地6类地物类型。 权利要求书 2/2 页 3 CN 111582043 A 3 基于多任务学习的高分辨率遥感影像地物变化检测方法 技术领域 0001 本发明属于遥感影像地物变化检测技术领域， 更为具体的讲， 涉及在地物解译需 求下一种基于多任务学习的遥感影像地物变化检测， 其综合了遥感图像语义分割任务和地 物变化检测任务， 既可以确定变化检测区域， 又能得到不同地物的变化检测结果， 通过同一 地理区域不同时刻的遥感影像来检测地球表面地物的变化过程。 背景技术 0002 监测特定区域的地物变化检测技术目前已经广泛应用到土地勘测、 违章建设监 测、 自然灾害估计等各类应用中， 尤其。

10、是可以及时发现在规划区范围之外的违章建设。 传统 的地物变化检测技术主要是通过灰度匹配和差值变化检测算法， 将已经进行地物配准和几 何校正的同一地区不同时刻的遥感影像进行直方图匹配， 以保证两幅影像的灰度一致性， 之后再采用差值法提取灰度变化剧烈的区域作为地物变化区域； 这种方法存在检测精度不 高， 易受天气、 光照等外部因素影响的问题， 且还需要人为设定阈值， 得到的结果也只是变 化和未变化两类结果， 不能对遥感图像进行分类， 无法得到不同地物的变化检测图像。 0003 另一种常见的地物变化检测方法是先分类后比较法， 首先会采用超像素分割或像 素级别的语义分割对同一地区不同时刻的遥感影像进行。

11、地物分类， 得到两张语义分割结果 之后进行逐像素比对， 针对不同的地物类型构造差异图像， 最后结果不一致的像素区域被 认为是变化区域； 该方法的优点在于能够得到不同地物的变化检测图像， 但是这种方法存 在误差累计的问题， 即地物变化检测的精度依赖于地物分类的精度。 发明内容 0004 本发明的目的在于针对上述现有技术中因地物变化检测的精度依赖于地物分类 的精度导致得误差累计的问题， 提出了一种基于多任务学习的遥感影像地物变化检测方 法， 不仅能够得到地物变化检测图像， 还能够得到地物发生变化前后的地物类型， 并且有效 防止误差累计的问题， 从而显著提升变化检测精度， 具有广泛的适用范围。 00。

12、05 为实现上述目的， 本发明采用的技术方案如下： 0006 基于多任务学习的高分辨率遥感影像地物变化检测方法， 其特征在于， 包括以下 步骤： 0007 步骤1、 遥感影像数据预处理； 0008 步骤1-1、 针对同一地理区域、 不同时刻下的原始遥感图像进行数据标定和裁剪， 得到像素配准的成对遥感图像； 0009 步骤1-2、 将成对遥感图像中的两幅遥感图像分别进行逐像素标注， 标注后的数据 存储在相同尺寸的单通道标签图像中、 得到每幅遥感图像的语义标签图像； 0010 步骤1-3、 将成对遥感图像中的两幅遥感图像对应的语义标签图像进行逐像素比 对， 若前后标签不一致则视为变化区域、 记作1。

13、， 否则视为非变化区域、 记作0， 将结果存储在 相同尺寸大小的单通道标签图像中、 得到成对遥感图像的变化标签图像； 说明书 1/5 页 4 CN 111582043 A 4 0011 步骤2、 构建及训练语义分割模型； 0012 步骤2-1、 构建语义分割模型， 包括： 特征提取模块、 ASPP模块和上采样模块， 其中， 特征提取模块采用ResNext50特征提取网络， 单幅遥感影像输入特征提取模块， 得到初步特 征图， 初步特征图通过ASPP模块和上采样模块得到语义分割结果图； 0013 步骤2-2、 训练语义分割模型： 0014 采用步骤1中单幅遥感图像与其对应的语义标签图构建语义分隔模。

14、型训练集； 将 单幅遥感图像的语义分割结果图与其对应语义标签图逐像素计算多分类交叉熵损失， 采用 梯度下降和反向传播算法对全模型进行迭代训练， 得到训练完成的语义分割模型； 0015 步骤3、 构建及训练变化检测模型； 0016 步骤3-1、 构建变化检测模型， 包括： 特征提取模块、 ASPP模块和上采样模块， 其中， 所述特征提取模块采用步骤2训练完成的语义分割模型中的ResNext50特征提取网络， 并冻 结网络参数； 成对遥感图像输入特征提取模块， 得到两张初始特征图， 两张初始特征图通过 差值法得到差值特征图， 差值特征图通过ASPP模块和上采样模块之后得到变化检测结果 图； 001。

15、7 步骤3-2、 训练变化检测模型： 0018 采用步骤1中成对遥感图像及其对应的变化标签图构建变化检测模型训练集； 将 成对遥感图像的变化检测结果图与其对应变化标签图求取二分类交叉熵损失， 采用梯度下 降和反向传播算法对ASPP模块进行迭代训练， 得到训练完成的变化检测模型； 0019 步骤4、 构建及训练多任务学习地物变化检测模型； 0020 步骤4-1、 构建多任务学习地物变化检测模型， 包括： 两条语义分割模型分支与一 条变化检测模型分支； 其中， 三条分支共享特征提取模块、 所述特征提取模块与步骤2及步 骤3中特征提取模块相同， 所述语义分割模型分支的ASPP模块和上采样模块与步骤2。

16、中训练 完成的语义分割模型中的ASPP模块和上采样模块相同， 所述变化检测模型分支的ASPP模块 和上采样模块与步骤3中训练完成的变化检测模型中的ASPP模块和上采样模块相同； 成对 遥感图像输入特征提取模块得到两张初始特征图， 两张初始特征图分别通过两条语义分割 模型分支得到两张语义分割结果图、 同时两张初始特征图通过差值法得到差值特征图， 差 值特征图通过变化检测模型分支得到变化检测结果图； 0021 步骤4-2、 训练多任务学习地物变化检测模型： 0022 采用步骤1中成对遥感图像及其对应的语义标签图与变化标签图构建多任务学习 地物变化检测模型训练集； 将成对遥感图像的两张语义分割结果图。

17、与对应语义分割标签图 分别求取多分类交叉熵损失， 将成对遥感图像的变化检测结果图与对应变化检测标签图求 取二分类交叉熵损失， 将三个交叉熵损失进行等权重相加， 并基于梯度下降和反向传播算 法对全网络进行迭代训练， 得到训练完成的多任务学习地物变化检测模型； 0023 步骤5、 基于步骤4训练完成的多任务学习地物变化检测模型进行高分辨率遥感影 像地物变化检测。 0024 进一步的， 所述语义标签图像中， 0灰度表示背景， 16灰度分别表示建筑物、 耕 地、 水体、 道路、 森林、 草地6类地物类型。 0025 本发明的有益效果在于： 0026 首先， 本发明通过分割网络构建遥感图像语义分割模型，。

18、 该模型的特征提取模块 说明书 2/5 页 5 CN 111582043 A 5 能够有效的提取遥感图像的特征， 接着构建孪生网络来训练地物变化检测模型， 通过共享 权重， 将两张高分遥感影像映射到新的特征空间， 并且构建多任务学习机制， 通过语义分割 模型来获得变化前后的地物分类结果， 结合变化区域能得到所有地物种类的变化检测结 果； 在本发明中， 地物变化检测的精度不完全依赖于地物语义分割的精度， 且训练出的端到 端地物变化检测模型， 能有效避免误差累计； 0027 其次， 本发明采用DeepLabV3网络结构应用到遥感图像地物变化检测当中， 其中的 AS PP层能够对遥感影像中不同尺寸的。

19、地物特征进行多尺度信息融合， 空洞卷积能够解决 大尺度遥感图像感受野不足的问题， 骨干网络采用的Resnext50结构也保证了遥感图像变 化检测任务的健壮性和高效的运行速率； 同时， 变化检测模型和语义分割模型的参数共享 机制也能有效加速网络运算和降低参数冗余； 0028 综上所述， 本发明提出了一种基于多任务学习的遥感影像地物变化检测方法， 综 合了地物变化检测任务和语义分割任务， 既能够确定地物变化检测区域， 又能够得到不同 地物的变化检测结果和区域变化前后的地物类型， 同时也避免了误差累计的问题， 提高了 变化检测的精度； 并且采用的参数共享机制和加速策略也能保证方法的运行速度。 附图说。

20、明 0029 图1为本发明基于多任务学习的高分辨率遥感影像地物变化检测方法的流程设计 图。 0030 图2为本发明依据的全卷积分割网络设计图。 0031 图3为本发明依据的单任务地物变化检测网络设计图。 0032 图4为本发明设计的多任务学习地物变化检测网络设计图。 具体实施方式 0033 下面结合附图对本发明做进一步的详细描述。 0034 本实施例提供一种基于多任务学习的高分辨率遥感影像地物变化检测方法， 其流 程如图1所示， 具体包括以下步骤： 0035 步骤1、 遥感影像数据预处理； 0036 步骤1-1、 数据准备包括同一地理区域、 不同时刻遥感影像的采集与标注， 其中， 采 集的原始。

21、图像为包含近红外通道的高分辨率遥感影像， 对同一地理区域、 不同时刻的遥感 影像先使用ENVI软件进行数据标定和裁剪， 得到像素配准的图像对、 即成对遥感图像； 0037 步骤1-2、 将成对遥感图像中的两幅遥感图像分别进行逐像素标注， 标注后的数据 存储在相同尺寸的单通道标签图像中、 即语义标签图像， 其中， 0灰度表示背景， 16灰度分 别表示建筑物、 耕地、 水体、 道路、 森林、 草地6类地物类型； 0038 步骤1-3、 将成对遥感图像中的两幅遥感图像对应的语义标签图像进行逐像素比 对， 若前后标签不一致则视为变化区域、 记作1， 否则视为非变化区域、 记作0， 将结果存储在 相同尺。

22、寸大小的单通道图像中、 即成对遥感图像的变化标签图像； 0039 步骤2、 构建及训练语义分割模型； 0040 步骤2-1、 构建语义分割模型： 模型依据全卷积网络DeeplabV3进行搭建， DeeplabV3网络设计图如图2所示； 其中， DeepLabV3采用Resnext50作为特征提取网络， 单幅 说明书 3/5 页 6 CN 111582043 A 6 遥感影像经过ResNext50特征提取模块之后， 得到(512， W/16， H/16)的特征图， 特征图通过 ASPP模块和上采样模块得到语义分割结果图； 0041 步骤2-2、 训练语义分割模型： 0042 采用步骤1中得到的同。

23、一地理区域的任一年份的单幅遥感图像与其对应的语义标 签图构建语义分隔模型训练集； 基于此训练集对语义分割模型进行训练， 单幅遥感图像输 入语义分割模型后得到语义分割结果图， 将语义分割结果图与输入遥感影像对应语义标签 图逐像素计算多分类交叉熵损失， 取损失值最大的前N个目标作为难例样本， 并返回难例样 本的损失值， 反馈到全卷积神经网络模型中， 使用随机梯度下降法更新全卷积神经网络模 型的参数， 得到训练完成的语义分割模型； 0043 步骤3、 构建及训练变化检测模型； 0044 步骤3-1、 构建变化检测模型： 首先， 提取步骤2训练完成的语义分隔模型中的特征 提取模块， 并冻结该模块的参数。

24、， 即在接下来的训练中不更新模型的参数， 以保持模型在语 义分割中的准确度； 然后， 构建基于孪生网络思想的单任务地物变化检测模型， 该模型的网 络结构如图3所示； 其中， 特征提取模块采用语义分割模型中相同特征特区模块， 成对遥感 图像经过Resnext50特征提取网络， 映射到特定的特征空间， 得到两张(512， W/16， H/16)的 初始特征图， 两张初始特征图通过差值法得到一张全新的差值特征图、 该差值特征图中包 含了语义是否发生变化的信息， 输入到后续的ASPP模块和上采样模块之后得到语义是否发 生变化的变化检测结果图； 0045 步骤3-2、 训练变化检测模型： 0046 采用。

25、步骤1中得到的同一地理区域、 不同时刻的成对遥感图像及其对应的变化标 签图构建变化检测模型训练集； 基于该训练集对地物变化检测模型进行训练， 成对遥感图 像输入变化检测模型得到变化检测结果图， 将变化检测结果图与输入成对遥感图像对应变 化标签图求取二分类交叉熵损失， 采用梯度下降和反向传播算法对ASPP模块进行迭代训 练， 得到训练完成的变化检测模型； 0047 步骤4、 共享模型参数， 构建及训练多任务学习地物变化检测模型； 0048 步骤4-1、 构建多任务学习地物变化检测模型： 0049 基于步骤2的语义分割模型分支和步骤3的单任务变化检测模型分支， 训练得到全 新的基于多任务学习地物变。

26、化检测模型， 首先该模型的特征提取模块与步骤2和步骤3模型 中的特征提取模块完全相同， 并在此时允许特征提取模块参数进行更新； 该模型包含语义 分割分支和变化检测分支， 语义分割分支中的ASPP模块和上采样模块来自步骤2中模型， 变 化检测分支中的ASPP模块和上采样模块来自步骤3中模型， 该模型的设计结构如图4所示； 输入成对遥感影像经过共享权重的Resnext50特征提取网络， 得到两张(512， W/16， H/16)的 初始特征图， 两张初始特征图通过差值法得到第三张(512， W/16， H/16)的差值特征图； 三个 特征图通过不同分支的ASPP模块和上采样模块， 得到两张语义分割。

27、结果图和一张变化检测 结果图； 0050 步骤4-2、 训练多任务学习地物变化检测模型： 0051 采用步骤1中得到的同一地理区域、 不同时刻的成对遥感图像及其对应的语义标 签图与变化标签图构建多任务学习地物变化检测模型训练集； 基于此训练集对多任务学习 地物变化检测模型进行训练， 成对遥感图像输入多任务学习地物变化检测模型， 得到两张 说明书 4/5 页 7 CN 111582043 A 7 语义分割结果图和一张变化检测结果图， 两张语义分割结果图与对应的语义分割标签图分 别求取多分类交叉熵损失， 变化检测结果图与对应的变化检测标签图求取二分类交叉熵损 失， 将三个交叉熵损失进行等权重相加，。

28、 并基于梯度下降和反向传播算法对全网络进行迭 代训练， 不断优化网络参数， 使网络更好适应多任务机制， 得到训练完成的多任务学习地物 变化检测模型； 0052 步骤5、 基于步骤4训练好的多任务学习地物变化检测模型， 进行测试， 输入一份大 尺寸不同时期成对遥感影像进行 “裁剪-分割+地物变化检测-精度评价-拼接” ， 实现对该区 域该时间段地物变化检测的分析； 0053 步骤5-1、 选取已经裁剪和配准完毕的同一地区不同时期的成对高分辨率遥感影 像； 0054 步骤5-2、 将上述两相影像输入到多任务地物变化检测模型中， 进行地物变化检测 后进行拼接输出结果； 0055 具体实施时， 以上步骤可采用计算机软件技术实现以上流程的自动运行。 0056 以上所述， 仅为本发明的具体实施方式， 本说明书中所公开的任一特征， 除非特别 叙述， 均可被其他等效或具有类似目的的替代特征加以替换； 所公开的所有特征、 或所有方 法或过程中的步骤， 除了互相排斥的特征和/或步骤以外， 均可以任何方式组合。 说明书 5/5 页 8 CN 111582043 A 8 图1 说明书附图 1/3 页 9 CN 111582043 A 9 图2 图3 说明书附图 2/3 页 10 CN 111582043 A 10 图4 说明书附图 3/3 页 11 CN 111582043 A 11 。