基于旋转区域卷积神经网络的星载目标融合检测方法.pdf

《基于旋转区域卷积神经网络的星载目标融合检测方法.pdf》由会员分享，可在线阅读，更多相关《基于旋转区域卷积神经网络的星载目标融合检测方法.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010751598.3 (22)申请日 2020.07.30 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 (72)发明人 敬忠良押莹潘汉李旻哲 (74)专利代理机构 上海旭诚知识产权代理有限 公司 31220 代理人 郑立 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于旋转区域卷积神经网。

2、络的星载目 标融合检测方法 (57)摘要 本发明公开了一种基于旋转区域卷积神经 网络的星载目标融合检测方法， 涉及星载目标检 测领域。 面向通用并行计算架构处理器、 现场可 编程门阵列、 系统级芯片(SOC)等智能计算平台。 首先， 采用全色锐化方法对全色(Panchromatic, PAN)图像和多光谱(MultiSpectral,MS)图像进 行融合， 然后对融合后的星载图像采用基于旋转 区域卷积神经网络的目标检测框架以检测其中 的目标。 目标检测框架基于Faster RCNN结构。 本发明提高了多源星载图像中小目标的检测准 确率， 目标检测框架具有较好的泛化能力， 在目 标检测、 安全监。

3、视等领域中可有广泛的应用。 权利要求书1页 说明书13页 附图1页 CN 111898534 A 2020.11.06 CN 111898534 A 1.一种基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征在于， 包括以下 步骤： 步骤1、 采用全色锐化方法融合同时同地获得的全色图像和多光谱图像； 步骤2、 针对大尺度图像， 采用基于旋转区域的卷积神经网络， 在DOTA数据集上训练目 标检测网络； 目标检测框架基于Faster R-CNN的结构， 用于检测任意方向的目标， 使用区域 建议网络生成包围不同方向目标的轴对齐框； 然后， 针对所述区域建议网络提出的每个所 述轴对齐框， 使用不。

4、同大小的池化层提取它的特征， 并连接特征， 这些获得的特征同时被用 于目标或非目标预测得分， 所述轴对齐框和倾斜最小区域框； 最后， 使用一个倾斜的非极大 值抑制来获得检测结果； 步骤3、 根据所述步骤2得到的目标检测模型， 在所述全色图像、 所述多光谱图像以及采 用所述全色锐化方法融合后的星载图像上进行目标检测。 2.如权利要求1所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述全色锐化方法包括成分置换方法和多分辨率分析方法。 3.如权利要求2所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述成分置换方法包括主成分分析法、 施密特正交化、 。

5、波段相关空间细节算法、 部分 置换自适应方法。 4.如权利要求2所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述多分辨率分析方法包括低通滤波LPF、 金字塔分解法。 5.如权利要求1所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述区域建议网络锚框比例小于所述Faster R-CNN的原始锚框比例。 6.如权利要求1所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述区域建议网络与所述Faster R-CNN保持一致的设置， 包括锚点长宽比， 正样本和 负样本的定义。 7.如权利要求1所述的基于旋转区域卷积神经网络的。

6、星载目标融合检测方法， 其特征 在于， 所述区域建议网络的池化包括77池化层、 113池化层和311池化层。 8.如权利要求7所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述311池化层帮助检测宽度大于高度的水平目标。 9.如权利要求7所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述113池化层帮助检测高度大于宽度的垂直目标。 10.如权利要求1所述的基于旋转区域卷积神经网络的星载目标融合检测方法， 其特征 在于， 所述轴对齐框的损失函数是目标或非目标类损失和方框回归损失的总和。 权利要求书 1/1 页 2 CN 111898534 A 。

7、2 一种基于旋转区域卷积神经网络的星载目标融合检测方法 技术领域 0001 本发明涉及星载目标检测领域， 尤其涉及一种基于旋转区域卷积神经网络的星载 目标融合检测方法。 背景技术 0002 目标检测是计算机视觉和数字图像处理的一个热门方向， 广泛应用于机器人导 航、 智能视频监控、 工业检测、 航空航天等诸多领域， 通过计算机视觉减少对人力资本的消 耗， 具有重要的现实意义。 因此， 目标检测成为了近年来理论和应用的研究热点， 它是图像 处理和计算机视觉学科的重要分支， 也是智能监控系统的核心部分， 同时目标检测也是目 标识别的一个基础算法， 对后续识别任务起着至关重要的作用。 自从Hinto。

8、n课题组构建的 卷积神经网络(Convolutional Neural Networks,CNN)模型AlexNet在2012年的ImageNet 图像识别比赛一举夺冠， CNN开始受到广泛的关注， 目标检测算法得到了较为快速的发展。 0003 卫星遥感数据是重要的信息资源， 因其实用性、 时效性而被广泛应用于军事侦察、 灾害监测、 环境监测、 资源考察、 土地利用、 农业产量估计、 城市建设规划等， 对于国防安全、 经济社会发展有着重要意义。 在星载任务中有多种对地观测的手段， 不同的传感器可以获 得不同形式的多源图像， 例如可见光图像、 红外图像、 高光谱图像、 多光谱图像、 全色图像以 。

9、及SAR图像等。 在大尺度的卫星图像中对小目标进行检测是卫星图像分析所面临的主要问 题之一。 虽然深度学习方法在对地面图像目标检测任务中取得了很好的效果， 但将这种技 术过渡到高空星载图像并非易事。 因此算法需要考虑的问题主要有四个： 1、 卫星图像通常 具有较高的分辨率， 给目标检测带来了难度； 2、 与PASCAL-VOC和ImageNet等常用数据集不 同， 在卫星图像数据集中船只、 小型车辆、 飞机等目标可能非常小(小于1515像素)而且很 密集； 3、 公开数据集相对缺乏； 4、 完全旋转不变性问题， 许多目标物体， 如车、 船和飞机等， 在俯视时有很多种方向。 这对传统的计算机视觉。

10、技术来说是一项很复杂的任务， 需要尝试 用深度网络模型和多源图像模式来解决上述问题。 0004 因此， 本领域的技术人员致力于开发一种基于旋转区域卷积神经网络的星载目标 融合检测方法。 一种基于旋转区域卷积神经网络的检测框架及系统， 面向通用并行计算架 构处理器、 现场可编程门阵列、 系统级芯片(SOC)等智能计算平台， 可应用于任意方向的小 目标检测， 如对星载或航拍图像中密集的船只、 车辆等进行目标检测。 发明内容 0005 有鉴于现有技术的上述缺陷， 本发明所要解决的技术问题是克服对地面图像目标 检测的技术应用于星载图像的不足， 提供一种可以检测较高分辨率、 目标小且密集的星载 图像的方。

11、法， 并采用多源图像融合的方法， 提高在单源星载图像上的目标检测性能。 0006 为实现上述目的， 本发明提供了一种基于旋转区域卷积神经网络的星载目标融合 检测方法， 包括以下步骤： 0007 步骤1、 采用全色锐化方法融合同时同地获得的全色图像和多光谱图像； 说明书 1/13 页 3 CN 111898534 A 3 0008 步骤2、 针对大尺度图像， 采用基于旋转区域的卷积神经网络， 在DOTA数据集上训 练目标检测网络； 目标检测框架基于Faster R-CNN的结构， 用于检测任意方向的目标， 使用 区域建议网络生成包围不同方向目标的轴对齐框； 然后， 针对所述区域建议网络提出的每 。

12、个所述轴对齐框， 使用不同大小的池化层提取它的特征， 并连接特征， 这些获得的特征同时 被用于目标或非目标预测得分， 所述轴对齐框和倾斜最小区域框； 最后， 使用一个倾斜的非 极大值抑制来获得检测结果； 0009 步骤3、 根据所述步骤2得到的目标检测模型， 在所述全色图像、 所述多光谱图像以 及采用所述全色锐化方法融合后的星载图像上进行目标检测。 0010 进一步地， 所述全色锐化方法包括成分置换方法和多分辨率分析方法。 0011 进一步地， 所述成分置换方法包括主成分分析法、 施密特正交化、 波段相关空间细 节算法、 部分置换自适应方法。 0012 进一步地， 所述多分辨率分析方法包括低通。

13、滤波LPF、 金字塔分解法。 0013 进一步地， 所述区域建议网络锚框比例小于所述Faster R-CNN的原始锚框比例。 0014 进一步地， 所述区域建议网络与所述Faster R-CNN保持一致的设置， 包括锚点长 宽比， 正样本和负样本的定义。 0015 进一步地， 所述区域建议网络的池化包括77池化层、 113池化层和311池化 层。 0016 进一步地， 所述311池化层帮助检测宽度大于高度的水平目标。 0017 进一步地， 所述113池化层帮助检测高度大于宽度的垂直目标。 0018 进一步地， 所述轴对齐框的损失函数是目标或非目标类损失和方框回归损失的总 和。 0019 在本发。

14、明的较佳实施方式中， 提供一种基于旋转区域卷积神经网络的星载目标融 合检测方法， 包括以下步骤： 0020 步骤1、 采用全色锐化方法融合同时同地获得的全色图像和多光谱图像。 主要采用 全色锐化方法中的两大类成分置换方法和多分辨率分析方法。 首先， 本发明使用的主要符 号如表1所示： 0021 表1:主要符号 0022 0023 本发明向量用小写表示(如x)， xi表示第i个元素。 二维和三维数组以大写(如X)表 示。 使用三维数组XXkk1,N来表示由N个通道组成多光谱图像， 这些通道由下标k 1,N索引； Xk表示X的第k个通道。 一个全色图像是一个二维矩阵， 将表示为Y。 说明书 2/1。

15、3 页 4 CN 111898534 A 4 0024 成分置换融合方法的典型公式如下： 0025 0026 其中k表示第k个谱带， 增益的矢量表示为gg1,gk,gN， IL定义为 0027 0028 其中权向量ww1,wi,wN是前向变换矩阵的第一行， 可以测量多光谱图像 通道和全色图像间的光谱重叠度。 0029 多分辨率分析融合方法的典型公式如下： 0030 0031 步骤2、 针对大尺度图像， 采用基于旋转区域的卷积神经网络， 在DOTA数据集上训 练目标检测网络。 该框架基于Faster R-CNN的结构， 用于检测任意方向的目标， 使用区域建 议网络生成包围不同方向目标的轴对齐边界。

16、框。 然后， 针对区域建议网络提出的每个轴对 齐目标框， 使用不同大小的池化层提取它的特征， 并连接特征， 这些获得的特征同时被用于 目标/非目标预测得分， 轴对齐框和倾斜最小区域框。 最后， 使用一个倾斜的非极大值抑制 来获得检测结果。 该方法的核心是预测区域建议网络生成的每个候选框的文本分数， 轴对 齐框和倾斜最小区域框。 为充分利用目标特征， 针对每个区域建议网络候选框使用不同大 小的池化层(77,113,311)做了多个感兴趣区域池化操作。 连接各自池化后的特征用 于进一步的检测， 该方法对Faster R-CNN的修改还包括添加一个较小的锚来检测小的目 标， 并使用倾斜的非极大值抑制。

17、来对检测候选框进行后处理以获得最终结果， 因此可用来 检测大尺度星载图像中的小目标。 0032 步骤3、 根据步骤2得到的目标检测模型， 将其用在步骤1中的全色图像、 多光谱图 像以及采用全色锐化方法融合后的星载图像上进行目标检测， 验证所提出的融合检测方法 的有效性及目标检测框架的泛化能力。 0033 步骤1进一步包括以下步骤： 0034 成分置换融合方法的流程为： 首先， 为了匹配全色图像的尺度， 对多光谱图像进行 插值； 然后， 使用公式(2)计算强度分量， 并匹配全色图像的直方图和强度分量； 最后， 通过 公式(1)计算获得。 0035 成分置换方法包括许多全色锐化方法， 下面将详细介。

18、绍这些方法。 表2总结了公式 (1)和公式(2)的光谱权重和增益值。 wk,i的下标k和i分别表示输出和输入通道。 0036 表2:一些成分置换方法的公式(2)的光谱权重和公式(1)的增益 说明书 3/13 页 5 CN 111898534 A 5 0037 0038 1)主成分分析法(Principal Component Analysis,PCA) 0039 主成分分析法是通过N维向量空间的原始坐标系的多维旋转实现的， 即数据的线 性变换， 使得原始谱向量在新轴上的投影， 即协方差矩阵的特征向量沿着光谱方向， 产生一 组相互不相关的标量图像， 称为主成分。 主成分的分类通常是为了减少差异，。

19、 从而量化其信 息内容。 0040 2)施密特正交化(GramSchmidt,GS) 0041 施密特正交化变换是线性代数和多元统计中常用的将一组向量正交化的方法。 施 密特正交化一次处理一个MS矢量， 通过在之前的正交向量及其正交分量定义的(超)平面上 找到其投影， 从而使正交分量和投影分量之和等于零均值的原矢量化通道。 全色锐化是通 过在执行逆变换之前用直方图匹配的P替换IL来完成的。 自适应施密特正交化， 其中IL由MS 波段的加权平均值生成， MSE通过低通滤波版本的全色图像最小化权重： 0042 0043 3)波段相关空间细节算法(Band-Dependent Spatial Det。

20、ail,BDSD) 0044 波段相关空间细节算法从公式(1)的扩展如下： 0045 0046 系数定义为： 说明书 4/13 页 6 CN 111898534 A 6 0047 0048 公式(1)的紧密矩阵形式为： 0049 0050其中， 0051 4)部分置换自适应方法(Partial Replacement Adaptive CS,PRACS) 0052 部分置换强度分量称为部分置换自适应方法。 该方法利用全色图像和多光谱图像 第k波段的加权和P(k)来计算公式(1)中的第k个锐化波段。 对于k1,N,与波段相关的高 分辨率锐化图像计算如下： 0053 0054 增益gk通过下面公式。

21、获得： 0055 0056 其中Lk定义为： 0057 0058 多分辨率分析方法的流程： 首先对MS图像进行插值以匹配全色图像的尺度； 然后 对尺度比 例等于R的全色图像用等效滤波器计算低通版的PL， 并计算带相关增益 gkk1, ,N； 最后， 通过公式(10)计算得到融合结果。 表3简要总结了基于多分辨率分析的方 法。 0059 表3:基于多分辨率分析的融合方法的类型、 滤波器和增益 0060 0061 说明书 5/13 页 7 CN 111898534 A 7 0062 5)低通滤波LPF(Low-Pass Filtering) 0063 将单个线性时不变LPF的hLP应用于全色图像P。

22、以获得PL由公式(11)计算， 符号*表 示卷积运算符。 0064 0065 6)金字塔分解法(Pyramidal Decompositions) 0066 这种方法通常被称为利用高斯低通滤波器进行金字塔分解的方法。 高斯滤波器可 以与MTF传感器高度匹配， 并从全色图像中获得那些由于空间分辨率较低而多光谱传感器 获取不到的细节。 0067 步骤2进一步包括以下步骤： 0068 其中使用区域建议网络生成包围任意方向目标的轴对齐边界框， 与一般目标检测 相比， 卫星图像中有更多小目标。 因此通过在区域建议网络中利用较小的锚框比例来解决 这一问题。 在Faster R-CNN中的原始锚框缩放是(8。

23、,16,32)， 本框架中锚框的比例变小并且 增加一个新的尺度。 实验证实， 采用较小的锚框有助于小目标检测。 将区域建议网络的其他 设置与Faster R-CNN保持一致， 包括锚点长宽比， 正样本和负样本的定义等。 每个区域建议 网络建议的池化大小为77。 由于一些目标的宽度比它们的高度大得多， 因此尝试使用三 种不同大小的感兴趣区域池化操作来捕捉更多目标特征。 池化特征被连接在一起以便进一 步检测。 具体而言， 添加了两个池化尺寸:113和311。 311的捕捉更多的水平特征， 并 帮助检测宽度远大于其高度的水平目标。 113的捕捉更多的垂直特征， 并帮助检测高度远 远大于宽度垂直目标。。

24、 该方法中， 在区域建议网络之后， 将由区域建议网络生成的建议框分 类为目标或非目标， 细化调整包含任意方向目标的轴对齐边界框并预测倾斜边界框。 每个 倾斜框都与轴对齐框相关联。 虽然检测目标是倾斜边界框， 但认为增加额外约束(轴对齐边 界框)可以提高性能。 非极大值抑制广泛用于通过当前目标检测方法对检测候选框进行后 处理。 由于估计了轴对齐边界框和倾斜边界框， 所以既可以在轴对齐边界框上执行常规非 极大值抑制， 也可以在倾斜边界框上执行倾斜非极大值抑制。 在倾斜的非极大值抑制中， 传 统的IoU(Intersection-over-Union)计算被修改为两个倾斜边界框之间的IoU。 IoU。

25、计算方 法使用的是中的。 对于紧密相邻的倾斜目标， 正常的非极大值抑制可能会丢失一些目标， 因 为轴对齐框之间的IoU可能很高， 但倾斜的非极大值抑制不会错过目标， 因为倾斜的IoU值 较低。 0069 区域建议网络的训练损失与Faster R-CNN相同。 此处仅介绍文中的框架通过区域 建议网络生成的每个轴对齐框的损失函数。 在每个建议框中定义的损失函数是目标/非目 标类损失和方框回归损失的总和。 方框回归损失由两部分组成： 包含任意方向文本的轴对 齐方框的损失以及倾斜最小区域框的损失。 每个建议框的多任务损失函数定义如下： 0070 0071 1和 2是控制三项之间权衡的平衡参数。 目标标。

26、记为1(t1),背景标记为0(t 0)。 参数p(p0,p1)是由softmax函数计算出的文本和背景类别的概率。 是真实类t的对数损 说明书 6/13 页 8 CN 111898534 A 8 失。 v是truth轴对齐边界框回归目标的元组， 包括中心点的坐标及其宽度和高度， v*是目标 标签的预测元组。 u是truth倾斜边界框回归目标的元组， 包括倾斜框的前两个点的坐标及 其高度， 以及u*， 是目标标签的预测元组。 v和v*指定相对于目标建议的尺度不变转换和对数 空间高度/宽度偏移。 用(w,w*)表示(vi,vi*)或(ui,ui*),Lreg(w,w*)定义为： 0072 Lreg。

27、(w,w*)smoothL1(w-w*) (13) 0073 0074 本发明与现有技术相比较， 具有如下显而易见的实质性特点和显著优点： 0075 1、 多源图像融合为提高星载目标检测性能提供了可能。 首先， 采用全色锐化图像 融合方法对多源图像进行融合。 然后， 采用Faster R-CNN目标检测框架， 实现大尺度卫星图 像的小目标检测。 为了处理任意方向的目标， 该检测框架首先采用区域建议网络生成任意 方向的包围目标的轴对齐框， 然后通过整合不同池化层来提取特征。 利用这些特征对区域 进行分类， 调整边界框， 预测任意方向边界框和目标/非目标得分， 并针对小目标添加了小 的锚框， 最后。

28、， 利用倾斜的非极大值抑制方法得到检测结果。 实验结果表明， 多源图像融合 在星载目标检测任务中的有效性。 0076 2、 克服对地面图像目标检测的技术应用于星载图像的不足， 提供一种可以检测较 高分辨率、 目标小且密集的星载图像的方法， 并采用多源图像融合的方法， 提高在单源星载 图像上的目标检测性能。 0077 3、 面向通用并行计算架构处理器、 现场可编程门阵列、 系统级芯片(SOC)等智能计 算平台， 可应用于任意方向的小目标检测， 如对星载或航拍图像中密集的船只、 车辆等进行 目标检测。 0078 4、 提高了多源星载图像中小目标的检测准确率， 证明了该目标检测框架较好的泛 化能力，。

29、 在目标检测、 安全监视等领域中可有广泛的应用。 0079 以下将结合附图对本发明的构思、 具体结构及产生的技术效果作进一步说明， 以 充分地了解本发明的目的、 特征和效果。 附图说明 0080 图1是本发明的一个较佳实施例的基于旋转区域卷积神经网络的星载目标融合检 测方法的流程原理图。 具体实施方式 0081 以下参考说明书附图介绍本发明的多个优选实施例， 使其技术内容更加清楚和便 于理解。 本发明可以通过许多不同形式的实施例来得以体现， 本发明的保护范围并非仅限 于文中提到的实施例。 0082 在附图中， 结构相同的部件以相同数字标号表示， 各处结构或功能相似的组件以 相似数字标号表示。 。

30、附图所示的每一组件的尺寸和厚度是任意示出的， 本发明并没有限定 每个组件的尺寸和厚度。 为了使图示更清晰， 附图中有些地方适当夸大了部件的厚度。 0083 如图1所示， 一种基于旋转区域卷积神经网络的星载目标融合检测方法， 包括以下 步骤： 说明书 7/13 页 9 CN 111898534 A 9 0084 步骤1、 采用全色锐化方法融合同时同地获得的全色图像和多光谱图像。 主要采用 全色锐化方法中的两大类成分置换方法和多分辨率分析方法。 0085 本发明向量用小写表示(如x)， xi表示第i个元素。 二维和三维数组以大写(如X)表 示。 使用三维数组XXkk1,N来表示由N个通道组成多光谱。

31、图像， 这些通道由下标k 1,N索引； Xk表示X的第k个通道。 一个全色图像是一个二维矩阵， 将表示为Y。 0086 成分置换融合方法的典型公式如下： 0087 0088 其中k表示第k个谱带， 增益的矢量表示为gg1,gk,gN， IL定义为 0089 0090 其中权向量ww1,wi,wN是前向变换矩阵的第一行， 可以测量多光谱图像 通道和全色图像间的光谱重叠度。 0091 多分辨率分析融合方法的典型公式如下： 0092 0093 步骤2、 针对大尺度图像， 采用基于旋转区域的卷积神经网络， 在DOTA数据集上训 练目标检测网络。 该框架基于Faster R-CNN的结构， 用于检测任意。

32、方向的目标， 使用区域建 议网络生成包围不同方向目标的轴对齐边界框。 然后， 针对区域建议网络提出的每个轴对 齐目标框， 使用不同大小的池化层提取它的特征， 并连接特征， 这些获得的特征同时被用于 目标/非目标预测得分， 轴对齐框和倾斜最小区域框。 最后， 使用一个倾斜的非极大值抑制 来获得检测结果。 该方法的核心是预测区域建议网络生成的每个候选框的文本分数， 轴对 齐框和倾斜最小区域框。 为充分利用目标特征， 针对每个区域建议网络候选框使用不同大 小的池化层做了多个感兴趣区域池化操作。 连接各自池化后的特征用于进一步的检测， 该 方法对Faster R-CNN的修改还包括添加一个较小的锚来检。

33、测小的目标， 并使用倾斜的非极 大值抑制来对检测候选框进行后处理以获得最终结果， 因此可用来检测大尺度星载图像中 的小目标。 0094 步骤3、 根据步骤2得到的目标检测模型， 将其用在步骤1中的全色图像、 多光谱图 像以及采用全色锐化方法融合后的星载图像上进行目标检测， 验证所提出的融合检测方法 的有效性及目标检测框架的泛化能力。 0095 在本发明的较佳实施例中， 上述方法测试所使用的为全色图像与多光谱图像。 0096 多源图像融合为提高星载目标检测性能提供了可能。 首先， 采用全色锐化图像融 合方法对多源图像进行融合。 然后， 采用Faster R-CNN目标检测框架， 实现大尺度卫星图。

34、像 的小目标检测。 为了处理任意方向的目标， 该检测框架首先采用区域建议网络生成任意方 向的包围目标的轴对齐框， 然后通过整合不同池化层来提取特征。 利用这些特征对区域进 行分类， 调整边界框， 预测任意方向边界框和目标/非目标得分， 并针对小目标添加了小的 锚框， 最后， 利用倾斜的非极大值抑制方法得到检测结果。 实验结果表明， 多源图像融合在 星载目标检测任务中的有效性。 0097 分别从数据集、 目标检测性能、 融合检测结果等方面对本发明的基于旋转区域卷 说明书 8/13 页 10 CN 111898534 A 10 积神经网络的星载目标融合检测方法与三种常用的检测方法进行比较， 并将融。

35、合前与融合 后的检测结果进行比较。 0098 在基于旋转区域卷积神经网络的目标检测方法中， 采用DOTA数据集。 该数据集从 不同的传感器和平台众包收集了2806个航拍图像， 每一个图像是(大小约40004000)， 目 标涵盖了各种各样的规模、 位置、 形状。 DOTA数据集注释选择了15种类别， 包括飞机、 船只、 储蓄罐、 棒球内场、 网球场、 篮球场、 田径场、 海港、 桥、 大型车辆、 小型车辆、 直升飞机、 英式 足球场、 环形路线、 游泳池。 0099 首先， 在DOTA数据集上对目标检测框架进行评估。 表4给出了本发明使用的方法以 及YOLO-v2、 YOLO-v3的准确率。 。

36、0100 表4:本发明与YOLO-v2,YOLO-v3检测方法的准确率评价指标值对比 0101 0102 表5给出了本发明使用的方法以及YOLO-v2、 YOLO-v3的召回率。 0103 表5:本发明与YOLO-v2,YOLO-v3检测方法的召回率评价指标值对比 说明书 9/13 页 11 CN 111898534 A 11 0104 0105 0106 表6给出了本发明使用的方法以及YOLO-v2、 YOLO-v3的F1-得分。 0107 表6:本发明与YOLO-v2,YOLO-v3检测方法的F1-得分评价指标值对比 说明书 10/13 页 12 CN 111898534 A 12 010。

37、8 0109 表7给出了本发明使用的方法以及YOLO-v2、 YOLO-v3的平均精度和平均精度均值 指标。 0110 表7:本发明与YOLO-v2,YOLO-v3检测方法平均精度和平均精度均值评价指标值对 比 0111 说明书 11/13 页 13 CN 111898534 A 13 0112 0113 表8给出了本发明使用的方法以及YOLO-v2、 YOLO-v3的速度， 单位为： 帧/秒。 0114 表8:本发明与YOLO-v2,YOLO-v3检测方法的速度对比 0115 0116 加粗数据是表现最佳的方法， 可以得出结论： 本发明的目标检测框架在星载图像 上比YOLO-v2和YOLO-。

38、v3表现得更好。 该发明在准确率、 召回率、 F1-得分,平均精度等指标上 均取得了较好的效果， 平均精度均值比YOLO-v2高17.4， 比YOLO-v3高26.1。 该发明在直 升机、 港口上表现较好。 目标检测框架在DOTA数据集上可检测任意方向小目标， 即使图像分 辨率高达30004000， 也能检测到15像素的小目标。 0117 本发明采用步骤1中的融合算法对Kaggle Dstl Satellite Imagery Feature Detection Competition Data数据集进行融合， 从图像融合实验的结果中， 可以得出结论： 成分置换方法具有较高的光谱畸变率， 但融。

39、合结果具有较好的视觉效果， 而多分辨率分析 方法具有较高的空间畸变率， 但光谱一致性较好。 0118 本发明利用全色图像、 多光谱图像和上述方法融合的图像作为本发明的目标检测 框架的输入， 并对三个数据集进行统计。 本发明使用检测到的目标数量来评估算法性能， 如 表9所示： 0119 表9:本发明在融合后的数据集上检测出的目标数目 0120 说明书 12/13 页 14 CN 111898534 A 14 0121 0122 实验结果来自三个数据集中的15幅图像。 很明显， 融合后的图像检测到的目标数 量远多于未融合的单通道全色图像和多光谱图像。 在低分辨率的多光谱图像和单通道全色 图像中， 。

40、一些检测到的目标并非真实目标。 多光谱图像中未检测到任何目标， 全色图像中检 测到3个目标， 在调制传递函数-广义低通滤波器-高通调制-后处理方法融合的图像中检测 到10个目标。 通过提出的融合目标检测方法， 使星载图像中目标检测任务的性能有了明显 的提高。 0123 从以上整体实验结果、 客观指标的统计结果可以看到， 本发明的目标检测方法对 于星载图像， 在精度、 召回率和平均准确率等方面优于YOLO-v2、 YOLO-v3框架。 与单源图像 目标检测方法相比， 该融合检测方法在检测性能方面有着显著的提升。 在多个公开数据集 上的性能分析结果证明了多源图像融合检测方法在星载目标检测与识别任务中的可行性 和有效性。 0124 以上详细描述了本发明的较佳具体实施例。 应当理解， 本领域的普通技术无需创 造性劳动就可以根据本发明的构思作出诸多修改和变化。 因此， 凡本技术领域中技术人员 依本发明的构思在现有技术的基础上通过逻辑分析、 推理或者有限的实验可以得到的技术 方案， 皆应在由权利要求书所确定的保护范围内。 说明书 13/13 页 15 CN 111898534 A 15 图1 说明书附图 1/1 页 16 CN 111898534 A 16 。