资源受限条件下的舰船目标检测方法.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010162239.4 (22)申请日 2020.03.10 (71)申请人 北京观微科技有限公司 地址 100096 北京市海淀区悦秀路99号4层 2单元416 (72)发明人 汪磊潘富成李强李健存 谢永虎喻金桃殷继先 (74)专利代理机构 北京慕达星云知识产权代理 事 务 所( 特 殊 普 通 合 伙 ) 11465 代理人 李冉 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) G06K 9/62(2006.01) G

2、06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种资源受限条件下的舰船目标检测方法 (57)摘要 本发明公开了一种资源受限条件下的舰船 目标检测方法， 包括： 将卫星影像输入到第一区 域筛选网络， 得到舰船目标候选区域图像； 将舰 船目标候选区域图像输入到预先训练好的舰船 目标检测模型中进行目标检测， 得到初步目标检 测结果； 利用NMS方法对初步目标检测结果进行 去重， 得到目标检测结果； 其中， 资源受限条件下 的舰船目标检测模型包括依次级联的第二区域 筛选网络、 网络连接层和目标检测网络。 本发明 能够在

3、无GPU条件下实现舰船目标快速检测检 测， 解决资源受限条件下的目标快速检测问题。 权利要求书2页 说明书8页 附图5页 CN 111353459 A 2020.06.30 CN 111353459 A 1.一种资源受限条件下的舰船目标检测方法， 其特征在于， 包括： 将卫星影像输入到第 一区域筛选网络， 得到舰船目标候选区域图像； 将舰船目标候选区域图像输入到预先训练 好的舰船目标检测模型中进行目标检测， 得到初步目标检测结果； 利用NMS方法对初步目标 检测结果进行去重， 得到目标检测结果； 其中， 资源受限条件下的舰船目标检测模型包括依 次级联的第二区域筛选网络、 网络连接层和目标检测网

4、络。 2.根据权利要求1所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 采用 实时人脸检测MTCNN模型的PNet网络， 作为第一区域筛选网络， 筛选舰船目标候选区域， 加 快搜索速度； MTCNN模型由三个不同尺度的小型卷积神经网络组成， 分别为PNet、 RNet和 ONet； PNet为区域建议网络， 用来生成候选目标； PNet是一个浅层的全卷积网络， 包含三个 卷积层和一个池化层， 输入图像大小为12像素12像素。 3.根据权利要求1所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 第二 区域筛选网络先第一次调整默认框的位置， 使之为目标检测网络提供修正后的默认

5、框， 为 后续检测提供更好的初始化回归； 采用专用轻量级网络代替分类网络作为目标检测的骨干 网络， 之后接一个Light-head， 实现快速计算， 然后接一个3x5长卷积核生成的用于检测的 卷积层， 输出每个默认框是否包含目标以及粗略的四边形的位置偏置信息； 网络连接层是 将第二区域筛选网络中的特征传输到目标检测网络中用以预测目标位置、 大小和类别标 签。 4.根据权利要求2所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 通过 网络连接部分来将第二区域筛选网络中的特征图转换到目标检测网络中， 来建立第二区域 筛选网络和目标检测网络的联系， 这样目标检测网络能共享第二区域筛选网络的

6、特征， 目 标检测网络采用第二区域筛选网络产生的5层特征图进行转换作为输入， 融合不同层的特 征。 5.根据权利要求1或4所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 舰船目标检测模型设计： (1)采用专用目标检测Res2Block网络作为骨干网络， 分别选取两个骨干网络和额外添 加的卷积层产生的不同尺度的特征图用于检测， 产生的特征图供第二区域筛选网络以及目 标检测网络共用； (2)在第二区域筛选网络中， 将5个不同尺度特征图用于默认框二分类以及默认框位置 调整； 在目标检测中， 通过网络连接将5个尺度特征进行转换， 作为目标检测网络的输入， 用 于多类别预测与目标精确位置回归

7、； 使用3x5长卷积核生成用于检测的卷积层， 在上述5个特征图之后接一个用于检测的卷 积层， 用于预测输出， 获取每个默认框的类别以及位置信息， 该位置信息为舰船目标四个点 的坐标的偏置信息。 6.根据权利要求5所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 默认 框预测过程如下： 1) 首 先 假 设 b0 x0,y0,w0,h0 表 示 默 认 框 ， 相应的 四 边 形 表示 方 法 为 其中， (x0,y0)表示默认框的中心点， (w0,h0)表示默认 框的宽度和高度， 则四边形表示的计算方法如公式(1)所示： 权利要求书 1/2 页 2 CN 111353459 A 2

8、2)在5个卷积层后的检测层将预测每个默认框的舰船目标概率以及位置偏置， 输出值 为： (x,y； w； h； x1,y1； x2,y2； x3,y3； x4,y4； c)； 其中， c是指预测的 置信度， x,y是默认框中心点的偏移， w是默认框宽度的偏移， h是默认框高度的偏 移， x1,y1； x2,y2； x3,y3； x4,y4是默认框四个顶点的偏移； 在训练阶段， 默认 框与标注四边形计算得到真实值， 然后通过真实值与预测值的差值计算损失值。 7.根据权利要求6所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 舰船 目标检测损失函数如公式(2)所示： 其中， i表示第几个默

9、认框， 表示与第i个默认框匹配的真实框的类别， 表示与第i 个默认框匹配的真实框的位置和大小， pi表示置信度， xi表示第二区域筛选网络中默认框的 坐标， ci表示预测类别， ti表示目标检测网络中的预测坐标信息； Nrpn和Nodn分别表示第二区 域筛选网络和目标检测网络中的正样本默认框数量； Lb表示二值分类损失， Lm表示多类别损 失， Lr表示回归损失，表示若负样本的置信度大于一个阈值， 那么返回1， 否则返回0； 若Nr p n0 ， 设置和若No d n0 ， 那么设置和 8.根据权利要求1所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 将区 域筛选筛选网络获取的候选

10、区域作为舰船目标检测模型输入， 检测该区域内是否有舰船目 标， 若有， 预测目标的四个坐标， 并将舰船目标在该候选区域的坐标映射到大幅卫星影像 上， 所有候选区域重复该过程； 对所有候选区域检测完毕之后， 在大幅卫星影像上获得的检测目标区域若有重叠， 采 用NMS算法进行去重， 获取最后的目标检测结果。 9.根据权利要求8所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 采用 NMS算法进行去重， 获取最后的目标检测结果的方法为： 首先， 将所有检测结果按照概率大 小排序， 并从高到低的遍历预测框； 对于每个预测框， 去除同一类别下与当前预测框IOU大 于0.5的其他预测框， 得到去

11、重后的检测结果。 10.根据权利要求1所述的一种资源受限条件下的舰船目标检测方法， 其特征在于， 将 卫星影像输入到第一区域筛选网络之前， 对高分辨率卫星影像中的舰船目标数据标注、 数 据生成以及数据增广处理而获取舰船目标检测数据集之后， 对舰船目标的长、 宽以及长宽 比做聚类分析， 根据长宽比聚类结果设计适合于舰船目标的长宽比参数。 权利要求书 2/2 页 3 CN 111353459 A 3 一种资源受限条件下的舰船目标检测方法 技术领域 0001 本发明属于图像处理技术领域， 更具体的说是涉及一种资源受限条件下的舰船目 标检测方法。 背景技术 0002 近年来， 随着航空航天技术的进步，

12、 遥感影像获取的手段日益成熟， 影像的分辨 率， 包括时间分辨率、 空间分辨率、 辐射分辨率和光谱分辨率正在不断提高。 目前， 遥感已突 破数据获取的瓶颈， 正在走向全面应用的新阶段， 为海洋近岸目标的提取奠定了数据基础。 舰船作为重要的海洋目标， 是海上监测和战时打击的重点目标， 实时有效的获取舰船的基 本信息， 在民用和军事领域都有着巨大的意义。 在民用领域， 辅助遇难船只救援， 打击走私、 非法倾倒油污、 非法捕鱼和海盗等违法行为， 监控特定港口或海域的海运交通等都需要获 取舰船信息； 在军事领域， 通过对重点港口和海域的舰船进行检测、 监视和识别， 确定舰船 的型号、 种类、 位置等重

13、要信息， 便于海战场环境态势的分析， 从而掌握对方的海上作战实 力， 评估战时海上打击效果， 形成海上作战情报等， 为海战场决策支持提供依据。 0003 目前， 舰船检测的方法主要分为两大类： 传统方法和基于深度学习的方法。 传统的 卫星影像目标检测方法主要采用从粗到细的多步骤策略， 一般包括影像预处理、 海陆分割、 区域特征提取、 目标判别等步骤， 传统方法需要人工设计特征提取方法， 适应性较差， 导致 检测结果不准确。 0004 深度学习技术由于其强大的特征表示和端到端的训练学习能力使得其在目标检 测与识别领域应用广泛， 并极大地提升了检测性能。 基于深度学习的目标检测方法首先也 是从图像

14、中提取候选区域， 然后采用卷积神经网络(Convolution Neural Network,CNN)等 深度神经网络对候选区域进行鉴别和边界框回归， 实现目标检测与识别。 0005 现有舰船检测方法的不足主要包括： CNN的计算瓶颈主要在于高维全连接层， 其不 仅参数多， 计算复杂度高， 容易导致过拟合， 而且需要同样大小的图像输入， 且常用目标检 测算法采用通用卷积核， 大长宽比目标检测效果较差， 导致检测结果准确性较差。 最重要的 目前基于深度学习的目标检测方法需要GPU加速， 在资源受限条件下的研究与应用相对较 少。 0006 因此， 如何提供一种资源受限条件下的舰船目标检测方法是本领

15、域技术人员亟需 解决的问题。 发明内容 0007 有鉴于此， 本发明提供了一种资源受限条件下的舰船目标检测方法， 能够在无GPU 条件下实现舰船目标快速检测， 解决资源受限条件下的目标快速检测问题。 0008 为了实现上述目的， 本发明采用如下技术方案： 0009 一种资源受限条件下的舰船目标检测方法， 包括： 将卫星影像输入到第一区域筛 选网络， 得到舰船目标候选区域图像； 将舰船目标候选区域图像输入到预先训练好的舰船 说明书 1/8 页 4 CN 111353459 A 4 目标检测模型中进行目标检测， 得到初步目标检测结果； 利用NMS方法对初步目标检测结果 进行去重， 得到目标检测结果

16、； 其中， 资源受限条件下的舰船目标检测模型包括依次级联的 第二区域筛选网络、 网络连接层和目标检测网络。 0010 进一步， 采用实时人脸检测MTCNN模型的PNet网络， 作为第一区域筛选网络， 筛选 舰船目标候选区域， 加快搜索速度； MTCNN模型由三个不同尺度的小型卷积神经网络组成， 分别为PNet、 RNet和ONet； PNet为区域建议网络， 用来生成候选目标； PNet是一个浅层的全 卷积网络， 包含三个卷积层和一个池化层， 输入图像大小为12像素12像素。 0011 进一步， 第二区域筛选网络先第一次调整默认框的位置， 使之为目标检测网络提 供修正后的默认框， 为后续检测提

17、供更好的初始化回归； 采用专用轻量级网络代替分类网 络作为目标检测的骨干网络， 之后接一个Light-head， 实现快速计算， 然后接一个3x5长卷 积核生成的用于检测的卷积层， 输出每个默认框是否包含目标以及粗略的四边形的位置偏 置信息； 网络连接层是将第二区域筛选网络中的特征传输到目标检测网络中用以预测目标 位置、 大小和类别标签。 0012 进一步， 通过网络连接部分来将第二区域筛选网络中的特征图转换到目标检测网 络中， 来建立第二区域筛选网络和目标检测网络的联系， 这样目标检测网络能共享第二区 域筛选网络的特征， 目标检测网络采用第二区域筛选网络产生的5层特征图进行转换作为 输入，

18、融合不同层的特征。 0013 进一步， 舰船目标检测模型设计： 0014 (1)采用专用目标检测Res2Block网络作为骨干网络， 分别选取两个骨干网络和额 外添加的卷积层产生的不同尺度的特征图用于检测， 产生的特征图供第二区域筛选网络以 及目标检测网络共用； 0015 (2)在第二区域筛选网络中， 将5个不同尺度特征图用于默认框二分类以及默认框 位置调整； 在目标检测中， 通过网络连接将5个尺度特征进行转换， 作为目标检测网络的输 入， 用于多类别预测与目标精确位置回归； 0016 使用3x5长卷积核生成用于检测的卷积层， 在上述5个特征图之后接一个用于检测 的卷积层， 用于预测输出， 获

19、取每个默认框的类别以及位置信息， 该位置信息为舰船目标四 个点的坐标的偏置信息。 0017 进一步， 默认框预测过程如下： 0018 1)首先假设b0 x0,y0,w0,h0表示默认框， 相应的四边形表示方法为 其中， (x0,y0)表示默认框的中心点， (w0,h0)表示默认 框的宽度和高度， 则四边形表示的计算方法如公式(1)所示： 0019 0020 2)在5个卷积层后的检测层将预测每个默认框的舰船目标概率以及位置偏置， 输 出值为： (x,y； w； h； x1,y1； x2,y2； x3,y3； x4,y4； c)， 其中， c是指预 测的置信度， x,y是默认框中心点的偏移， w是

20、默认框宽度的偏移， h是默认框高度 说明书 2/8 页 5 CN 111353459 A 5 的偏移， x1,y1； x2,y2； x3,y3； x4,y4是默认框四个顶点的偏移； 在训练阶段， 默认框与标注四边形计算得到真实值， 然后通过真实值与预测值的差值计算损失值。 0021 进一步， 舰船目标检测损失函数如公式(2)所示： 0022 0023其中， i表示第几个默认框， 表示与第i个默认框匹配的真实框的类别， 表示与 第i个默认框匹配的真实框的位置和大小， pi表示置信度， xi表示第二区域筛选网络中默认 框的坐标， ci表示预测类别， ti表示目标检测网络中的预测坐标信息； Nrpn

21、和Nodn分别表示第 二区域筛选网络和目标检测网络中的正样本默认框数量； Lb表示二值分类损失， Lm表示多类 别损失， Lr表示回归损失，表示若负样本的置信度大于一个阈值， 那么返回1， 否则返 回0； 若Nrpn0， 设置和若Nodn0， 那么设置和 0024 进一步， 将区域筛选筛选网络获取的候选区域作为舰船目标检测模型输入， 检测 该区域内是否有舰船目标， 若有， 预测目标的四个坐标， 并将舰船目标在该候选区域的坐标 映射到大幅卫星影像上， 所有候选区域重复该过程； 0025 对所有候选区域检测完毕之后， 在大幅卫星影像上获得的检测目标区域若有重 叠， 采用NMS算法进行去重， 获取最

22、后的目标检测结果。 0026 进一步， 采用NMS算法进行去重， 获取最后的目标检测结果的方法为： 首先， 将所有 检测结果按照概率大小排序， 并从高到低的遍历预测框； 对于每个预测框， 去除同一类别下 与当前预测框IOU大于0.5的其他预测框， 得到去重后的检测结果。 0027 进一步， 将卫星影像输入到第一区域筛选网络之前， 对高分辨率卫星影像中的舰 船目标数据标注、 数据生成以及数据增广处理而获取舰船目标检测数据集之后， 对舰船目 标的长、 宽以及长宽比做聚类分析， 根据长宽比聚类结果设计适合于舰船目标的长宽比参 数。 0028 与现有技术相比， 本发明公开提供了一种资源受限条件下的舰船

23、目标检测方法， 具有如下技术优势： 0029 第一， 本发明采用一种轻量级专用网络作为骨干网络， 代替以前的分类网络， 以提 升目标检测性能； 0030 第二， 为轻量级骨干网络配套使用一种Light-head， 提高计算速度； 0031 第三， 采用长卷积核方法， 并在垂直方向增加默认框密度， 以更好的适应多方向检 测， 实现大长宽比任意方向舰船目标检测， 预测目标区域的四个点坐标位置偏移， 采用四个 点坐标更加精确地表示舰船目标位置。 0032 综上所述， 本发明提供的一种资源受限条件下的舰船目标检测方法能够在无GPU 条件下实现舰船目标快速检测检测， 解决资源受限条件下的目标快速检测问题

24、。 说明书 3/8 页 6 CN 111353459 A 6 附图说明 0033 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0034 图1附图为本发明资源受限条件下的舰船目标检测方法的流程图。 0035 图2附图为本发明资源受限条件下的舰船目标检测网络结构示意图。 0036 图3附图为本发明骨干网络结构图。 0037 图4附图为本发明骨干网络基础结构示意图。 003

25、8 图5附图为本发明Light-head结构示意图。 0039 图6附图为本发明特征转换结构示意图。 0040 图7附图为本发明默认框预测过程示意图。 0041 图8附图为本发明默认框垂直偏移示意图。 0042 图9附图为本发明MTCNN模型PNet网络结构示意图。 0043 图10附图为本发明舰船目标检测结果示意图。 具体实施方式 0044 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例

26、， 都属于本发明保护的范围。 0045 本发明提供了一种资源受限条件下的舰船目标检测方法， 包括： 将卫星影像输入 到第一区域筛选网络， 得到舰船目标候选区域图像； 将舰船目标候选区域图像输入到预先 训练好的舰船目标检测模型中进行目标检测， 得到初步目标检测结果； 利用NMS方法对初步 目标检测结果进行去重， 得到目标检测结果； 其中， 资源受限条件下的舰船目标检测模型包 括依次级联的第二区域筛选网络、 网络连接层和目标检测网络。 0046 具体方法为： 0047 1.卫星影像舰船数据的标注 0048 利用四边形标注工具对高分辨率卫星影像中的舰船目标使用 “四点法” 进行四边 形标注， 并将卫

27、星影像中所有标注好的目标信息以XML文件的格式存储到本地。 存储的信息 包括四边形四个点的坐标以及舰船类型等信息。 0049 2.训练数据的生成和数据增广 0050 2.1训练数据的生成 0051 根据深度学习模型输入所需大小， 结合标注的XML文件， 将标注好的大场景高分辨 率卫星影像裁剪成固定大小的样本数据。 具体方法如下： 将深度学习网络输入图像大小作 为滑动窗口的大小， 有重叠的在大幅卫星影像上滑动。 若当前滑动窗口中包含有效舰船目 标， 则将当前滑动窗口对应的图像裁剪出来， 同时， 将当前窗口内舰船相对于整幅卫星影像 的坐标更新为在当前窗口内的坐标， 并保存为该裁剪图像对应的XML标

28、注文件。 0052 舰船有效目标判别方式如下： 以滑动窗口面积和舰船目标四边形区域重叠面积与 说明书 4/8 页 7 CN 111353459 A 7 舰船四边形区域面积之比为判据， 若面积之比大于0.5， 则视为有效舰船目标。 0053 2.2数据增广 0054 深度学习是数据驱动型的学习方式， 为了满足学习训练要求、 提高目标检测模型 的泛化能力， 防止目标检测模型过度拟合， 采取如下方法对训练数据进行数据增广。 0055 (1)采用基于超分辨率对抗生成网络(SRGAN)生成多尺度高分辨率影像， 生成2倍、 4倍分辨率影像以扩充训练和验证数据。 0056 (2)采用旋转、 翻转、 亮度对比

29、度调整等方法， 进一步扩充训练和验证数据。 其中， 验证数据是指训练时， 为了测试模型准确率的数据。 0057 3.舰船目标长宽比聚类分析 0058 通用目标检测算法长宽比参数设定简单， 对于方向多变、 长宽比较大的舰船目标 而言并不适合。 因此， 本发明经过上述数据标注， 数据生成等步骤获取舰船目标检测数据集 之后， 先对舰船目标的长、 宽以及长宽比做聚类分析， 根据长宽比聚类结果设计适合于舰船 目标的长宽比参数。 根据数据聚类结果将舰船目标检测长宽比参数设定为： 3:1， 5:1， 7:1， 9:1， 11:1。 0059 4.舰船目标检测模型设计与训练 0060 4.1舰船目标检测模型设

30、计思路 0061 本发明采用一种端到端的目标检测框架， 结合文字场景检测思路与轻量化目标检 测设计舰船目标检测模型， 采用专用轻量级网络代替分类网络作为目标检测的骨干网络， 之后接一个Light-head， 实现快速计算。 该检测网络分为三个部分： 第二区域筛选网络、 网 络连接层以及目标检测网络， 将传统目标检测的第二区域筛选网络与目标检测网络级联形 成一个端到端的网络， 既保持了两阶段(第二区域筛选网络与目标检测网络独立)目标检测 方法的准确性， 也保持了一阶段(网络直接进行目标检测)目标检测方法的效率。 通过采用 轻量级骨干网络以及Light-head的使用使得网络能够在无GPU条件下实

31、现舰船目标快速检 测， 解决资源受限条件下的目标快速检测问题。 资源受限条件下的舰船目标检测网络结构 图如图2所示。 0062 (1)第二区域筛选网络先第一次调整默认框的位置， 使之为目标检测网络提供修 正后的默认框， 为后续检测提供更好的初始化回归。 采用专用轻量级网络代替分类网络作 为目标检测的骨干网络， 之后接一个Light-head， 实现快速计算， 然后接一个3x5长卷积核 生成的用于检测的卷积层， 输出每个默认框是否包含目标以及粗略的四边形的位置偏置信 息。 骨干网络和Light-head结构分别图3和图5所示。 0063 骨干网络基础模块如图4所示， 以更细粒度表示多尺度特征，

32、并增加每个网络层的 感受野范围， 该模块具备更强的多规模特征提取能力。 Light-head用于提高计算速度， 其结 构如图5所示。 0064 (2)网络连接部分是将第二区域筛选网络中的特征传输到目标检测网络中用以预 测目标位置、 大小和类别标签。 采用如图6所示结构进行特征转换， 一方面更多的使用 Light-head结构以提高计算速度， 另一方面将第二区域筛选网络的输出特征图转换成目标 检测网络的输入。 0065 为了建立第二区域筛选网络和目标检测网络的联系， 通过网络连接部分来将第二 区域筛选网络中的特征图转换到目标检测网络中， 这样目标检测网络可以共享第二区域筛 说明书 5/8 页 8

33、 CN 111353459 A 8 选网络的特征。 只在与默认框有联系的特征图上使用网络连接。 网络连接通过添加高级特 征来整合大规模上下文， 以改善检测精度。 为了匹配维度， 使用反卷积操作来使高层的特征 图变大， 使用像素级的方式相加， 在求和之后添加卷积层以确保用于检测的特征的可辨别 性。 0066 (3)目标检测网络与第二区域筛选网络共享特征， 目标检测网络采用第二区域筛 选网络产生的5层特征图进行转换作为输入， 融合不同层的特征， 进一步改善回归和预测多 类标签。 0067 4.2舰船目标检测模型设计与实现 0068 (1)采用专用目标检测Res2Block网络作为骨干网络， 分别选

34、取两个骨干网络和额 外添加的卷积层产生的不同尺度的特征图用于检测， 产生的特征图供第二区域筛选网络以 及目标检测网络共用。 0069 (2)在第二区域筛选网络中， 将5个不同尺度特征图用于默认框二分类(有/无目 标)以及默认框位置调整； 在目标检测中， 通过网络连接将5个尺度特征进行转换， 作为目标 检测网络的输入， 用于多类别预测与目标精确位置回归。 0070 (3)为了检测大长宽比目标， 使用3x5长卷积核生成用于检测的卷积层， 在上述5个 特征图之后接一个用于检测的卷积层， 用于预测输出， 获取每个默认框的类别以及位置信 息， 该位置信息为舰船目标四个点的坐标的偏置信息。 0071 检测

35、层是网络的核心， 默认框是矩形的， 输出是四边形预测框， 预测的是相对于默 认框的偏置信息。 默认框学习过程如图7所示。 白色实线是真实框， 白色虚线是匹配上的默 认框， 白色箭头表示学习过程。 0072 默认框预测过程如下： 0073 1)首先假设b0 x0,y0,w0,h0表示默认框， 相应的四边形表示方法为 其中， (x0,y0)表示默认框的中心点， (w0,h0)表示默认 框的宽度和高度， 则四边形表示的计算方法如公式(1)所示： 0074 0075 2)在5个卷积层后的检测层将预测每个默认框的舰船目标概率以及位置偏置， 输 出值为： (x,y； w； h； x1,y1； x2,y2；

36、 x3,y3； x4,y4； c)， 其中， c是指预 测的置信度， x,y是默认框中心点的偏移， w是默认框宽度的偏移， h是默认框高度 的偏移， x1,y1； x2,y2； x3,y3； x4,y4是默认框四个顶点的偏移； 在训练阶段， 默认框与标注四边形计算得到真实值， 然后通过真实值与预测值的差值计算损失值。 0076 (4)设置垂直偏移， 本发明默认框为细长形， 这样可能导致默认框在水平方向密集 在垂直方向上稀疏， 从而导致检测不准确。 因此， 在垂直方向上设置默认框垂直偏移， 使得 默认框在垂直方向密集， 没有垂直偏移的只有白色实线框， 就会漏掉很多连续的垂直方向 目标。 白色虚线

37、框是加入了垂直偏移后的， 能把舰船目标信息都包围了进去， 如图8所示。 0077 (5)使用NMS(非极大值抑制)算法， 对不同的特征层预测出的候选目标区域进行去 说明书 6/8 页 9 CN 111353459 A 9 重， 得到舰船目标位置和类别信息的最终预测结果。 首先， 将所有检测结果按照概率大小排 序， 并从高到低的遍历预测框。 对于每个预测框， 去除同一类别下与当前预测框IOU大于0.5 的其他预测框， 得到去重后的检测结果。 0078 舰船目标检测损失函数如公式(2)所示： 0079 0080其中， i表示第几个默认框， 表示与第i个默认框匹配的真实框的类别， 表示与 第i个默认

38、框匹配的真实框的位置和大小， pi表示置信度， xi表示第二区域筛选网络中默认 框的坐标， ci表示预测类别， ti表示目标检测网络中的预测坐标信息； Nrpn和Nodn分别表示第 二区域筛选网络和目标检测网络中的正样本默认框数量； Lb表示二值分类损失(有/无目 标)， Lm表示多类别损失， Lr表示回归损失，表示若负样本的置信度大于一个阈值， 那 么返回1， 否则返回0； 若Nrpn0， 设置和若Nodn0， 那么设置 和 0081 5.大幅卫星影像舰船目标检测 0082 大幅卫星影像舰船目标检测的流程图如图1所示。 0083 5.1候选区域筛选 0084 传统的滑动窗口法在大幅卫星影像上

39、有重叠的滑动， 然后将滑动窗口区域作为目 标检测模型的输入， 进行目标检测， 需要遍历整幅影像， 计算效率低， 因此本发明采用实时 人脸检测MTCNN模型的PNet网络， 作为第一区域筛选网络， 筛选舰船目标候选区域， 加快搜 索速度， 参考附图9。 其网络结构如图6所示。 MTCNN模型由三个不同尺度的小型卷积神经网 络组成， 分别为PNet、 RNet和ONet。 PNet为区域建议网络， 用来生成候选目标。 PNet是一个浅 层的全卷积网络， 包含三个卷积层和一个池化层， 输入图像大小为12像素12像素。 全卷积 神经网络不含全连接层， 可以满足任意大小的图像输入， 因此可以实现大范围遥

40、感影像的 目标搜索。 PNet本质上是一种利用GPU加速的滑动窗口法， 在选取候选窗口的同时对每个候 选窗口进行分类判断。 0085 5.2舰船目标检测与重复目标去除 0086 (1)将区域筛选筛选网络获取的候选区域作为检测模型输入， 检测该区域内是否 有舰船目标， 若有， 预测目标的四个坐标， 并将舰船目标在该候选区域的坐标映射到大幅卫 星影像上， 所有候选区域重复该过程。 0087 (2)对所有候选区域检测完毕之后， 在大幅卫星影像上获得的检测目标区域可能 会有重叠， 因此为了得到唯一的目标检测区域， 采用NMS算法进行去重， 获取最后的目标检 测结果。 舰船目标检测检测结果示意图如图10

41、所示。 0088 本发明提供的技术方案采用一种端到端的目标检测框架， 采用专用轻量级网络 Res2Block代替分类网络作为目标检测的骨干网络， 之后接一个Light-head， 实现快速计 算， 将第二区域筛选网络和目标检测网络通过网络连接， 级联形成一个端到端的网络， 既保 持了两阶段目标检测方法的准确性， 也保持了一阶段目标检测方法的效率； 采用四点法表 说明书 7/8 页 10 CN 111353459 A 10 示预测回归结果， 能够更加精确的表示目标位置。 通过采用轻量级骨干网络以及Light- head的使用使得网络能够在无GPU条件下实现舰船目标快速检测， 解决资源受限条件下的

42、 目标快速检测问题并用四边形方式更为准确的表示预测目标。 0089 本说明书中各个实施例采用递进的方式描述， 每个实施例重点说明的都是与其他 实施例的不同之处， 各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置 而言， 由于其与实施例公开的方法相对应， 所以描述的比较简单， 相关之处参见方法部分说 明即可。 0090 对所公开的实施例的上述说明， 使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的， 本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。 因此， 本发明 将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。 说明书 8/8 页 11 CN 111353459 A 11 图1 图2 说明书附图 1/5 页 12 CN 111353459 A 12 图3 图4 说明书附图 2/5 页 13 CN 111353459 A 13 图5 图6 说明书附图 3/5 页 14 CN 111353459 A 14 图7 图8 说明书附图 4/5 页 15 CN 111353459 A 15 图9 图10 说明书附图 5/5 页 16 CN 111353459 A 16