目标检测方法、装置、计算机设备和存储介质.pdf

《目标检测方法、装置、计算机设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《目标检测方法、装置、计算机设备和存储介质.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010356470.7 (22)申请日 2020.04.29 (71)申请人 北京迈格威科技有限公司 地址 100190 北京市海淀区科学院南路2号 融科资讯中心A座316-318 (72)发明人 李楚陈泽陈岩王志成 (74)专利代理机构 北京华进京联知识产权代理 有限公司 11606 代理人 黄易 (51)Int.Cl. G06K 9/32(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 目标检测方法、 装置。

2、、 计算机设备和存储介 质 (57)摘要 本申请涉及一种目标检测方法、 装置、 计算 机设备和存储介质。 该方法包括： 对待检测图像 进行特征提取， 得到n组不同尺度的第一特征， 其 中， n为大于1的整数； 将n组不同尺度的第一特征 输入第一特征融合网络， 第一特征融合网络包括 n个特征融合层， 在第n个特征融合层中， 将第n组 第一特征作为第n组第二特征； 在第i-1个特征融 合层中， 获取第i组第二特征以及第i组第二特征 对应的权重参数， 将第i组第二特征与权重参数 相乘， 并将相乘得到的特征与第i-1组第一特征 融合， 得到第i-1组第二特征， 直至得到第1组第 二特征； 将n组第二特。

3、征输入检测网络， 得到待检 测图像中目标的类别信息和位置信息。 该方法有 利于提高目标检测的准确性。 权利要求书2页 说明书10页 附图4页 CN 111709415 A 2020.09.25 CN 111709415 A 1.一种目标检测方法， 其特征在于， 所述方法包括： 对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整数； 将所述n组不同尺度的第一特征输入第一特征融合网络， 所述第一特征融合网络包括n 个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n组第二特征； 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权重。

4、参 数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的特征与第i-1组第一特征 融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信息。 2.根据权利要求1所述的方法， 其特征在于， 获取第i组第二特征对应的权重参数， 包 括： 对所述第i组第二特征进行全局平均池化， 得到池化后的特征； 将所述池化后的特征输入全连接网络， 得到所述第i组第二特征对应的权重参数。 3.根据权利要求1或2所述的方法， 其特征在于， 将所述第i组第二特征与所述权重参数 相乘， 包括： 将所述第i组第二特征进行卷积运算， 得到。

5、卷积后的特征； 将所述卷积后的特征与所述权重参数相乘， 得到相乘后的特征。 4.根据权利要求1所述的方法， 其特征在于， 在第i-1个特征融合层中， 获取第i组第二 特征以及所述第i组第二特征对应的权重参数， 将所述第i组第二特征与所述权重参数相 乘， 并将相乘得到的特征与第i-1组第一特征融合， 得到第i-1组第二特征， 包括： 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权重参 数， 将所述第i组第二特征与所述权重参数相乘， 得到相乘后的特征； 对所述相乘后的特征进行上采样， 得到上采样后的特征； 获取所述上采样后的特征对应的权重参数， 将所述上采样后的特征与。

6、所述权重参数相 乘， 并将相乘得到的特征与第i-1组第一特征融合， 得到第i-1组第二特征。 5.根据权利要求4所述的方法， 其特征在于， 获取所述上采样后的特征对应的权重参 数， 包括： 对所述上采样后的特征进行全局平均池化， 得到池化后的特征； 将所述池化后的特征输入全连接网络， 得到所述上采样后的特征对应的权重参数。 6.根据权利要求1所述的方法， 其特征在于， 在第n个特征融合层中， 将第n组第一特征 作为第n组第二特征， 包括： 对所述第n组第一特征进行全局平局池化， 得到池化后的特征； 将所述池化后的特征与所述第n组第一特征相加， 得到第n组第二特征。 7.根据权利要求1所述的方法。

7、， 其特征在于， 将n组第二特征输入检测网络， 得到所述待 检测图像中目标的类别信息和位置信息， 包括： 将n组第二特征输入第二特征融合网络， 所述第二特征融合网络包括n个特征融合层， 在第1个特征融合层中， 将第1组第二特征作为第1组第三特征； 在第i个特征融合层中， 获取第i-1组第三特征， 并将所述第i-1组第三特征与第i组第 二特征融合， 得到第i组第三特征， 直至得到第n组第三特征； 将n组第三特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信息。 权利要求书 1/2 页 2 CN 111709415 A 2 8.根据权利要求1所述的方法， 其特征在于， 将n组第二特征输。

8、入检测网络， 得到所述待 检测图像中目标的类别信息和位置信息， 包括： 将所述n组第二特征输入区域生成网络， 得到初始候选框； 将所述初始候选框输入级联的检测网络， 所述检测网络包括级联的m个检测子网络， 将 所述初始候选框在原始特征上进行感兴趣区域池化操作， 并将池化后的特征输入第1级检 测子网络， 得到第1级的检测框及置信度； 对于第j-1级检测框， 在原始特征上进行感兴趣区域池化操作， 并将池化后的特征输入 第j级检测子网络， 得到第j级的检测框及置信度， 直至得到第m级检测框及置信度作为最终 结果； 对所述最终结果进行非极大值抑制， 得到所述待检测图像中目标的类别信息和位置信 息。 9。

9、.一种目标检测装置， 其特征在于， 所述装置包括： 特征提取模块， 用于对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整数； 特征融合模块， 用于将所述n组不同尺度的第一特征输入第一特征融合网络， 所述第一 特征融合网络包括n个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n组第 二特征； 所述特征融合模块， 还用于在第i-1个特征融合层中， 获取第i组第二特征以及所述第i 组第二特征对应的权重参数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的 特征与第i-1组第一特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 检测模。

10、块， 用于将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别信息 和位置信息。 10.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。 权利要求书 2/2 页 3 CN 111709415 A 3 目标检测方法、 装置、 计算机设备和存储介质 技术领域 0001 本申请涉及图像数据处理技术领域， 特别是涉及一种目标检测方法、 装置、。

11、 计算机 设备和存储介质。 背景技术 0002 随着人工智能技术的发展， 目标检测作为计算机视觉中最基本和首要的任务之 一， 广泛应用于工业界和日常生活的各个方面， 例如自动驾驶、 安防监控以及游戏娱乐等领 域。 0003 传统技术中， 目标检测方法先通过对图像进行卷积处理， 得到多个尺度的特征图； 接下来， 对每个尺度的特征图进行卷积处理和插值处理， 并与上一尺度的特征图进行叠加， 得到上一尺度融合后的特征图； 接下来， 将每个尺度融合后的特征图输入检测网络， 得到目 标检测结果。 0004 然而， 在很多复杂场景中， 例如多尺度变化场景， 由于图像中目标的尺度变化很 大， 在此情形下采用传。

12、统的目标检测方法进行目标检测时， 检测的准确性较低。 发明内容 0005 基于此， 有必要针对上述技术问题， 提供一种能够提高目标检测准确性的目标检 测方法、 装置、 计算机设备和存储介质。 0006 一种目标检测方法， 所述方法包括： 0007 对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整 数； 0008 将所述n组不同尺度的第一特征输入第一特征融合网络， 所述第一特征融合网络 包括n个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n组第二特征； 0009 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权 重参数，。

13、 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的特征与第i-1组第一 特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 0010 将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信 息。 0011 在其中一个实施例中， 获取第i组第二特征对应的权重参数， 包括： 0012 对所述第i组第二特征进行全局平均池化， 得到池化后的特征； 0013 将所述池化后的特征输入全连接网络， 得到所述第i组第二特征对应的权重参数。 0014 在其中一个实施例中， 将所述第i组第二特征与所述权重参数相乘， 包括： 0015 将所述第i组第二特征进行卷积运算， 得到卷。

14、积后的特征； 0016 将所述卷积后的特征与所述权重参数相乘， 得到相乘后的特征。 0017 在其中一个实施例中， 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i 组第二特征对应的权重参数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的 说明书 1/10 页 4 CN 111709415 A 4 特征与第i-1组第一特征融合， 得到第i-1组第二特征， 包括： 0018 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权 重参数， 将所述第i组第二特征与所述权重参数相乘， 得到相乘后的特征； 0019 对所述相乘后的特征进行上采样， 得到上采样。

15、后的特征； 0020 获取所述上采样后的特征对应的权重参数， 将所述上采样后的特征与所述权重参 数相乘， 并将相乘得到的特征与第i-1组第一特征融合， 得到第i-1组第二特征。 0021 在其中一个实施例中， 获取所述上采样后的特征对应的权重参数， 包括： 0022 对所述上采样后的特征进行全局平均池化， 得到池化后的特征； 0023 将所述池化后的特征输入全连接网络， 得到所述上采样后的特征对应的权重参 数。 0024 在其中一个实施例中， 在第n个特征融合层中， 将第n组第一特征作为第n组第二特 征， 包括： 0025 对所述第n组第一特征进行全局平局池化， 得到池化后的特征； 0026 。

16、将所述池化后的特征与所述第n组第一特征相加， 得到第n组第二特征。 0027 在其中一个实施例中， 将n组第二特征输入检测网络， 得到所述待检测图像中目标 的类别信息和位置信息， 包括： 0028 将n组第二特征输入第二特征融合网络， 所述第二特征融合网络包括n个特征融合 层， 在第1个特征融合层中， 将第1组第二特征作为第1组第三特征； 0029 在第i个特征融合层中， 获取第i-1组第三特征， 并将所述第i-1组第三特征与第i 组第二特征融合， 得到第i组第三特征， 直至得到第n组第三特征； 0030 将n组第三特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信 息。 0031。

17、 在其中一个实施例中， 将n组第二特征输入检测网络， 得到所述待检测图像中目标 的类别信息和位置信息， 包括： 0032 将所述n组第二特征输入区域生成网络， 得到初始候选框； 0033 将所述初始候选框输入级联的检测网络， 所述检测网络包括级联的m个检测子网 络， 将所述初始候选框在原始特征上进行感兴趣区域池化操作， 并将池化后的特征输入第1 级检测子网络， 得到第1级的检测框及置信度； 0034 对于第j-1级检测框， 在原始特征上进行感兴趣区域池化操作， 并将池化后的特征 输入第j级检测子网络， 得到第j级的检测框及置信度， 直至得到第m级检测框及置信度作为 最终结果； 0035 对所述。

18、最终结果进行非极大值抑制， 得到所述待检测图像中目标的类别信息和位 置信息。 0036 一种目标检测装置， 所述装置包括： 0037 特征提取模块， 用于对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整数； 0038 特征融合模块， 用于将所述n组不同尺度的第一特征输入第一特征融合网络， 所述 第一特征融合网络包括n个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n 组第二特征； 说明书 2/10 页 5 CN 111709415 A 5 0039 所述特征融合模块， 还用于在第i-1个特征融合层中， 获取第i组第二特征以及所 述第i组第二特征对应。

19、的权重参数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘 得到的特征与第i-1组第一特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 0040 检测模块， 用于将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别 信息和位置信息。 0041 一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 所述处理 器执行所述计算机程序时实现以下步骤： 0042 对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整 数； 0043 将所述n组不同尺度的第一特征输入第一特征融合网络， 所述第一特征融合网络 包括n个特征融合层， 在第n。

20、个特征融合层中， 将第n组第一特征作为第n组第二特征； 0044 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权 重参数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的特征与第i-1组第一 特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 0045 将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信 息。 0046 一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执 行时实现以下步骤： 0047 对待检测图像进行特征提取， 得到n组不同尺度的第一特征， 其中， n为大于1的整 数； 0048 。

21、将所述n组不同尺度的第一特征输入第一特征融合网络， 所述第一特征融合网络 包括n个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n组第二特征； 0049 在第i-1个特征融合层中， 获取第i组第二特征以及所述第i组第二特征对应的权 重参数， 将所述第i组第二特征与所述权重参数相乘， 并将相乘得到的特征与第i-1组第一 特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 0050 将n组第二特征输入检测网络， 得到所述待检测图像中目标的类别信息和位置信 息。 0051 上述目标检测方法、 装置、 计算机设备和存储介质， 在对特征进行融合时， 通过获 取第二特征对应的权重。

22、参数， 并将该第二特征与其对应的权重参数进行一系列运算， 可实 现对第二特征的取舍， 以达到有选择地将第二特征与下一第一特征进行融合的效果， 如此 能够更加有效地结合不同尺度特征的特征信息， 有利于提高目标检测的准确性。 附图说明 0052 图1为一个实施例中目标检测方法的流程示意图； 0053 图2为一个实施例中获取第i组第二特征对应的权重参数的补充方案的流程示意 图； 0054 图3为一个实施例中将第i组第二特征与权重参数相乘的补充方案的流程示意图； 0055 图4为一个实施例中确定第i-1组第二特征的补充方案的流程示意图； 0056 图5为一个实施例中获取上采样后的特征对应的权重参数的补。

23、充方案的流程示意 说明书 3/10 页 6 CN 111709415 A 6 图； 0057 图6为一个实施例中将n组第二特征输入检测网络， 得到待检测图像中目标的类别 信息和位置信息的补充方案的流程示意图； 0058 图7为一个实施例中目标检测装置的结构框图； 0059 图8为一个实施例中计算机设备的内部结构图。 具体实施方式 0060 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本申请进行进一步详细说明。 应当理解， 此处描述的具体实施例仅仅用以解释本申请， 并不 用于限定本申请。 0061 在一示例性实施例中， 以本申请涉及的目标检测方法应用于目标检测。

24、设备进行举 例说明。 其中， 该目标检测设备可以是终端， 也可以是服务器， 还可以是包括终端和服务器 的系统， 并通过终端和服务器的交互实现。 其中， 终端可以但不限于是各种个人计算机、 笔 记本电脑、 智能手机、 平板电脑和便携式可穿戴设备， 服务器可以用独立的服务器或者是多 个服务器组成的服务器集群来实现。 0062 在一示例性实施例中， 如图1所示， 提供了一种目标检测方法， 具体可以通过以下 步骤实现： 0063 步骤S202， 对待检测图像进行特征提取， 得到n组不同尺度的第一特征。 0064 其中， n为大于1的整数。 0065 具体地， 将待检测图像输入目标检测设备中， 目标检测。

25、设备对该待检测图像进行 多次不同尺度的特征提取， 得到n组不同尺度的第一特征。 其中， 第一特征可以由三维张量 构成。 不同尺度的第一特征包含有不同的特征信息， 例如， 一些第一特征图具有丰富的语义 信息， 而一些第一特征图具有丰富的空间信息。 0066 可选地， 目标检测设备可以采用神经网络的骨干网络来对待检测图像进行多尺度 特征提取。 可选地， 神经网络可以为卷积神经网络， 例如， 采用VGG16， ResNet等网络提取待 检测图像中的特征， 得到多组不同尺度的第一特征。 0067 步骤S204， 将n组不同尺度的第一特征输入第一特征融合网络， 该第一特征融合网 络包括n个特征融合层， 。

26、在第n个特征融合层中， 将第n组第一特征作为第n组第二特征。 0068 具体地， 目标检测设备将得到的n组不同尺度的第一特征输入预设的第一特征融 合网络， 通过第一特征融合网络中包含的n个特征融合层进行特征融合。 为了实现融合目 的， 首先目标检测设备需要将第n组第一特征作为第n组第二特征。 可选地， 第n组第二特征 可以是第n组第一特征， 也就是同一特征在不同功能下对应的不同术语。 此外， 第n组第二特 征也可以是第n组第一特征进一步的处理得到， 此时， 第n组第二特征与第n组第一特征并非 同一特征。 0069 可选地， 第n组第一特征通常为尺度最小的第一特征， 那么在实现上， 目标检测设 。

27、备可以根据第一特征的尺度大小， 将尺度最小的第一特征确定为第n组第一特征。 0070 步骤S206， 在第i-1个特征融合层中， 获取第i组第二特征以及第i组第二特征对应 的权重参数， 将第i组第二特征与权重参数相乘， 并将相乘得到的特征与第i-1组第一特征 融合， 得到第i-1组第二特征， 直至得到第1组第二特征。 说明书 4/10 页 7 CN 111709415 A 7 0071 具体地， 在本步骤中， 采用从n至1的次序进行相邻特征的融合。 在融合过程中， 针 对第i-1个特征融合层中， 需要融合的特征一方面来自第i组第二特征与第i组第二特征对 应的权重参数的相乘得到的特征， 另一方面。

28、来自第i-1组第一特征， 在得到这两种特征数据 后， 在第i-1个特征融合层中完成该相乘得到的特征与第i-1组第一特征的融合过程， 并得 到第i-1组第二特征。 以此类推， 直到将第2组第二特征与第2组第二特征对应的权重参数的 相乘得到的特征与第1组第一特征进行融合得到第1组第二特征。 由此， 本步骤涉及的特征 融合过程完成。 0072 可选地， 目标检测设备将相乘得到的特征与第i-1组第一特征进行相加或拼接， 得 到第i-1组第二特征。 0073 可选地， 权重参数可以是预先设置的， 也可以是根据各第二特征进一步处理得到 的。 需要提及， 该权重参数主要是用于实现对各第二特征进行取舍， 减少。

29、数据运算量并提高 特征融合的有效性。 比方说， 当该权重参数为零或者负数时， 通过将权重参数与第二特征进 行相乘， 由此通过判别乘积是否为正数即可实现对特征的取舍。 0074 步骤S208， 将n组第二特征输入检测网络， 得到待检测图像中目标的类别信息和位 置信息。 0075 具体地， 由上述实现步骤不难得出， 特征融合之后会得到n组第二特征。 接下来， 目 标检测设备将n组第二特征输入检测网络， 得到待检测图像中目标的类别信息和位置信息。 可选地， 目标检测设备将n组第二特征输入Faster R-CNN网络或者Cascade RCNN的级联网 络， 最终输出待检测图像中目标的类别信息和位置信。

30、息。 0076 上述目标检测方法中， 在对特征进行融合时， 通过获取第二特征对应的权重参数， 并将该第二特征与其对应的权重参数进行一系列运算， 可实现对第二特征的取舍， 以达到 有选择地将第二特征与下一第一特征进行融合的效果， 如此能够更加有效地结合不同尺度 特征的特征信息， 有利于提高目标检测的准确性。 0077 在一示例性实施例中， 请参阅图2， 获取第i组第二特征对应的权重参数， 具体可以 通过以下步骤实现： 0078 S212， 对第i组第二特征进行全局平均池化， 得到池化后的特征； 0079 S214， 将池化后的特征输入全连接网络， 得到第i组第二特征对应的权重参数。 0080 具。

31、体地， 为了增强权重参数与第二特征的关联性， 提升特征取舍的准确性及有效 性， 在一示例中， 目标检测设备对第i组第二特征进行降维， 得到降维后的特征。 接下来， 目 标检测设备将降维后的特征输入全连接网络， 得到第i组第二特征对应的权重参数。 可选 地， 目标检测设备对第i组第二特征进行池化操作， 得到池化后的特征， 即降维后的特征。 进 一步可选地， 目标检测设备对第i组第二特征进行全局平均池化， 得到池化后的特征。 在另 一实施例中， 目标检测设备对第i组第二特征进行全局最大池化， 得到池化后的特征。 可见， 获取第i组第二特征对应的权重参数的实现方式包括多种， 本实施例不限于上述列举的。

32、实 现方式。 0081 本申请实施例中， 对第二特征进行全局平均池化并经由全连接网络处理得到其对 应的权重参数， 可增强权重参数与第二特征的关联性， 由此该权重参数能够更准确地对特 征进行取舍。 0082 在一示例性实施例中， 请参阅图3， 将第i组第二特征与权重参数相乘， 具体可以通 说明书 5/10 页 8 CN 111709415 A 8 过以下步骤实现： 0083 S222， 将第i组第二特征进行卷积运算， 得到卷积后的特征； 0084 S224， 将卷积后的特征与权重参数相乘， 得到相乘后的特征。 0085 具体地， 目标检测设备对第i组第二特征进行卷积运算， 得到卷积后的特征。 接。

33、下 来， 目标检测设备将卷积后的特征与权重参数相乘， 得到相乘后的特征。 0086 本申请实施例中， 采用相乘方式来对第二特征进行取舍， 有利于提高特征取舍的 准确性。 0087 在一示例性实施例中， 涉及在第i-1个特征融合层中， 获取第i组第二特征以及第i 组第二特征对应的权重参数， 将第i组第二特征与权重参数相乘， 并将相乘得到的特征与第 i-1组第一特征融合， 得到第i-1组第二特征的一种可能的实现过程。 在上述实施例的基础 上， 请参阅图4， 步骤S206具体可以通过以下步骤实现： 0088 S2062， 在第i-1个特征融合层中， 获取第i组第二特征以及第i组第二特征对应的 权重参。

34、数， 将第i组第二特征与权重参数相乘， 得到相乘后的特征； 0089 S2064， 对相乘后的特征进行上采样， 得到上采样后的特征； 0090 S2066， 获取上采样后的特征对应的权重参数， 将上采样后的特征与权重参数相 乘， 并将相乘得到的特征与第i-1组第一特征融合， 得到第i-1组第二特征。 0091 具体地， 考虑到各组第二特征的尺度是不同的， 因此， 为了提升特征融合时的方便 性及准确性， 目标检测设备在得到相乘后的特征后， 对该相乘后的特征进行上采样， 得到上 采样后的特征， 上采样的目的是将尺度较小的相乘后的特征变大至第i-1组第一特征的尺 度大小， 这样方便位置对应的特征进行。

35、融合。 每次特征融合可看做是采用一种门结构 (door)来控制可融合的特征， 提升融合有效性。 0092 本申请实施例中， 采用一种门结构的方式来有选择地融合特征， 从而基于融合后 的特征进行目标检测， 有利于提高目标检测的准确性。 0093 在一示例性实施例中， 请参阅图5， 获取上采样后的特征对应的权重参数， 具体可 以通过以下步骤实现： 0094 S206a， 对上采样后的特征进行全局平均池化， 得到池化后的特征； 0095 S206b， 将池化后的特征输入全连接网络， 得到上采样后的特征对应的权重参数。 0096 具体地， 为了增强权重参数与上采样后的特征的关联性， 提升特征取舍的准确。

36、性 及有效性， 在一示例中， 目标检测设备对上采样后的特征进行降维， 得到降维后的特征。 接 下来， 目标检测设备将降维后的特征输入全连接网络， 得到上采样后的特征对应的权重参 数。 可选地， 目标检测设备对上采样后的特征进行池化操作， 得到池化后的特征， 即降维后 的特征。 进一步可选地， 目标检测设备对上采样后的特征进行全局平均池化， 得到池化后的 特征。 在另一实施例中， 目标检测设备对上采样后的特征进行全局最大池化， 得到池化后的 特征。 可见， 获取上采样后的特征对应的权重参数的实现方式包括多种， 本实施例不限于上 述列举的实现方式。 0097 本申请实施例中， 对上采样后的特征进行。

37、全局平均池化并经由全连接网络处理得 到其对应的权重参数， 可增强权重参数与上采样后的特征的关联性， 由此该权重参数能够 更准确地对特征进行取舍。 0098 在一示例性实施例中， 在第n个特征融合层中， 将第n组第一特征作为第n组第二特 说明书 6/10 页 9 CN 111709415 A 9 征， 具体可以通过以下步骤实现： 0099 步骤S232， 对第n组第一特征进行全局平局池化， 得到池化后的特征； 0100 步骤S234， 将池化后的特征与第n组第一特征相加， 得到第n组第二特征。 0101 具体地， 以第n组第一特征为尺度最小的第一特征为例进行说明， 目标检测设备对 尺度最小的第一。

38、特征进行全局平局池化后， 池化后的特征的维度变为N*C*1*1， 其中N为批 尺寸(batchsize)， C为通道数， 再将该池化后的特征输入一个1*1卷积网络， 变换通道数为 256。 接下来， 目标检测设备利用广播机制(broadcast)使其变为N*256*H*W， 即同一个H*W上 的像素值相同， 然后与尺度最小的第一特征相加， 得到第二特征(第n组第二特征)。 其中， 相 加的实现方式可以是： 假设尺度最小的第一特征的维度为N*C*H*W， 将其输入1*1卷积网络， 可变换通道数为256， 即维度变为N*256*H*W。 此时将维度相同的第一特征与池化后的特征 相加， 得到第n组第。

39、二特征。 0102 本申请实施例中， 通过对第n组第一特征进行全局平局池化， 可对整个网络在结构 上做正则化处理以防止过拟合， 有利于提高目标检测的准确性。 0103 在一示例性实施例中， 涉及将n组第二特征输入检测网络， 得到待检测图像中目标 的类别信息和位置信息的一种可能的实现过程。 在上述实施例的基础上， 请参阅图6， 步骤 S208具体可以通过以下步骤实现： 0104 S2082， 将n组第二特征输入第二特征融合网络， 该第二特征融合网络包括n个特征 融合层， 在第1个特征融合层中， 将第1组第二特征作为第1组第三特征； 0105 S2084， 在第i个特征融合层中， 获取第i-1组第。

40、三特征， 并将第i-1组第三特征与第 i组第二特征融合， 得到第i组第三特征， 直至得到第n组第三特征； 0106 S2086， 将n组第三特征输入检测网络， 得到待检测图像中目标的类别信息和位置 信息。 0107 具体地， 目标检测设备将n组第二特征输入第二特征融合网络， 该第二特征融合网 络包括n个特征融合层， 在第1个特征融合层中， 将第1组第二特征作为第1组第三特征。 接下 来， 目标检测设备在第i个特征融合层中， 获取第i-1组第三特征， 并将第i-1组第三特征与 第i组第二特征融合， 得到第i组第三特征， 直至得到第n组第三特征。 接下来， 目标检测设备 将n组第三特征输入检测网络。

41、， 得到待检测图像中目标的类别信息和位置信息。 0108 本申请实施例中， 通过进一步对特征进行融合， 可增强特征的语义信息， 并提高小 尺寸目标的检测准确性。 0109 在一示例性实施例中， 涉及将n组第二特征输入检测网络， 得到待检测图像中目标 的类别信息和位置信息的一种可能的实现过程。 在上述实施例的基础上， 步骤S208具体可 以通过以下步骤实现： 0110 S208a， 将n组第二特征输入区域生成网络， 得到初始候选框； 0111 S208b， 将初始候选框输入级联的检测网络， 该检测网络包括级联的m个检测子网 络， 将初始候选框在原始特征上进行感兴趣区域池化操作， 并将池化后的特征。

42、输入第1级检 测子网络， 得到第1级的检测框及置信度； 0112 S208c， 对于第j-1级检测框， 在原始特征上进行感兴趣区域池化操作， 并将池化后 的特征输入第j级检测子网络， 得到第j级的检测框及置信度， 直至得到第m级检测框及置信 度作为最终结果； 说明书 7/10 页 10 CN 111709415 A 10 0113 S208d， 对最终结果进行非极大值抑制， 得到待检测图像中目标的类别信息和位置 信息。 0114 具体地， 目标检测设备将n组第二特征输入区域生成网络， 得到初始候选框B0。 接 下来， 目标检测设备采用级联的m个检测子网络， 将初始候选框在原始特征上进行感兴趣区。

43、 域池化操作， 并将池化后的特征输入第1级检测子网络， 得到第1级的检测框及置信度。 接下 来， 对于第j-1级检测框， 目标检测设备在原始特征上进行感兴趣区域池化操作， 并将池化 后的特征输入第j级检测子网络， 得到第j级的检测框及置信度， 直至得到第m级检测框及置 信度作为最终结果。 接下来， 目标检测设备对最终结果进行非极大值抑制， 得到待检测图像 中目标的类别信息和位置信息。 0115 应该理解的是， 虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示， 但是 这些步骤并不是必然按照箭头指示的顺序依次执行。 除非本文中有明确的说明， 这些步骤 的执行并没有严格的顺序限制， 这些步骤。

44、可以以其它的顺序执行。 而且， 图1-6中的至少一 部分步骤可以包括多个步骤或者多个阶段， 这些步骤或者阶段并不必然是在同一时刻执行 完成， 而是可以在不同的时刻执行， 这些步骤或者阶段的执行顺序也不必然是依次进行， 而 是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。 0116 在一示例性实施例中， 如图7所示， 提供了一种目标检测装置， 包括： 特征提取模块 302、 特征融合模块304和检测模块306， 其中： 0117 该特征提取模块302用于对待检测图像进行特征提取， 得到n组不同尺度的第一特 征， 其中， n为大于1的整数； 0118 该特征融合模块30。

45、4用于将n组不同尺度的第一特征输入第一特征融合网络， 第一 特征融合网络包括n个特征融合层， 在第n个特征融合层中， 将第n组第一特征作为第n组第 二特征； 0119 该特征融合模块304还用于在第i-1个特征融合层中， 获取第i组第二特征以及第i 组第二特征对应的权重参数， 将第i组第二特征与权重参数相乘， 并将相乘得到的特征与第 i-1组第一特征融合， 得到第i-1组第二特征， 直至得到第1组第二特征； 0120 该检测模块306用于将n组第二特征输入检测网络， 得到待检测图像中目标的类别 信息和位置信息。 0121 上述目标检测装置中， 在对特征进行融合时， 通过获取第二特征对应的权重参。

46、数， 并将该第二特征与其对应的权重参数进行一系列运算， 可实现对第二特征的取舍， 以达到 有选择地将第二特征与下一第一特征进行融合的效果， 如此能够更加有效地结合不同尺度 特征的特征信息， 有利于提高目标检测的准确性。 0122 在一示例性实施例中， 该特征融合模块304具体用于对第i组第二特征进行全局平 均池化， 得到池化后的特征； 将池化后的特征输入全连接网络， 得到第i组第二特征对应的 权重参数。 0123 在一示例性实施例中， 该特征融合模块304具体用于将第i组第二特征进行卷积运 算， 得到卷积后的特征； 将卷积后的特征与权重参数相乘， 得到相乘后的特征。 0124 在一示例性实施例。

47、中， 该特征融合模块304具体用于在第i-1个特征融合层中， 获 取第i组第二特征以及第i组第二特征对应的权重参数， 将第i组第二特征与权重参数相乘， 得到相乘后的特征； 对相乘后的特征进行上采样， 得到上采样后的特征； 获取上采样后的特 说明书 8/10 页 11 CN 111709415 A 11 征对应的权重参数， 将上采样后的特征与权重参数相乘， 并将相乘得到的特征与第i-1组第 一特征融合， 得到第i-1组第二特征。 0125 在一示例性实施例中， 该特征融合模块304具体用于对上采样后的特征进行全局 平均池化， 得到池化后的特征； 将池化后的特征输入全连接网络， 得到上采样后的特征。

48、对应 的权重参数。 0126 在一示例性实施例中， 该特征融合模块304具体用于对第n组第一特征进行全局平 局池化， 得到池化后的特征； 将池化后的特征与第n组第一特征相加， 得到第n组第二特征。 0127 在一示例性实施例中， 该检测模块306具体用于将n组第二特征输入第二特征融合 网络， 第二特征融合网络包括n个特征融合层， 在第1个特征融合层中， 将第1组第二特征作 为第1组第三特征； 在第i个特征融合层中， 获取第i-1组第三特征， 并将第i-1组第三特征与 第i组第二特征融合， 得到第i组第三特征， 直至得到第n组第三特征； 将n组第三特征输入检 测网络， 得到待检测图像中目标的类别。

49、信息和位置信息。 0128 在一示例性实施例中， 该检测模块306具体用于将n组第二特征输入区域生成网 络， 得到初始候选框； 将初始候选框输入级联的检测网络， 检测网络包括级联的m个检测子 网络， 将初始候选框在原始特征上进行感兴趣区域池化操作， 并将池化后的特征输入第1级 检测子网络， 得到第1级的检测框及置信度； 对于第j-1级检测框， 在原始特征上进行感兴趣 区域池化操作， 并将池化后的特征输入第j级检测子网络， 得到第j级的检测框及置信度， 直 至得到第m级检测框及置信度作为最终结果； 对最终结果进行非极大值抑制， 得到待检测图 像中目标的类别信息和位置信息。 0129 关于目标检测。

50、装置的具体限定可以参见上文中对于目标检测方法的限定， 在此不 再赘述。 上述目标检测装置中的各个模块可全部或部分通过软件、 硬件及其组合来实现。 上 述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中， 也可以以软件形式存储 于计算机设备中的存储器中， 以便于处理器调用执行以上各个模块对应的操作。 0130 在一示例性实施例中， 提供了一种计算机设备， 该计算机设备可以是服务器， 其内 部结构图可以如图8所示。 该计算机设备包括通过系统总线连接的处理器、 存储器和网络接 口。 其中， 该计算机设备的处理器用于提供计算和控制能力。 该计算机设备的存储器包括非 易失性存储介质、 内存储器。 。