图像中目标检测方法、装置、设备及存储介质.pdf

《图像中目标检测方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《图像中目标检测方法、装置、设备及存储介质.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911351124.3 (22)申请日 2019.12.24 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 熊博颖 (74)专利代理机构 北京市兰台律师事务所 11354 代理人 张峰 (51)Int.Cl. G06K 9/46(2006.01) G06N 3/04(2006.01) (54)发明名称 图像中目标检测方法、 装置、 设备及存储介 质 (57)摘要 本发明提供一种图像。

2、中目标检测方法、 装 置、 设备及存储介质， 涉及图像处理技术领域。 本 发明可以获取待检测图像， 通过预设卷积神经网 络提取所述待检测图像的图像特征， 得到所述待 检测图像的特征图， 并采用YOLO算法对所述待检 测图像的特征图进行预测， 得到所述待检测图像 中各目标的预测结果。 其中， 所述预设卷积神经 网络仅包含尺寸为52*52*255的特征图分支， 所 以， 采用YOLO算法对所述待检测图像的特征图进 行预测时， 只在尺寸为52*52*255的大特征图上 进行预测， 相对现有技术而言， 可以有效降低其 他尺寸更小的小特征图生成的预测框干扰， 从而 提升图像中文字、 符号等小目标检测的准。

3、确率。 权利要求书2页 说明书6页 附图4页 CN 111160368 A 2020.05.15 CN 111160368 A 1.一种图像中目标检测方法， 其特征在于， 所述方法包括： 获取待检测图像； 通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述待检测图像的特征 图； 其中， 所述预设卷积神经网络仅包含尺寸为52*52*255的特征图分支； 采用YOLO算法对所述待检测图像的特征图进行预测， 得到所述待检测图像中各目标的 预测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述通过预设卷积神经网络提取所述待检 测图像的图像特征， 得到所述待检测图像的特征图， 包括： 。

4、通过预设卷积神经网络提取所述待检测图像的图像特征； 采用52*52*255尺寸的特征图分支， 对所述图像特征进行上采样和特征抽取， 生成尺寸 为52*52*255的特征图。 3.根据权利要求2所述的方法， 其特征在于， 所述通过预设卷积神经网络提取所述待检 测图像的图像特征， 包括： 通过黑暗网络Darknet53提取所述待检测图像的图像特征。 4.根据权利要求3所述的方法， 其特征在于， 所述采用YOLO算法对所述待检测图像的特 征图进行预测， 得到所述待检测图像中各目标的预测结果， 包括： 采用YOLO算法对所述待检测图像的特征图进行预测， 获取所述待检测图像中各目标的 类别概率和位置坐标。

5、； 输出所述待检测图像中各目标的类别概率和位置坐标， 得到所述待检测图像中各目标 的预测结果。 5.一种图像中目标检测装置， 其特征在于， 所述装置包括： 获取模块， 用于获取待检测图像； 提取模块， 用于通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述待 检测图像的特征图； 其中， 所述预设卷积神经网络仅包含尺寸为52*52*255的特征图分支； 预测模块， 用于采用YOLO算法对所述待检测图像的特征图进行预测， 得到所述待检测 图像中各目标的预测结果。 6.根据权利要求5所述的装置， 其特征在于， 所述提取模块包括： 提取子模块， 用于通过预设卷积神经网络提取所述待检测图像的图。

6、像特征； 生成子模块， 用于采用52*52*255尺寸的特征图分支， 对所述图像特征进行上采样和特 征抽取， 生成尺寸为52*52*255的特征图。 7.根据权利要求6所述的装置， 其特征在于， 所述提取子模块， 具体用于通过黑暗网络 Darknet53提取所述待检测图像的图像特征。 8.根据权利要求7所述的装置， 其特征在于， 所述预测模块， 包括： 预测子模块， 用于采用YOLO算法对所述待检测图像的特征图进行预测， 获取所述待检 测图像中各目标的类别概率和位置坐标； 输出子模块， 用于输出所述待检测图像中各目标的类别概率和位置坐标， 得到所述待 检测图像中各目标的预测结果。 9.一种图像。

7、中目标检测设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介 质存储有所述处理器可执行的机器可读指令， 当所述图像中目标检测设备运行时， 所述处 权利要求书 1/2 页 2 CN 111160368 A 2 理器与所述存储介质之间通过所述总线通信， 所述处理器执行所述机器可读指令， 以执行 如权利要求1-4任一项所述的图像中目标检测方法。 10.一种存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计算机程序 被处理器运行时执行如权利要求1-4任一项所述的图像中目标检测方法。 权利要求书 2/2 页 3 CN 111160368 A 3 图像中目标检测方法、 装。

8、置、 设备及存储介质 技术领域 0001 本发明涉及图像处理技术领域， 具体而言， 涉及一种图像中目标检测方法、 装置、 设备及存储介质。 背景技术 0002 目标检测也成为目标提取， 是一种基于目标几何和统计特征的图像分割和识别技 术， 可以将目标的分割和识别合二为一， 通过图像处理和算法定位出物体， 给出边界框， 并 给出物体分类。 例如， 光学字符识别(Optical Character Recognition， OCR)中， 需要快速 判断图片的版式和旋转方向时， 则可以通过目标检测技术中的单阶段检测算法检测图像中 固定文字并判断文字内容和坐标内容而实现。 0003 现有技术中， 目标。

9、检测技术中的单阶段检测算法， 如单发多盒探测器(Single Shot MultiBox Detector， SSD)检测算法、 你只看一次(You Only Look Once， YOLO)算法 等， 通常是将图片分成了更小的方格， 每一个格子都有固定预设的锚框尺寸(anchor)， 通过 将图片中的物体分配到不同的格子然后再分类， 从而实现目标检测。 0004 虽然， 上述现有的单阶段检测算法可以直接产生物体的类别概率和位置坐标， 算 法运行速度快， 但是， 现有的单阶段检测算法对图像中的符号、 文字等小物体的检测效果较 差、 检测准确率不高。 发明内容 0005 本发明提供一种图像中目标。

10、检测方法、 装置、 设备及存储介质， 可以提高图像中小 目标检测的准确率。 0006 第一方面， 本发明实施例提供一种图像中目标检测方法， 所述方法包括： 获取待检 测图像； 通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述待检测图像的 特征图； 其中， 所述预设卷积神经网络仅包含尺寸为52*52*255的特征图分支； 采用YOLO算 法对所述待检测图像的特征图进行预测， 得到所述待检测图像中各目标的预测结果。 0007 可选地， 所述通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述 待检测图像的特征图， 包括： 通过预设卷积神经网络提取所述待检测图像的图像特征； 采用。

11、 52*52*255尺寸的特征图分支， 对所述图像特征进行上采样和特征抽取， 生成尺寸为52*52* 255的特征图。 0008 可选地， 所述通过预设卷积神经网络提取所述待检测图像的图像特征， 包括： 通过 黑暗网络Darknet53提取所述待检测图像的图像特征。 0009 可选地， 所述采用YOLO算法对所述待检测图像的特征图进行预测， 得到所述待检 测图像中各目标的预测结果， 包括： 采用YOLO算法对所述待检测图像的特征图进行预测， 获 取所述待检测图像中各目标的类别概率和位置坐标； 输出所述待检测图像中各目标的类别 概率和位置坐标， 得到所述待检测图像中各目标的预测结果。 0010 。

12、第二方面， 本发明实施例提供一种图像中目标检测装置， 所述装置包括： 获取模 说明书 1/6 页 4 CN 111160368 A 4 块， 用于获取待检测图像； 提取模块， 用于通过预设卷积神经网络提取所述待检测图像的图 像特征， 得到所述待检测图像的特征图； 其中， 所述预设卷积神经网络仅包含尺寸为52*52* 255的特征图分支； 预测模块， 用于采用YOLO算法对所述待检测图像的特征图进行预测， 得 到所述待检测图像中各目标的预测结果。 0011 可选地， 所述提取模块包括： 提取子模块， 用于通过预设卷积神经网络提取所述待 检测图像的图像特征； 生成子模块， 用于采用52*52*25。

13、5尺寸的特征图分支， 对所述图像特 征进行上采样和特征抽取， 生成尺寸为52*52*255的特征图。 0012 可选地， 所述提取子模块， 具体用于通过黑暗网络Darknet53提取所述待检测图像 的图像特征。 0013 可选地， 所述预测模块， 包括： 预测子模块， 用于采用YOLO算法对所述待检测图像 的特征图进行预测， 获取所述待检测图像中各目标的类别概率和位置坐标； 输出子模块， 用 于输出所述待检测图像中各目标的类别概率和位置坐标， 得到所述待检测图像中各目标的 预测结果。 0014 第三方面， 本发明实施例提供一种图像中目标检测设备， 包括： 处理器、 存储介质 和总线， 所述存储。

14、介质存储有所述处理器可执行的机器可读指令， 当所述图像中目标检测 设备运行时， 所述处理器与所述存储介质之间通过所述总线通信， 所述处理器执行所述机 器可读指令， 以执行如第一方面所述的图像中目标检测方法。 0015 第四方面， 本发明实施例还提供一种存储介质， 所述存储介质上存储有计算机程 序， 所述计算机程序被处理器运行时执行如第一方面所述的图像中目标检测方法。 0016 本发明的有益效果是： 0017 本发明实施例可以获取待检测图像， 通过预设卷积神经网络提取所述待检测图像 的图像特征， 得到所述待检测图像的特征图， 并采用YOLO算法对所述待检测图像的特征图 进行预测， 得到所述待检测。

15、图像中各目标的预测结果。 其中， 所述预设卷积神经网络仅包含 尺寸为52*52*255的特征图分支， 所以， 采用YOLO算法对所述待检测图像的特征图进行预测 时， 只在尺寸为52*52*255的大特征图上进行预测， 相对现有技术而言， 可以有效降低其他 尺寸更小的小特征图生成的预测框干扰， 从而提升图像中文字、 符号等小目标检测的准确 率。 附图说明 0018 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要使用的附 图作简单地介绍， 应当理解， 以下附图仅示出了本发明的某些实施例， 因此不应被看作是对 范围的限定， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，。

16、 还可以根据这 些附图获得其他相关的附图。 0019 图1示出了本发明实施例提供的图像中目标检测方法的流程示意图； 0020 图2示出了本发明实施例提供的图像中目标检测方法的另一流程示意图； 0021 图3示出了本发明实施例提供的图像中目标检测方法的又一流程示意图； 0022 图4示出了现有技术中YOLOV3的检测流程示意图； 0023 图5示出了本发明实施例提供的改进后的YOLOV3的检测流程示意图； 0024 图6示出了本发明实施例提供的图像中目标检测装置的结构示意图； 说明书 2/6 页 5 CN 111160368 A 5 0025 图7示出了本发明实施例提供的提取模块的结构示意图； 。

17、0026 图8示出了本发明实施例提供的预测模块的结构示意图； 0027 图9示出了本发明实施例提供的图像中目标检测设备的结构示意图。 具体实施方式 0028 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发明实施例 中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本发明一部分实施例， 而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施 例的组件可以以各种不同的配置来布置和设计。 0029 应注意到： 相似的标号和字母在下面的附图中表示类似项， 因此， 一旦某一项在一 个附图中被定义， 则在随后的附图中不需要对其进行进一步定义。

18、和解释。 还需要说明，“第 一” 、“第二” 、“第三” 等描述在本发明中仅仅用于区分功能， 而不能表示相对重要性。 0030 本发明实施例提供一种图像中目标检测方法， 可以在对图像中的文字、 符号等小 目标进行检测识别时， 提高图像中小目标检测的准确率。 该图像中目标检测方法的执行主 体可以是服务器或计算机， 或者， 也可以是服务器或计算机中的某一个或多个处理器等， 本 发明对此不作限制。 0031 图1示出了本发明实施例提供的图像中目标检测方法的流程示意图。 0032 如图1所示， 该图像中目标检测方法， 可以包括： 0033 S101、 获取待检测图像。 0034 例如， 待检测图像可以。

19、是一些测试题的扫描图像、 书本或文档的扫描图像、 文字截 图、 或者拍摄的包含有文字或符号的照片等， 本发明对待检测图像的具体图像类型不作限 制。 0035 S102、 通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述待检测 图像的特征图。 0036 其中， 所述预设卷积神经网络仅包含尺寸为52*52*255的特征图分支。 0037 图2示出了本发明实施例提供的图像中目标检测方法的另一流程示意图。 0038 可选地， 如图2所示， 上述通过预设卷积神经网络提取所述待检测图像的图像特 征， 得到所述待检测图像的特征图的步骤， 具体可以包括： 0039 S201、 通过预设卷积神经网络。

20、提取所述待检测图像的图像特征。 0040 其中， 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络， 是深 度学习的代表算法之一。 卷积神经网络具有表征学习能力， 能够按其阶层结构对输入信息 进行平移不变分类。 0041 部分实施方式中， 预设卷积神经网络可以是黑暗网络(Darknet)53。 也即， 上述通 过预设卷积神经网络提取所述待检测图像的图像特征的步骤， 具体可以是指通过 Darknet53提取所述待检测图像的图像特征。 但需要说明， 本发明其他实施方式中， 并不限 于Darknet53。 0042 S202、 采用52*52*255尺寸的特征图分支， 对所述图像特征进行上。

21、采样和特征抽 取， 生成尺寸为52*52*255的特征图。 0043 本发明实施例中， 由于预设卷积神经网络仅包含尺寸为52*52*255的特征图分支， 说明书 3/6 页 6 CN 111160368 A 6 所以通过预设卷积神经网络提取所述待检测图像的图像特征后， 根据图像特征所生成的特 征图仅仅包含尺寸为52*52*255的一种特征图。 从而， 网络模型的预测速度更快。 0044 通过前述步骤S102提取到待检测图像的图像特征， 即尺寸为52*52*255的特征图 后， 可以采用下述步骤S103对提取到的特征图进行预测， 获取图像中各目标的预测结果。 其 中， 目标可以是指待检测图像中的。

22、文字、 符号等。 0045 S103、 采用YOLO算法对所述待检测图像的特征图进行预测， 得到所述待检测图像 中各目标的预测结果。 0046 其中， YOLO算法可以根据待检测图像的特征图， 输出待检测图像中各目标的类别 概率和位置坐标， 例如， 可以输出目标A为某种类别的文字的概率大小、 以及目标A在待检测 图像中的位置坐标。 0047 图3示出了本发明实施例提供的图像中目标检测方法的又一流程示意图。 0048 可选地， 如图3所示， 上述采用YOLO算法对所述待检测图像的特征图进行预测， 得 到所述待检测图像中各目标的预测结果的步骤， 具体可以包括： 0049 S301、 采用YOLO算。

23、法对所述待检测图像的特征图进行预测， 获取所述待检测图像 中各目标的类别概率和位置坐标。 0050 S302、 输出所述待检测图像中各目标的类别概率和位置坐标， 得到所述待检测图 像中各目标的预测结果。 0051 也即， 前述步骤S103中提到的待检测图像中各目标的预测结果， 可以是指待检测 图像中各目标的类别概率和位置坐标。 0052 由于步骤S103中对采用YOLO算法对所述待检测图像的特征图进行预测时， 只在步 骤S102中生成的尺寸为52*52*255的大特征图上进行预测， 所以， 可以有效降低其他尺寸更 小的小特征图生成的预测框干扰， 从而提升了图像中文字、 符号等小目标检测的准确率。

24、。 0053 下面以一种具体实施方式， 并通过对比现有技术， 对本发明实施例提供的图像中 目标检测方法的具体技术方案作以说明： 0054 图4示出了现有技术中YOLOV3的检测流程示意图。 0055 如图4所示， 现有技术中YOLOV3的检测流程一般为： 通过Darknet53卷积神经网络 提取输入图像特征并产生三个分支。 第一个分支通过上采样和特征抽取后生成13*13*255 大小的特征图； 第二个分支对第一个分支的上采样后的结果进行融合， 上采样后进行特征 抽取， 生成26*26*255大小的特征图； 第三个分支对第二个分支的上采样后的结果进行融 合， 上采样后进行特征抽取， 生成52*5。

25、2*255大小的特征图。 然后， 可以对三个特征图使用 YOLO算法进行预测， 获取预测结果。 0056 图5示出了本发明实施例提供的改进后的YOLOV3的检测流程示意图。 0057 如图5所示， 本发明实施例提供的图像中目标检测方法中， 去掉了13*13*255尺寸 和26*26*255尺寸的特征图生成分支， 仅保留了52*52*255尺寸特征图的分支， 也即， 本发明 实施例针对小目标特征对yolov3网络结构进行了优化， 裁剪掉了两个小尺寸的特征图分 支， 卷积网络结构进行裁剪后模型参数可以减少90左右， 网络模型运行效率会大幅提升， 并能有效提高小目标检测准确率。 0058 由上所述，。

26、 本发明实施例可以获取待检测图像， 通过预设卷积神经网络提取所述 待检测图像的图像特征， 得到所述待检测图像的特征图， 并采用YOLO算法对所述待检测图 说明书 4/6 页 7 CN 111160368 A 7 像的特征图进行预测， 得到所述待检测图像中各目标的预测结果。 其中， 所述预设卷积神经 网络仅包含尺寸为52*52*255的特征图分支， 所以， 采用YOLO算法对所述待检测图像的特征 图进行预测时， 只在尺寸为52*52*255的大特征图上进行预测， 相对现有技术而言， 可以有 效降低其他尺寸更小的小特征图生成的预测框干扰， 从而提升图像中文字、 符号等小目标 检测的准确率。 005。

27、9 另外， 本发明实施例中， 预设卷积网络的结构中， 模型参数更少， 网络模型运行效 率相对现有技术而言也可以大幅提升。 0060 基于前述方法实施例中所述的图像中目标检测方法， 本发明实施例还对应提供一 种图像中目标检测装置， 图6示出了本发明实施例提供的图像中目标检测装置的结构示意 图。 0061 如图6所示， 该图像中目标检测装置， 可以包括： 获取模块10， 用于获取待检测图 像； 提取模块20， 用于通过预设卷积神经网络提取所述待检测图像的图像特征， 得到所述待 检测图像的特征图； 其中， 所述预设卷积神经网络仅包含尺寸为52*52*255的特征图分支； 预测模块30， 用于采用YO。

28、LO算法对所述待检测图像的特征图进行预测， 得到所述待检测图 像中各目标的预测结果。 0062 图7示出了本发明实施例提供的提取模块的结构示意图。 0063 可选地， 如图7所示， 所述提取模块20可以包括： 提取子模块21， 用于通过预设卷积 神经网络提取所述待检测图像的图像特征； 生成子模块22， 用于采用52*52*255尺寸的特征 图分支， 对所述图像特征进行上采样和特征抽取， 生成尺寸为52*52*255的特征图。 0064 可选地， 所述提取子模块21， 具体可以用于通过黑暗网络Darknet53提取所述待检 测图像的图像特征。 0065 图8示出了本发明实施例提供的预测模块的结构。

29、示意图。 0066 可选地， 如图8所示， 所述预测模块30可以包括： 预测子模块31， 用于采用YOLO算法 对所述待检测图像的特征图进行预测， 获取所述待检测图像中各目标的类别概率和位置坐 标； 输出子模块32， 用于输出所述待检测图像中各目标的类别概率和位置坐标， 得到所述待 检测图像中各目标的预测结果。 0067 所属领域的技术人员可以清楚地了解到， 为描述的方便和简洁， 上述描述的装置 的具体工作过程， 可以参考前述方法实施例中方法的对应过程， 本发明中不再赘述。 0068 本发明实施例提供的图像中目标检测装置对应于前述方法实施例中所述的图像 中目标检测方法， 因此， 装置实施例中所。

30、述的图像中目标检测装置， 具有前述方法实施例中 所述的图像中目标检测方法所具备的全部有益效果， 在此亦不再赘述。 0069 本发明实施例还提供一种图像中目标检测设备， 该图像中目标检测设备可以是服 务器或计算机， 图9示出了本发明实施例提供的图像中目标检测设备的结构示意图。 0070 如图9所示， 该图像中目标检测设备可以包括： 处理器100、 存储介质200和总线(图 中未标出)， 存储介质200存储有处理器100可执行的机器可读指令， 当图像中目标检测设备 运行时， 处理器100与存储介质200之间通过总线通信， 处理器100执行机器可读指令， 以执 行如前述任一方法实施例中所述的图像中目。

31、标检测方法。 具体实现方式和技术效果类似， 在此不再赘述。 0071 为了便于说明， 在上述图像中目标检测设备中仅描述了一个处理器。 然而， 应当注 说明书 5/6 页 8 CN 111160368 A 8 意， 本发明中的图像中目标检测设备还可以包括多个处理器， 因此本发明中描述的一个处 理器执行的步骤也可以由多个处理器联合执行或单独执行。 例如， 图像中目标检测设备的 处理器执行步骤A和步骤B， 则应该理解， 步骤A和步骤B也可以由两个不同的处理器共同执 行或者在一个处理器中单独执行。 例如， 第一处理器执行步骤A， 第二处理器执行步骤B， 或 者第一处理器和第二处理器共同执行步骤A和B等。

32、。 0072 在一些实施例中， 处理器可以包括一个或多个处理核(例如， 单核处理器(S)或多 核处理器(S)。 仅作为举例， 处理器可以包括中央处理单元(Central Processing Unit， CPU)、 专用集成电路(Application Specific Integrated Circuit， ASIC)、 专用指令集处 理器(Application Specific Instruction-set Processor， ASIP)、 图形处理单元 (Graphics Processing Unit， GPU)、 物理处理单元(Physics Processing Unit， 。

33、PPU)、 数字 信号处理器(Digital Signal Processor， DSP)、 现场可编程门阵列(Field Programmable Gate Array， FPGA)、 可编程逻辑器件(Programmable Logic Device， PLD)、 控制器、 微控制 器单元、 简化指令集计算机(Reduced Instruction Set Computing， RISC)、 或微处理器等， 或其任意组合。 0073 本发明实施例还提供一种存储介质， 存储介质上存储有计算机程序， 计算机程序 被处理器运行时执行如前述任一方法实施例中所述的图像中目标检测方法。 具体实现方式 。

34、和技术效果类似， 在此同样不再赘述。 0074 可选地， 该存储介质可以是U盘、 移动硬盘、 ROM、 RAM、 磁碟或者光盘等。 0075 以上所述仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的技 术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则之内， 所作的任何修 改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 说明书 6/6 页 9 CN 111160368 A 9 图1 图2 说明书附图 1/4 页 10 CN 111160368 A 10 图3 图4 图5 说明书附图 2/4 页 11 CN 111160368 A 11 图6 图7 图8 说明书附图 3/4 页 12 CN 111160368 A 12 图9 说明书附图 4/4 页 13 CN 111160368 A 13 。