训练样本中目标物体的目标框标注方法、装置及存储介质.pdf

《训练样本中目标物体的目标框标注方法、装置及存储介质.pdf》由会员分享，可在线阅读，更多相关《训练样本中目标物体的目标框标注方法、装置及存储介质.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910548887.0 (22)申请日 2019.06.24 (71)申请人 南方电网科学研究院有限责任公司 地址 510670 广东省广州市黄埔区科学城 科翔路11号 申请人 中国南方电网有限责任公司 (72)发明人 邓子杰黄文琦许爱东明哲 李汉巨刘介玮曾群生陈华军 杨航陈霖 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 麦小婵郝传鑫 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06N。

2、 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 训练样本中目标物体的目标框标注方法、 装 置及存储介质 (57)摘要 本发明公开了一种训练样本中目标物体的 目标框标注方法， 包括： 对目标场景进行三维建 模， 得到目标场景模型； 对目标场景模型进行渲 染， 得到目标场景渲染图； 对目标场景渲染图进 行灰度处理和自适应二值化处理， 得到目标场景 掩膜图； 对目标场景掩膜图和目标场景渲染图进 行掩膜计算生成目标物体区域， 并根据目标场景 掩膜图得到目标物体的目标框坐标信息； 将目标 框中的目标物体区域放置于背景图片上， 并生成 目标物体的目标框标注文件。 本发。

3、明公开的一种 训练样本中目标物体的目标框标注方法， 能够大 大减少人工标注样本的时间和精力， 提高标注的 准确率。 本发明还公开了一种训练样本中目标物 体的目标框标注装置和存储介质。 权利要求书2页 说明书6页 附图5页 CN 110378999 A 2019.10.25 CN 110378999 A 1.一种训练样本中目标物体的目标框标注方法， 其特征在于， 包括： 对目标场景进行三维建模， 得到目标场景模型； 对所述目标场景模型进行渲染， 得到目标场景渲染图； 对所述目标场景渲染图进行灰度处理和自适应二值化处理， 得到目标场景掩膜图； 对所述目标场景掩膜图和目标场景渲染图进行掩膜计算生成目。

4、标物体区域， 并根据所 述目标场景掩膜图得到目标物体的目标框坐标信息； 将所述目标框中的目标物体区域放置于背景图片上， 并生成所述目标物体的目标框标 注文件。 2.如权利要求1所述的一种训练样本中目标物体的目标框标注方法， 其特征在于， 还包 括： 将所述目标物体区域进行随机处理， 得到随机处理后的目标物体的目标框坐标信息； 将随机处理后的目标物体区域放置于背景图片上， 并生成所述随机处理后的目标物体 的目标框标注文件； 其中， 所述随机处理包括随机翻转与缩放。 3.如权利要求2所述的一种训练样本中目标物体的目标框标注方法， 其特征在于， 所述 目标框坐标信息为： (xmin,ymin,xma。

5、x,ymax)； 所述将所述目标物体区域进行随机处理， 得到随机处理后的目标物体的目标框坐标信 息， 具体包括： 将所述目标物体区域进行随机处理， 通过如下公式(1)和(2)计算进行随机翻转后的目 标框标签， 通过如下公式(3)和(4)计算随机缩放后的目标框标签； 式中， w和h分别表示所述目标物体区域的宽度和高度， s表示缩放因子。 4.如权利要求2所述的一种训练样本中目标物体的目标框标注方法， 其特征在于， 还包 括： 将随机处理后的目标物体区域放置于背景图片上后， 将放置后的背景图片作为训练样 本， 进行神经网络训练。 5.一种训练样本中目标物体的目标框标注装置， 其特征在于， 包括： 。

6、三维建模单元， 用于对目标场景进行三维建模， 得到目标场景模型； 模型渲染单元， 用于对所述目标场景模型进行渲染， 得到目标场景渲染图； 掩膜处理单元， 用于对所述目标场景渲染图进行灰度处理和自适应二值化处理， 得到 权利要求书 1/2 页 2 CN 110378999 A 2 目标场景掩膜图； 目标框生成单元， 用于对所述目标场景掩膜图和目标场景渲染图进行掩膜计算生成目 标物体区域， 并根据所述目标场景掩膜图得到目标物体的目标框坐标信息； 目标框标注单元， 用于将所述目标框中的目标物体区域放置于背景图片上， 并生成所 述目标物体的目标框标注文件。 6.一种训练样本中目标物体的目标框标注装置，。

7、 包括处理器、 存储器以及存储在所述 存储器中且被配置为由所述处理器执行的计算机程序， 所述处理器执行所述计算机程序时 实现如权利要求1至4中任意一项所述的一种训练样本中目标物体的目标框标注方法。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权 利要求1至4中任意一项所述的一种训练样本中目标物体的目标框标注方法。 权利要求书 2/2 页 3 CN 110378999 A 3 训练样本中目标物体的目标框标注方法、 装置及存储介质 技术领域 0001 本发明涉及目标框标注技术领域，。

8、 尤其涉及一种训练样本中目标物体的目标框标 注方法、 装置及存储介质。 背景技术 0002 输变电关键设施运行和检修是保障电网可靠稳定运行的重要任务。 近年来， 对输 变电场景图像数据的人工排查逐渐替代了现场巡检的方式， 但运检人员需花费大量时间排 查图像， 造成重复性工作量大、 发现隐患不及时等问题。 计算机视觉及深度学习技术的应用 一定程度地改善了这些问题， 但仍存在标准化训练数据集缺乏。 0003 现有技术中， 通常采用无人机对目标进行图片采集， 然后使用人工操作软件进行 手动标注训练样本。 0004 本发明人在实施本发明的过程中发现， 现有技术中存在以下技术问题： 0005 采用人工标。

9、注的方法， 错误率高， 效率低， 成本高， 且人工标注非常地耗时耗力。 发明内容 0006 本发明实施例提供一种训练样本中目标物体的目标框标注方法， 能够大大减少人 工标注样本的时间和精力， 提高标注的准确率。 0007 本发明实施例一提供一种训练样本中目标物体的目标框标注方法， 包括： 0008 对目标场景进行三维建模， 得到目标场景模型； 0009 对所述目标场景模型进行渲染， 得到目标场景渲染图； 0010 对所述目标场景渲染图进行灰度处理和自适应二值化处理， 得到目标场景掩膜 图； 0011 对所述目标场景掩膜图和目标场景渲染图进行掩膜计算生成目标物体区域， 并根 据所述目标场景掩膜图。

10、得到目标物体的目标框坐标信息； 0012 将所述目标框中的目标物体区域放置于背景图片上， 并生成所述目标物体的目标 框标注文件。 0013 作为上述方案的改进， 还包括： 将所述目标物体区域进行随机处理， 得到随机处理 后的目标物体的目标框坐标信息； 0014 将随机处理后的目标物体区域放置于背景图片上， 并生成所述随机处理后的目标 物体的目标框标注文件； 0015 其中， 所述随机处理包括随机翻转与缩放。 0016 作为上述方案的改进， 所述目标框坐标信息为： (xmin,ymin,xmax,ymax)； 0017 所述将所述目标物体区域进行随机处理， 得到随机处理后的目标物体的目标框坐 标。

11、信息， 具体包括： 0018 将所述目标物体区域进行随机处理， 通过如下公式(1)和(2)计算进行随机翻转后 的目标框标签， 通过如下公式(3)和(4)计算随机缩放后的目标框标签； 说明书 1/6 页 4 CN 110378999 A 4 0019 0020 0021 0022 0023 式中， w和h分别表示所述目标物体区域的宽度和高度， s表示缩放因子。 0024 作为上述方案的改进， 还包括： 将随机处理后的目标物体区域放置于背景图片上 后， 将放置后的背景图片作为训练样本， 进行神经网络训练。 0025 本发明实施例二对应提供了一种训练样本中目标物体的目标框标注装置， 包括： 0026。

12、 三维建模单元， 用于对目标场景进行三维建模， 得到目标场景模型； 0027 模型渲染单元， 用于对所述目标场景模型进行渲染， 得到目标场景渲染图； 0028 掩膜处理单元， 用于对所述目标场景渲染图进行灰度处理和自适应二值化处理， 得到目标场景掩膜图； 0029 目标框生成单元， 用于对所述目标场景掩膜图和目标场景渲染图进行掩膜计算生 成目标物体区域， 并根据所述目标场景掩膜图得到目标物体的目标框坐标信息； 0030 目标框标注单元， 用于将所述目标框中的目标物体区域放置于背景图片上， 并生 成所述目标物体的目标框标注文件。 0031 本发明实施例三对应提供了一种训练样本中目标物体的目标框标。

13、注装置， 包括： 处理器、 存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序， 所 述处理器执行所述计算机程序时实现如本发明实施例一所述的一种训练样本中目标物体 的目标框标注方法。 0032 本发明实施例四对应提供了一种计算机可读存储介质， 其特征在于， 所述计算机 可读存储介质包括存储的计算机程序， 其中， 在所述计算机程序运行时控制所述计算机可 读存储介质所在设备执行如本发明实施例一所述的一种训练样本中目标物体的目标框标 注方法。 0033 本发明实施例提供的一种训练样本中目标物体的目标框标注方法， 具有如下有益 效果： 0034 通过三维建模对电网运行场景目标物体所在的。

14、目标场景进行空间建模， 可以灵活 地通过改变三维建模软件中摄像头的姿态产生更多丰富角度的样本， 提高神经网络训练样 本的多样性、 可靠性和全面性， 以进一步进行自动标注， 提高自动目标框标注的准确率； 通 过渲染生成真实目标场景的2D目标场景渲染图， 并对目标场景渲染图进行掩膜计算生成目 标物体区域， 从而实现精确地提取目标物体的目标框坐标信息， 以进一步实现精确地目标 说明书 2/6 页 5 CN 110378999 A 5 框标注； 将目标框中的目标物体区域进行随机处理， 并将随机处理后的目标物体区域放置 于任意背景图片上后， 把放置后的背景图片作为训练样本， 进行神经网络训练， 能够进一。

15、步 提高神经网络训练样本的多样性、 可靠性和全面性， 并使得训练后的神经网络学习更多目 标物体与任意场景的组合， 从而能够识别更多不同场景中的不同目标物体， 大大减少了人 工标注样本的时间和精力， 提高了目标框标注的准确率。 附图说明 0035 图1是本发明实施例一提供的一种训练样本中目标物体的目标框标注方法的流程 示意图。 0036 图2是本发明实施例一提供的一具体实施例的目标场景模型示意图。 0037 图3是本发明实施例一提供的一具体实施例的目标场景渲染图。 0038 图4是本发明实施例一提供的一具体实施例的目标物体区域和边缘提取示意图。 0039 图5是本发明实施例一提供的一具体实施例的。

16、放置有随机处理后的绝缘子的背景 图片。 0040 图6是本发明实施例一提供的一具体实施例的绝缘子目标框标注文件。 0041 图7是本发明实施例一提供的一具体实施例的绝缘子目标框标注可视化示意图。 0042 图8是本发明实施例二提供的一种训练样本中目标物体的目标框标注装置的结构 示意图。 具体实施方式 0043 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 00。

17、44 参见图1， 是本发明实施例一提供的一种训练样本中目标物体的目标框标注方法 的流程示意图， 包括： 0045 S101、 对目标场景进行三维建模， 得到目标场景模型； 0046 S102、 对所述目标场景模型进行渲染， 得到目标场景渲染图； 0047 S103、 对所述目标场景渲染图进行灰度处理和自适应二值化处理， 得到目标场景 掩膜图； 0048 S104、 对所述目标场景掩膜图和目标场景渲染图进行掩膜计算生成目标物体区 域， 并根据所述目标场景掩膜图得到目标物体的目标框坐标信息； 0049 S105、 将所述目标框中的目标物体区域放置于背景图片上， 并生成所述目标物体 的目标框标注文件。

18、。 0050 进一步地， 还包括： 将所述目标物体区域进行随机处理， 得到随机处理后的目标物 体的目标框坐标信息； 0051 将随机处理后的目标物体区域放置于背景图片上， 并生成所述随机处理后的目标 物体的目标框标注文件； 0052 其中， 所述随机处理包括随机翻转与缩放。 说明书 3/6 页 6 CN 110378999 A 6 0053 进一步地， 所述目标框坐标信息为： (xmin,ymin,xmax,ymax)； 0054 所述将所述目标物体区域进行随机处理， 得到随机处理后的目标物体的目标框坐 标信息， 具体包括： 0055 将所述目标物体区域进行随机处理， 通过如下公式(1)和(2。

19、)计算进行随机翻转后 的目标框标签， 通过如下公式(3)和(4)计算随机缩放后的目标框标签； 0056 0057 0058 0059 0060 式中， w和h分别表示所述目标物体区域的宽度和高度， s表示缩放因子。 0061 进一步地， 还包括： 将随机处理后的目标物体区域放置于背景图片上后， 将放置后 的背景图片作为训练样本， 进行神经网络训练。 0062 优选的， 对目标场景进行三维建模的方式是通过三维建模软件进行建模； 此方法 可以灵活地通过改变三维建模软件中摄像头的姿态产生更多丰富角度的样本， 提高神经网 络训练样本的多样性、 可靠性和全面性， 以进一步进行软件自动标注， 提高软件自动。

20、标注的 准确率， 大大减少人工标注的精力和时间。 0063 优选的， 对目标场景渲染图进行掩膜计算生成目标物体区域的方法可包括： (1)用 掩模对目标场景渲染图上目标物体区域进行屏蔽， 使其不参加处理或不参加处理参数的计 算； (2)用相似性变量或图像匹配方法检测和提取目标场景渲染图中与掩模相似的结构特 征。 从而实现精确地提取目标物体区域， 以进一步实现精确地目标框标注。 0064 在一具体的实施例中， 令目标物体为绝缘子， 对绝缘子所在的目标场景进行三维 建模， 得到目标场景模型； 参见图2， 是本发明实施例一提供的一具体实施例的目标场景模 型示意图。 0065 对绝缘子所在的目标场景进行。

21、渲染； 参见图3， 是本发明实施例一提供的一具体实 施例的目标场景渲染图。 0066 参见图4， 是本发明实施例一提供的一具体实施例的目标物体区域和边缘提取示 意图。 对图3中的目标场景渲染图进行灰度处理和自适应二值化处理， 得到目标场景掩膜 图； 对目标场景渲染图进行掩膜计算生成目标物体区域， 即分割出绝缘子区域； 并根据所述 目标场景掩膜图得到目标物体的目标框坐标信息。 0067 将随机处理后的绝缘子区域放置于随机选择的背景图片上， 参见图5， 是本发明实 施例一提供的一具体实施例的放置有随机处理后的绝缘子的背景图片。 并生成如图6所示 说明书 4/6 页 7 CN 110378999 A。

22、 7 的绝缘子目标框标注文件。 0068 将放置有随机处理后的绝缘子的背景图片作为训练样本进行神经网络训练。 0069 参见图7， 是本发明实施例一提供的一具体实施例的绝缘子目标框标注可视化示 意图。 0070 本发明实施例提供的一种训练样本中目标物体的目标框标注方法、 装置及存储介 质， 具有如下有益效果： 0071 通过三维建模对电网运行场景目标物体所在的目标场景进行空间建模， 可以灵活 地通过改变三维建模软件中摄像头的姿态产生更多丰富角度的样本， 提高神经网络训练样 本的多样性、 可靠性和全面性， 以进一步进行自动标注， 提高自动目标框标注的准确率； 通 过渲染生成真实目标场景的2D目标。

23、场景渲染图， 并对目标场景渲染图进行掩膜计算生成目 标物体区域， 从而实现精确地提取目标物体的目标框坐标信息， 以进一步实现精确地目标 框标注； 将目标框中的目标物体区域进行随机处理， 并将随机处理后的目标物体区域放置 于任意背景图片上后， 把放置后的背景图片作为训练样本， 进行神经网络训练， 能够进一步 提高神经网络训练样本的多样性、 可靠性和全面性， 并使得训练后的神经网络学习更多目 标物体与任意场景的组合， 从而能够识别更多不同场景中的不同目标物体， 大大减少了人 工标注样本的时间和精力， 提高了目标框标注的准确率。 0072 参见图8， 是本发明实施例二提供的一种训练样本中目标物体的目。

24、标框标注装置 的结构示意图， 包括： 0073 三维建模单元201， 用于对目标场景进行三维建模， 得到目标场景模型； 0074 模型渲染单元202， 用于对所述目标场景模型进行渲染， 得到目标场景渲染图； 0075 掩膜处理单元203， 用于对所述目标场景渲染图进行灰度处理和自适应二值化处 理， 得到目标场景掩膜图； 0076 目标框生成单元204， 用于对所述目标场景掩膜图和目标场景渲染图进行掩膜计 算生成目标物体区域， 并根据所述目标场景掩膜图得到目标物体的目标框坐标信息； 0077 目标框标注单元205， 用于将所述目标框中的目标物体区域放置于背景图片上， 并 生成所述目标物体的目标框。

25、标注文件。 0078 本发明实施例三对应提供了一种训练样本中目标物体的目标框标注装置， 包括处 理器、 存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序， 所述 处理器执行所述计算机程序时实现如本发明实施例一所述的训练样本中目标物体的目标 框标注方法。 所述训练样本中目标物体的目标框标注装置可以是桌上型计算机、 笔记本、 掌 上电脑及云端服务器等计算设备。 所述训练样本中目标物体的目标框标注装置可包括， 但 不仅限于， 处理器、 存储器。 0079 本发明实施例四对应提供了一种计算机可读存储介质， 其特征在于， 所述计算机 可读存储介质包括存储的计算机程序， 其中， 在所述计。

26、算机程序运行时控制所述计算机可 读存储介质所在设备执行如本发明实施例一所述的训练样本中目标物体的目标框标注方 法。 0080 所称处理器可以是中央处理单元(Central Processing Unit， CPU)， 还可以是其 他通用处理器、 数字信号处理器(Digital Signal Processor， DSP)、 专用集成电路 (Application Specific Integrated Circuit， ASIC)、 现场可编程门阵列(Field- 说明书 5/6 页 8 CN 110378999 A 8 Programmable Gate Array， FPGA)或者其他可编。

27、程逻辑器件、 分立门或者晶体管逻辑器件、 分立硬件组件等。 通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器 等， 所述处理器是所述训练样本中目标物体的目标框标注装置的控制中心， 利用各种接口 和线路连接整个训练样本中目标物体的目标框标注装置的各个部分。 0081 所述存储器可用于存储所述计算机程序和/或模块， 所述处理器通过运行或执行 存储在所述存储器内的计算机程序和/或模块， 以及调用存储在存储器内的数据， 实现所述 训练样本中目标物体的目标框标注装置的各种功能。 所述存储器可主要包括存储程序区和 存储数据区， 其中， 存储程序区可存储操作系统、 至少一个功能所需的应用程序(比。

28、如声音 播放功能、 图像播放功能等)等； 存储数据区可存储根据手机的使用所创建的数据(比如音 频数据、 电话本等)等。 此外， 存储器可以包括高速随机存取存储器， 还可以包括非易失性存 储器， 例如硬盘、 内存、 插接式硬盘， 智能存储卡(Smart Media Card ,SMC)， 安全数字 (Secure Digital,SD)卡， 闪存卡(Flash Card)、 至少一个磁盘存储器件、 闪存器件、 或其他 易失性固态存储器件。 0082 其中， 所述训练样本中目标物体的目标框标注装置集成的模块/单元如果以软件 功能单元的形式实现并作为独立的产品销售或使用时， 可以存储在一个计算机可读。

29、取存储 介质中。 基于这样的理解， 本发明实现上述实施例方法中的全部或部分流程， 也可以通过计 算机程序来指令相关的硬件来完成， 所述的计算机程序可存储于一计算机可读存储介质 中， 该计算机程序在被处理器执行时， 可实现上述各个方法实施例的步骤。 其中， 所述计算 机程序包括计算机程序代码， 所述计算机程序代码可以为源代码形式、 对象代码形式、 可执 行文件或某些中间形式等。 所述计算机可读介质可以包括： 能够携带所述计算机程序代码 的任何实体或装置、 记录介质、 U盘、 移动硬盘、 磁碟、 光盘、 计算机存储器、 只读存储器(ROM， Read-Only Memory)、 随机存取存储器(R。

30、AM， Random Access Memory)、 电载波信号、 电信信 号以及软件分发介质等。 0083 需说明的是， 以上所描述的装置实施例仅仅是示意性的， 其中所述作为分离部件 说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以 不是物理单元， 即可以位于一个地方， 或者也可以分布到多个网络单元上。 可以根据实际的 需要选择其中的部分或者全部模块来实现本实施例方案的目的。 另外， 本发明提供的装置 实施例附图中， 模块之间的连接关系表示它们之间具有通信连接， 具体可以实现为一条或 多条通信总线或信号线。 本领域普通技术人员在不付出创造性劳动的情况下， 即可。

31、以理解 并实施。 0084 以上所述是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人员 来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰也视为 本发明的保护范围。 说明书 6/6 页 9 CN 110378999 A 9 图1 图2 图3 说明书附图 1/5 页 10 CN 110378999 A 10 图4 图5 说明书附图 2/5 页 11 CN 110378999 A 11 图6 说明书附图 3/5 页 12 CN 110378999 A 12 图7 说明书附图 4/5 页 13 CN 110378999 A 13 图8 说明书附图 5/5 页 14 CN 110378999 A 14 。