增强图像实例分割的方法、系统、设备及介质.pdf

《增强图像实例分割的方法、系统、设备及介质.pdf》由会员分享，可在线阅读，更多相关《增强图像实例分割的方法、系统、设备及介质.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010846608.1 (22)申请日 2020.08.21 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中区吴中经 济开发区郭巷街道官浦路1号9幢 (72)发明人 张润泽范宝余赵雅倩 (74)专利代理机构 北京连和连知识产权代理有 限公司 11278 代理人 刘小峰陈黎明 (51)Int.Cl. G06T 7/10(2017.01) G06K 9/62(2006.01) (54)发明名称 一种增强图像实例分割的方法、 系统、 设备 及介质 。

2、(57)摘要 本发明公开了一种增强图像实例分割的方 法、 系统、 设备和存储介质， 方法包括： 在主训练 网络中设置与主训练网络架构相同的辅助训练 网络， 并对原始图片进行数据增强以得到增强图 片； 将原始图片输入主训练网络， 将增强图片输 入辅助训练网络； 判断辅助训练网络产生的第二 预测框与目标框的交并比值是否大于主训练网 络产生的第一预测框与目标框的交并比值； 以及 响应于第二预测框与目标框的交并比值大于第 一预测框与目标框的交并比值， 用第二预测框与 目标框的交并比值替换第一预测框与目标框的 交并比值进行图像实例分割。 本发明通过加入辅 助分支， 利用较大的预测框与目标框的交并比值 来。

3、进行实例分割， 极大地降低了样本不平衡带来 的影响。 权利要求书2页 说明书8页 附图1页 CN 112132832 A 2020.12.25 CN 112132832 A 1.一种增强图像实例分割的方法， 其特征在于， 包括以下步骤： 在主训练网络中设置与所述主训练网络架构相同的辅助训练网络， 并对原始图片进行 数据增强以得到增强图片； 将原始图片输入主训练网络， 将增强图片输入辅助训练网络； 判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生 的第一预测框与目标框的交并比值； 以及 响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值， 用第二 预测框与。

4、目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。 2.根据权利要求1所述的方法， 其特征在于， 所述对原始图片进行数据增强以得到增强 图片包括： 对所述原始图片的坐标框进行预设距离的位移。 3.根据权利要求1所述的方法， 其特征在于， 还包括： 基于所述主训练网络产生多个尺度的第一语义特征图， 基于所述辅助训练网络产生多 个尺度的第二语义特征图， 并将相同尺度的所述第一语义特征图和所述语义第二特征图以 预定概率进行交换。 4.根据权利要求3所述的方法， 其特征在于， 还包括： 在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分 支损失。 5.根据权利要求。

5、4所述的方法， 其特征在于， 所述在图像实例分割中加入所述主训练网 络的主分支损失和所述辅助训练网络的辅助分支损失包括： 将初始坐标框与所述第一语义特征图结合得到第一分类特征图， 将所述初始坐标框与 所述第二语义特征图结合得到第二分类特征图， 根据所述第一分类特征图和所述第二分类 特征图得到散度损失。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述第一分类特征图和所述第二 分类特征图得到散度损失包括： 计算相同尺度的第一分类特征图和第二分类特征图的子散度损失， 并将所有尺度的子 散度损失相加得到散度损失。 7.根据权利要求4所述的方法， 其特征在于， 所述在图像实例分割中加入所述主。

6、训练网 络的主分支损失和所述辅助训练网络的辅助分支损失包括： 根据坐标框的距离和尺度信息分别得到主回归损失和辅助回归损失。 8.一种增强图像实例分割的系统， 其特征在于， 包括： 增强模块， 配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网 络， 并对原始图片进行数据增强以得到增强图片； 输入模块， 配置用于将所述原始图片输入主训练网络， 将所述增强图片输入所述辅助 训练网络； 判断模块， 配置用于判断所述辅助训练网络产生的第二预测框与目标框的交并比值是 否大于所述主训练网络产生的第一预测框与目标框的交并比值； 以及 执行模块， 配置用于响应于所述第二预测框与目标框的交并比值大于。

7、所述第一预测框 与目标框的交并比值， 用所述第二预测框与目标框的交并比值替换所述第一预测框与目标 权利要求书 1/2 页 2 CN 112132832 A 2 框的交并比值进行图像实例分割。 9.一种计算机设备， 其特征在于， 包括： 至少一个处理器； 以及 存储器， 所述存储器存储有可在所述处理器上运行的计算机指令， 所述指令由所述处 理器执行时实现权利要求1-7任意一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。 权利要求书 2/2 页 3 CN 11213。

8、2832 A 3 一种增强图像实例分割的方法、 系统、 设备及介质 技术领域 0001 本发明涉及目标检测领域， 更具体地， 特别是指一种增强图像实例分割的方法、 系 统、 计算机设备及可读介质。 背景技术 0002 实例分割是基于目标检测技术发展起来的一个领域， 是比目标检测更难的问题。 要求在目标检测的基础上， 还要求分割出物体的像素。 同时它与语义分割也存在着很大的 不同。 语义分割只是区分图像中像素点具体属于哪一种类别， 同一物体不同实例不需要分 割出来。 实例分割可看成目标检测和语义分割的结合， 因此研究难度也相应提升。 0003 目前常用的实例分割算法是Mask RCNN(一种针对。

9、目标检测和实例分割任务的网 络)算法。 Mask RCNN是在Faster RCNN(一种目标检测网络)添加新分支进行像素级别预测。 该分支输出二进制掩码， 表示像素是否属于目标对象。 将这些掩码同分类结果和检测框结 合起来， 便形成了实例分割。 Mask RCNN从网络结构上来看只是在Faster RCNN基础上加了 一个分支， 因此Faster RCNN存在的训练样本分布不平衡问题， 在Mask RCNN中依然存在， 因 而如何解决训练样本分布不平衡的问题， 成为急需解决的问题。 发明内容 0004 有鉴于此， 本发明实施例的目的在于提出一种增强图像实例分割的方法、 系统、 计 算机设备及。

10、计算机可读存储介质， 通过加入辅助分支， 利用较大的预测框与目标框的交并 比值来进行实例分割， 极大地降低了样本不平衡带来的影响； 提出特征图交换策略， 增强网 络鲁棒性； 添加辅助分支损失及KL散度损失， 进一步增强实例分割性能。 0005 基于上述目的， 本发明实施例的一方面提供了一种增强图像实例分割的方法， 包 括如下步骤： 在主训练网络中设置与所述主训练网络架构相同的辅助训练网络， 并对原始 图片进行数据增强以得到增强图片； 将原始图片输入主训练网络， 将增强图片输入辅助训 练网络； 判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产 生的第一预测框与目标框的交并比。

11、值； 以及响应于第二预测框与目标框的交并比值大于第 一预测框与目标框的交并比值， 用第二预测框与目标框的交并比值替换第一预测框与目标 框的交并比值进行图像实例分割。 0006 在一些实施方式中， 所述对原始图片进行数据增强以得到增强图片包括： 对所述 原始图片的坐标框进行预设距离的位移。 0007 在一些实施方式中， 还包括： 基于所述主训练网络产生多个尺度的第一语义特征 图， 基于所述辅助训练网络产生多个尺度的第二语义特征图， 并将相同尺度的所述第一语 义特征图和所述语义第二特征图以预定概率进行交换。 0008 在一些实施方式中， 还包括： 在图像实例分割中加入所述主训练网络的主分支损 失和。

12、所述辅助训练网络的辅助分支损失。 0009 在一些实施方式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 说明书 1/8 页 4 CN 112132832 A 4 所述辅助训练网络的辅助分支损失包括： 将初始坐标框与所述第一语义特征图结合得到第 一分类特征图， 将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图， 根据 所述第一分类特征图和所述第二分类特征图得到散度损失。 0010 在一些实施方式中， 所述根据所述第一分类特征图和所述第二分类特征图得到散 度损失包括： 计算相同尺度的第一分类特征图和第二分类特征图的子散度损失， 并将所有 尺度的子散度损失相加得到散度损失。 。

13、0011 在一些实施方式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 所述辅助训练网络的辅助分支损失包括： 根据坐标框的距离和尺度信息分别得到主回归损 失和辅助回归损失。 0012 本发明实施例的另一方面， 还提供了一种增强图像实例分割系统， 包括： 增强模 块， 配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网络， 并对原始 图片进行数据增强以得到增强图片； 输入模块， 配置用于将所述原始图片输入主训练网络， 将所述增强图片输入所述辅助训练网络； 判断模块， 配置用于判断所述辅助训练网络产生 的第二预测框与目标框的交并比值是否大于所述主训练网络产生的第一预测框与目。

14、标框 的交并比值； 以及执行模块， 配置用于响应于所述第二预测框与目标框的交并比值大于所 述第一预测框与目标框的交并比值， 用所述第二预测框与目标框的交并比值替换所述第一 预测框与目标框的交并比值进行图像实例分割。 0013 本发明实施例的又一方面， 还提供了一种计算机设备， 包括： 至少一个处理器； 以 及存储器， 所述存储器存储有可在所述处理器上运行的计算机指令， 所述指令由所述处理 器执行时实现如上方法的步骤。 0014 本发明实施例的再一方面， 还提供了一种计算机可读存储介质， 计算机可读存储 介质存储有被处理器执行时实现如上方法步骤的计算机程序。 0015 本发明具有以下有益技术效果。

15、： 通过加入辅助分支， 利用较大的预测框与目标框 的交并比值来进行实例分割， 极大地降低了样本不平衡带来的影响； 提出特征图交换策略， 增强网络鲁棒性； 添加辅助分支损失及KL散度损失， 进一步增强实例分割性能。 附图说明 0016 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的实施例。 0017 图1为本发明提供的增强图像实例分割的方法的实施例的示意图； 0018 图2为本。

16、发明提供的增强图像实例分割的计算机设备的实施例的硬件结构示意 图。 具体实施方式 0019 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体实施例， 并参照 附图， 对本发明实施例进一步详细说明。 0020 需要说明的是， 本发明实施例中所有使用 “第一” 和 “第二” 的表述均是为了区分两 说明书 2/8 页 5 CN 112132832 A 5 个相同名称非相同的实体或者非相同的参量， 可见 “第一”“第二” 仅为了表述的方便， 不应 理解为对本发明实施例的限定， 后续实施例对此不再一一说明。 0021 基于上述目的， 本发明实施例的第一个方面， 提出了一种增强图像实例分割的。

17、方 法的实施例。 图1示出的是本发明提供的增强图像实例分割的方法的实施例的示意图。 如图 1所示， 本发明实施例包括如下步骤： 0022 S1、 在主训练网络中设置与主训练网络架构相同的辅助训练网络， 并对原始图片 进行数据增强以得到增强图片； 0023 S2、 将原始图片输入主训练网络， 将增强图片输入辅助训练网络； 0024 S3、 判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网 络产生的第一预测框与目标框的交并比值； 以及 0025 S4、 响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比 值， 用第二预测框与目标框的交并比值替换第一预测框与目标框的交。

18、并比值进行图像实例 分割。 0026 本发明实施例以Mask RCNN进行举例说明， 但这并不是对训练网络的限制， 在其他 的实施例中可以采用其他的训练网络。 Mask RCNN的网络框架由backbone(骨干)网络， RPN (候选区域)网络， Head(头部)网络组成。 首先输入图片经过骨干网络， 可以得到具有语义信 息的语义特征图。 语义特征图经过RPN网络可以得到初始候选坐标框。 将初始坐标框与骨干 网络输出语义特征图结合得到用于具体分类回归所需要的分类特征图。 将新产生的分类特 征图经过不同的Head网络可以完成不同的任务。 比如将分类特征图输入分类网络可以判断 该候选框的类别， 。

19、将分类特征图输入回归网络可以定位该候选框的位置， 将分类特征图输 入分割网络可以对候选框中的实例进行像素级别的分割。 0027 在进行最终分类、 回归、 分割任务前， 需要进行正负样本的选取， 而正负样本是依 据候选框同Ground Truth(地面真值)的交并比确定的， Mask RCNN中选取候选框采用的是 随机采样的方式。 样本的分布在IoU(预测框与目标框的交并比)上并不是均匀分布的， 生成 候选框时随机采样会造成背景框远远大于框中GT的框， 是目标物体的区域只占很小一部 分， 背景占了绝大多数的位置， 所以大部分样本都挤在了IoU在0到0.05的区间了。 这就造成 了样本采样不平衡问。

20、题。 0028 本发明实施例针对这个问题设计了辅助分支以采用大IoU进行分割的方案。 添加 辅助分支一定程度上会带来训练的不稳定性， 本发明实施例为了缓解这个问题， 提出了特 征图交换的方式， 增强模型的泛化能力。 本发明实施例添加了辅助分支的损失， 在主分支与 辅助分支还添加了KL散度损失， 进一步提升实例分割的精度。 0029 在主训练网络中设置与主训练网络架构相同的辅助训练网络， 并对原始图片进行 数据增强以得到增强图片。 在一些实施方式中， 所述对原始图片进行数据增强以得到增强 图片包括： 对所述原始图片的坐标框进行预设距离的位移。 由于图片中的坐标框相对于原 始图片发生了较大位移， 。

21、因而在训练过程中的检测框相对于原始图片的Ground Truth来说 IOU会增大。 0030 将原始图片输入主训练网络， 将增强图片输入辅助训练网络。 判断辅助训练网络 产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框 的交并比值。 响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比 说明书 3/8 页 6 CN 112132832 A 6 值， 用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例 分割。 0031 在一些实施方式中， 还包括： 基于所述主训练网络产生多个尺度的第一语义特征 图， 基于所述辅助训练网络产生多个尺。

22、度的第二语义特征图， 并将相同尺度的所述第一语 义特征图和所述语义第二特征图以预定概率进行交换。 由于引进了新的分支， 且产生的特 征图相对于原先的特征图来说是一种特征增强。 因此本发明实施例为了进一步增强模型的 鲁棒性， 在主训练网络和辅助训练网络之间引入了特征图交换模块。 具体模块可以添加在 骨干网络与FPN网络之间。 由于每个分支的骨干网络会产生四个尺度的特征图， 特征图交换 模块以一定概率在同一个尺度的特征层进行交换。 例如， 主训练网络产生A1、 A2、 A3和A4四 个尺度的特征图， 辅助训练网络产生B1、 B2、 B3和B4四个尺度的特征图， A1和B1可以以一定 的概率进行交换。

23、。 0032 在一些实施方式中， 还包括： 在图像实例分割中加入所述主训练网络的主分支损 失和所述辅助训练网络的辅助分支损失。 整体的网络结构包括主分支损失与辅助分支损 失： 主分支损失与辅助分支损失均为分类损失和回归损失， 且分类损失采用交叉熵损失， 回 归损失采用IoU损失。 本发明实施例为了学习到两分支的相似性， 还引入了主分支与辅助分 支的KL散度损失。 0033 在一些实施方式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 所述辅助训练网络的辅助分支损失包括： 将初始坐标框与所述第一语义特征图结合得到第 一分类特征图， 将所述初始坐标框与所述第二语义特征图结合得到第二分类。

24、特征图， 根据 所述第一分类特征图和所述第二分类特征图得到散度损失。 0034 在一些实施方式中， 所述根据所述第一分类特征图和所述第二分类特征图得到散 度损失包括： 计算相同尺度的第一分类特征图和第二分类特征图的子散度损失， 并将所有 尺度的子散度损失相加得到散度损失。 由于FPN输出5个尺度的特征， 因此每个尺度的特征 都会计算一个KL散度损失。 最终的KL散度损失是5个尺度的和。 KL散度DKL的公式如下， 其中， p、 q分别代表主分支和辅助分支的特征图， xi代表第i个尺度。 0035 0036 在一些实施方式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 所述辅助训练网。

25、络的辅助分支损失包括： 根据坐标框的距离和尺度信息分别得到主回归损 失和辅助回归损失。 0037 当前主流的回归损失采用的是smooth L1Loss。 虽然从一定程度上缓解了误差增 长过快的情形， 但是损失函数与IoU的概念并不是完全等价的。 且smooth L1损失对尺度极 为敏感， 因而本方案采用了改进的IoU损失作为回归损失。 0038 传统的IoU损失公式如下， p表示预测框， g表示ground truth。 Intersection表示 预测框和ground truth的交集， Union表示并集： 0039 0040 但是上述公式没有考虑到预测框同ground truth之间没。

26、有交集情形， 因而不容易 说明书 4/8 页 7 CN 112132832 A 7 收敛。 本发明实施例针对上述情形设计了新的IoU损失， 加入坐标框的距离及尺度信息， 让 回归损失更容易收敛。 具体公式如下： 0041 0042 pc是预测框中心点坐标， gc是ground truth的中心坐标。 c是预测框和ground truth目标框的最小闭包的对角线距离。 0043 在模型训练上， 本发明实施例运用当前主流的深度学习框架pytorch、 深度学习模 型库torchvision、 目标检测框架mmdetection。 本发明实施例的辅助分支只在训练过程起 作用， 在测试中只用主分支， 。

27、因此推理阶段参数和Mask RCNN网络完全一致。 0044 本方案的实验环境和实验参数如下： 0045 本方案是在8块V100 GPU的实验环境下进行， 数据库采用的是COCO数据集。 每个 GPU可处理的图片数量是2， 初始学习率是0.02。 训练时， 数据增强采用了水平翻转， 图片短 边设定为800， 长边设定为1333.测试时， 为了公平比较， 没有采用Soft-NMS方法。 0046 在COCO test-2017数据集结果如下： 0047 APSEGAPBBOX Mask RCNN(ResNet50)34.237.3 +辅助分支35.438.5 +特征图交换36.039.2 +KL。

28、散度损失36.640.1 0048 APSEG表示分割性能值， APBBOX表示坐标框性能值。 如上表所示， 采用现有技术的情 形下， 分割性能值为34.2， 坐标框性能值为37.3， 在加入了辅助分支后， 分割性能值上升到 了35.4， 坐标框性能值上升到了38.5， 在进行了特征图交换后， 分割性能值进一步上升到 36.0， 坐标框性能值也进一步上升到了39.2， 在进行了KL散度损失后， 分割性能值进一步上 升到36.6， 坐标框性能值也进一步上升到了40.1。 基于上述实验结果， 本发明实施例在模型 整体性能上有了较大程度的提高， 在基础网络结构上有2.4个点的提升。 0049 需要特。

29、别指出的是， 上述增强图像实例分割的方法的各个实施例中的各个步骤均 可以相互交叉、 替换、 增加、 删减， 因此， 这些合理的排列组合变换之于增强图像实例分割的 方法也应当属于本发明的保护范围， 并且不应将本发明的保护范围局限在实施例之上。 0050 基于上述目的， 本发明实施例的第二个方面， 提出了一种增强图像实例分割系统， 包括： 增强模块， 配置用于在主训练网络中设置与所述主训练网络架构相同的辅助训练网 络， 并对原始图片进行数据增强以得到增强图片； 输入模块， 配置用于将所述原始图片输入 主训练网络， 将所述增强图片输入所述辅助训练网络； 判断模块， 配置用于判断所述辅助训 练网络产生。

30、的第二预测框与目标框的交并比值是否大于所述主训练网络产生的第一预测 框与目标框的交并比值； 以及执行模块， 配置用于响应于所述第二预测框与目标框的交并 比值大于所述第一预测框与目标框的交并比值， 用所述第二预测框与目标框的交并比值替 换所述第一预测框与目标框的交并比值进行图像实例分割。 0051 在一些实施方式中， 所述增强模块配置用于： 对所述原始图片的坐标框进行预设 距离的位移。 说明书 5/8 页 8 CN 112132832 A 8 0052 在一些实施方式中， 还包括： 交换模块， 配置用于基于所述主训练网络产生多个尺 度的第一语义特征图， 基于所述辅助训练网络产生多个尺度的第二语义。

31、特征图， 将相同尺 度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。 0053 在一些实施方式中， 还包括： 损失模块， 配置用于在图像实例分割中加入所述主训 练网络的主分支损失和所述辅助训练网络的辅助分支损失。 0054 在一些实施方式中， 所述损失模块配置用于： 将初始坐标框与所述第一语义特征 图结合得到第一分类特征图， 将所述初始坐标框与所述第二语义特征图结合得到第二分类 特征图， 根据所述第一分类特征图和所述第二分类特征图得到散度损失。 0055 在一些实施方式中， 所述损失模块配置用于： 计算相同尺度的第一分类特征图和 第二分类特征图的子散度损失， 并将所有尺度的子散度。

32、损失相加得到散度损失。 0056 在一些实施方式中， 所述损失模块配置用于： 根据坐标框的距离和尺度信息分别 得到主回归损失和辅助回归损失。 0057 基于上述目的， 本发明实施例的第三个方面， 提出了一种计算机设备， 包括： 至少 一个处理器； 以及存储器， 存储器存储有可在处理器上运行的计算机指令， 指令由处理器执 行以实现如下步骤： S1、 在主训练网络中设置与主训练网络架构相同的辅助训练网络， 并对 原始图片进行数据增强以得到增强图片； S2、 将原始图片输入主训练网络， 将增强图片输入 辅助训练网络； S3、 判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主 训练网络产生。

33、的第一预测框与目标框的交并比值； 以及S4、 响应于第二预测框与目标框的 交并比值大于第一预测框与目标框的交并比值， 用第二预测框与目标框的交并比值替换第 一预测框与目标框的交并比值进行图像实例分割。 0058 在一些实施方式中， 所述对原始图片进行数据增强以得到增强图片包括： 对所述 原始图片的坐标框进行预设距离的位移。 0059 在一些实施方式中， 还包括： 基于所述主训练网络产生多个尺度的第一语义特征 图， 基于所述辅助训练网络产生多个尺度的第二语义特征图， 并将相同尺度的所述第一语 义特征图和所述语义第二特征图以预定概率进行交换。 0060 在一些实施方式中， 还包括： 在图像实例分割。

34、中加入所述主训练网络的主分支损 失和所述辅助训练网络的辅助分支损失。 0061 在一些实施方式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 所述辅助训练网络的辅助分支损失包括： 将初始坐标框与所述第一语义特征图结合得到第 一分类特征图， 将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图， 根据 所述第一分类特征图和所述第二分类特征图得到散度损失。 0062 在一些实施方式中， 所述根据所述第一分类特征图和所述第二分类特征图得到散 度损失包括： 计算相同尺度的第一分类特征图和第二分类特征图的子散度损失， 并将所有 尺度的子散度损失相加得到散度损失。 0063 在一些实施方。

35、式中， 所述在图像实例分割中加入所述主训练网络的主分支损失和 所述辅助训练网络的辅助分支损失包括： 根据坐标框的距离和尺度信息分别得到主回归损 失和辅助回归损失。 0064 如图2所示， 为本发明提供的上述增强图像实例分割的计算机设备的一个实施例 的硬件结构示意图。 说明书 6/8 页 9 CN 112132832 A 9 0065 以如图2所示的装置为例， 在该装置中包括一个处理器301以及一个存储器302， 并 还可以包括： 输入装置303和输出装置304。 0066 处理器301、 存储器302、 输入装置303和输出装置304可以通过总线或者其他方式 连接， 图2中以通过总线连接为例。。

36、 0067 存储器302作为一种非易失性计算机可读存储介质， 可用于存储非易失性软件程 序、 非易失性计算机可执行程序以及模块， 如本申请实施例中的增强图像实例分割的方法 对应的程序指令/模块。 处理器301通过运行存储在存储器302中的非易失性软件程序、 指令 以及模块， 从而执行服务器的各种功能应用以及数据处理， 即实现上述方法实施例的增强 图像实例分割的方法。 0068 存储器302可以包括存储程序区和存储数据区， 其中， 存储程序区可存储操作系 统、 至少一个功能所需要的应用程序； 存储数据区可存储根据增强图像实例分割的方法的 使用所创建的数据等。 此外， 存储器302可以包括高速随机。

37、存取存储器， 还可以包括非易失 性存储器， 例如至少一个磁盘存储器件、 闪存器件、 或其他非易失性固态存储器件。 在一些 实施例中， 存储器302可选包括相对于处理器301远程设置的存储器， 这些远程存储器可以 通过网络连接至本地模块。 上述网络的实例包括但不限于互联网、 企业内部网、 局域网、 移 动通信网及其组合。 0069 输入装置303可接收输入的用户名和密码等信息。 输出装置304可包括显示屏等显 示设备。 0070 一个或者多个增强图像实例分割的方法对应的程序指令/模块存储在存储器302 中， 当被处理器301执行时， 执行上述任意方法实施例中的增强图像实例分割的方法。 0071 。

38、执行上述增强图像实例分割的方法的计算机设备的任何一个实施例， 可以达到与 之对应的前述任意方法实施例相同或者相类似的效果。 0072 本发明还提供了一种计算机可读存储介质， 计算机可读存储介质存储有被处理器 执行时执行如上方法的计算机程序。 0073 最后需要说明的是， 本领域普通技术人员可以理解实现上述实施例方法中的全部 或部分流程， 可以通过计算机程序来指令相关硬件来完成， 增强图像实例分割的方法的程 序可存储于一计算机可读取存储介质中， 该程序在执行时， 可包括如上述各方法的实施例 的流程。 其中， 程序的存储介质可为磁碟、 光盘、 只读存储记忆体(ROM)或随机存储记忆体 (RAM)等。

39、。 上述计算机程序的实施例， 可以达到与之对应的前述任意方法实施例相同或者相 类似的效果。 0074 以上是本发明公开的示例性实施例， 但是应当注意， 在不背离权利要求限定的本 发明实施例公开的范围的前提下， 可以进行多种改变和修改。 根据这里描述的公开实施例 的方法权利要求的功能、 步骤和/或动作不需以任何特定顺序执行。 此外， 尽管本发明实施 例公开的元素可以以个体形式描述或要求， 但除非明确限制为单数， 也可以理解为多个。 0075 应当理解的是， 在本文中使用的， 除非上下文清楚地支持例外情况， 单数形式 “一 个” 旨在也包括复数形式。 还应当理解的是， 在本文中使用的 “和/或” 。

40、是指包括一个或者一 个以上相关联地列出的项目的任意和所有可能组合。 0076 上述本发明实施例公开实施例序号仅仅为了描述， 不代表实施例的优劣。 0077 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件 说明书 7/8 页 10 CN 112132832 A 10 来完成， 也可以通过程序来指令相关的硬件完成， 程序可以存储于一种计算机可读存储介 质中， 上述提到的存储介质可以是只读存储器， 磁盘或光盘等。 0078 所属领域的普通技术人员应当理解： 以上任何实施例的讨论仅为示例性的， 并非 旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子； 在本发明实施例的思 路下， 以上实施例或者不同实施例中的技术特征之间也可以进行组合， 并存在如上的本发 明实施例的不同方面的许多其它变化， 为了简明它们没有在细节中提供。 因此， 凡在本发明 实施例的精神和原则之内， 所做的任何省略、 修改、 等同替换、 改进等， 均应包含在本发明实 施例的保护范围之内。 说明书 8/8 页 11 CN 112132832 A 11 图1 图2 说明书附图 1/1 页 12 CN 112132832 A 12 。