模型训练的方法、目标检测的方法、装置及存储介质.pdf

《模型训练的方法、目标检测的方法、装置及存储介质.pdf》由会员分享，可在线阅读，更多相关《模型训练的方法、目标检测的方法、装置及存储介质.pdf（39页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010219680.1 (22)申请日 2020.03.25 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 黄超 (74)专利代理机构 深圳市深佳知识产权代理事 务所(普通合伙) 44285 代理人 王仲凯 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06。

2、N 3/08(2006.01) A63F 13/2145(2014.01) A63F 13/42(2014.01) A63F 13/537(2014.01) A63F 13/837(2014.01) (54)发明名称 一种模型训练的方法、 目标检测的方法、 装 置及存储介质 (57)摘要 本申请公开了一种模型训练的方法， 该方法 应用于人工智能领域， 方法包括： 获取待训练图 像， 待训练图像设置有目标框以及目标类别； 通 过目标检测模型， 获取M个预测框以及M个类别预 测概率； 根据目标框、 M个预测框以及M个类别预 测概率确定样本集合； 通过目标检测模型所包括 的第一检测网络获取第一预测结。

3、果集合； 通过目 标检测模型所包括的第二检测网络获取第二预 测结果集合； 根据样本集合、 第一预测结果集合 以及第二预测结果集合， 对目标检测模型进行训 练。 本申请还包括目标检测的方法以及装置。 本 申请本申请可以级联的检测网络能够更好地拟 合目标所在的位置， 提升目标检测的效果。 权利要求书4页 说明书26页 附图8页 CN 111444828 A 2020.07.24 CN 111444828 A 1.一种模型训练的方法， 其特征在于， 包括： 获取待训练图像， 其中， 所述待训练图像设置有目标框以及目标类别； 通过所述目标检测模型， 获取M个预测框以及M个类别预测概率， 其中， 所述类。

4、别预测概 率与所述预测框具有一一对应的关系， 所述M为大于或等于1的整数； 根据所述目标框、 所述M个预测框以及M个类别预测概率确定样本集合， 其中， 所述样本 集合至少包括第一样本集合以及第二样本集合， 所述第一样本集合包括交并比大于或等于 第一交并比阈值的正样本， 所述第二样本集合包括所述交并比大于或等于第二交并比阈值 的正样本， 所述第一交并比阈值小于所述第二交并比阈值； 基于所述第一样本集合， 通过所述目标检测模型所包括的第一检测网络获取第一预测 结果集合， 其中， 所述第一预测结果集合包括所述第一样本集合中每个样本所对应的类别 分值以及候选框预测位置； 基于所述第二样本集合， 通过所。

5、述目标检测模型所包括的第二检测网络获取第二预测 结果集合， 其中， 所述第二预测结果集合包括所述第二样本集合中每个样本所对应的类别 分值以及候选框预测位置； 根据所述样本集合、 所述第一预测结果集合以及所述第二预测结果集合， 对所述目标 检测模型进行训练。 2.根据权利要求1所述的模型训练的方法， 所述通过所述目标检测模型， 获取M个预测 框以及M个类别预测概率， 包括： 基于所述待训练图像， 通过所述目标检测模型所包括的第一网络获取图像卷积特征； 基于所述图像卷积特征， 通过所述目标检测模型所包括的第二网络获取M个预测框以 及M个类别预测概率。 3.根据权利要求2所述的模型训练的方法， 其特。

6、征在于， 所述基于所述待训练图像， 通 过所述目标检测模型所包括的第一网络获取图像卷积特征， 包括： 基于所述待训练图像， 通过所述第一网络中的卷积层获取第一图像特征； 基于所述第一图像特征， 通过所述第一网络中的第一残差模块获取第二图像特征； 基于所述第二图像特征， 通过所述第一网络中的第二残差模块获取第三图像特征； 基于所述第三图像特征， 通过所述第一网络中的至少一个所述第一残差网络以及至少 一个所述第二残差网络， 获取所述图像卷积特征。 4.根据权利要求3所述的模型训练的方法， 其特征在于， 所述基于所述第一图像特征， 通过所述第一网络中的第一残差模块获取第二图像特征， 包括： 基于所述。

7、第一图像特征， 通过所述第一残差模块所包括的第一卷积层获取第一卷积特 征； 基于所述第一图像特征， 通过所述第一残差模块所包括的第二卷积层获取第二卷积特 征； 基于所述第二卷积特征， 通过所述第一残差模块所包括的第三卷积层获取第三卷积特 征； 基于所述第三卷积特征， 通过所述第一残差模块所包括的第四卷积层获取第四卷积特 征； 根据所述第一卷积特征以及所述第四卷积特征， 生成所述第二图像特征。 权利要求书 1/4 页 2 CN 111444828 A 2 5.根据权利要求3所述的模型训练的方法， 其特征在于， 所述基于所述第二图像特征， 通过所述第一网络中的第二残差模块获取第三图像特征， 包括：。

8、 基于所述第二图像特征， 通过所述第二残差模块所包括的第一卷积层获取第五卷积特 征； 基于所述第五图像特征， 通过所述第二残差模块所包括的第二卷积层获取第六卷积特 征； 基于所述第六卷积特征， 通过所述第二残差模块所包括的第三卷积层获取第七卷积特 征； 根据所述第二图像特征以及所述第七卷积特征， 生成所述第三图像特征。 6.根据权利要求1所述的模型训练的方法， 其特征在于， 所述根据所述目标框、 所述M个 预测框以及M个类别预测概率确定样本集合， 包括： 根据所述M个类别预测概率， 从所述M个预测框中确定N个预测框作为候选框， 以得到N 个候选框， 其中， 所述候选框所对应的类别预测概率大于或。

9、等于类别概率门限， 所述N为大 于或等于1， 且小于或等于所述M的整数； 根据所述N个候选框确定每个候选框与所述目标框之间的交并比； 根据所述每个候选框与所述目标框之间的交并比， 获取所述第一样本集合， 其中， 所述 第一样本集合包括第一正样本以及负样本； 根据所述每个候选框与所述目标框之间的交并比， 获取所述第二样本集合， 其中， 所述 第二样本集合包括第二正样本以及负样本。 7.根据权利要求6所述的模型训练的方法， 其特征在于， 所述根据所述M个类别预测概 率， 从所述M个预测框中确定N个候选框， 包括： 若类别预测概率大于或等于所述类别概率门限， 则将所述类别预测概率所对应的预测 框确定。

10、为候选框， 其中， 所述类别预测概率属于所述M个类别预测概率， 所述候选框属于所 述N个候选框； 若类别预测概率小于所述类别概率门限， 则从所述M个预测框中剔除所述类别预测概 率所对应的预测框。 8.根据权利要求6所述的模型训练的方法， 其特征在于， 所述根据所述每个候选框与所 述目标框之间的交并比， 获取所述第一样本集合， 包括： 若候选框与所述目标框之间的交并比大于或等于所述第一交并比阈值， 则将所述候选 框所对应的样本确定为所述第一样本集合中的第一正样本； 若候选框与所述目标框之间的交并比小于第三交并比阈值， 则将所述候选框所对应的 样本确定为所述第一样本集合中的负样本， 其中， 所述第。

11、三数据小于所述第一交并比阈值； 所述根据所述每个候选框与所述目标框之间的交并比， 获取所述第二样本集合， 包括： 若候选框与所述目标框之间的交并比大于或等于所述第二交并比阈值， 则将所述候选 框所对应的样本确定为所述第二样本集合中的第二正样本； 若候选框与所述目标框之间的交并比小于所述第三交并比阈值， 则将所述候选框所对 应的样本确定为所述第二样本集合中的负样本， 其中， 所述第三数据小于所述第二交并比 阈值。 9.根据权利要求1所述的模型训练的方法， 其特征在于， 所述基于所述第一样本集合， 权利要求书 2/4 页 3 CN 111444828 A 3 通过所述目标检测模型所包括的第一检测网。

12、络获取第一预测结果集合， 包括： 基于所述第一样本集合中的第一样本， 通过第一池化层获取第一特征向量， 其中， 所述 第一样本为所述第一样本集合中的正样本或负样本； 基于所述第一特征向量， 通过所述第一检测网络获取所述第一样本所对应的第一预测 结果， 其中， 所述第一预测结果包括第一类别分值以及第一候选框预测位置； 所述基于所述第二样本集合， 通过所述目标检测模型所包括的第二检测网络获取第二 预测结果集合， 包括： 基于所述第二样本集合中的第二样本， 通过第二池化层获取第二特征向量， 其中， 所述 第二样本为所述第二样本集合中的正样本或负样本； 基于所述第二特征向量， 通过所述第二检测网络获取。

13、所述第二样本所对应的第二预测 结果， 其中， 所述第二预测结果包括第二类别分值以及第二候选框预测位置。 10.根据权利要求1至9中任一项所述的模型训练的方法， 其特征在于， 所述根据所述样 本集合、 所述第一预测结果集合以及所述第二预测结果集合， 对所述目标检测模型进行训 练， 包括： 根据所述第一样本集合以及所述第一预测结果集合， 采用第一损失函数对所述第一检 测网络的第一模型参数进行更新； 根据所述目标框以及所述第一预测结果集合， 采用第二损失函数对所述第一检测网络 的第二模型参数进行更新； 根据所述第二样本集合以及所述第二预测结果集合， 采用所述第一损失函数对所述第 二检测网络的第三模型。

14、参数进行更新； 根据所述目标框以及所述第二预测结果集合， 采用所述第二损失函数对所述第二检测 网络的第四模型参数进行更新。 11.一种目标检测的方法， 其特征在于， 包括： 基于待检测图像， 通过目标检测模型所包括的第一网络获取图像卷积特征， 其中， 所述 目标检测模型为采用上述权利要求1至10中任一项所述的方法训练得到的； 基于所述图像卷积特征， 通过所述目标检测模型所包括的第二网络获取预测框以及类 别预测概率， 其中， 所述类别预测概率与所述预测框具有一一对应的关系； 若所述类别预测概率大于或等于类别概率门限， 则将预测框确定为候选框； 基于所述候选框， 通过所述目标检测模型所包括的第一检。

15、测网络获取第一候选框预测 位置以及第一类别分值； 基于所述候选框， 通过所述目标检测模型所包括的第二检测网络获取第二候选框预测 位置以及第二类别分值； 根据所述候选框、 所述第一候选框预测位置、 所述第一类别分值、 所述第二候选框预测 位置以及所述第二类别分值， 确定所述待检测图像的目标框以及目标分类结果。 12.一种模型训练装置， 其特征在于， 包括： 获取模块， 用于获取待训练图像， 其中， 所述待训练图像设置有目标框以及目标类别； 所述获取模块， 还用于通过所述目标检测模型， 获取M个预测框以及M个类别预测概率， 其中， 所述类别预测概率与所述预测框具有一一对应的关系， 所述M为大于或等。

16、于1的整数； 确定模块， 用于根据所述目标框、 所述M个预测框以及M个类别预测概率确定样本集合， 权利要求书 3/4 页 4 CN 111444828 A 4 其中， 所述样本集合至少包括第一样本集合以及第二样本集合， 所述第一样本集合包括交 并比大于或等于第一交并比阈值的正样本， 所述第二样本集合包括所述交并比大于或等于 第二交并比阈值的正样本， 所述第一交并比阈值小于所述第二交并比阈值； 所述获取模块， 还用于基于所述第一样本集合， 通过所述目标检测模型所包括的第一 检测网络获取第一预测结果集合， 其中， 所述第一预测结果集合包括所述第一样本集合中 每个样本所对应的类别分值以及候选框预测位。

17、置； 所述获取模块， 还用于基于所述第二样本集合， 通过所述目标检测模型所包括的第二 检测网络获取第二预测结果集合， 其中， 所述第二预测结果集合包括所述第二样本集合中 每个样本所对应的类别分值以及候选框预测位置； 训练模块， 用于根据所述样本集合、 所述第一预测结果集合以及所述第二预测结果集 合， 对所述目标检测模型进行训练。 13.一种目标检测装置， 其特征在于， 包括： 获取模块， 用于基于待检测图像， 通过目标检测模型所包括的第一网络获取图像卷积 特征， 其中， 所述目标检测模型为采用上述权利要求1至10中任一项所述的方法训练得到 的； 所述获取模块， 还用于基于所述图像卷积特征， 通。

18、过所述目标检测模型所包括的第二 网络获取预测框以及类别预测概率， 其中， 所述类别预测概率与所述预测框具有一一对应 的关系； 确定模块， 用于若所述类别预测概率大于或等于类别概率门限， 则将预测框确定为候 选框； 所述获取模块， 还用于基于所述候选框， 通过所述目标检测模型所包括的第一检测网 络获取第一候选框预测位置以及第一类别分值； 所述获取模块， 还用于基于所述候选框， 通过所述目标检测模型所包括的第二检测网 络获取第二候选框预测位置以及第二类别分值； 所述确定模块， 还用于根据所述候选框、 所述第一候选框预测位置、 所述第一类别分 值、 所述第二候选框预测位置以及所述第二类别分值， 确定。

19、所述待检测图像的目标框以及 目标分类结果。 14.一种计算机设备， 其特征在于， 包括： 存储器、 收发器、 处理器以及总线系统； 其中， 所述存储器用于存储程序； 所述处理器用于执行所述存储器中的程序， 以实现权利要求1至10中任一项所述的方 法， 或， 实现权利要求11所述的方法； 所述总线系统用于连接所述存储器以及所述处理器， 以使所述存储器以及所述处理器 进行通信。 15.一种计算机可读存储介质， 包括指令， 当其在计算机上运行时， 使得计算机执行如 权利要求1至10中任一项所述的方法， 或， 执行如权利要求11所述的方法。 权利要求书 4/4 页 5 CN 111444828 A 5。

20、 一种模型训练的方法、 目标检测的方法、 装置及存储介质 技术领域 0001 本申请涉及人工智能领域， 尤其涉及一种模型训练的方法、 目标检测的方法、 装置 及存储介质。 背景技术 0002 目标检测近年来已经取得了很重要的进展， 目标检测的任务是找出图像中感兴趣 的目标或区域。 在游戏自动化测试中， 目标检测扮演者重要的角色， 也是自动化检测的基 础， 同时由于各类目标有不同的外观、 形状以及姿态， 加上成像时光照或者遮挡等因素的干 扰， 使得目标检测一直是计算机视觉领域具有挑战性的任务。 0003 在现有的技术方案中， 有基于单次多框探测器(single shot multibox det。

21、ector， SSD)的目标检测方法， 该方法需要预先手工定义目标检测的先验框， 通过不同尺 度的卷积特征谱预测目标的位置和类别。 0004 然而， 采用SSD方法虽然能够检测出的目标所在位置， 但是， 在训练过程中对目标 所在的位置仅进行了简单的拟合， 因此， 存在目标检测精度较低的情况， 导致预测得到的目 标所在位置与实际的目标所在位置之间可能存较大偏差。 发明内容 0005 本申请实施例提供了一种模型训练的方法、 目标检测的方法、 装置及存储介质， 可 以在训练的过程中， 基于不同的交并比阈值生成不同的样本集合， 不同的样本集合用于训 练不同的检测网络， 以设置不同的交并比阈值来分别训练。

22、对应的检测网络， 使得这些级联 的检测网络能够更好地拟合目标所在的位置， 提升目标检测的效果。 0006 有鉴于此， 本申请第一方面提供一种模型训练的方法， 包括： 0007 获取待训练图像， 其中， 待训练图像设置有目标框以及目标类别； 0008 通过目标检测模型， 获取M个预测框以及M个类别预测概率， 其中， 类别预测概率与 预测框具有一一对应的关系， M为大于或等于1的整数； 0009 根据目标框、 M个预测框以及M个类别预测概率确定样本集合， 其中， 样本集合至少 包括第一样本集合以及第二样本集合， 第一样本集合包括交并比大于或等于第一交并比阈 值的正样本， 第二样本集合包括交并比大于。

23、或等于第二交并比阈值的正样本， 第一交并比 阈值小于第二交并比阈值； 0010 基于第一样本集合， 通过目标检测模型所包括的第一检测网络获取第一预测结果 集合， 其中， 第一预测结果集合包括第一样本集合中每个样本所对应的类别分值以及候选 框预测位置； 0011 基于第二样本集合， 通过目标检测模型所包括的第二检测网络获取第二预测结果 集合， 其中， 第二预测结果集合包括第二样本集合中每个样本所对应的类别分值以及候选 框预测位置； 0012 根据样本集合、 第一预测结果集合以及第二预测结果集合， 对目标检测模型进行 说明书 1/26 页 6 CN 111444828 A 6 训练。 0013 本。

24、申请第二方面提供一种目标检测的方法， 包括： 0014 基于待检测图像， 通过目标检测模型所包括的第一网络获取图像卷积特征， 其中， 目标检测模型为采用第一方面提供的模型训练的方法训练得到的； 0015 基于图像卷积特征， 通过目标检测模型所包括的第二网络获取预测框以及类别预 测概率， 其中， 类别预测概率与预测框具有一一对应的关系； 0016 若类别预测概率大于或等于类别概率门限， 则将预测框确定为候选框； 0017 基于候选框， 通过目标检测模型所包括的第一检测网络获取第一候选框预测位置 以及第一类别分值； 0018 基于候选框， 通过目标检测模型所包括的第二检测网络获取第二候选框预测位置。

25、 以及第二类别分值； 0019 根据候选框、 第一候选框预测位置、 第一类别分值、 第二候选框预测位置以及第二 类别分值， 确定待检测图像的目标框以及目标分类结果。 0020 本申请第三方面提供一种模型训练装置， 包括： 0021 获取模块， 用于获取待训练图像， 其中， 待训练图像设置有目标框以及目标类别； 0022 获取模块， 还用于通过目标检测模型， 获取M个预测框以及M个类别预测概率， 其 中， 类别预测概率与预测框具有一一对应的关系， M为大于或等于1的整数； 0023 确定模块， 用于根据目标框、 M个预测框以及M个类别预测概率确定样本集合， 其 中， 样本集合至少包括第一样本集合。

26、以及第二样本集合， 第一样本集合包括交并比大于或 等于第一交并比阈值的正样本， 第二样本集合包括交并比大于或等于第二交并比阈值的正 样本， 第一交并比阈值小于第二交并比阈值； 0024 获取模块， 还用于基于第一样本集合， 通过目标检测模型所包括的第一检测网络 获取第一预测结果集合， 其中， 第一预测结果集合包括第一样本集合中每个样本所对应的 类别分值以及候选框预测位置； 0025 获取模块， 还用于基于第二样本集合， 通过目标检测模型所包括的第二检测网络 获取第二预测结果集合， 其中， 第二预测结果集合包括第二样本集合中每个样本所对应的 类别分值以及候选框预测位置； 0026 训练模块， 用。

27、于根据样本集合、 第一预测结果集合以及第二预测结果集合， 对目标 检测模型进行训练。 0027 在一种可能的设计中， 在本申请实施例的第三方面的一种实现方式中， 0028 获取模块， 具体用于基于待训练图像， 通过目标检测模型所包括的第一网络获取 图像卷积特征； 0029 基于图像卷积特征， 通过目标检测模型所包括的第二网络获取M个预测框以及M个 类别预测概率。 0030 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0031 获取模块， 具体用于基于待训练图像， 通过第一网络中的卷积层获取第一图像特 征； 0032 基于第一图像特征， 通过第一网络中的第一残差模块获取第二。

28、图像特征； 0033 基于第二图像特征， 通过第一网络中的第二残差模块获取第三图像特征； 说明书 2/26 页 7 CN 111444828 A 7 0034 基于第三图像特征， 通过第一网络中的至少一个第一残差网络以及至少一个第二 残差网络， 获取图像卷积特征。 0035 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0036 获取模块， 具体用于基于第一图像特征， 通过第一残差模块所包括的第一卷积层 获取第一卷积特征； 0037 基于第一图像特征， 通过第一残差模块所包括的第二卷积层获取第二卷积特征； 0038 基于第二卷积特征， 通过第一残差模块所包括的第三卷积层获取。

29、第三卷积特征； 0039 基于第三卷积特征， 通过第一残差模块所包括的第四卷积层获取第四卷积特征； 0040 根据第一卷积特征以及第四卷积特征， 生成第二图像特征。 0041 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0042 获取模块， 具体用于基于第二图像特征， 通过第二残差模块所包括的第一卷积层 获取第五卷积特征； 0043 基于第五图像特征， 通过第二残差模块所包括的第二卷积层获取第六卷积特征； 0044 基于第六卷积特征， 通过第二残差模块所包括的第三卷积层获取第七卷积特征； 0045 根据第二图像特征以及第七卷积特征， 生成第三图像特征。 0046 在一种可。

30、能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0047 确定模块， 具体用于根据M个类别预测概率， 从M个预测框中确定N个预测框作为候 选框， 以得到N个候选框， 其中， 候选框所对应的类别预测概率大于或等于类别概率门限， N 为大于或等于1， 且小于或等于M的整数； 0048 根据N个候选框确定每个候选框与目标框之间的交并比； 0049 根据每个候选框与目标框之间的交并比， 获取第一样本集合， 其中， 第一样本集合 包括第一正样本以及负样本； 0050 根据每个候选框与目标框之间的交并比， 获取第二样本集合， 其中， 第二样本集合 包括第二正样本以及负样本。 0051 在一种可能。

31、的设计中， 在本申请实施例的第三方面的另一实现方式中， 0052 确定模块， 具体用于若类别预测概率大于或等于类别概率门限， 则将类别预测概 率所对应的预测框确定为候选框， 其中， 类别预测概率属于M个类别预测概率， 候选框属于N 个候选框； 0053 若类别预测概率小于类别概率门限， 则从M个预测框中剔除类别预测概率所对应 的预测框。 0054 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0055 获取模块， 具体用于若候选框与目标框之间的交并比大于或等于第一交并比阈 值， 则将候选框所对应的样本确定为第一样本集合中的第一正样本； 0056 若候选框与目标框之间的交并比。

32、小于第三交并比阈值， 则将候选框所对应的样本 确定为第一样本集合中的负样本， 其中， 第三数据小于第一交并比阈值； 0057 获取模块， 具体用于若候选框与目标框之间的交并比大于或等于第二交并比阈 值， 则将候选框所对应的样本确定为第二样本集合中的第二正样本； 0058 若候选框与目标框之间的交并比小于第三交并比阈值， 则将候选框所对应的样本 确定为第二样本集合中的负样本， 其中， 第三数据小于第二交并比阈值。 说明书 3/26 页 8 CN 111444828 A 8 0059 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0060 获取模块， 具体用于基于第一样本集合中。

33、的第一样本， 通过第一池化层获取第一 特征向量， 其中， 第一样本为第一样本集合中的正样本或负样本； 0061 基于第一特征向量， 通过第一检测网络获取第一样本所对应的第一预测结果， 其 中， 第一预测结果包括第一类别分值以及第一候选框预测位置； 0062 获取模块， 具体用于基于第二样本集合中的第二样本， 通过第二池化层获取第二 特征向量， 其中， 第二样本为第二样本集合中的正样本或负样本； 0063 基于第二特征向量， 通过第二检测网络获取第二样本所对应的第二预测结果， 其 中， 第二预测结果包括第二类别分值以及第二候选框预测位置。 0064 在一种可能的设计中， 在本申请实施例的第三方面。

34、的另一实现方式中， 0065 训练模块， 具体用于根据第一样本集合以及第一预测结果集合， 采用第一损失函 数对第一检测网络的第一模型参数进行更新； 0066 根据目标框以及第一预测结果集合， 采用第二损失函数对第一检测网络的第二模 型参数进行更新； 0067 根据第二样本集合以及第二预测结果集合， 采用第一损失函数对第二检测网络的 第三模型参数进行更新； 0068 根据目标框以及第二预测结果集合， 采用第二损失函数对第二检测网络的第四模 型参数进行更新。 0069 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0070 训练模块， 具体用于获取第一样本集合中每个样本所对应的。

35、类别标签； 0071 获取第一预测结果集合中每个样本所对应的类别分值； 0072 根据第一样本集合中每个样本所对应的类别标签以及每个样本所对应的类别分 值， 采用第一损失函数对第一检测网络的第一模型参数进行更新； 0073 训练模块， 具体用于获取待训练图像所对应的目标框； 0074 获取第一预测结果集合中每个样本所对应的候选框预测位置； 0075 根据目标框以及第一预测结果集合中每个样本所对应的候选框预测位置， 采用第 二损失函数对第一检测网络的第二模型参数进行更新。 0076 在一种可能的设计中， 在本申请实施例的第三方面的另一实现方式中， 0077 训练模块， 具体用于获取第二样本集合中。

36、每个样本所对应的类别标签； 0078 获取第二预测结果集合中每个样本所对应的类别分值； 0079 根据第二样本集合中每个样本所对应的类别标签以及每个样本所对应的类别分 值， 采用第一损失函数对第二检测网络的第三模型参数进行更新； 0080 训练模块， 具体用于获取待训练图像所对应的目标框； 0081 获取第二预测结果集合中每个样本所对应的候选框预测位置； 0082 根据目标框以及第二预测结果集合中每个样本所对应的候选框预测位置， 采用第 二损失函数对第二检测网络的第四模型参数进行更新。 0083 本申请第四方面提供一种目标检测装置， 包括： 0084 获取模块， 用于基于待检测图像， 通过目标。

37、检测模型所包括的第一网络获取图像 卷积特征， 其中， 目标检测模型为采用第一方面提供的模型训练的方法训练得到的； 说明书 4/26 页 9 CN 111444828 A 9 0085 获取模块， 还用于基于图像卷积特征， 通过目标检测模型所包括的第二网络获取 预测框以及类别预测概率， 其中， 类别预测概率与预测框具有一一对应的关系； 0086 确定模块， 用于若类别预测概率大于或等于类别概率门限， 则将预测框确定为候 选框； 0087 获取模块， 还用于基于候选框， 通过目标检测模型所包括的第一检测网络获取第 一候选框预测位置以及第一类别分值； 0088 获取模块， 还用于基于候选框， 通过目。

38、标检测模型所包括的第二检测网络获取第 二候选框预测位置以及第二类别分值； 0089 确定模块， 还用于根据候选框、 第一候选框预测位置、 第一类别分值、 第二候选框 预测位置以及第二类别分值， 确定待检测图像的目标框以及目标分类结果。 0090 本申请的第五方面提供了一种计算机可读存储介质， 所述计算机可读存储介质中 存储有指令， 当其在计算机上运行时， 使得计算机执行上述各方面所述的方法。 0091 从以上技术方案可以看出， 本申请实施例具有以下优点： 0092 本申请实施例中， 提供了一种模型训练的方法， 在训练的过程中， 需要基于不同的 交并比阈值生成不同的样本集合， 不同的样本集合用于。

39、训练不同的检测网络， 以设置不同 的交并比阈值来分别训练对应的检测网络， 使得这些级联的检测网络能够更好地拟合目标 所在的位置， 提升目标检测的效果。 附图说明 0093 图1为本申请实施例中枪战游戏场景的一个界面示意图； 0094 图2为本申请实施例中目标检测系统的一个环境示意图； 0095 图3为本申请实施例中模型训练的方法一个流程示意图； 0096 图4为本申请实施例中模型训练的方法一个实施例示意图； 0097 图5为本申请实施例中基于枪战游戏场景获取待训练图像的一个示意图； 0098 图6为本申请实施例中基于枪战游戏场景获取预测框的一个示意图； 0099 图7为本申请实施例中具有一个检。

40、测网络的一个模型结构示意图； 0100 图8为本申请实施例中具有多个检测网络的一个模型结构示意图； 0101 图9为本申请实施例中第一网络的一个结构示意图； 0102 图10为本申请实施例中第一残差模块的一个结构示意图； 0103 图11为本申请实施例中第二残差模块的一个结构示意图； 0104 图12为本申请实施例中获取样本集合的一个实施例示意图； 0105 图13为本实施例中目标检测网络的一个结构示意图； 0106 图14为本实施例中目标检测网络的另一个结构示意图； 0107 图15为本申请实施例中目标检测的方法一个实施例示意图； 0108 图16为本申请实施例中模型训练装置的一个实施例示意。

41、图； 0109 图17为本申请实施例中目标检测装置的一个实施例示意图； 0110 图18为本申请实施例中计算机设备的一个实施例示意图。 说明书 5/26 页 10 CN 111444828 A 10 具体实施方式 0111 本申请实施例提供了一种模型训练的方法、 目标检测的方法、 装置及存储介质， 用 于在训练的过程中， 基于不同的交并比阈值生成不同的样本集合， 不同的样本集合用于训 练不同的检测网络， 以设置不同的交并比阈值来分别训练对应的检测网络， 使得这些级联 的检测网络能够更好地拟合目标所在的位置， 提升目标检测的效果。 0112 本申请的说明书和权利要求书及上述附图中的术语 “第一”。

42、 、“第二” 、“第三” 、“第 四” 等(如果存在)是用于区别类似的对象， 而不必用于描述特定的顺序或先后次序。 应该理 解这样使用的数据在适当情况下可以互换， 以便这里描述的本申请的实施例例如能够以除 了在这里图示或描述的那些以外的顺序实施。 此外， 术语 “包括” 和 “对应于” 以及他们的任 何变形， 意图在于覆盖不排他的包含， 例如， 包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备不必限于清楚地列出的那些步骤或单元， 而是可包括没有清楚地列出的或对于 这些过程、 方法、 产品或设备固有的其它步骤或单元。 0113 应理解， 本申请可以应用于对目标进行检测的场景中， 例如，。

43、 对图像的内容进行识 别， 识别出图像中是否包括所需检测的目标， 以及对该目标的分类。 图像中可能一个或多个 目标， 在定位出不同目标后可以用边界框圈出目标所在的位置， 并且给出该目标的分类结 果， 因此， 通过目标检测可以是找出图像中感兴趣或者所需的目标或区域。 0114 具体地， 以应用于检测枪战游戏中的目标作为一个示例进行说明， 在枪战游戏中 各类目标有不同的外观、 形状以及姿态等， 假设枪战游戏中包括潜伏者和防卫者两个类别， 请参阅图1， 图1为本申请实施例中枪战游戏场景的一个界面示意图， 如图所示， 图1中(A)图 和(B)图示出的均为枪战游戏中的图像， 图1中(A)图所示出的枪战游。

44、戏图像中包括一个防 卫者， 图1中(B)图所示出的枪战游戏图像中也包括一个防卫者， 但可以看出同一类的目标 由于距离远近以及姿态等的差异， 在形态上都会具有较大的差异， 而对差异性较大的目标 进行检测可能存在一定偏差， 因此， 本申请提供的目标检测模型在训练的过程中， 基于不同 的交并比阈值生成不同的样本集合， 不同的样本集合用于训练不同的检测网络， 以设置不 同的交并比阈值来分别训练对应的检测网络， 使得这些级联的检测网络能够更好地拟合目 标所在的位置， 提升目标检测的效果。 0115 枪战类游戏的示例仅用于理解本方案， 可以理解的是， 本方案还可以包括但不限 于应用在无人驾驶系统以及安防系。

45、统。 0116 为了在上述各种场景中， 提升目标检测的效果， 本申请提出了一种目标检测的方 法， 该方法应用于图2所示的目标检测系统， 请参阅图2， 图2为本申请实施例中目标检测系 统的一个环境示意图， 如图所示， 目标检测系统中包括服务器和客户端， 在服务器侧对目标 检测模型进行训练， 将训练完成的目标检测模型存放于服务器侧， 客户端将待检测图像发 送至服务器， 由服务器通过目标检测模型输出该图像对应的目标框以及目标分类结果， 并 反馈至客户端， 通过客户端上展示目标框以及目标分类结果。 0117 需要说明的是， 图2中的服务器可以是一台服务器或多台服务器组成的服务器集 群或云计算中心等， 。

46、具体此处均不限定。 客户端部署于终端设备， 终端设备可以为图1中示 出的平板电脑、 笔记本电脑、 掌上电脑、 手机、 个人电脑(personal computer， PC)及语音交 互设备。 0118 虽然图2中仅示出了五个终端设备和一个服务器， 但应当理解， 图2中的示例仅用 说明书 6/26 页 11 CN 111444828 A 11 于理解本方案， 具体终端设备和服务器的数量均应当结合实际情况灵活确定。 0119 由于本申请实施例是应用于人工智能(Artificial Intelligence， AI)领域的， 在 对本申请实施例提供的模型训练的方法开始介绍之前， 先对AI领域的一些基。

47、础概念进行介 绍。 AI是利用数字计算机或者数字计算机控制的机器模拟、 延伸和扩展人的智能， 感知环 境、 获取知识并使用知识获得最佳结果的理论、 方法、 技术及应用系统。 换句话说， AI是计算 机科学的一个综合技术， 它企图了解智能的实质， 并生产出一种新的能以人类智能相似的 方式做出反应的智能机器。 AI也就是研究各种智能机器的设计原理与实现方法， 使机器具 有感知、 推理与决策的功能。 AI技术是一门综合学科， 涉及领域广泛， 既有硬件层面的技术 也有软件层面的技术。 AI基础技术一般包括如传感器、 专用AI芯片、 云计算、 分布式存储、 大 数据处理技术、 操作/交互系统、 机电一体。

48、化等技术。 AI软件技术主要包括计算机视觉技术、 语音处理技术、 自然语言处理技术以及机器学习/深度学习等几大方向。 机器学习(Machine Learning， ML)是一门多领域交叉学科， 涉及概率论、 统计学、 逼近论、 凸分析、 算法复杂度理 论等多门学科。 专门研究计算机怎样模拟或实现人类的学习行为， 以获取新的知识或技能， 重新组织已有的知识结构使之不断改善自身的性能。 机器学习是AI的核心， 是使计算机具 有智能的根本途径， 其应用遍及AI的各个领域。 机器学习和深度学习通常包括人工神经网 络、 置信网络、 强化学习、 迁移学习、 归纳学习、 式教学习等技术。 0120 随着AI。

49、技术研究和进步， AI技术在多种方向展开研究， 计算机视觉技术(Computer Vision， CV)就是AI技术的多种研究方向中研究如何使机器 “看” 的科学， 更进一步的说， 就 是指用摄影机和电脑代替人眼对目标进行识别、 跟踪和测量等机器视觉， 并进一步做图形 处理， 使电脑处理成为更适合人眼观察或传送给仪器检测的图像。 作为一个科学学科， 计算 机视觉研究相关的理论和技术， 试图建立能够从图像或者多维数据中获取信息的AI系统。 计算机视觉技术通常包括图像处理、 图像识别、 图像语义理解、 图像检索、 光学字符识别 (Optical Character Recognition， OCR。

50、)、 视频处理、 视频语义理解、 视频内容/行为识别、 三维物体重建、 3D技术、 虚拟现实、 增强现实、 同步定位与地图构建等技术， 还包括常见的人 脸识别、 指纹识别等生物特征识别技术。 0121 基于此， 下面将介绍如何训练目标检测模型， 请参阅图3， 图3为本申请实施例中模 型训练的方法一个流程示意图， 如图所示， 具体地： 0122 在步骤S1中， 获取游戏录制视频中截取的图像， 或者是游戏进行时所截取的图像。 0123 在步骤S2中， 人工对游戏图像中的目标进行标注， 具体可以标注目标所在的区域 以及目标的类别， 由此生成待训练图像。 例如， 以应用于枪战游戏作为一个示例， 若目标。