分类网络的确定方法、图像检测方法、装置、设备及介质.pdf

《分类网络的确定方法、图像检测方法、装置、设备及介质.pdf》由会员分享，可在线阅读，更多相关《分类网络的确定方法、图像检测方法、装置、设备及介质.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010113361.2 (22)申请日 2020.02.24 (71)申请人 北京迈格威科技有限公司 地址 100086 北京市海淀区科学院南路2号 融科资讯中心A座316-318 (72)发明人 张松阳郭烨黎泽明 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 莎日娜 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 分类网络的确定方法、 。

2、图像检测方法、 装置、 设备及介质 (57)摘要 本发明实施例提供了一种分类网络的确定 方法、 图像检测方法、 装置、 设备及介质， 所述方 法包括： 获取多个子类别和多个父类别； 确定所 述多个子类别与所述多个父类别之间的类别关 系； 根据所述类别关系， 对预设分类网络的参数 值进行更新， 以利用参数值更新后的预设分类网 络对所述多个子类别进行分类。 采用本发明技术 方案， 不仅可以提高对大样本类别的物体的检测 准确度， 也能提高对小样本类别的物体的检测准 确度。 权利要求书2页 说明书13页 附图2页 CN 111414936 A 2020.07.14 CN 111414936 A 1.一。

3、种分类网络的确定方法， 其特征在于， 所述方法包括： 获取多个子类别和多个父类别； 确定所述多个子类别与所述多个父类别之间的类别关系； 根据所述类别关系， 对预设分类网络的参数值进行更新， 以利用参数值更新后的预设 分类网络对所述多个子类别进行分类。 2.根据权利要求1所述的方法， 其特征在于， 确定所述多个子类别与所述多个父类别之 间的类别关系， 包括： 对所述多个子类别进行聚类； 其中， 一个子类别被聚类到一个父类别； 确定每个子类别在被聚类到的父类别中的分配比例， 以得到所述类别关系。 3.根据权利要求2所述的方法， 其特征在于， 根据所述类别关系， 对预设分类网络的参 数值进行更新， 。

4、包括： 根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的参数值， 以及每 个子类别在被聚类到的父类别中的分配比例， 对所述多个子类别各自在所述预设分类网络 中的参数值进行更新。 4.根据权利要求3所述的方法， 其特征在于， 所述预设分类网络中所述多个父类别各自 对应的参数值是按照以下步骤确定的： 根据聚类结果， 确定每个父类别包含的各个子类别； 将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值之和， 确定为该 父类别的参数预估值； 通过全连接网络对每个父类别的参数预估值进行变换， 得到每个父类别在所述预设分 类网络中的参数值。 5.根据权利要求2所述的方法， 其特征在于。

5、， 对所述多个子类别进行聚类并确定每个子 类别在被聚类到的父类别中的分配比例， 包括： 将所述多个子类别输入预先训练的类别处理模型， 得到所述类别处理模型输出的聚类 结果， 以及每个子类别在被聚类到的父类别中的分配比例； 其中， 所述类别处理模型是以多个子类别样本为输入， 对预设模型进行多次训练后得 到的。 6.一种图像检测方法， 其特征在于， 所述方法包括： 对待检测图像中位于标记框内的图像区域进行特征提取， 得到所述图像区域的图像特 征； 将所述图像特征输入到分类网络中， 得到所述分类网络输出的所述待检测图像中的物 体属于每个子类别的分类分数； 根据所述待检测图像中的物体属于每个子类别的分。

6、类分数， 确定所述待检测图像中的 物体的类别； 其中， 所述分类网络为根据多个父类别和多个子类别之间的类别关系， 对预设分类网 络进行更新后的网络。 7.根据权利要求6所述的方法， 其特征在于， 所述分类网络输出的所述待检测图像中的 物体属于每个子类别的分类分数， 是通过以下步骤得到的： 对所述图像特征进行归一化， 并对每个子类别在所述分类网络中的参数值进行归一 权利要求书 1/2 页 2 CN 111414936 A 2 化； 根据归一化后的特征和归一化后的参数值， 按照以下公式， 得到所述待检测图像中的 物体属于每个子类别的分类分数； 其中， f为所述图像区域的特征， w为每个子类别在所述。

7、分类网络中的参数值， 为每个 子类别对应的系数。 8.根据权利要求6或7所述的方法， 其特征在于， 所述分类网络是按照权利要求1-5任一 所述的分类网络的确定方法， 对预设分类网络进行处理后得到的。 9.一种分类网络的确定装置， 其特征在于， 所述装置包括： 获取模块， 用于获取多个子类别和多个父类别； 类别关系确定模块， 用于确定所述多个子类别与所述多个父类别之间的类别关系； 网络更新模块， 用于根据所述类别关系， 对预设分类网络的参数值进行更新， 以利用参 数值更新后的预设分类网络对所述多个子类别进行分类。 10.一种图像检测装置， 其特征在于， 所述装置包括： 特征提取模块， 用于对待检。

8、测图像中位于标记框内的图像区域进行特征提取， 得到所 述待检测图像的图像特征； 分类分数确定模块， 用于将所述图像特征输入到分类网络中， 得到所述分类网络输出 的所述待检测图像中的物体属于每个子类别的分类分数； 类别确定模块， 用于根据所述待检测图像中的物体属于每个子类别的分类分数， 确定 所述待检测图像中的物体的类别； 其中， 所述分类网络为根据多个父类别和多个子类别之间的类别关系， 对预设分类网 络进行更新后的网络。 11.一种电子设备， 其特征在于， 包括： 一个或多个处理器； 和 其上存储有指令的一个或多个机器可读介质， 当由所述一个或多个处理器执行时， 使 得所述设备执行如权利要求1。

9、至5任一项所述的分类网络的确定方法或6至8任一项所述的 图像检测方法。 12.一种计算机可读存储介质， 其特征在于， 其存储的计算机程序使得处理器执行如权 利要求如权利要求1至5任一项所述的分类网络的确定方法或6至8任一项所述的图像检测 方法。 权利要求书 2/2 页 3 CN 111414936 A 3 分类网络的确定方法、 图像检测方法、 装置、 设备及介质 技术领域 0001 本发明涉及图像处理技术领域， 特别是涉及一种分类网络的确定方法、 图像检测 方法、 装置、 设备及介质。 背景技术 0002 利用机器学习对物体进行检测时， 面临的主要困难是数据不平衡导致的物体检测 准确度不高， 。

10、特别是在超大规模物体检测任务中(如1000类物体的检测问题)， 这个困难被 放大， 造成大规模长尾分布物体检测问题。 0003 相关技术中， 为了解决数据不平衡导致的物体检测准确度不高的问题， 一般的解 决方案分为三种： 基于数据采样的方法、 基于损失函数加权的方法以及基于数据增强的方 法。 0004 其中， 基于数据采样的方法一般分为欠采样和过采样两种， 由于物体检测中， 一张 图片往往包含多个物体的矩形包围框， 通常需要手动设计合适的采样策略， 算法设计相对 复杂， 且需要繁复的调参工作， 另外基于采样容易过拟合。 基于损失函数加权的方法是通过 对小样本类别和大样本类别赋以不同的权重， 改。

11、善优化过程， 以提升小样本的性能， 这类方 法往往性能提升有限， 且训练过程不稳定。 基于数据增强的方法， 需要使用复杂的数据增强 策略， 针对物体检测任务， 数据增强往往需要对于前景物体边界进行平滑操作， 一方面目前 缺少有效的物体检测数据增强方法， 另一方面这类方法计算复杂度和时间占用也比较高， 基于数据增强的带来的性能增益也十分有限。 0005 因此， 相关技术中仍然存在对物体检测的检测准确度不高、 性能不佳的技术问题。 发明内容 0006 鉴于上述问题， 提出了一种分类网络的确定方法、 图像检测方法、 装置、 设备及介 质， 以克服上述问题或者至少部分地解决上述问题。 0007 为了解。

12、决上述问题， 本发明的第一方面公开了一种分类网络的确定方法， 述方法 包括： 0008 获取多个子类别和多个父类别； 0009 确定所述多个子类别与所述多个父类别之间的类别关系； 0010 根据所述类别关系， 对预设分类网络的参数值进行更新， 以利用参数值更新后的 预设分类网络对所述多个子类别进行分类。 0011 可选地， 确定所述多个子类别与所述多个父类别之间的类别关系， 包括： 0012 对所述多个子类别进行聚类； 其中， 一个子类别被聚类到一个父类别； 0013 确定每个子类别在被聚类到的父类别中的分配比例， 以得到所述类别关系。 0014 可选地， 根据所述类别关系， 对预设分类网络的。

13、参数值进行更新， 包括： 0015 根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的参数值， 以 及每个子类别在被聚类到的父类别中的分配比例， 对所述多个子类别各自在所述预设分类 说明书 1/13 页 4 CN 111414936 A 4 网络中的参数值进行更新。 0016 可选地， 所述预设分类网络中所述多个父类别各自对应的参数值是按照以下步骤 确定的： 0017 根据聚类结果， 确定每个父类别包含的各个子类别； 0018 将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值之和， 确定 为该父类别的参数预估值； 0019 通过全连接网络对每个父类别的参数预估值进行变换，。

14、 得到每个父类别在所述预 设分类网络中的参数值。 0020 可选地， 对所述多个子类别进行聚类并确定每个子类别在被聚类到的父类别中的 分配比例， 包括： 0021 将所述多个子类别输入预先训练的类别处理模型， 得到所述类别处理模型输出的 聚类结果， 以及每个子类别在被聚类到的父类别中的分配比例； 0022 其中， 所述类别处理模型是以多个子类别样本为输入， 对预设模型进行多次训练 后得到的。 0023 本发明是实施例的第二方面、 提供了一种图像检测方法， 所述方法包括： 0024 对待检测图像中位于标记框内的图像区域进行特征提取， 得到所述图像区域的图 像特征； 0025 将所述图像特征输入到。

15、分类网络中， 得到所述分类网络输出的所述待检测图像中 的物体属于每个子类别的分类分数； 0026 根据所述待检测图像中的物体属于每个子类别的分类分数， 确定所述待检测图像 中的物体的类别； 0027 其中， 所述分类网络为根据多个父类别和多个子类别之间的类别关系， 对预设分 类网络进行更新后的网络。 0028 可选地， 所述分类网络输出的所述待检测图像中的物体属于每个子类别的分类分 数， 是通过以下步骤得到的： 0029 对所述图像特征进行归一化， 并对每个子类别在所述分类网络中的参数值进行归 一化； 0030 根据归一化后的特征和归一化后的参数值， 按照以下公式， 得到所述待检测图像 中的物。

16、体属于每个子类别的分类分数； 0031 0032 其中， f为所述图像区域的特征， w为每个子类别在所述分类网络中的参数值， 为 每个子类别对应的系数。 0033 可选地， 所述分类网络是按照本发明实施例第一方面所述的分类网络的确定方 法， 对预设分类网络进行处理后得到的。 0034 本发明是实施例的第三方面， 提供了一种分类网络的确定装置， 所述装置包括： 0035 获取模块， 用于获取多个子类别和多个父类别； 0036 类别关系确定模块， 用于确定所述多个子类别与所述多个父类别之间的类别关 系； 说明书 2/13 页 5 CN 111414936 A 5 0037 网络更新模块， 用于根据。

17、所述类别关系， 对预设分类网络的参数值进行更新， 以利 用参数值更新后的预设分类网络对所述多个子类别进行分类。 0038 本发明是实施例的第四方面， 提供了一种图像检测装置， 所述装置包括： 0039 特征提取模块， 用于对待检测图像中位于标记框内的图像区域进行特征提取， 得 到所述待检测图像的图像特征； 0040 分类分数确定模块， 用于将所述图像特征输入到分类网络中， 得到所述分类网络 输出的所述待检测图像中的物体属于每个子类别的分类分数； 0041 类别确定模块， 用于根据所述待检测图像中的物体属于每个子类别的分类分数， 确定所述待检测图像中的物体的类别； 0042 其中， 所述分类网络。

18、为根据多个父类别和多个子类别之间的类别关系， 对预设分 类网络进行更新后的网络。 0043 本发明实施例的第五方面， 提供了一种电子设备， 包括： 0044 一个或多个处理器； 和 0045 其上存储有指令的一个或多个机器可读介质， 当由所述一个或多个处理器执行 时， 使得所述设备执行如本发明实施例第一方面所述的分类网络的确定方法或第二方面所 述的图像检测方法。 0046 本发明实施例的第六方面， 提供了一种计算机可读存储介质， 其存储的计算机程 序使得处理器执行如本发明实施例第一方面所述的分类网络的确定方法或第二方面所述 的图像检测方法。 0047 本发明实施例包括以下优点： 0048 在本。

19、发明实施例中， 可以获取多个子类别和多个父类别， 并根据多个子类别和多 个父类别， 确定多个子类别与多个父类别之间的类别关系， 之后， 根据子类别和父类别之间 的类别关系， 对预设分类网络的参数值进行更新， 以利用更新后的预设分类网络进行子类 别的分类。 由于确定了子类别和父类别之间的类别关系， 根据类别关系可以对子类别在预 设分类网络中的参数值进行更新， 进而可以使得子类别从父类别中迁移来一些参数， 提高 了子类别在预设分类网络中的参数值的准确性， 继而提高对分类网络对物体的检测准确 度。 因此， 采用本发明的技术方案， 不仅可以提高对大样本类别的物体的检测准确度， 也能 提高对小样本类别的。

20、物体的检测准确度。 附图说明 0049 为了更清楚地说明本申请实施例的技术方案， 下面将对本申请实施例的描述中所 需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些实施 例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图 获得其他的附图 0050 图1是本发明实施例提出的一种分类网络的确定方法的原理示意图； 0051 图2是本发明实施例提出的一种分类网络的确定方法的步骤流程图； 0052 图3本发明实施例提出的应用更新后的预设分类网络构建的深度神经网络模型的 结构示意图； 0053 图4本发明实施例提出的应用更新后的预设分类网络进。

21、行图像检测的步骤流程 说明书 3/13 页 6 CN 111414936 A 6 图； 0054 图5是本发明实施例提出的一种分类网络的确定装置的结构示意图； 0055 图6是本发明实施例提出的一种图像检测装置的结构示意图。 具体实施方式 0056 为使本发明的上述目的、 特征和优点能够更加明显易懂， 下面将结合本申请实施 例中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例 是本申请一部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人 员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。 0057 相关的。

22、物体检测技术， 一般通过机器学习的方式创建一个神经网络模型， 采用神 经网络模型对输入的图片进行识别。 其中， 在创建神经网络模型的过程中， 一般会以多个样 本为输入对神经网络进行多次训练。 其中， 样本的多寡度和样本类别的丰富程度可以影响 神经网络模型的识别准确度。 0058 但是， 在实际中， 一般会存在某一类别的样本数量众多(简称大样本类别)， 而其他 一些类别的样本数量较少(简称小样本类别)， 这样， 就造成了样本数据的不平衡， 使得神经 网络模型对小样本类别的物体识别准确率不高。 0059 鉴于以上问题， 本发明申请人提出了以下构思， 以至少解决当前的神经网络模型 对小样本类别的物体。

23、识别准确率不高的问题： 通过对一般的分类网络进行修改设计， 建模 类别与类别间的层次关系， 通过类别关系网络学习类别与类别的依赖关系， 进而实现从学 习样本充足的类别向学习样本不足的类别进行信息传递， 帮助小样本类别的性能提升， 从 而提升物体识别的准确率。 0060 参照图1所示， 示出了本发明实施例提出的一种分类网络的确定方法的原理示意 图。 下面， 结合图1对一种分类网络的确定方法进行详细阐述。 0061 参照图2所示， 示出了本发明实施例提出的一种分类网络的确定方法的步骤流程 图， 具体可以包括以下步骤： 0062 步骤S21： 获取多个子类别和多个父类别。 0063 本发明实施例中，。

24、 分类网络可以是指在物体检测中用于对物体按照所属类别进行 分类的神经网络。 其中， 可以从分类网络的分类器中抽取多个子类别， 在抽取多个子类别 后， 可以根据预设的父类别的数量， 得到多个父类别。 该多个子类别的数量和多个父类别的 数量均可以由用户根据需求进行设置。 其中， 子类别的数量可以大于父类别的数量， 例如， 设置子类别的数量为1000， 父类别的数量为100， 则获取1000个子类别后， 便根据该1000个 子类别得到100个父类别。 0064 在一种实施方式中， 可以在获取到多个子类别后， 根据预设的父类别的数量， 对多 个子类别进行聚类， 得到多个父类别。 其中， 在聚类后， 每。

25、一个父类别可以包括多个子类别， 即， 多个子类别可以被聚类到同一个父类别。 0065 具体实施时， 多个子类别中可以包括小样本类别， 即， 学习样本不足的子类别。 0066 以图1为例对本实施例进行说明， 分类网络中预设了1万个子类别的分类模板， 即， 分类网络在对一个物体进行分类时， 可以在1万个子类别中确定物体的类别。 假设需要获取 1000个子类别， 则设置D为1000， 可以从分类网络的分类器中抽取1000个子类别， 在该1000 说明书 4/13 页 7 CN 111414936 A 7 个子类别中包括了多个小样本的子类别。 又假设这1000个子类别要归属到100个父类别中， 则可以。

26、设置Ds1为100， 进而可以获取到100个父类别， 每一个父类别可以包括10个子类别。 例 如， 其中一个父类别是猫科动物， 则包括的子类别可以是： 猫、 老虎、 豹子等。 0067 步骤S22： 确定所述多个子类别与所述多个父类别之间的类别关系。 0068 本实施例中， 类别关系可以是指一个子类别与其所属的父类别之间具有的参数传 递关系。 具体而言， 由于多个子类别可以归属于同一个父类别， 则一个子类别与其所属的父 类别之间具有依赖关系， 即二者具有相似性， 这样， 一个父类别便与自身包括的各个子类别 均具有相似性。 因此， 一个父类别与其包括的各个子类别之间可以共享部分参数， 即具有参 。

27、数上的可共享性。 0069 这样， 在建立一个子类别与一个父类别的类别关系后， 便可以建立一个子类别与 一个父类别之间的参数传递关系， 使得子类别可以从其所属的父类别上共享到参数。 0070 在一种实施方式中， 确定所述多个子类别与所述多个父类别之间的类别关系可以 包括以下步骤： 0071 步骤S221： 对所述多个子类别进行聚类； 其中， 一个子类别被聚类到一个父类别。 0072 本实施方式中， 对多个子类别进行聚类可以是指将多个具有相似属性的子类别聚 类为一个父类别。 其中， 可以设置聚类的数量， 如上所述， 例如， 获取到1000个子类别， 设置 Ds1为100， 则可以对1000个子类。

28、别按照100个父类别进行聚类， 便得到了100个父类别。 这样， 每一个子类别便可以被聚类到一个父类别中。 实际中， 设置的聚类的数量Ds1越大， 则父类别 的分类越细， 反之， 则父类别的分类越粗。 0073 步骤S222： 确定每个子类别在被聚类到的父类别中的分配比例， 以得到所述类别 关系。 0074 本实施方式中， 在对多个子类别进行聚类后， 便可以得到多个子类别与聚类后的 多个父类别之间的从属关系。 例如， 可以确定一个子类别被聚类到哪一父类别， 也可以确定 一个父类别中包括哪些子类别。 实际中， 由于同一个父类别可以包括多个子类别， 即多个子 类别可以被聚类到同一个父类别中， 则每。

29、一个子类别都具有在所属的父类别中的分配比 例。 该分配比例可以表征一个子类别在父类别中所能得到的分配分数。 0075 其中， 被聚类到同一父类别的多个子类别各自的分配比例之和可以小于或等于1。 例如， 一个父类别包括10个子类别， 则每个子类别的分配比例可以分别都为0.1， 当然， 在一 些实际情况中， 10个子类别的分配比例可以各不相同， 但是其分配比例之和不大于1。 0076 在一种实施方式中， 为了提高确定类别间的分类关系的效率， 可以利用类别处理 模型， 对多个子类别进行聚类并确定每个子类别在被聚类到的父类别中的分配比例， 具体 可以包括以下步骤： 0077 步骤S221： 将所述多个。

30、子类别输入预先训练的类别处理模型， 得到所述类别处理 模型输出的聚类结果， 以及每个子类别在被聚类到的父类别中的分配比例。 0078 其中， 所述类别处理模型是以多个子类别样本为输入， 对预设模型进行多次训练 后得到的。 0079 本实施方式中， 该类别处理模型可以设置在分类网络中， 并可以位于分类网络的 全连接层。 0080 实际中， 该类别处理模型可以包括并列的第一处理模型和第二处理模型， 第一处 说明书 5/13 页 8 CN 111414936 A 8 理模型和第二处理模型可以分别为全连接(FC， full connection)层。 如图1所示， 第一处理 模型可以为第一全连接层(记。

31、为FC1)， 第二处理模型可以为第二全连接层(记为FC2)。 具体 实施时， 可以将多个子类别分别输入到第一处理模型和第二处理模型， 进而得到由第一处 理模型输出的多个父类别， 以及由第二处理模型输出的每个子类别在所属的父类别中的分 配比例。 0081 具体实现中， 如图1所示， 可以将最左上角多个子类别D*1024分别输入到聚类模型 FC1和扩散模型FC2。 该FC1输出Ds1*D， 该Ds1*D可以理解为是聚类矩阵输出的多个父类别。 该 FC2输出D*Ds1， 其中， D*Ds1可以表示每个子类别在被聚类到的父类别中的分配比例。 0082 实际中， 由于经FC1输出的是对多个子类别进行聚类。

32、后得到的多个父类别， 则第一 处理模型又可以被称为聚类模型， 由于第二处理模型FC2输出的是每个子类别在所属的父 类别中的分配比例， 则第二处理模型又可以被称为扩散模型。 0083 实际中， 类别处理模型中的聚类模型可以是对预设聚类模型进行训练后得到的， 同理， 扩散模型也可以是对预设扩散模型进行训练后得到的。 其中， 预设扩散模型和预设聚 类模型构成了预设模型， 训练后得到的聚类模型和扩散模型并列构成了类别处理模型。 该 预设模型可以是常用的神经网络模型。 具体地， 预设模型中的预设聚类模型和预设扩散模 型均可以是以多个子类别样本为输入， 进行多次训练， 进而得到了聚类模型和扩散模型。 00。

33、84 步骤S23： 根据所述类别关系， 对预设分类网络的参数值进行更新， 以利用参数值 更新后的预设分类网络对所述多个子类别进行分类。 0085 本实施例中， 分类网络的参数值可以理解为是对多个子类别进行分类的模板的参 数值， 在一个分类网络中， 不同数量子类别的模板可以具有不同的参数。 其中， 模板的参数 值可以理解如下： 0086 例如， 1000个子类别的模板可以实现在1000个子类别中识别物体所属的子类别， 则此种情况下， 分类网络的参数便可以对应1000个子类别的模板的参数。 5000个子类别的 模板可以实现在5000个子类别中识别物体所属的子类别， 则此时分类网络的参数便可以对 应。

34、5000个子类别的模板的参数。 0087 按照上述示例描述， 本实施例中， 对预设分类网络的参数值进行更新时， 预设分类 网络中的多个子类别便获得了新的参数值， 该新的参数值可以依据上述步骤S22得到的类 别关系而确定。 0088 在一种实施方式中， 类别关系又可以是指每个子类别在被聚类到的父类别中的分 配比例， 则在又一种实施方式中， 对预设分类网络的参数值进行更新时， 可以是根据分配比 例， 对多个子类别在预设分类网络中的参数值进行更新。 具体可以包括以下步骤： 0089 步骤S23： 根据所述多个子类别和所述多个父类别各自在所述预设分类网络中的 参数值， 以及每个子类别在被聚类到的父类别。

35、中的分配比例， 对所述多个子类别各自在所 述预设分类网络中的参数值进行更新。 0090 本实施方式中， 多个子类别各自在预设分类网络中的参数值可以是指在未对子类 别进行聚类时， 各子类别在预设分类网络中的原始的参数值。 由于多个父类别可以是对多 个子类别进行聚类而到的类别， 则父类别在预设分类网络中的参数值可以用是指对多个子 类别进行聚类后， 该父类别在预设分类网络中的参数值。 0091 在一种具体实施方式中， 父类别在预设分类网络中的参数值可以按照以下步骤确 说明书 6/13 页 9 CN 111414936 A 9 定： 0092 步骤S231： 根据聚类结果， 确定每个父类别包含的各个子。

36、类别。 0093 本实施方式中， 对子类别进行聚类得到多个父类别后， 每个父类别便可以包括多 个子类别。 因此， 可以确定一个父类别包含的各个子类别。 0094 步骤S232： 将被聚类到同一父类别的各个子类别在所述预设分类网络中的参数值 之和， 确定为该父类别的参数预估值。 0095 本实施方式中， 子类别在所述预设分类网络中的参数值可以是指子类别在预设分 类网络中的原始的参数值。 这样， 在多个子类别被聚类到同一个父类别时， 子类别也可以将 自身在预设分类网络中的参数值传递到父类别中， 使得父类别在预设分类网络中也可以具 有自身的参数值。 0096 具体实现中， 可以将父类别所包括的各个子。

37、类别在预设分类网络中的原始的参数 值之和确定为该父类别在预设分类网络中的参数预估值。 0097 参照图1所示， 将最左上角多个子类别D*1024输入到聚类模型FC1后， 得到了FC1输 出的父类别Ds1*D， 进而根据该Ds1*D与多个子类别D*1024， 得到了Ds1*1024， 该Ds1*1024则可 以表示Ds1个父类别在预设分类网络中的参数预估值。 0098 示例地， 以父类别为猫科动物为例， 该父类别包含的子类别为猫、 老虎、 狮子、 豹 子， 则猫科动物在预设分类网络中的参数预估值可以是猫、 老虎、 狮子、 豹子在预设分类网 络中的原始的参数值之和。 0099 步骤S233： 通过。

38、全连接网络对每个父类别的参数预估值进行变换， 得到每个父类 别在所述预设分类网络中的参数值。 0100 本实施方式中， 为了提高更新后的预设分类网络的分类准确度， 可以将每个父类 别的参数预估值输入到全连接层， 以通过全连接层输出每个父类别在预设分类网络中的参 数值。 0101 参照图1所示， 根据多个子类别D*1024以及聚类后得到的父类别Ds1*D， 得到了多个 父类别在预设分类网络中的参数预估值Ds1*1024， 之后， 将Ds1*1024输入到全连接层FC中， 以对每个父类别在预设分类网络中的参数预估值进行变换， 进而得到变换后的Ds1*1024， 该 变换后的Ds1*1024即为最终。

39、确定出的每个父类别在预设分类网络中的参数值。 0102 其中， 通过全连接层对每个父类别在预设分类网络中的参数预估值进行变换可以 是指： 通过全连接层对该父类别所包括的各子类别在预设分类网络中的原始的参数值进行 加权求和， 从而使得输出的每个父类别在预设分类网络中的参数值能够更加体现该父类别 的特征， 以提高物体检测的准确性， 增强神经网络的性能。 0103 通过上述步骤S231至步骤S233得到每个父类别在预设分类网络中的参数值后， 即 已知了每个父类别在预设分类网络中的参数值、 每个子类别在所属的父类别中的分配比 例、 以及每个子类别在预设分类网络中的原始的参数值。 接下来， 便可以对每个。

40、子类别在预 设分类网络中的原始的参数值进行更新， 更新后的参数值可以称为每个子类别在预设分类 网络中的新的参数值。 0104 具体实现中， 可以按照如下过程确定每个子类别在预设分类网络中的新的参数 值： 0105 首先， 可以将每个子类别在所属的父类别中的分配比例与该父类别在预设分类网 说明书 7/13 页 10 CN 111414936 A 10 络中的参数值的乘积， 确定为每个子类别在预设分类网络中从所属的父类别中迁移到的参 数值。 进而， 使得每个子类别得到了所属的父类别在预设分类网络中的部分参数值。 0106 如图1所示， 根据多个父类别在预设分类网络中的参数值Ds1*1024与每个子。

41、类别在 所属的父类别中的分配比例D*Ds1相乘， 得到一个D*1024， 该D*1024即是各子类别在预设分 类网络中从所属的父类别中迁移到的参数值。 0107 示例地， 以父类别为猫科动物为例， 该父类别包含的子类别为猫、 老虎、 狮子、 豹 子， 假设猫的分配比例是0.35、 猫科动物在预设分类网络中的参数值为5.1， 则猫在预设分 类网络中从猫科动物中迁移到的参数值为1.785。 需要说明的是， 该示例应当理解为是为方 便理解本申请实施例而假设的一种情况， 其猫的分配比例0.35、 猫科动物在预设分类网络 中的参数值5.1并不代表是对本申请的限定。 0108 接着， 可以将每个子类别在预。

42、设分类网络中的原始的参数值与该子类别在预设分 类网络中从所属的父类别中迁移到的参数值之和， 作为该子类别在预设分类网络中的新的 参数值。 0109 如图1所示， 将最左上角子类别在预设分类的原始的参数值D*1024以及右下角倒 数第二个的分配权重D*1024相加， 得到了最右下角的子类别在预设分类的新的参数值D* 1024。 0110 这样， 使得每个子类别在预设分类网络中的原始的参数值的基础上， 又叠加了该 子类别在预设分类网站中从所属的父类别中迁移到的参数值。 0111 示例地， 假设猫在预设分类网络中的原始的参数值为1.9， 猫在预设分类网络中从 猫科动物中迁移到的参数值为1.785， 。

43、则猫在预设分类网络中的新的参数值为3.685。 0112 由于该父类别与其所包括的各个子类别均具有相似性， 例如， 猫科动物与其所包 含的猫、 老虎、 狮子、 豹子具有相似性。 这样， 子类别从该父类别中迁移到的部分参数值， 便 可以具有与其他子类别相似的一些参数值， 如， 猫从猫科动物中迁移到的参数值可以与老 虎、 狮子、 豹子等各自在预设分类网络中的参数值具有相似性。 相当于实现了从学习样本充 足的类别向学习样本不足的类别进行信息传递， 提高了分类网络对小样本类别的识别准确 率。 0113 实际中， 在得到每个子类别在预设分类网络中新的参数值后， 便可以存储当前状 态下各个子类别在预设分类。

44、网络中新的参数值， 进而实现了对分类网络的更新。 在一种应 用场景中， 可以多次重复上述步骤S21至步骤S23， 以对预设分类网络的参数值进行多次更 新， 进而使得更新后的预设分类网络的稳定性越高， 每个子类别在预设分类网络中新的参 数值越趋稳定。 0114 采用本发明的技术方案， 将多个子类别聚合到了一个父类别中， 进而可以确定多 个子类别与多个父类别之间的类别关系， 之后， 根据子类别和父类别之间的类别关系， 对预 设分类网络的参数值进行更新， 以利用更新后的预设分类网络进行子类别的分类。 0115 由于先确定了子类别和父类别之间的类别关系， 该类别关系具体为每个子类别在 所属的父类别中的。

45、分配比例， 使得根据分配比例、 子类别在预设分类网络中的参数值、 父类 别在预设分类网络中的参数值得到了每个子类别在预设分类网络中的新的参数值。 将父类 别中的部分参数值迁移到了子类别中， 从而使得子类别的新的参数值能更加准确地表征该 子类别， 从而提高了对该子类别的物体进行识别的准确率， 特别是帮助了小样本类别的性 说明书 8/13 页 11 CN 111414936 A 11 能提升， 从而在子类别的学习样本数量不够的情况下， 可以显著提高小样本类别的物体的 检测准确率。 0116 参照图3所示， 示出了利用更新后的预设分类网络构建的深度神经网络模型的结 构示意图， 该深度神经网络模型可以。

46、用于对图像中的物体的类别进行识别。 如图3所示， 该 深度神经网络模型可以包括： 图片输入模块、 神经网络特征提取模块以及神经网络分类模 块。 0117 其中， 图片输入模块可以位于深度神经网络模型中的输入层、 神经网络特征提取 模块可以位于深度神经网络模型中的卷积层， 神经网络分类模块可以位于深度神经网络模 型中的全连接层。 其中， 神经网络分类模块是更新后的预设分类网络。 0118 在一种具体实现中， 图片输入模块、 神经网络特征提取模块可以是预先训练好的 神经网络模型， 这样， 可以将分类网络(更新后的预设分类网络)连接在神经网络特征提取 模块之后， 以对图像进行分类。 0119 在又一。

47、种具体实现中， 可以利用预设分类网络、 图片输入模块和神经网络特征提 取模块构建一个初始神经网络， 通过对该初始神经网络的训练得到深度神经网络模型， 即 在本具体实现中， 同时完成了对预设分类网络的更新、 以及图片输入模块和神经网络特征 提取模块的训练。 具体地， 可以多个图像样本为输入， 对初始神经网络进行训练， 在对初始 神经网络进行训练的过程中， 便可以根据上述分类网络的确定方法对预设分类网络进行更 新， 在训练结束后， 便得到了深度神经网络以及分类网络(更新后的预设分类网络)。 0120 结合图3， 对利用更新后的预设分类网络进行图像检测进行阐述， 参照图4所示， 示 出了利用更新后的。

48、预设分类网络进行图像检测的步骤流程图， 具体包括以下步骤： 0121 步骤S41： 对待检测图像中位于标记框内的图像区域进行特征提取， 得到所述图像 区域的图像特征。 0122 本实施例中， 该待检测图像是指需要对图像中的物体进行检测以确定物体所属类 别的图像， 具体实施时， 可以对待检测图像中的物体图像区域标记上二维框， 进而可以对该 待检测图像中被标记上二维框的区域进行特征提取。 0123 具体实施时， 可以由图片输入模块获得待检图像， 进而由图片输入模块将该待检 测图像输入到神经网络特征提取模块， 得到由神经网络特征提取模块输出的图像特征， 其 中， 神经网络特征提取模块可以使用resn。

49、et(Residual Network， 残差网络)结构实现。 0124 步骤S42： 将所述图像特征输入到分类网络中， 得到所述分类网络输出的所述待检 测图像中的物体属于每个子类别的分类分数。 0125 其中， 所述分类网络为根据多个父类别和多个子类别之间的类别关系， 对预设分 类网络进行更新后的网络。 0126 本实施方式中， 可以将神经网络特征提取模块输出的图像特征输入到分类网络 中， 由于分类网络中是应用分类网络的确定方法而得到的更新后的预设分类网络， 则在该 分类网络中各个子类别具有对应的新的参数值， 分类网络可以根据图像特征和每个子类别 在预设分类网络中的新的参数值， 确定待检测图。

50、像中的物体属于每个子类别的分数。 其中， 待检测图像中的物体是指位于标记框内的图像区域中的物体。 0127 实际中， 图像区域所表征的物体属于每个子类别的分数可以表征该物体属于该子 类别的程度， 即该物体与该子类别的相似程度。 其中， 待检测图像中的物体属于每个子类别 说明书 9/13 页 12 CN 111414936 A 12 的分数可以是小于1的分数。 0128 步骤S43： 根据所述待检测图像中的物体属于每个子类别的分类分数， 确定所述待 检测图像中的物体的类别。 0129 本实施方式中， 由于得到了与多个子类别分别对应的分类分数， 则可以在多个分 类分数中， 将分数值最大的分类分数所。