训练分类模型的装置和方法及利用分类模型分类的装置.pdf

《训练分类模型的装置和方法及利用分类模型分类的装置.pdf》由会员分享，可在线阅读，更多相关《训练分类模型的装置和方法及利用分类模型分类的装置.pdf（23页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910124176.0 (22)申请日 2019.02.19 (71)申请人 富士通株式会社 地址 日本神奈川县 (72)发明人 张梦刘汝杰 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王萍李彦丽 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 训练分类模型的装置和方法及利用分类模 型分类的装置 (57)摘要 公开了一种训练分类模型的装置和方法及 利用分类模型分类的装置。 训。

2、练分类模型的装置 包括： 特征提取单元， 被配置成针对第一预定数 量的训练集中的每个训练集分别设置特征提取 层， 并且提取样本图像的特征， 至少两个训练集 至少部分重叠； 特征融合单元， 被配置成针对训 练集分别设置特征融合层， 并且对样本图像的所 提取出的特征进行融合； 以及损失确定单元， 被 配置成针对每个训练集分别设置损失确定层， 并 且基于样本图像的融合后的特征来计算样本图 像的损失函数， 并基于损失函数来训练分类模 型， 其中， 第一预定数量的训练集共享针对每个 训练集分别设置的特征融合层和特征提取层中 的至少一个层。 权利要求书2页 说明书15页 附图5页 CN 111582009。

3、 A 2020.08.25 CN 111582009 A 1.一种训练分类模型的装置， 包括： 特征提取单元， 被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数 量的特征提取层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属的训练集而 设置的特征提取层， 分别提取该样本图像的特征， 从而得到该样本图像的所提取出的特征， 其中， 所述第一预定数量的训练集中的至少两个训练集至少部分重叠； 特征融合单元， 被配置成针对所述第一预定数量的训练集中的每个训练集分别设置相 应数量的特征融合层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属的训练 集而设置的特征融合层， 对该。

4、样本图像的所提取出的特征进行融合， 从而得到该样本图像 的融合后的特征； 以及 损失确定单元， 被配置成针对所述第一预定数量的训练集中的每个训练集分别设置损 失确定层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属的训练集而设置的 损失确定层， 基于该样本图像的融合后的特征来计算该样本图像的损失函数， 并基于所述 损失函数来训练所述分类模型， 其中， 所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征 提取层中的至少一个层。 2.根据权利要求1所述的训练分类模型的装置， 其中， 针对每个训练集分别设置的特征融合层包括多个特征融合层， 以及所述第一预定数量 的训练集不。

5、共享针对每个训练集分别设置的所述多个特征融合层中的至少一个层。 3.根据权利要求1所述的训练分类模型的装置， 还包括获得局部区域单元， 被配置成针 对每个样本图像， 获得该样本图像的第二预定数量的局部区域， 其中， 每个局部区域是所述 样本图像的全局区域中的一部分， 其中， 所述特征提取单元被配置成针对所述全局区域和每个预定局部区域分别设置相 应数量的特征提取层， 用以分别提取所述全局区域的全局特征和每个预定局部区域的局部 特征， 以及 所述第一预定数量的训练集共享针对每个训练集中的样本图像的所述全局区域设置 的特征提取层中的至少一个层。 4.根据权利要求3所述的训练分类模型的装置， 其中， 。

6、所述第一预定数量的训练集还共 享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征 提取层中的至少一个层。 5.根据权利要求3所述的训练分类模型的装置， 其中， 在所述特征提取单元中， 所述全局区域和所述第二预定数量的预定局部区域共享针对 所述全局区域和每个预定局部区域分别设置的相应数量的特征提取层中的至少一个层， 以 在所共享的所述至少一个层中将所述全局特征和每个局部特征进行结合， 从而得到每个样 本图像的结合后的特征。 6.根据权利要求5所述的训练分类模型的装置， 其中， 所述损失确定单元被配置成对于 每个样本图像， 利用针对该样本图像所属的训练集而设置的损失确定层。

7、， 基于该样本图像 的结合后的特征来计算该样本图像的所述损失函数， 并基于所述损失函数来训练所述分类 模型。 7.根据权利要求3所述的训练分类模型的装置， 其中， 所述第二预定数量的局部区域具 权利要求书 1/2 页 2 CN 111582009 A 2 有关于所述全局区域的互补信息。 8.一种训练分类模型的方法， 包括： 特征提取步骤， 针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征 提取层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置的特征提取层， 分别提取该样本图像的特征， 从而得到该样本图像的所提取出的特征， 其中， 所述第一预定 数量的训练集中的至少两。

8、个训练集至少部分重叠； 特征融合步骤， 针对所述第一预定数量的训练集中的每个训练集分别设置相应数量的 特征融合层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置的特征融 合层， 对该样本图像的所提取出的特征进行融合， 从而得到每个样本图像的融合后的特征； 以及 损失确定步骤， 针对所述第一预定数量的训练集中的每个训练集分别设置损失确定 层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置的损失确定层， 基于 该样本图像的融合后的特征来计算该样本图像的损失函数， 并基于所述损失函数来训练所 述分类模型， 其中， 所述第一预定数量的训练集共享针对每个训练集分别设置的特。

9、征融合层和特征 提取层中的至少一个层。 9.根据权利要求8所述的训练分类模型的方法， 其中， 针对每个训练集分别设置的特征融合层包括多个特征融合层， 以及 所述第一预定数量的训练集不共享针对每个训练集分别设置的所述多个特征融合层 中的至少一个层。 10.一种利用分类模型进行分类的装置， 包括： 第二特征提取单元， 被配置成利用所述分类模型中针对第一预定数量的训练集中的每 个训练集分别设置的相应数量的特征提取层， 分别提取待分类图像的特征， 从而得到所述 待分类图像的所提取出的特征； 第二特征融合单元， 被配置成利用所述分类模型中针对所述第一预定数量的训练集中 的每个训练集分别设置的相应数量的特。

10、征融合层， 对所述待分类图像的所提取出的特征进 行融合， 从而得到所述待分类图像的融合后的特征； 以及 第二损失确定单元， 被配置成利用所述分类模型中针对所述第一预定数量的训练集分 别设置的损失确定层， 基于所述待分类图像的融合后的特征来计算所述待分类图像的损失 函数， 并基于所述损失函数来对所述待分类图像进行分类， 其中， 在所述分类模型中， 所述第一预定数量的训练集共享针对每个训练集分别设置 的特征融合层和特征提取层中的至少一个层。 权利要求书 2/2 页 3 CN 111582009 A 3 训练分类模型的装置和方法及利用分类模型分类的装置 技术领域 0001 本公开涉及信息处理领域， 。

11、具体涉及一种训练分类模型的装置和方法、 以及利用 分类模型进行分类的装置和方法。 背景技术 0002 近年来， 由于大规模人脸数据、 车辆数据等的收集和卷积神经网络的应用， 人脸识 别和车牌识别等分类技术在学术界和工业界都取得了很大的进展并得到了广泛的应用。 目 前提高人脸识别和车牌识别等分类性能的主要思路是增加数据。 然而， 收集大规模的数据 费事费力。 就人脸数据而言， 现在存在VGG2Face、 Ms-Celeb-1M、 MegaFace等公开的人脸数据 集。 每个数据集都有各自的优缺点， 充分利用每个数据集的优点可以有效地提升分类性能。 最简单的方法是直接将多个数据集放到一起， 但不同。

12、数据集的数据有交叉， 容易出现同一 个数据在不同数据集中标注不一样的情况， 简单地将多个数据集融合到一起容易使训练的 分类模型不收敛或者性能更差。 进一步地， 当应用场景出现姿态变化大、 分辨率低、 质量差 等问题时， 分类性能会明显降低。 发明内容 0003 在下文中给出了关于本公开的简要概述， 以便提供关于本公开的某些方面的基本 理解。 但是， 应当理解， 这个概述并不是关于本公开的穷举性概述。 它并不是意图用来确定 本公开的关键性部分或重要部分， 也不是意图用来限定本公开的范围。 其目的仅仅是以简 化的形式给出关于本公开的某些概念， 以此作为稍后给出的更详细描述的前序。 0004 鉴于以。

13、上问题， 本公开的目的是提供能够解决现有技术中的一个或多个缺点的训 练分类模型的装置和方法、 以及利用分类模型进行分类的装置和方法。 0005 根据本公开的一方面， 提供了一种训练分类模型的装置， 包括： 特征提取单元， 被 配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层， 并且 被配置成对于每个样本图像， 利用针对该样本图像所属的训练集而设置的特征提取层， 分 别提取该样本图像的特征， 从而得到该样本图像的所提取出的特征， 其中， 所述第一预定数 量的训练集中的至少两个训练集至少部分重叠； 特征融合单元， 被配置成针对所述第一预 定数量的训练集分别设置相应数量的特征。

14、融合层， 并且被配置成对于每个样本图像， 利用 针对该样本图像所属的训练集而设置的特征融合层， 对该样本图像的所提取出的特征进行 融合， 从而得到该样本图像的融合后的特征； 以及损失确定单元， 被配置成针对所述第一预 定数量的训练集中的每个训练集分别设置损失确定层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属的训练集而设置的损失确定层， 基于该样本图像的融合后的特征 来计算该样本图像的损失函数， 并基于所述损失函数来训练所述分类模型， 其中， 所述第一 预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一 个层。 0006 根据本公开的另一方面， 提供了一种。

15、训练分类模型的方法， 包括： 特征提取步骤， 说明书 1/15 页 4 CN 111582009 A 4 针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层， 并且对于每 个样本图像， 利用针对该样本图像所属的训练集而设置的特征提取层， 分别提取该样本图 像的特征， 从而得到该样本图像的所提取出的特征， 其中， 所述第一预定数量的训练集中的 至少两个训练集至少部分重叠； 特征融合步骤， 针对所述第一预定数量的训练集分别设置 相应数量的特征融合层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设 置的特征融合层， 对该样本图像的所提取出的特征进行融合， 从而得到每个样。

16、本图像的融 合后的特征； 以及损失确定步骤， 针对所述第一预定数量的训练集中的每个训练集分别设 置损失确定层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置的损失 确定层， 基于该样本图像的融合后的特征来计算该样本图像的损失函数， 并基于所述损失 函数来训练所述分类模型， 其中， 所述第一预定数量的训练集共享针对每个训练集分别设 置的特征提取层和特征融合层中的至少一个层。 0007 根据本公开的另一方面， 提供了一种利用分类模型进行分类的装置， 包括： 第二特 征提取单元， 被配置成利用所述分类模型中针对第一预定数量的训练集中的每个训练集分 别设置的相应数量的特征提取层， 分别。

17、提取待分类图像的特征， 从而得到所述待分类图像 的所提取出的特征； 第二特征融合单元， 被配置成利用所述分类模型中针对所述第一预定 数量的训练集中的每个训练集分别设置的相应数量的特征融合层， 对所述待分类图像的所 提取出的特征进行融合， 从而得到所述待分类图像的融合后的特征； 以及第二损失确定单 元， 被配置成利用所述分类模型中针对所述第一预定数量的训练集分别设置的损失确定 层， 基于所述待分类图像的融合后的特征来计算所述待分类图像的损失函数， 并基于所述 损失函数来对所述待分类图像进行分类， 其中， 在所述分类模型中， 所述第一预定数量的训 练集共享针对每个训练集分别设置的特征融合层和特征提。

18、取层中的至少一个层。 0008 根据本公开的其它方面， 还提供了用于实现上述根据本公开的方法的计算机程序 代码和计算机程序产品。 0009 在下面的说明书部分中给出本公开实施例的其它方面， 其中， 详细说明用于充分 地公开本公开实施例的优选实施例， 而不对其施加限定。 附图说明 0010 本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解， 其中 在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。 所述附图连同下 面的详细说明一起包含在本说明书中并形成说明书的一部分， 用来进一步举例说明本公开 的优选实施例和解释本公开的原理和优点。 其中： 0011 图1是示出根据。

19、本公开实施例的训练分类模型的装置的功能配置示例的框图； 0012 图2是示意性示出根据本公开实施例的训练分类模型的装置的一个结构配置示例 的图； 0013 图3是示意性示出根据本公开实施例的训练分类模型的装置的另一结构配置示例 的图； 0014 图4是示出根据本公开实施例的训练分类模型的方法的流程示例的流程图； 0015 图5是示出根据本公开实施例的利用预先训练的分类模型进行分类的装置的功能 配置示例的框图； 说明书 2/15 页 5 CN 111582009 A 5 0016 图6是示出根据本公开实施例的利用预先训练的分类模型进行分类的方法的流程 示例的流程图； 以及 0017 图7是示出作。

20、为本公开实施例中可采用的个人计算机的示例结构的框图。 具体实施方式 0018 在下文中将结合附图对本公开的示范性实施例进行描述。 为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。 然而， 应该了解， 在开发任何这种实际实施 例的过程中必须做出很多特定于实施方式的决定， 以便实现开发人员的具体目标， 例如， 符 合与系统及业务相关的那些限制条件， 并且这些限制条件可能会随着实施方式的不同而有 所改变。 此外， 还应该了解， 虽然开发工作有可能是非常复杂和费时的， 但对得益于本公开 内容的本领域技术人员来说， 这种开发工作仅仅是例行的任务。 0019 在此， 还需要说明的一点是， 。

21、为了避免因不必要的细节而模糊了本公开， 在附图中 仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤， 而省略了与本公开 关系不大的其它细节。 0020 下面结合附图详细说明根据本公开的实施例。 0021 首先， 将参照图1描述根据本公开实施例的训练分类模型的装置100的功能框图。 图1是示出根据本公开实施例的训练分类模型的装置100的功能配置示例的框图。 如图1所 示， 根据本公开实施例的训练分类模型的装置100包括特征提取单元102、 特征融合单元104 以及损失确定单元106。 0022 特征提取单元102可以被配置成针对第一预定数量的训练集中的每个训练集分别 设置相应数量的特。

22、征提取层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属 的训练集而设置的特征提取层， 分别提取该样本图像的特征， 从而得到该样本图像的所提 取出的特征， 其中， 第一预定数量的训练集中的至少两个训练集至少部分重叠。 0023 针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层意 味着： 针对第一预定数量的训练集中的每个训练集分别设置的特征提取层的数量可以各不 相同。 0024 假设第一预定数量为N， 那么， 第一预定数量的训练集可以是训练集1、 、 训练集 N。 第一预定数量的训练集中的至少两个训练集至少部分重叠意味着N个训练集中的至少两 个训练集之间存在相同的样本。

23、图像， 即N个训练集中的至少两个训练集之间存在交叉数据。 0025 作为示例， 特征提取层可以是卷积神经网络的卷积层。 本领域技术人员可以理解， 特征提取层还可以是其他结构， 这里不再累述。 0026 特征融合单元104可以被配置成针对第一预定数量的训练集中的每个训练集分别 设置相应数量的特征融合层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属 的训练集而设置的特征融合层， 对该样本图像的所提取出的特征进行融合， 从而得到该样 本图像的融合后的特征。 0027 针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层意 味着： 针对第一预定数量的训练集中的每个训练集分别设。

24、置的特征融合层的数量可以各不 相同。 0028 作为示例， 特征融合层可以是卷积神经网络的全连接层。 本领域技术人员可以理 说明书 3/15 页 6 CN 111582009 A 6 解， 特征融合层还可以是其他结构， 这里不再累述。 0029 损失确定单元106可以被配置成针对第一预定数量的训练集中的每个训练集分别 设置损失确定层， 并且被配置成对于每个样本图像， 利用针对该样本图像所属的训练集而 设置的损失确定层， 基于该样本图像的融合后的特征来计算该样本图像的损失函数， 并基 于损失函数来训练分类模型。 0030 需要强调的是， 在损失确定单元106中， 在利用样本图像训练分类模型时， 。

25、要利用 针对样本图像所属的训练集而设置的损失确定层来计算该样本图像的损失函数， 这样可以 保证该样本图像被正确地分类。 另外， 在损失确定单元106中， 利用损失确定层计算的损失 函数的损失值进行误差反传来训练分类模型。 作为示例， 损失函数可以是softmax损失函 数。 另外， 本领域技术人员还可以想到损失函数的其他示例， 这里不再累述。 0031 在根据本公开实施例的训练分类模型的装置100中， 第一预定数量的训练集共享 针对每个训练集分别设置的相应数量的特征融合层和的特征提取层中的至少一个层。 在对 第一预定数量的训练集进行组合从而形成更大的训练集时， 第一预定数量的训练集通过共 享针。

26、对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层， 使得不同训练 集之间的交叉数据能够被正确分类。 以包括人脸数据的训练集为例， 通过使第一预定数量 的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层， 使 得存在于不同训练集中的同一个人脸被正确分类。 0032 图2是示意性示出根据本公开实施例的训练分类模型的装置100的一个结构配置 示例的图。 0033 如图2所示， 存在第一预定数量为N的训练集， 即， 存在训练集1、 、 训练集N。 为了 简单， 图2示出了N个训练集共享的特征提取层， 以及图2还示意性地示出了N个训练集共享 特征融合层a。 此外， 图。

27、2示意性地示出了分别与N个训练集对应的损失确定层， 即损失确定 层1、 、 损失确定层N。 0034 以包括人脸数据的训练集为例， 如果多种训练集之间有很多相同的人脸数据(即 训练集中存在交叉数据)， 如现有技术中那样简单地将多个训练集当做一个训练集， 会出现 存在于不同训练集中的同一个人脸被当做不同标签数据、 进而导致训练模型很难收敛或者 模型性能下降的情形。 0035 通过以上描述可知， 在根据本公开实施例的训练分类模型的装置100中， 通过使不 同的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层， 可以使得不同训练集之间的交叉数据能够被正确分类。 即， 在根据本。

28、公开实施例的训练分 类模型的装置100中， 可以组合多种训练集进行同时训练， 并且使得不同训练集之间的交叉 数据被正确分类。 0036 优选地， 在根据本公开实施例的训练分类模型的装置100中， 针对每个训练集分别 设置的特征融合层包括多个特征融合层， 以及第一预定数量的训练集不共享针对每个训练 集分别设置的多个特征融合层中的至少一个层。 这意味着针对每个训练集而设置的特征融 合层中的至少一个特征融合层是不被第一预定数量的训练集所共享的， 从不被共享的特征 融合层输出的特征被输出至针对每个训练集分别设置的与该训练集对应的损失确定层。 图 2示意性地示出了N个训练集不共享针对训练集1设置的特征融。

29、合层b1至针对训练集N设置 的特征融合层bN。 从不被共享的特征融合层b1至特征融合层bN输出的特征被分别输出至损 说明书 4/15 页 7 CN 111582009 A 7 失确定层1至损失确定层N。 0037 优选地， 根据本公开实施例的训练分类模型的装置100还包括获得局部区域单元， 获得局部区域单元被配置成针对每个样本图像， 获得该样本图像的第二预定数量的局部区 域， 其中， 每个局部区域是样本图像的全局区域中的一部分， 其中， 特征提取单元102可以被 配置成针对全局区域和每个预定局部区域分别设置相应数量的特征提取层， 用以分别提取 全局区域的全局特征和每个预定局部区域的局部特征， 。

30、以及第一预定数量的训练集共享针 对每个训练集中的样本图像的全局区域设置的特征提取层中的至少一个层。 0038 针对全局区域和每个预定局部区域分别设置相应数量的特征提取层意味着： 对于 全局区域和每个预定局部区域分别设置的特征提取层的数量可以各不相同。 0039 优选地， 第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部 区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。 0040 本领域技术人员应该理解， 可以对有关获得局部区域单元的特征和上述有关多个 特征融合层的特征进行组合， 这样的组合落入本公开的范围内。 0041 作为示例， 全局区域是样本图像的整个区域， 而局。

31、部区域是样本图像的整个区域 中的一部分区域。 0042 以样本图像为人脸图像为例， 获得局部区域单元可以根据人脸5个关键点信息(两 个眼睛、 鼻子以及两个嘴角的信息)将人脸分成第二预定数量的人脸图像块， 从而获得每个 样本图像的局部区域例如包括眼睛的区域、 包括鼻子的区域、 包括嘴部的区域等。 样本图像 可以是人脸， 也可以是车牌等。 在获得局部区域单元中， 还可以对除了人脸图像之外的图像 (例如， 车牌图像)进行上述类似处理。 0043 具体地， 特征提取单元102利用针对全局区域设置的特征提取层来提取全局区域 的全局特征， 并且利用针对每个预定局部区域分别设置的特征提取层来分别提取每个预定。

32、 局部区域的局部特征。 通过使第一预定数量的训练集共享针对每个训练集中的样本图像的 全局区域设置的特征提取层中的至少一个特征提取层， 可以使得不同训练集之间的交叉数 据能够被正确分类。 此外， 通过使第一预定数量的训练集进一步共享针对每个训练集中的 样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个特 征提取层， 可以使得不同训练集之间的交叉数据被正确分类的精度进一步提高。 0044 图3是示意性示出根据本公开实施例的训练分类模型的装置100的另一结构配置 示例的图。 0045 如图3所示， 存在训练集1、 、 训练集N。 作为样本图像的示例， 图3示出了来自训练 集1。

33、的男士面部图像和来自训练集N的女士面部图像。 作为示例， 可以通过以下方式来选取 样本图像： 从不同训练集中随机选取批量的面部图像， 其中批量的面部图像中包括的每个 训练集的图像的个数由训练集的大小决定， 比如训练集1和训练集N中样本图像的数据量比 例为1： P， 那么批量的面部图像中训练集1和训练集N的图像个数的比例为1： P。 0046 如图3所示， 从每个样本图像得到包括眼睛的局部区域以及包括鼻子和嘴部的局 部区域等。 并且， 为全局区域和每个预定局部区域分别设置相应数量的特征提取层。 0047 为了简化， 说明但非限定， 在图3中示出了N个训练集共享针对每个训练集中的样 本图像的全局区。

34、域和每个预定局部区域分别设置的特征提取层。 作为示例， 如图3中的箭头 1和箭头2所示， 训练集1和训练集N中的全局区域共享针对全局区域设置的特征提取层， 如 说明书 5/15 页 8 CN 111582009 A 8 图3中的箭头3和箭头4所示， 训练集1和训练集N中的样本图像的包括眼睛的局部区域共享 针对该局部区域设置的特征提取层， 以及如图3中的箭头5和箭头6所示， 训练集1和训练集N 中的样本图像的包括鼻子和嘴部的局部区域共享针对该局部区域设置的特征提取层。 0048 优选地， 在特征提取单元102中， 全局区域和第二预定数量的预定局部区域共享针 对全局区域和每个预定局部区域分别设置的。

35、特征提取层中的至少一个层， 以在所共享的所 述至少一个层中将全局特征和每个局部特征进行结合， 从而得到每个样本图像的结合后的 特征。 作为示例， 在所共享的所述至少一个层将全局特征和每个局部特征进行结合， 使得每 个局部区域的局部特征作为对全局特征的补充。 0049 在现有技术中， 利用人脸的多个图像块(即， 上述局部区域)进行分类的分类模型 为每一个图像块训练一个分类模型， M个图像块需要训练M个分类模型， 计算量较大从而影 响系统的实时性。 另外， 当应用场景出现姿态变化大、 分辨率低、 质量差(例如因为灯光太暗 等原因)等问题时， 分类性能会明显降低。 0050 在根据本公开实施例的训练。

36、分类模型的装置100中， 在全局区域和第二预定数量 的预定局部区域所共享的至少一个特征提取层将全局特征和每个局部特征进行结合， 每个 样本图像的由全局特征和每个局部特征结合后的特征能准确地表征样本图像的特征， 从而 有助于对样本图像进行准确的分类， 会得到更鲁棒的分类模型， 即使在应用场景出现姿态 变化大、 分辨率低、 质量差等问题时， 也能得到较好的分类性能。 此外， 可以提高训练的速 度。 0051 如图3所示， 样本图像的全局区域、 包括眼睛的局部区域以及包括鼻子和嘴部的局 部区域等共享针对全局区域和每个预定局部区域分别设置的特征提取层中的特征提取层a 和b。 此外， 样本图像的全局区域。

37、、 包括眼睛的局部区域以及包括鼻子和嘴部的局部区域等 也可以共享针对全局区域和每个预定局部区域分别设置的特征提取层中的特征提取层a和 b之一。 0052 0053 优选地， 损失确定单元106被配置成对于每个样本图像， 利用针对该样本图像所属 的训练集而设置的损失确定层， 基于该样本图像的结合后的特征来计算该样本图像的损失 函数， 并基于损失函数来训练分类模型。 如上所述， 样本图像的结合后的特征既包括全局特 征又包括局部特征， 因此能准确地表征样本图像的特征。 可以利用特征融合层对样本图像 的结合后的特征进行融合， 以得到该样本图像的融合后的特征， 并且基于该样本图像的融 合后的特征来计算该。

38、样本图像的损失函数。 0054 图3示意性地示出了分别与N个训练集对应的损失确定层， 即损失确定层1、 、 损 失确定层N。 如上所述， 在利用样本图像训练分类模型时， 通过利用针对样本图像所属的训 练集而设置的损失确定层来计算该样本图像的损失函数， 可以保证该样本图像被正确地分 类。 0055 优选地， 第二预定数量的局部区域具有关于全局区域的互补信息。 这样会使得局 部区域的局部特征更全面地对全局特征进行补充， 每个样本图像的由全局特征和每个局部 特征结合后的特征能更准确地表征样本图像的特征， 从而有助于对样本图像进行更准确的 分类。 0056 与上述训练分类模型的装置实施例相对应地， 本。

39、公开还提供了以下训练分类模型 说明书 6/15 页 9 CN 111582009 A 9 的方法的实施例。 0057 图4是示出根据本公开实施例的训练分类模型的方法400的流程示例的流程图。 0058 如图4所示， 根据本公开实施例的训练分类模型的方法400包括特征提取步骤 S402、 特征融合步骤S404以及损失确定步骤S406。 0059 在特征提取步骤S402中， 针对第一预定数量的训练集中的每个训练集分别设置相 应数量的特征提取层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置 的特征提取层， 分别提取该样本图像的特征， 从而得到该样本图像的所提取出的特征， 其 中， 。

40、第一预定数量的训练集中的至少两个训练集至少部分重叠。 0060 作为示例， 特征提取层可以是卷积神经网络的卷积层。 本领域技术人员可以理解， 特征提取层还可以是其他结构， 这里不再累述。 0061 在特征融合步骤S404中， 针对第一预定数量的训练集中的每个训练集分别设置相 应数量的特征融合层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置 的特征融合层， 对该样本图像的所提取出的特征进行融合， 从而得到该样本图像的融合后 的特征。 0062 作为示例， 特征融合层可以是卷积神经网络的全连接层。 本领域技术人员可以理 解， 特征融合层还可以是其他结构， 这里不再累述。 0063。

41、 在损失确定步骤S406中， 针对第一预定数量的训练集中的每个训练集分别设置损 失确定层， 并且对于每个样本图像， 利用针对该样本图像所属的训练集而设置的损失确定 层， 基于该样本图像的融合后的特征来计算该样本图像的损失函数， 并基于损失函数来训 练分类模型。 0064 在根据本公开实施例的训练分类模型的方法400中， 第一预定数量的训练集共享 针对每个训练集分别设置的相应数量的特征融合层和的特征提取层中的至少一个层。 在对 第一预定数量的训练集进行组合从而形成更大的训练集时， 第一预定数量的训练集通过共 享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层， 使得不同训练 集之间。

42、的交叉数据能够被正确分类。 以包括人脸数据的训练集为例， 通过使第一预定数量 的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层， 使 得存在于不同训练集中的同一个人脸被正确分类。 0065 以包括人脸数据的训练集为例， 如果多种训练集之间有很多相同的人脸数据(即 训练集中存在交叉数据)， 如现有技术中那样简单地将多个训练集当做一个训练集， 会出现 存在于不同训练集中的同一个人脸被当做不同标签数据、 进而导致训练模型很难收敛或者 模型性能下降。 0066 通过以上描述可知， 在根据本公开实施例的训练分类模型的方法400中， 通过使不 同的训练集共享针对每个训练集分别设置。

43、的特征融合层和的特征提取层中的至少一个层， 可以使得不同训练集之间的交叉数据能够被正确分类。 即， 在根据本公开实施例的训练分 类模型的方法400中， 可以组合多种训练集进行同时训练， 并且使得不同训练集之间的交叉 数据被正确分类。 0067 优选地， 在根据本公开实施例的训练分类模型的方法400中， 针对每个训练集分别 设置的特征融合层包括多个特征融合层， 以及第一预定数量的训练集不共享针对每个训练 集分别设置的多个特征融合层中的至少一个层。 这意味着针对每个训练集而设置的特征融 说明书 7/15 页 10 CN 111582009 A 10 合层中的至少一个特征融合层是不被第一预定数量的训。

44、练集所共享的， 从不被共享的特征 融合层输出的特征被输出至针对每个训练集分别设置的与该训练集对应的损失确定层。 0068 优选地， 根据本公开实施例的训练分类模型的方法400还包括获得局部区域步骤， 在获得局部区域步骤中， 针对每个样本图像， 获得该样本图像的第二预定数量的局部区域， 其中， 每个局部区域是样本图像的全局区域中的一部分， 其中， 在特征提取步骤S402中， 针 对全局区域和每个预定局部区域分别设置相应数量的特征提取层， 用以分别提取全局区域 的全局特征和每个预定局部区域的局部特征， 以及第一预定数量的训练集共享针对每个训 练集中的样本图像的全局区域设置的特征提取层中的至少一个层。

45、。 0069 优选地， 第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部 区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。 0070 本领域技术人员应该理解， 可以对有关获得局部区域步骤的特征和上述有关多个 特征融合层的特征进行组合， 这样的组合落入本公开的范围内。 0071 作为示例， 全局区域是样本图像的整个区域， 而局部区域是样本图像的整个区域 中的一部分区域。 0072 具体地， 在特征提取步骤S402中， 利用针对全局区域设置的特征提取层来提取全 局区域的全局特征， 并且利用针对每个预定局部区域分别设置的特征提取层来分别提取每 个预定局部区域的局部特征。 通。

46、过使第一预定数量的训练集共享针对每个训练集中的样本 图像的全局区域设置的特征提取层中的至少一个特征提取层， 可以使得不同训练集之间的 交叉数据能够被正确分类。 此外， 通过使第一预定数量的训练集进一步共享针对每个训练 集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少 一个特征提取层， 可以使得不同训练集之间的交叉数据被正确分类的精度进一步提高。 0073 优选地， 在特征提取步骤S402中， 全局区域和第二预定数量的预定局部区域共享 针对全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层， 以在所共享的 所述至少一个层中将全局特征和每个局部特征进行结合， 。

47、从而得到每个样本图像的结合后 的特征。 作为示例， 在所共享的所述至少一个层将全局特征和每个局部特征进行结合， 使得 每个局部区域的局部特征作为对全局特征的补充。 0074 在现有技术中， 利用人脸的多个图像块(即， 上述局部区域)进行分类的分类模型 为每一个图像块训练一个分类模型， M个图像块需要训练M个分类模型， 计算量较大从而影 响系统的实时性。 另外， 当应用场景出现姿态变化大、 分辨率低、 质量差(例如因为灯光太暗 等原因)等问题时， 分类性能会明显降低。 0075 在根据本公开实施例的训练分类模型的方法400中， 在全局区域和第二预定数量 的预定局部区域所共享的至少一个特征提取层将。

48、全局特征和每个局部特征进行结合， 每个 样本图像的由全局特征和每个局部特征结合后的特征能准确地表征样本图像的特征， 从而 有助于对样本图像进行准确的分类， 会得到更鲁棒的分类模型， 即使在应用场景出现姿态 变化大、 分辨率低、 质量差等问题时， 也能得到较好的分类性能。 此外， 可以提高训练的速 度。 0076 优选地， 在损失确定步骤S406中， 对于每个样本图像， 利用针对该样本图像所属的 训练集而设置的损失确定层， 基于该样本图像的结合后的特征来计算该样本图像的损失函 数， 并基于损失函数来训练分类模型。 如上所述， 样本图像的结合后的特征既包括全局特征 说明书 8/15 页 11 CN。

49、 111582009 A 11 又包括局部特征， 因此能准确地表征样本图像的特征。 可以利用特征融合层对样本图像的 结合后的特征进行融合， 以得到该样本图像的融合后的特征， 并且基于该样本图像的融合 后的特征来计算该样本图像的损失函数。 0077 优选地， 第二预定数量的局部区域具有关于全局区域的互补信息。 这样会使得局 部区域的局部特征更全面地对全局特征进行补充， 每个样本图像的由全局特征和每个局部 特征结合后的特征能更准确地表征样本图像的特征， 从而有助于对样本图像进行更准确的 分类。 0078 本公开还提供了一种利用分类模型进行分类的装置。 图5是示出根据本公开实施 例的利用预先训练的分。

50、类模型进行分类的装置500的功能配置示例的框图。 如图5所示， 根 据本公开实施例的利用预先训练的分类模型进行分类的装置500包括第二特征提取单元 502、 第二特征融合单元504以及第二损失确定单元506。 所述预先训练的分类模型可以是利 用根据本公开上述的实施例的训练分类模型的装置100或者根据本公开上述的实施例的训 练分类模型的方法400训练得到的分类模型。 另外， 所述预先训练的分类模型以上面结合图 1-4训练的分类模型为例， 但不限于此。 0079 第二特征提取单元502可以被配置成利用分类模型中针对第一预定数量的训练集 中的每个训练集分别设置的相应数量的特征提取层， 分别提取待分类。