基于多目标跟踪的人脸筛选方法、装置、设备及存储介质.pdf

《基于多目标跟踪的人脸筛选方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《基于多目标跟踪的人脸筛选方法、装置、设备及存储介质.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910264378.5 (22)申请日 2019.04.03 (71)申请人 深圳鲲云信息科技有限公司 地址 518000 广东省深圳市福田区福保街 道保税区市花路长富金茂大厦11层 1109室 (72)发明人 孟勇 (74)专利代理机构 深圳市华优知识产权代理事 务所(普通合伙) 44319 代理人 余薇 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.。

2、01) (54)发明名称 基于多目标跟踪的人脸筛选方法、 装置、 设 备及存储介质 (57)摘要 本发明实施例提供一种基于多目标跟踪的 人脸筛选方法、 装置、 电子设备和存储介质， 该方 法包括： 获取多目标跟踪算法输出的人脸跟踪结 果， 所述人脸跟踪结果包括置信度； 根据所述置 信度对第一预设时间内的多个人脸跟踪结果进 行去重处理， 得到待筛选人脸特征； 将在第二预 设时间内获取到的多个待筛选人脸特征输入预 先训练好的卷积神经网络， 得到目标人脸预测 值， 其中， 所述第二预设时间为所述第一预设时 间的大于1的整数倍； 基于所述目标人脸预测值 对目标人脸进行筛选。 通过第一预设时间、 第二 。

3、预设时间获取待筛选人脸特征并输入预先训练 好的卷积神经网络分类得到目标人脸预测值， 最 后根据目标人脸预测值筛选出目标人脸， 从而提 高人脸筛选的效率。 权利要求书2页 说明书10页 附图2页 CN 110084130 A 2019.08.02 CN 110084130 A 1.一种基于多目标跟踪的人脸筛选方法， 其特征在于， 包括下述步骤： 获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果包括置信度； 根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理， 得到待筛选人 脸特征； 将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络， 得到目标人脸预测值，。

4、 其中， 所述第二预设时间为所述第一预设时间的大于1的整数倍； 基于所述目标人脸预测值对目标人脸进行筛选。 2.如权利要求1所述方法， 其特征在于， 所述获取多目标跟踪算法输出的人脸跟踪结果 的步骤具体包括： 获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果， 所述人脸跟 踪结果还包括人脸标识。 3.如权利要求2所述方法， 其特征在于， 所述根据所述置信度对第一预设时间内的多个 人脸跟踪结果进行去重处理， 得到待筛选人脸特征的步骤具体包括： 在所述第一预设时间内， 从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一 个人脸跟踪结果作为所述待筛选人脸特征， 多个所述待筛选人脸特征。

5、组成一个具有相同人 脸标识的待筛选人脸特征集。 4.如权利要求3所述方法， 其特征在于， 所述将在第二预设时间内获取到的多个待筛选 人脸特征输入预先训练好的卷积神经网络， 得到目标人脸预测值的步骤具体包括： 在第二预设时间内， 从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选人脸 特征； 对所述第二预设时间内获取到的待筛选人脸特征进行预处理； 将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类， 得到 所述目标人脸预测值， 所述目标人脸预测值包括人脸概率、 人脸角度、 人脸清晰度。 5.如权利要求4所述方法， 其特征在于， 所述基于所述目标人脸预测值对目标人脸进行 筛选的。

6、步骤具体包括： 将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比较， 如 果所述人脸预测值中的人脸概率小于所述人脸概率阈值， 则丢弃对应的目标人脸， 得到第 一目标人脸集； 在第一目标人脸集中， 将所述目标人脸的人脸预测值中的人脸清晰度和预先设置的清 晰度阈值进行比较， 如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值， 则丢弃对 应的目标人脸， 得到第二目标人脸集； 根据所述人脸预测值中的人脸角度， 对第二目标人脸集进行筛选， 得到最优的目标人 脸。 6.如权利要求5所述方法， 其特征在于， 所述根据所述人脸预测值中的人脸角度， 对第 二目标人脸集进行筛选， 得到最优的。

7、目标人脸的步骤具体包括： 在所述第二目标人脸集中， 基于所述目标人脸的人脸预测值中的人脸角度计算每个目 标人脸的角度分数； 比较所述第二目标人脸集的每个目标人脸的角度分数， 筛选出其中角度分数最小的目 标人脸作为所述最优的目标人脸。 权利要求书 1/2 页 2 CN 110084130 A 2 7.如权利要求6所述方法， 其特征在于， 所述卷积神经网络的训练步骤包括： 获取训练数据集； 对所述训练数据集进行标注、 打标签、 加噪声处理后输入所述卷积神经网络模型进行 训练。 8.一种基于多目标跟踪的人脸筛选装置， 其特征在于， 包括： 获取模块， 用于获取多目标跟踪算法输出的人脸跟踪结果， 所述。

8、人脸跟踪结果包括置 信度； 去重模块， 用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处 理， 得到待筛选人脸特征； 输入模块， 用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的 卷积神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间的大于 1的整数倍； 筛选模块， 用于基于所述目标人脸预测值对目标人脸进行筛选。 9.一种计算机设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机程 序， 所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于多目标跟 踪的人脸筛选方法的步骤。 10.一种计算机可读存储介质， 。

9、其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于多目标跟 踪的人脸筛选方法的步骤。 权利要求书 2/2 页 3 CN 110084130 A 3 基于多目标跟踪的人脸筛选方法、 装置、 设备及存储介质 技术领域 0001 本发明涉及人工智能领域， 尤其涉及一种基于多目标跟踪的人脸筛选方法、 装置、 设备及存储介质。 背景技术 0002 人脸识别被认为是一种可广泛使用的生物特征识别技术， 它在安全防范领域如刑 侦破案、 证件验证、 视频监控等有着广阔的应用前景。 人脸识别可分为基于静态图像的人脸 识别和基于图像序列的人。

10、脸识别这两种方式。 目前大部分有关人脸识别的研究也是基于图 像序列的。 基于图像序列的人脸识别方式中， 自动人脸识别系统需要从采集到的图像序列 中检测并截取出人脸图像并用于后续的人脸识别过程。 在现有的人脸识别系统中， 识别阶 段需要利用已经采集到的人脸图像， 因此人脸图像质量的好坏将直接影响到人脸识别系统 的性能， 模糊的人脸图像将导致识别错误率的上升。 0003 然而， 在现实环境中采集到的人脸图像的质量往往变化很大， 例如可能会出现运 动模糊、 离焦模糊等情况。 因此， 为了保证人脸识别的准确性， 在进入识别阶段之前， 都有必 要对得到的人脸图像进行筛选， 将达到一定质量要求的图像进行后。

11、续的处理过程。 0004 目前， 人脸图像筛选的方法为： 针对人脸图像组中的每一人脸图像， 计算该人脸图 像的清晰度、 人脸大小以及人眼开合度这三个人脸属性， 然后基于上述三个人脸属性确定 该人脸图像的综合评价分数并将其中评分最高的确定为目标人脸图像。 类似的方法是通过 计算得到人脸属性， 计算耗费时间长且过于粗糙， 不适合人脸识别实时性和准确性要求， 特 别是在安防领域的实时视频监控。 发明内容 0005 本发明实施例提供一种基于多目标跟踪的人脸筛选方法、 装置、 电子设备、 和存储 介质， 能够提高人脸筛选的效率。 0006 第一方面， 本发明实施例提供一种基于多目标跟踪的人脸筛选方法， 。

12、包括： 0007 获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果包括置信度； 0008 根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理， 得到待筛 选人脸特征； 0009 将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经 网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间的大于1的整数 倍； 0010 基于所述目标人脸预测值对目标人脸进行筛选。 0011 可选的， 所述获取多目标跟踪算法输出的人脸跟踪结果， 包括： 0012 获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果， 所述人 脸跟踪结果还包括人脸标识。 0。

13、013 可选的， 所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处 说明书 1/10 页 4 CN 110084130 A 4 理， 得到待筛选人脸特征， 包括： 0014 在所述第一预设时间内， 从具有相同人脸标识的人脸跟踪结果中选出置信度最大 的一个人脸跟踪结果作为所述待筛选人脸特征， 多个所述待筛选人脸特征组成一个具有相 同人脸标识的待筛选人脸特征集。 0015 可选的， 所述将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好 的卷积神经网络， 得到目标人脸预测值， 包括： 0016 在第二预设时间内， 从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选 人脸特征。

14、； 0017 对所述第二预设时间内获取到的待筛选人脸特征进行预处理； 0018 将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类， 得到所述目标人脸预测值， 所述目标人脸预测值包括人脸概率、 人脸角度、 人脸清晰度。 0019 可选的， 所述基于所述目标人脸预测值对目标人脸进行筛选， 包括： 0020 将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比 较， 如果所述人脸预测值中的人脸概率小于所述人脸概率阈值， 则丢弃对应的目标人脸， 得 到第一目标人脸集； 0021 在第一目标人脸集中， 将所述目标人脸的人脸预测值中的人脸清晰度和预先设置 的清晰度阈值进。

15、行比较， 如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值， 则丢 弃对应的目标人脸， 得到第二目标人脸集； 0022 根据所述人脸预测值中的人脸角度， 对第二目标人脸集进行筛选， 得到最优的目 标人脸。 0023 可选的， 所述根据所述人脸预测值中的人脸角度， 对第二目标人脸集进行筛选， 得 到最优的目标人脸， 包括： 0024 在所述第二目标人脸集中， 基于所述目标人脸的人脸预测值中的人脸角度计算每 个目标人脸的角度分数； 0025 比较所述第二目标人脸集的每个目标人脸的角度分数， 筛选出其中角度分数最小 的目标人脸作为所述最优的目标人脸。 0026 可选的， 所述卷积神经网络的训练步骤。

16、， 包括： 0027 获取训练数据集； 0028 对所述训练数据集进行标注、 打标签、 加噪声处理后输入所述卷积神经网络模型 进行训练。 0029 第二方面， 本发明实施例提供一种基于多目标跟踪的人脸筛选装置， 包括： 0030 获取模块， 用于获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果包 括置信度； 0031 去重模块， 用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重 处理， 得到待筛选人脸特征； 0032 输入模块， 用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练 好的卷积神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间。

17、的 大于1的整数倍； 0033 筛选模块， 用于基于所述目标人脸预测值对目标人脸进行筛选。 说明书 2/10 页 5 CN 110084130 A 5 0034 第三方面， 本发明实施例提供一种电子设备， 包括： 存储器、 处理器及存储在所述 存储器上并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现 本发明实施例提供的基于多目标跟踪的人脸筛选方法中的步骤。 0035 第四方面， 本发明实施例提供一种计算机可读存储介质， 所述计算机可读存储介 质上存储有计算机程序， 所述计算机程序被处理器执行时实现本发明实施例提供的的基于 多目标跟踪的人脸筛选方法中的步骤。 0036 本。

18、发明实施例中， 获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果 包括置信度； 根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理， 得到 待筛选人脸特征； 将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷 积神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间的大于1 的整数倍； 基于所述目标人脸预测值对目标人脸进行筛选。 通过第一预设时间对上述多目 标跟踪算法输出的人脸跟踪结果进行初步去重， 然后在第二预设时间内获取待筛选人脸特 征并输入预先训练好的卷积神经网络分类得到目标人脸预测值， 最后根据目标人脸预测值 筛选出目标人脸， 从而提。

19、高人脸筛选的效率。 附图说明 0037 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图示出的结构获得其他的附图。 0038 图1是本发明实施例提供的一种基于多目标跟踪的人脸筛选方法的流程示意图； 0039 图2是本发明实施例提供的提供的一种基于多目标跟踪的人脸筛选装置的结构示 意图； 0040 图3是本发明实施例提供的一种电子设备的结构示意图。 具体实施方式 0041 下面将结合本发明。

20、实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发 明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例， 都属于本发明保护的范围。 0042 本申请的说明书和权利要求书及所述附图中的术语 “第一” 、“第二” 、“第三” 和 “第 四” 等是用于区别不同对象， 而不是用于描述特定顺序。 此外， 术语 “包括” 和 “具有” 以及它 们任何变形， 意图在于覆盖不排他的包含。 例如包含了一系列步骤或单元的过程、 方法、 系 统、 产品或设备没有限定于已列出的步骤或单元。

21、， 而是可选地还包括没有列出的步骤或单 元， 或可选地还包括对于这些过程、 方法、 产品或设备固有的其它步骤或单元。 0043 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结构或特性可以包 含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。 说明书 3/10 页 6 CN 110084130 A 6 0044 如图1所示， 本发明实施例提供了一种基于多目标跟踪的人脸筛选方法， 包括以下 步骤： 004。

22、5 101、 获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果包括置信度。 0046 其中， 在上述多目标跟踪算法执行之前， 需要向人脸检测系统输入连续帧图像以 得到人脸检测结果， 然后将该人脸检测结果以人脸框的形式输出到上述多目标跟踪算法进 行人脸跟踪并输出人脸跟踪结果， 即判定连续帧图像之间， 人脸框组是否同属于一个人， 如 果属于同一个人， 则该组人脸框有唯一的人脸标识， 否则， 不同人脸框有不同的人脸标识。 0047 102、 根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理， 得到 待筛选人脸特征。 0048 其中， 上述第一预设时间可以是人为设定的固定值(如1秒。

23、)， 也可以是每隔一定图 像帧数(如10帧)的时间。 在上述第一预设时间内， 获取上述对应时间内的多个人脸跟踪结 果， 对于其中具有相同人脸标识的人脸跟踪结果进行初步去重， 即取出每个人脸跟踪结果 中的置信度并比较大小， 将置信度最大的一个人脸跟踪结果作为上述待筛选人脸特征； 重 复上述初步去重步骤即可得到具有相同人脸标识的一组待筛选人脸特征。 0049 进一步的， 还可以重复该步骤以获得多个具有不同人脸标识的多组待筛选人脸特 征。 0050 103、 将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积 神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间。

24、的大于1的 整数倍。 0051 其中， 上述第二预设时间可以人为设定为上述第一预设时间的大于1的整数倍(如 2秒)， 也可以是上述第一预设时间的间隔的图像帧数的两倍以上(如30帧)的时间。 在上述 第二预设时间内， 从上述步骤102得到的多组待筛选人脸特征中获取对应时间内的具有相 同人脸标识的多个待筛选人脸特征， 并将上述多个待筛选人脸特征进行预处理后依次输入 上述预先训练好的卷积神经网络， 进行特征提取和分类后得到对应多个目标人脸预测值， 上述目标人脸预测值包括人脸概率、 人脸角度、 人脸清晰度。 0052 进一步的， 还可以重复该步骤以获得多个具有不同人脸标识的多组目标人脸预测 值。 00。

25、53 104、 基于所述目标人脸预测值对目标人脸进行筛选。 0054 首先， 基于上述目标人脸预测值包括的人脸概率、 人脸清晰度， 预先设置对应的阈 值， 即人脸概率阈值(如0.5)、 人脸清晰度阈值(如0.6)； 然后将上述具有相同人脸标识的待 筛选的目标人脸预测值的人脸概率、 人脸清晰度和上述预先设置对应的阈值进行比较， 将 比较结果为小于的待筛选的目标人脸丢弃； 最后通过计算剩余待筛选的目标人脸的预测值 中的人脸角度得分并进行比较， 选择其中人脸角度得分最小的一个作为最终的目标人脸， 即最优的目标人脸。 0055 进一步的， 还可以重复该步骤以获得多个具有不同人脸标识的最终的最优的目标 。

26、人脸。 0056 本发明实施例中， 获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果 包括置信度； 根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理， 得到 待筛选人脸特征； 将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷 说明书 4/10 页 7 CN 110084130 A 7 积神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时间的大于1 的整数倍； 基于所述目标人脸预测值对目标人脸进行筛选。 通过第一预设时间对上述多目 标跟踪算法输出的人脸跟踪结果进行初步去重， 然后在第二预设时间内获取待筛选人脸特 征并输入预先训练好的卷积神。

27、经网络分类得到目标人脸预测值， 最后根据目标人脸预测值 筛选出目标人脸， 从而提高人脸筛选的效率。 0057 可选的， 所述获取多目标跟踪算法输出的人脸跟踪结果， 包括： 0058 获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果， 所述人 脸跟踪结果还包括人脸标识。 0059 在连续视频帧序列中， 帧图像依次被送入到目标检测算法中， 算法检测出图中的 人 脸 ； 接 着 将 人 脸 送 到 上 述 多目 标 跟 踪 算 法 中 ， 输 出 对 应 多 个 人 脸 跟 踪 结 果 (trackedFace)。 上述人脸跟踪结果的构成为frameID,FaceID,FaceImag。

28、e,p， 其中 frameID为一帧图像的序号， FaceID是人脸标识， FaceImage为该FaceID对应的人脸图像， p 为人脸存在的置信度。 0060 可选的， 所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处 理， 得到待筛选人脸特征， 包括： 0061 在所述第一预设时间内， 从具有相同人脸标识的人脸跟踪结果中选出置信度最大 的一个人脸跟踪结果作为所述待筛选人脸特征， 多个所述待筛选人脸特征组成一个具有相 同人脸标识的待筛选人脸特征集。 0062 其中， 上述第一预设时间可以是每隔K帧图像的时间(如K设定为10)； 在上述第一 预设时间内对人脸进行粗略筛选， 即从。

29、start(起始)帧到start+K帧的时间段内(即frameID 从start变化到start+K)， 对于具有相同人脸标识FaceID的人脸跟踪结果trackedFace组 中， 比较其中每个trackedFace的置信度p的大小， 并从中筛选出p值最大的trackedFace作 为上述待筛选人脸特征， 直到图像的最后一帧， 这样可以将筛选的trackedFace总数降低到 1/K， 并得到一个具有相同人脸标识的待筛选人脸特征集。 例如， K设定为10， 有连续视频帧 10000帧图像， 则可以获得一组具有相同人脸标识的1000个trackedFace。 0063 进一步的， 更换上述人脸。

30、标识并重复该步骤， 以获得多个具有不同人脸标识的待 筛选人脸特征集。 0064 可选的， 所述将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好 的卷积神经网络， 得到目标人脸预测值， 包括： 0065 在第二预设时间内， 从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选 人脸特征； 0066 对所述第二预设时间内获取到的待筛选人脸特征进行预处理； 0067 将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类， 得到所述目标人脸预测值， 所述目标人脸预测值包括人脸概率、 人脸角度、 人脸清晰度。 0068 其中， 上述第二预设时间可以是每隔M帧图像的时间， 但应是。

31、上述第一预设时间的 两倍以上， 即M应大于2K(如M设定为100)； 在该第二预设时间内， 从上述具有相同人脸标识 的待筛选人脸特征集中取出对应多个待筛选人脸特征。 例如， 若K设定为10， 有连续视频帧 10000帧图像， 则首先可以获得一组具有相同人脸标识的1000个trackedFace； 然后若M设定 为100， 则可以从上述1000个trackedFace中获得10个具有相同人脸标识的待筛选人脸特 说明书 5/10 页 8 CN 110084130 A 8 征， 待筛选人脸特征包括人脸图像(FaceImage)。 0069 接着， 按照上述预先训练好的卷积神经网络的输入格式对上述获取。

32、到的多个待筛 选人脸特征中的人脸图像进行预处理， 比如输入格式要求是分辨率为96x 96的灰度图像， 则需要将上述人脸图像缩放到相应大小， 并转换为灰度图像然后作为上述卷积神经网络的 输入； 上述卷积神经网络可以通过六个卷积核对上述预处理后的人脸图像进行卷积和池化 操作后提取图像的特征， 然后通过一个全连接层对提取到的特征进行三分类， 得到上述目 标人脸的预测值， 包括人脸概率、 人脸角度、 人脸清晰度。 其中， 人脸概率用以判定该图像是 否是人脸， 值为0到1的范围， 值越大代表是人脸的可能性越大； 人脸角度(pose)， 用以判定 人脸的角度， 有三个角度： 翻滚(roll)角度， 俯仰(。

33、pitch)角度， 偏航(yaw)角度， 每个角度从 0到180度， 值越小则人脸越正； 人脸清晰度(clarity)， 值为0到1的范围， 值越大则人脸图像 越清晰。 0070 通过上述轻量卷积神经网络可以快速、 准确地获得目标人脸预测值。 0071 可选的， 所述基于所述目标人脸预测值对目标人脸进行筛选， 包括： 0072 将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比 较， 如果所述人脸预测值中的人脸概率小于所述人脸概率阈值， 则丢弃对应的目标人脸， 得 到第一目标人脸集； 0073 在第一目标人脸集中， 将所述目标人脸的人脸预测值中的人脸清晰度和预先设置 的清晰度。

34、阈值进行比较， 如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值， 则丢 弃对应的目标人脸， 得到第二目标人脸集； 0074 根据所述人脸预测值中的人脸角度， 对第二目标人脸集进行筛选， 得到最优的目 标人脸。 0075 首先， 基于上述目标人脸预测值包括的人脸概率、 人脸清晰度， 预先设置对应的阈 值， 如人脸概率阈值0.5、 人脸清晰度阈值0.6。 0076 将通过上述卷积神经网络分类得到的目标人脸预测值中的人脸概率与上述人脸 概率阈值进行比较， 如果大于， 则可以判定该图像是人脸； 否则可以判定该图像不是人脸， 并将该图像对应的待筛选人脸特征丢弃掉， 剩余的待筛选人脸特征组成上述第一目。

35、标人脸 集。 0077 在上述第一目标人脸集中， 将通过上述卷积神经网络分类得到的目标人脸预测值 中的人脸清晰度与上述人脸清晰度阈值进行比较， 如果大于， 则可以认定该张人脸图像是 相对清晰的； 否则可以判定该人脸图像是模糊的， 并将该该图像对应的待筛选人脸特征丢 弃掉， 剩余的待筛选人脸特征组成上述第二目标人脸集。 0078 可选的， 所述根据所述人脸预测值中的人脸角度， 对第二目标人脸集进行筛选， 得 到最优的目标人脸， 包括： 0079 在所述第二目标人脸集中， 基于所述目标人脸的人脸预测值中的人脸角度计算每 个目标人脸的角度分数； 0080 比较所述第二目标人脸集的每个目标人脸的角度分。

36、数， 筛选出其中角度分数最小 的目标人脸作为所述最优的目标人脸。 0081 其中， 上述人脸预测值中的人脸角度包括三个角度： roll(翻滚)， pitch(俯仰)， yaw(偏航)； 上述人脸预测值中的人脸角度分数的计算可以通过如下公式： 说明书 6/10 页 9 CN 110084130 A 9 0082 poseScorea*|roll|+b*|pitch|+c*|yaw| (式1-1) 0083 式中， a、 b、 c为对应项的权重值(可以根据经验调整)， poseScore即为人脸角度分 数。 0084 通过上述公式1-1可以得到第二目标人脸集中每个目标人脸的角度分数， 选出其 中角。

37、度分数最小的一个来作为最终的目标人脸， 即在所有的帧图像中具有相同人脸标识的 最优(最清晰、 角度最正)的一帧人脸图像。 0085 进一步的， 还可以重复该实施例的两个步骤以获得多个具有不同人脸标识的最优 的目标人脸， 将上述最优的目标人脸作为人脸识别系统的输入， 可以提高人脸识别系统的 识别准确率。 0086 可选的， 所述卷积神经网络的训练步骤， 包括： 0087 获取训练数据集； 0088 对所述训练数据集进行标注、 打标签、 加噪声处理后输入所述卷积神经网络模型 进行训练。 0089 如上所述， 其中上述卷积神经网络可以是包括输入层、 六个卷积层、 一个全连接层 的深度网络， 输入层用。

38、来获取输入该网络的经过预处理的人脸图像， 然后通过全连接层输 出上述三个人脸特性值。 对上述卷积神经网络的预训练， 首先可以从一些网站获取公开的 数据集， 也可以通过摄像装置获取图像数据集； 其次对采集到的数据集进行处理， 即标注图 像中是人脸的为1不是人脸的为0、 对人脸的角度打上标签(上述三个人脸角度)以及对一部 分图像加噪声并标注为不清晰； 然后将上述处理后的数据集中心化、 归一化后输入上述卷 积神经网络进行训练， 以便让训练易于收敛。 0090 以上可选的实施例为图1中基于多目标跟踪的人脸筛选方法的补充实施例， 执行 上述可选的实施列中的方法均能达到相应的有益效果， 为避免重复， 这里。

39、不再赘述。 0091 请参见图2， 图2是本发明实施例提供的一种基于多目标跟踪的人脸筛选装置的结 构示意图， 如图2所示， 所述装置包括： 0092 获取模块201， 用于获取多目标跟踪算法输出的人脸跟踪结果， 所述人脸跟踪结果 包括置信度； 0093 去重模块202， 用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行 去重处理， 得到待筛选人脸特征； 0094 输入模块203， 用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先 训练好的卷积神经网络， 得到目标人脸预测值， 其中， 所述第二预设时间为所述第一预设时 间的大于1的整数倍； 0095 筛选模块204， 用于基于所述。

40、目标人脸预测值对目标人脸进行筛选。 0096 可选的， 所述获取模块201包括： 0097 获取子模块2011， 用于获取连续输入所述多目标跟踪算法的多帧图像的对应多个 人脸跟踪结果， 所述人脸跟踪结果还包括人脸标识。 0098 可选的， 所述去重模块202包括： 0099 选出子模块2021， 用于在所述第一预设时间内， 从具有相同人脸标识的人脸跟踪 结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征， 多个所述待筛选人 脸特征组成一个具有相同人脸标识的待筛选人脸特征集。 说明书 7/10 页 10 CN 110084130 A 10 0100 可选的， 所述输入模块203包括： 。

41、0101 获取子模块2031， 用于在第二预设时间内， 从所述具有相同人脸标识的待筛选人 脸特征集中获取待筛选人脸特征； 0102 预处理子模块2032， 用于对所述第二预设时间内获取到的待筛选人脸特征进行预 处理； 0103 输入子模块2033， 将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经 网络中进行分类， 得到所述目标人脸预测值， 所述目标人脸预测值包括人脸概率、 人脸角 度、 人脸清晰度。 0104 可选的， 所述筛选模块204包括： 0105 第一比较子模块2041， 用于将所述目标人脸的人脸预测值中的人脸概率和预先设 置的人脸概率阈值进行比较， 如果所述人脸预测值中的人脸。

42、概率小于所述人脸概率阈值， 则丢弃对应的目标人脸， 得到第一目标人脸集； 0106 第二比较子模块2042， 用于在第一目标人脸集中， 将所述目标人脸的人脸预测值 中的人脸清晰度和预先设置的清晰度阈值进行比较， 如果所述人脸预测值中的人脸清晰度 小于所述清晰度阈值， 则丢弃对应的目标人脸， 得到第二目标人脸集； 0107 筛选子模块2043， 用于根据所述人脸预测值中的人脸角度， 对第二目标人脸集进 行筛选， 得到最优的目标人脸。 0108 进一步的， 上述筛选子模块2043包括： 0109 计算单元20431， 用于在所述第二目标人脸集中， 基于所述目标人脸的人脸预测值 中的人脸角度计算每个。

43、目标人脸的角度分数； 0110 筛选单元20432， 用于比较所述第二目标人脸集的每个目标人脸的角度分数， 筛选 出其中角度分数最小的目标人脸作为所述最优的目标人脸。 0111 本发明实施例提供的一种基于多目标跟踪的人脸筛选装置能够实现上述实施例， 具有相应的有益效果， 为避免重复， 这里不再赘述。 0112 参见图3， 图3是本发明实施例提供的一种电子设备的结构示意图， 如图3所示， 包 括： 存储器302、 处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算 机程序， 其中： 0113 处理器301用于调用存储器302存储的计算机程序， 执行上述基于多目标跟踪的人 脸。

44、筛选方法的所有实施列的各步骤。 0114 上述处理器301在一些实施例中可以是中央处理器(Central Processing Unit， CPU)、 控制器、 微控制器、 微处理器、 或其他数据处理芯片等。 0115 需要说明的是， 由于上述处理器301执行计存储于上述存储器302内的计算机程序 时可实现上述的基于多目标跟踪的人脸筛选方法的步骤， 因此上述基于多目标跟踪的人脸 筛选方法的所有实施例均适用于上述电子设备， 且均能达到相同或相似的有益效果。 0116 此外， 本发明的具体实施例还提供了一种计算机可读存储介质302， 计算机可读存 储介质302存储有计算机程序， 该计算机程序被处理。

45、器执行时实现上述的基于多目标跟踪 的人脸筛选方法的步骤。 0117 即， 在本发明的具体实施例中， 计算机可读存储介质的计算机程序被处理器执行 时实现上述的基于多目标跟踪的人脸筛选方法的步骤， 能提高人脸筛选的效率。 说明书 8/10 页 11 CN 110084130 A 11 0118 示例性的， 计算机可读存储介质的计算机程序包括计算机程序代码， 所述计算机 程序代码可以为源代码形式、 对象代码形式、 可执行文件或某些中间形式等。 所述计算机可 读介质可以包括： 能够携带所述计算机程序代码的任何实体或装置、 记录介质、 U盘、 移动硬 盘、 磁碟、 光盘、 计算机存储器、 只读存储器(R。

46、OM， Read-Only Memory)、 随机存取存储器 (RAM， Random Access Memory)、 电载波信号、 电信信号以及软件分发介质等。 0119 需要说明的是， 由于计算机可读存储介质的计算机程序被处理器执行时实现上述 的基于多目标跟踪的人脸筛选方法的步骤， 因此上述基于多目标跟踪的人脸筛选方法的所 有实施例均适用于该计算机可读存储介质， 且均能达到相同或相似的有益效果。 0120 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以 通过计算机程序来指令相关的硬件来完成， 所述的程序可存储于一计算机可读取存储介质 中， 该程序在执行时， 可包括。

47、如上述各方法的实施例的流程。 0121 需要说明的是， 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一系列 的动作组合， 但是本领域技术人员应该知悉， 本申请并不受所描述的动作顺序的限制， 因为 依据本申请， 某些步骤可以采用其他顺序或者同时进行。 其次， 本领域技术人员也应该知 悉， 说明书中所描述的实施例均属于可选实施例， 所涉及的动作和模块并不一定是本申请 所必须的。 0122 在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述的部 分， 可以参见其他实施例的相关描述。 0123 在本申请所提供的几个实施例中， 应该理解到， 所揭露的装置， 可通过其它的方。

48、式 实现。 例如， 以上所描述的装置实施例仅仅是示意性的， 例如所述单元的划分， 仅仅为一种 逻辑功能划分， 实际实现时可以有另外的划分方式， 例如多个单元或组件可以结合或者可 以集成到另一个系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口， 装置或单元的间接耦合或通信连接， 可以是电性或其它的形式。 0124 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显 示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个 网络单元上。 可以根据实际的需要选择其中的部分或者全部单。

49、元来实现本实施例方案的目 的。 0125 另外， 在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以 是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中。 上述集成的单 元既可以采用硬件的形式实现， 也可以采用软件程序模块的形式实现。 0126 所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用 时， 可以存储在一个计算机可读取存储器中。 基于这样的理解， 本申请的技术方案本质上或 者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体 现出来， 该计算机软件产品存储在一个存储器中， 包括若干指令用以使得一台计算机设备 (。

50、可为个人计算机、 服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分 步骤。 而前述的存储器包括： U盘、 只读存储器(ROM， Read-Only Memory)、 随机存取存储器 (RAM， Random Access Memory)、 移动硬盘、 磁碟或者光盘等各种可以存储程序代码的介质。 0127 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可 说明书 9/10 页 12 CN 110084130 A 12 以通过程序来指令相关的硬件来完成， 该程序可以存储于一计算机可读存储器中， 存储器 可以包括： 闪存盘、 只读存储器(英文： Read-Only 。