人脸图像的识别方法及设备.pdf

《人脸图像的识别方法及设备.pdf》由会员分享，可在线阅读，更多相关《人脸图像的识别方法及设备.pdf（23页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010087125.8 (22)申请日 2020.02.11 (71)申请人 深圳壹账通智能科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 吴贞海 (74)专利代理机构 深圳中一联合知识产权代理 有限公司 44414 代理人 张全文 (51)Int.Cl. G06F 9/445(2018.01) G06K 9/00(2006.01) (54)发明名称 一种人脸图像的识别方法及设备 (57)摘要 本发明适用于图像处理技术。

2、领域， 提供了一 种人脸图像的识别方法及设备， 包括： 接收视频 播放指令； 启动视频播放应用， 并基于所述插件 标识加载所述视频播放插件至所述视频播放应 用； 若所述插件标识与人脸识别插件的标识匹 配， 则通过加载插件后的所述视频播放应用提取 所述视频文件的各个视频图像帧； 调用所述人脸 识别插件提取各个所述视频图像帧包含的人脸 图像； 根据各个所述人脸图像对应的实体用户， 建立所述视频文件的人脸图像库。 本发明能够通 过在视频播放应用中加载人脸识别插件， 在播放 视频文件的同时， 自动识别每个视频图像帧包含 的人脸图像， 提高了人脸图像的识别效率， 减少 了用户的操作。 权利要求书2页 说。

3、明书13页 附图7页 CN 111290800 A 2020.06.16 CN 111290800 A 1.一种人脸图像的识别方法， 其特征在于， 包括： 接收视频播放指令； 所述视频播放指令携带有播放视频文件时所需调用的视频播放插 件的插件标识； 启动视频播放应用， 并基于所述插件标识加载所述视频播放插件至所述视频播放应 用； 若所述插件标识与人脸识别插件的标识匹配， 则通过加载插件后的所述视频播放应用 提取所述视频文件的各个视频图像帧； 调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像； 根据各个所述人脸图像对应的实体用户， 建立所述视频文件的人脸图像库。 2.根据权利要求1所述的。

4、识别方法， 其特征在于， 在所述启动视频播放应用， 并基于所 述插件标识加载所述视频播放插件至所述视频播放应用之前， 还包括： 获取所述人脸识别插件的插件数据包； 向服务器发送版本校验请求， 并接收所述服务器基于所述版本校验请求反馈的合法校 验结果； 所述版本校验请求包含所述插件数据包的版本标识； 若所述合法校验结果为校验成功， 则查询所述视频播放应用的安装位置， 并将所述插 件数据包内的调用声明文件添加到所述安装位置关联的文件目录内， 以添加所述人脸识别 插件至所述视频播放应用的可调用插件列表。 3.根据权利要求1所述的识别方法， 其特征在于， 所述根据各个所述人脸图像对应的实 体用户， 建。

5、立所述视频文件的人脸图像库， 包括： 计算任意两个所述视频图像帧内的所述人脸图像之间的相似度； 若所述相似度大于预设的关联阈值， 则识别位于两个不同的所述视频图像帧内的所述 人脸图像为关联图像， 建立两个所述人脸图像之间的关联关系； 基于所有所述人脸图像的所述关联关系， 划分为多个用户人脸组， 并为各个所述用户 人脸组配置用户标识； 所述用户人脸组内的所有人脸图像互为所述关联图像； 根据所述用户人脸组以及所述用户标识， 建立所述人脸图像库。 4.根据权利要求3所述的识别方法， 其特征在于， 所述计算任意两个所述视频图像帧内 的所述人脸图像之间的相似度， 包括： 基于预设的人脸关键特征列表， 标。

6、记出所述人脸图像中关于各个人脸关键特征的特征 坐标； 根据所述人脸关键特征列表内的所有人脸关键特征的特征坐标， 构建所述人脸图像的 特征坐标序列； 计算任意两个所述视频图像帧的所述人脸图像的特征坐标序列之间的特征距离值； 识别任意两个所述视频图像帧之间的间隔图像帧数； 将所述特征距离值以及所述间隔图像帧数导入预设的相似度计算模型， 得到两个所述 视频图像帧内的所述人脸图像之间的相似度； 所述相似度计算模型具体为： 其中， Similarity为所述相似度； ActFrame为所述间隔图像帧数； FigDist为所述特征 距离值； BaseDist为基准距离值； BaseFrame为所述视频文件。

7、的拍摄帧率； StandardDist为 权利要求书 1/2 页 2 CN 111290800 A 2 预设调整系数。 5.根据权利要求1-4任一项所述的识别方法， 其特征在于， 所述根据各个所述人脸图像 对应的实体用户， 建立所述视频文件的人脸图像库， 包括： 确定所述人脸图像的表情类型， 并识别所述表情类型为基准表情； 根据表情转换算法以及所述基准表情， 输出所述人脸图像的衍生图像； 所述衍生图像 的表情类型与所述人脸图像的表情类型不同； 根据所述人脸图像以及所述衍生图像， 生成所述人脸图像库。 6.根据权利要求1-4任一项所述的识别方法， 其特征在于， 所述调用所述人脸识别插件 提取各个。

8、所述视频图像帧包含的人脸图像， 包括： 基于视频图像帧中的RGB通道对应的图像数据， 生成所述视频图像帧的图像矩阵； 根据所述图像矩阵的矩阵尺寸， 配置所述视频图像帧对应的卷积核， 并通过所述卷积 核对所述图像矩阵进行卷积操作， 得到标准矩阵； 将所述标准矩阵导入所述人脸识别插件的人脸识别算法， 输出所述人脸图像。 7.根据权利要求1-4任一项所述的识别方法， 其特征在于， 所述启动视频播放应用， 并 基于所述插件标识加载所述视频播放插件至所述视频播放应用， 包括： 根据预设的播放插件寻址表， 查询所述插件标识对应的所述视频播放插件的安装地 址； 从所述安装地址获取所述视频播放插件的插件文件，。

9、 通过所述视频播放应用运行所述 插件文件， 以将所述视频播放插件加载至所述视频播放应用。 8.一种人脸图像的识别设备， 其特征在于， 包括： 视频播放指令接收单元， 用于接收视频播放指令； 所述视频播放指令携带有播放视频 文件时所需调用的视频播放插件的插件标识； 视频播放应用启动单元， 用于启动视频播放应用， 并基于所述插件标识加载所述视频 播放插件至所述视频播放应用； 视频图像帧提取单元， 用于若所述插件标识与人脸识别插件的标识匹配， 则通过加载 插件后的所述视频播放应用提取所述视频文件的各个视频图像帧； 人脸图像识别单元， 用于调用所述人脸识别插件提取各个所述视频图像帧包含的人脸 图像； 。

10、人脸图像库建立单元， 用于根据各个所述人脸图像对应的实体用户， 建立所述视频文 件的人脸图像库。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器以及存储在所述存储 器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时如权利要 求1至7任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。 权利要求书 2/2 页 3 CN 111290800 A 3 一种人脸图像的识别方法及设备 技术领域 0001 本发明属于图像处理技术领域，。

11、 尤其涉及一种人脸图像的识别方法及设备。 背景技术 0002 随着识别技术的不断发展， 越来越多的识别任务可以计算机自动执行， 例如通过 ORC算法识别图片中的文字， 又例如通过二维码识别算法， 对二维码图像进行解析提取其中 携带的信息。 除了上述识别技术外， 人脸识别技术由于能够自动确定用户身份， 应用领域也 越来越广， 如何能够高效准确地完成人脸识别， 成为了现今亟需解决的问题。 0003 现有的人脸识别技术， 主要是应用于与静态图像识别， 而对于视频中的人脸识别 则较难实现， 特别对于大部分的视频播放应用， 需要用户手动截取目标用户所在的视频图 像帧， 并交由对应的软件进行识别， 从而增。

12、加了人脸采集的难度以及操作效率。 发明内容 0004 有鉴于此， 本发明实施例提供了一种人脸图像的识别方法及设备， 以解决现有的 人脸图像的识别技术， 只能对静态图像进行人脸识别， 需要用户手动截取目标用户所在的 视频图像帧， 并交由对应的软件进行识别， 从而增加了人脸采集的难度以及操作效率的问 题。 0005 本发明实施例的第一方面提供了一种人脸图像的识别方法， 包括： 0006 接收视频播放指令； 所述视频播放指令携带有播放视频文件时所需调用的视频播 放插件的插件标识； 0007 启动视频播放应用， 并基于所述插件标识加载所述视频播放插件至所述视频播放 应用； 0008 若所述插件标识与人。

13、脸识别插件的标识匹配， 则通过加载插件后的所述视频播放 应用提取所述视频文件的各个视频图像帧； 0009 调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像； 0010 根据各个所述人脸图像对应的实体用户， 建立所述视频文件的人脸图像库。 0011 本发明实施例的第二方面提供了一种人脸图像的识别设备， 包括： 0012 视频播放指令接收单元， 用于接收视频播放指令； 所述视频播放指令携带有播放 视频文件时所需调用的视频播放插件的插件标识； 0013 视频播放应用启动单元， 用于启动视频播放应用， 并基于所述插件标识加载所述 视频播放插件至所述视频播放应用； 0014 视频图像帧提取单元，。

14、 用于若所述插件标识与人脸识别插件的标识匹配， 则通过 加载插件后的所述视频播放应用提取所述视频文件的各个视频图像帧； 0015 人脸图像识别单元， 用于调用所述人脸识别插件提取各个所述视频图像帧包含的 人脸图像； 0016 人脸图像库建立单元， 用于根据各个所述人脸图像对应的实体用户， 建立所述视 说明书 1/13 页 4 CN 111290800 A 4 频文件的人脸图像库。 0017 本发明实施例的第三方面提供了一种终端设备， 包括存储器、 处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时 实现第一方面的各个步骤。 0018 本发明实施例。

15、的第四方面提供了一种计算机可读存储介质， 所述计算机可读存储 介质存储有计算机程序， 所述计算机程序被处理器执行时实现第一方面的各个步骤。 0019 实施本发明实施例提供的一种人脸图像的识别方法及设备具有以下有益效果： 0020 本发明实施例通过接收用户发起的视频播放指令， 启动视频播放应用， 并加载该 视频播放指令指示的视频播放插件， 以对视频播放应用的功能进行扩展， 若检测到加载的 视频播放插件为人脸识别插件， 则可以通过视频播放应用对视频文件进行解析， 提取各个 视频图像帧， 并将各个视频图像帧导入到人脸识别插件， 以通过人脸识别插件识别各个视 频图像帧包含的人脸图像， 并根据所有人脸图。

16、像构建视频文件关联的人脸图像库， 从而实 现了对动态的视频文件进行人脸识别。 与现有的人脸图像的识别技术相比， 本发明无需用 户手动截取视频图像帧， 并交由其他应用进行人脸图像识别， 而是可以通过在视频播放应 用中加载人脸识别插件， 在播放视频文件的同时， 自动识别每个视频图像帧所包含的人脸 图像， 提高了人脸图像的识别效率， 减少了用户的操作。 另一方面， 由于人脸图像的识别过 程与视频文件的播放是同步进行的， 用户无需在视频文件观看后， 再执行人脸图像识别， 从 而减少了人脸识别操作的耗时。 附图说明 0021 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例或现有技术描述 中所。

17、需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些 附图获得其他的附图。 0022 图1是本发明第一实施例提供的一种人脸图像的识别方法的实现流程图； 0023 图2是本发明一实施例提供的视频文件的播放示意图； 0024 图3是本发明第二实施例提供的一种人脸图像的识别方法具体实现流程图； 0025 图4是本发明第三实施例提供的一种人脸图像的识别方法S105具体实现流程图； 0026 图5是本发明第四实施例提供的一种人脸图像的识别方法S1051具体实现流程图； 0027 图6是本发明。

18、第五实施例提供的一种人脸图像的识别方法S105具体实现流程图； 0028 图7是本发明第六实施例提供的一种人脸图像的识别方法S104具体实现流程图； 0029 图8是本发明第七实施例提供的一种人脸图像的识别方法S102具体实现流程图； 0030 图9是本发明一实施例提供的一种人脸图像的识别设备的结构框图； 0031 图10是本发明另一实施例提供的一种终端设备的示意图。 具体实施方式 0032 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。 说明书 2/13。

19、 页 5 CN 111290800 A 5 0033 本发明实施例通过接收用户发起的视频播放指令， 启动视频播放应用， 并加载该 视频播放指令指示的视频播放插件， 以对视频播放应用的功能进行扩展， 若检测到加载的 视频播放插件为人脸识别插件， 则可以通过视频播放应用对视频文件进行解析， 提取各个 视频图像帧， 并将各个视频图像帧导入到人脸识别插件， 以通过人脸识别插件识别各个视 频图像帧包含的人脸图像， 并根据所有人脸图像构建视频文件关联的人脸图像库， 从而实 现了对动态的视频文件进行人脸识别， 解决了现有的人脸图像的识别技术， 只能对静态图 像进行人脸识别， 需要用户手动截取目标用户所在的视。

20、频图像帧， 并交由对应的软件进行 识别， 从而增加了人脸采集的难度以及操作效率的问题。 0034 在本发明实施例中， 流程的执行主体为终端设备。 该终端设备包括但不限于： 服务 器、 计算机、 智能手机以及平板电脑等能够执行人脸图像的识别任务的设备。 图1示出了本 发明第一实施例提供的人脸图像的识别方法的实现流程图， 详述如下： 0035 在S101中， 接收视频播放指令； 所述视频播放指令携带有播放视频文件时所需调 用的视频播放插件的插件标识。 0036 在本实施例中， 用户可以向终端设备发送一个视频播放指令。 具体地， 用户可以通 过终端设备配置的交互模块， 例如键盘、 鼠标或触控屏等模块。

21、， 在终端设备本地触发视频播 放指令； 当然， 用户也可以在本地的用户终端生成视频播放指令， 并建立用户终端与终端设 备之间的通信链路， 通过通信链路将视频播放指令发送给终端设备， 即用户终端相当于一 遥控装置， 可以控制终端设备执行视频播放操作。 0037 在本实施例中， 用户发起视频播放操作时， 可以从终端设备的可加载插件列表中 选取所需调用的视频播放插件， 通过点击或勾选等方式， 从可加载插件列表中选择一个或 多个视频播放插件， 并在选取完成后点击播放按钮， 此时， 终端设备会识别用户选择完毕， 并将用户选择的视频播放插件的插件标识添加到视频播放指令内， 触发视频播放操作。 可 选地， 。

22、终端设备可以配置有默认配置模式， 即终端设备在执行视频播放操作时， 可以默认加 载一个或多个视频播放插件， 无需用户在每次播放操作时， 均需要重新进行插件选择， 从而 提高了用户的操作效率。 例如， 终端设备的默认配置模式为默认加载帧率优化插件以及人 脸识别插件， 则在检测到用户点击视频播放按钮且没有选择所需加载的视频播放插件时， 将上述两个插件的插件标识添加到视频播放指令内， 并生成视频播放指令。 该默认配置模 式中所需加载的视频播放插件可以由系统默认设置， 也可以由用户手动配置。 优选地， 终端 设备可以统计各个视频播放插件的使用次数， 若检测到某一视频播放插件的使用次数大于 预设的使用阈。

23、值， 则提示用户是否将所述视频播放插件添加到默认配置模式， 若接收到用 户反馈的同意添加指令， 则将使用次数大于使用阈值的视频播放插件添加到默认配置模式 内， 以便在后续的播放操作中， 自动加载该视频播放插件。 0038 具体地， 该终端设备安装有VLC视频播放应用， 该VLC视频播放应用具体为一个具 有核心框架执行视频播放功能应用程序， 该应用程序可以基于用户需求添加多个基于视频 播放的插件， 例如视频优化插件、 视频录制插件以及本实施例中所需要调用的人脸识别插 件。 用户在执行播放操作时， 在该视频播放指令中除了可以指定所需播放的视频文件外， 还 可以携带有所需加载的插件标识。 举例性地，。

24、 该视频播放指令可以为： vlc.exe-video- filter all,facereader test.mp4， 其中， vlc.exe为所需启动的视频播放应用， 而 facereader即为插件标识； test.mp4为所需播放的视频文件的文件标识。 说明书 3/13 页 6 CN 111290800 A 6 0039 在S102中， 启动视频播放应用， 并基于所述插件标识加载所述视频播放插件至所 述视频播放应用。 0040 在本实施例中， 终端设备在接收到视频播放指令后， 可以启动与指令关联的视频 播放应用， 终端设备还会对视频播放指令进行解析， 提取视频播放插件对应的插件标识， 查。

25、 询各个插件标识对应的视频播放插件， 将视频播放插件加载到视频播放应用， 以扩展视频 播放应用的功能。 0041 在本实施例中， 视频播放应用可以关联有一可加载插件列表， 各个视频播放插件 可以将启动声明文件存储在视频播放应用的安装地址内， 在视频播放应用启动时， 会检测 所在安装位置中存储有的所有启动声明文件， 从而生成该视频播放应用的可加载插件列 表。 终端设备会检测视频播放指令中的插件标识是否在可加载插件列表内， 若是， 查询视频 播放插件的安装地址， 并在视频播放应用的进程中创建一新的线程， 通过该线程运行该视 频播放插件的运行文件， 以将视频播放插件加载至视频播放应用； 若检测到插件。

26、标识不在 可加载插件列表内， 则输出插件不存在信息。 0042 可选地， 在本实施例中， 若检测到视频播放指令携带的插件标识不在可加载插件 列表内， 则可以基于插件标识生成插件下载请求， 将插件下载请求发送给视频播放应用对 应的服务器， 以便从服务器下载与插件标识对应的插件运行文件， 并在下载完毕后， 将插件 标识添加到可加载插件列表内， 以将视频播放插件加载至视频播放应用。 0043 在S103中， 若所述插件标识与人脸识别插件的标识匹配， 则通过加载插件后的所 述视频播放应用提取所述视频文件的各个视频图像帧。 0044 在本实施例中， 终端设备对视频播放指令进行解析， 确定所需播放的视频文。

27、件的 文件标识， 并基于文件标识获取视频文件， 将视频文件导入视频播放应用， 通过视频播放应 用输出视频文件。 视频播放应用在输出视频文件时， 会读取视频文件包含的各个视频图像 帧， 并基于各个视频图像帧的帧序号， 以预设的视频播放帧率依次输出各个视频播放帧， 例 如， 该视频播放帧率可以为60dps， 即每秒输出60幅视频图像帧。 0045 在本实施例中， 由于视频播放应用可以加载有多个视频播放插件， 终端设备可以 在视频播放应用的进程内创建多条并行处理线程， 并通过各个不同并行处理线程运行各个 视频播放插件对应的视频处理操作， 而不同的视频播放插件对所需输入的数据类型不同， 例如对于人声优。

28、化插件， 则输入的数据类型为音频信号； 而对于视频画面提亮插件， 则输入 的数据类型为视频图像帧。 因此， 终端设备在播放视频文件过程之前， 需要确定当前加载的 视频播放插件， 并基于各个不同视频播放插件所需输入的数据类型， 从视频文件提取对应 的数据， 并通过对应的并发线程处理该数据。 若终端设备检测到需要加载的视频播放插件 包含人脸识别插件， 即插件标识与人脸识别插件的标识匹配， 则需要获取人脸识别插件的 输入数据， 由于人脸识别插件是对各个视频图像帧进行识别， 即输入的数据类型为视频图 像帧， 因此可以在视频应用播放视频文件时， 根据帧序号依次提取的各个视频图像帧， 并导 入到人脸识别插。

29、件， 进行人脸识别操作。 0046 在S104中， 调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像。 0047 在本实施例中， 视频播放应用在播放过程中， 可以将视频图像帧输出到图像处理 单元GPU进行显示输出流程， 与此同时， 可以将视频图像帧导入到人脸识别插件， 人脸识别 插件会对输入的视频图像帧进行解析， 通过内置的人脸识别算法提取各个视频图像包含的 说明书 4/13 页 7 CN 111290800 A 7 人脸图像。 由于被拍摄的对象可以为多个， 因此一个视频图像帧内包含的人脸图像的数量 可以为多个。 0048 具体地， 人脸识别插件获取人脸图像的方式可以为： 通过内置的多。

30、尺寸的人脸模 板在视频图像帧中进行滑动框取， 并计算框取的区域图像与人脸模板之间的匹配度， 若检 测到两者之间的匹配度大于预设的匹配阈值， 则识别当前框取的区域图像包含人脸， 识别 该区域图像为人脸图像。 0049 可选地， 在本实施例中， 终端设备可以先进行人脸识别， 确定视频图像帧包含的人 脸图像后， 再执行视频播放操作。 在该情况下， 终端设备可以将识别得到的人脸图像在视频 图像帧中进行标记， 例如通过矩形框标记人脸区域， 终端设备输出标记后的视频图像帧， 从 而方便用户快速确定视频文件的人脸图像。 参见图2所示， 图2示出了本发明一实施例提供 的视频文件的播放示意图。 0050 在S1。

31、05中， 根据各个所述人脸图像对应的实体用户， 建立所述视频文件的人脸图 像库。 0051 在本实施例中， 终端设备在获取了各个视频图像帧的人脸图像后， 可以确定各个 人脸图像所属的实体用户， 并基于所属的实体用户对人脸图像进行分类， 建立视频文件的 人脸图像库。 0052 具体地， 在本实施例中， 终端设备可以计算任意两个人脸图像之间的相似度， 例如 将各个人脸图像转换为人脸特征向量， 并计算两个人脸特征向量之间的欧氏距离， 将该欧 氏距离的倒数作为两者的相似度， 将相似度较大的多个人脸区域图像识别为同一实体用 户， 区分属于不同实体用户的人脸图像， 实现了人脸图像的分类， 并为属于同一实体。

32、用户的 人脸区域图像标记一个用户标识。 0053 以上可以看出， 本发明实施例提供的一种人脸图像的识别方法通过接收用户发起 的视频播放指令， 启动视频播放应用， 并加载该视频播放指令指示的视频播放插件， 以对视 频播放应用的功能进行扩展， 若检测到加载的视频播放插件为人脸识别插件， 则可以通过 视频播放应用对视频文件进行解析， 提取各个视频图像帧， 并将各个视频图像帧导入到人 脸识别插件， 以通过人脸识别插件识别各个视频图像帧包含的人脸图像， 并根据所有人脸 图像构建视频文件关联的人脸图像库， 从而实现了对动态的视频文件进行人脸识别。 与现 有的人脸图像的识别技术相比， 本发明无需用户手动截取。

33、视频图像帧， 并交由其他应用进 行人脸图像识别， 而是可以通过在视频播放应用中加载人脸识别插件， 在播放视频文件的 同时， 自动识别每个视频图像帧所包含的人脸图像， 提高了人脸图像的识别效率， 减少了用 户的操作。 另一方面， 由于人脸图像的识别过程与视频文件的播放是同步进行的， 用户无需 在视频文件观看后， 再执行人脸图像识别， 从而减少了人脸识别操作的耗时。 0054 图3示出了本发明第二实施例提供的一种人脸图像的识别方法的具体实现流程 图。 参见图3， 相对于图1所述实施例， 本实施例提供的一种人脸图像的识别方法中在所述启 动视频播放应用， 并基于所述插件标识加载所述视频播放插件至所述视。

34、频播放应用之前， 还包括： S301S303， 具体详述如下： 0055 进一步地， 在所述启动视频播放应用， 并基于所述插件标识加载所述视频播放插 件至所述视频播放应用之前， 还包括： 0056 在S301中， 获取所述人脸识别插件的插件数据包。 说明书 5/13 页 8 CN 111290800 A 8 0057 在本实施例中， 终端设备可以通过移动存储设备或者网络下载的方式， 获取人脸 识别插件的插件数据包。 可选地， 终端设备可以对获取得到的插件数据包的完备性进行检 测， 例如通过提取插件数据包的CRC校验码来确定该插件数据包是否完整。 0058 优选地， 在本实施例中， 终端设备可以。

35、运行上述插件数据包， 并将预设的测试图像 导入运行的进程， 获取输出结果， 若输出结果内标记的人脸图像的位置与预设的标准坐标 匹配， 则识别该插件数据包为完备数据包， 执行S302的操作； 反之， 若无法运行或无法识别 测试图像包含的人脸图像， 则识别该插件数据包为异常数据包， 重新获取人脸识别插件的 插件数据包。 0059 在S302中， 向服务器发送版本校验请求， 并接收所述服务器基于所述版本校验请 求反馈的合法校验结果； 所述版本校验请求包含所述插件数据包的版本标识。 0060 在本实施例中， 终端设备可以提取插件数据包携带的版本标识， 并生成携带所述 版本标识的版本校验请求， 向视频播。

36、放应用对应的服务器发送版本校验请求。 由于需要将 人脸识别插件加载至视频播放应用， 因此需要视频播放应用于人脸识别插件兼容。 若服务 器检测到该人脸识别插件与视频播放应用相互兼容， 则可以返回校验成功的合法校验结果 给终端设备； 反之， 若服务器检测到该视频播放插件与视频播放应用不兼容， 则返回检验是 被的合法校验结果。 0061 可选地， 若合法校验结果为检验失败， 则终端设备可以提取该合法校验结果携带 有的下载链接， 通过所述下载链接重新获取人脸识别插件的插件数据包。 在服务器检测到 当前的人脸识别插件与视频播放应用之间不兼容， 可以提供一个兼容的人脸播放插件的下 载链接， 以使终端设备可。

37、以通过该下载链接获取合法的人脸识别插件。 0062 在S303中， 若所述合法校验结果为校验成功， 则查询所述视频播放应用的安装位 置， 并将所述插件数据包内的调用声明文件添加到所述安装位置关联的文件目录内， 以添 加所述人脸识别插件至所述视频播放应用的可调用插件列表。 0063 在本实施例中， 终端设备若确定该插件数据包为合法数据包， 即合法校验结果为 校验成功， 则提取插件数据包内包含的调用声明文件， 并查询视频播放应用的安装位置， 将 提取得到的调用声明文件添加到该安装位置对应的文件目录内， 由于视频播放应用在启动 过程中， 会检测安装位置对应的文件目录中包含的声明文件， 并基于包含的声。

38、明文件生成 可调用插件列表， 通过上述操作， 则视频播放应用可以在后续播放操作中调用人脸识别插 件。 0064 举例性地， 该视频播放应用为VLC视频播放应用， 该VLC视频播放应用的安装位置 为/plugins， 即将人脸识别插件的调用声明文件添加至该安装位置所对应的目录下， 即将 FaceReader插件的libfacereader_plugin.dll文件放到vlc播放器安装目录的plugins目 录。 0065 在本发明实施例中， 通过对插件数据包进行合法性检测， 可以确保人脸识别插件 与视频播放应用之间相互兼容， 并且在原有视频播放应用中添加人脸识别插件， 可以提高 人脸识别操作的便。

39、捷性。 0066 图4示出了本发明第三实施例提供的一种人脸图像的识别方法S105的具体实现流 程图。 参见图4， 相对于图1所述的实施例， 本实施例提供的一种人脸图像的识别方法中S105 包括： S1051S1054， 具体详述如下： 说明书 6/13 页 9 CN 111290800 A 9 0067 进一步地， 所述根据各个所述人脸图像对应的实体用户， 建立所述视频文件的人 脸图像库， 包括： 0068 在S1051中， 计算任意两个所述视频图像帧内的所述人脸图像之间的相似度。 0069 在本实施例中， 终端设备提取了每个视频图像帧内包含的人脸图像后， 可以从任 意两个视频图像帧中选取的人。

40、脸图像进行相似度计算操作， 例如第一视频图像帧包含有人 脸图像A、 人脸图像B以及人脸图像C， 而第二视频图像帧包含有人脸图像A 、 人脸图像B 以 及人脸图像C ， 终端设备可以从第一视频图像帧中提取人脸图像A， 以及从第二视频图像帧 中提取人脸图像C ， 并计算人脸图像A以及人脸图像C 之间的相似度。 其中， 相似度的计算 可以参见S105的描述， 即将人脸图像转换为人脸特征向量， 并计算位于两个视频图像帧上 的人脸特征向量之间的欧氏距离， 并将欧氏距离的倒数作为上述两个人脸图像之间的相速 度。 0070 优选地， 终端设备在计算相似度时， 会选取相邻的视频图像帧中的人脸图像进行 比对， 。

41、并计算各个人脸图像的中心坐标之间的差值， 将中心坐标之间的差值小于预设的距 离阈值的人脸图像识别为目标图像， 并计算目标图像之间的相似度。 由于两个视频图像帧 相邻， 则人脸移动的距离较小， 可以选取人脸移动距离较小的人脸图像为目标图像， 并计算 目标图像之间的相似度， 从而能够减少大量无效的人脸相似度的计算操作， 提高了人脸库 的构建速度。 0071 在S1052中， 若所述相似度大于预设的关联阈值， 则识别位于两个不同的所述视频 图像帧内的所述人脸图像为关联图像， 建立两个所述人脸图像之间的关联关系。 0072 在本实施例中， 终端设备设置有关联阈值， 若检测到两个人脸图像之间的相似度 小。

42、于预设的关联阈值， 则判定上述两个人脸图像属于不同的实体用户， 则无需建立两者之 间的关联关系； 反之， 若检测到两个人脸图像之间的相似度大于预设的关联阈值， 则判定上 述两个人脸图像属于相同的实体用户， 识别上述两个人脸图像互为关联图像， 并建立上述 两个人脸图像之间的关联关系， 以便根据关联关系确定属于同一实体用户的所有人脸图 像。 0073 在S1053中， 基于所有所述人脸图像的所述关联关系， 划分为多个用户人脸组， 并 为各个所述用户人脸组配置用户标识； 所述用户人脸组内的所有人脸图像互为所述关联图 像。 0074 在本实施例中， 终端设备在确定了所有人脸图像之间的关联关系后， 可以。

43、根据关 联关系对人脸图像进行划分， 将所有互为关联图像划分至一个用户人脸组， 由于两个人脸 图像为关联图像， 则表示两个关联图像属于同一实体用户， 实现了基于实体用户对人脸图 像进行分组， 并为划分所有划分得到的人脸组配置用户标识， 该用户标识可以为用户序号， 其中该用户序号可以根据用户人脸组内最早人脸图像的出现时间的先后次序确定。 0075 可选地， 在本实施例中， 终端设备可以存储有候选用户的标准人脸图像， 终端设备 可以根据各个用户人脸组内的人脸图像与标准人脸图像进行匹配， 并根据匹配结果识别该 候选用户关联的用户人脸组， 并将候选用户的用户标识作为该用户人脸组的用户标识。 0076 在。

44、S1054中， 根据所述用户人脸组以及所述用户标识， 建立所述人脸图像库。 0077 在本实施例中， 终端设备在识别了所有用户人脸组以及为每个用户人脸组配置用 户标识后， 可以构建关于视频文件的人脸图像库。 说明书 7/13 页 10 CN 111290800 A 10 0078 在本发明实施例中， 通过计算人脸图像之间的相似度， 识别得到关联图像， 并基于 关联图像之间的关联关系， 划分为属于相同实体用户的用户人脸组， 实现了人脸图像的分 类， 提高了人脸图像的管理效率。 0079 图5示出了本发明第四实施例提供的一种人脸图像的识别方法S1051的具体实现 流程图。 参见图5， 相对于图4所。

45、述实施例， 本实施例提供的一种人脸图像的识别方法S1051 包括： S501S505， 具体详述如下： 0080 进一步地， 所述计算任意两个所述视频图像帧内的所述人脸图像之间的相似度， 包括： 0081 在S501中， 基于预设的人脸关键特征列表， 标记出所述人脸图像中关于各个人脸 关键特征的特征坐标。 0082 在本实施例中， 终端设备可以根据所需定位的人脸特征， 配置人脸关键特征列表， 例如， 该人脸关键特征列表可以包含： 眼、 耳、 口、 鼻四个人脸特征， 还可以包括眉毛、 额头 等， 具体包含的人脸特征可以根据识别准确度的不同进行对应配置。 终端设备可以根据人 脸关键特征列表， 在人。

46、脸图像中标记出各个人脸关键特征， 并根据各个人脸关键特征在人 脸图像内的坐标， 得到特征坐标。 0083 在S502中， 根据所述人脸关键特征列表内的所有人脸关键特征的特征坐标， 构建 所述人脸图像的特征坐标序列。 0084 在本实施例中， 终端设备可以配置有序列模板， 规定了各个人脸关键特征在序列 模板内关联的位置， 根据人脸图像中各个人脸关键特征的特征坐标， 依次导入到序列模板 中关联的位置， 从而生成了人脸图像对应的特征坐标序列。 0085 在S503中， 计算任意两个所述视频图像帧的所述人脸图像的特征坐标序列之间的 特征距离值。 0086 在本实施例中， 终端设备在确定了人脸图像的特征。

47、坐标序列后， 可以通过欧氏距 离计算公式等坐标距离计算公式， 计算两个特征坐标序列之间的特征距离值。 0087 在S504中， 识别任意两个所述视频图像帧之间的间隔图像帧数。 0088 在本实施例中， 终端设备还可以识别两个视频图像帧的帧序号， 并基于帧序号之 间的差值， 确定两个视频图像帧之间的间隔图像帧数。 例如， 若某一视频图像帧的帧序号为 65， 而另一视频图像帧的帧序号为68， 则间隔图像帧数为68-653。 0089 在S505中， 将所述特征距离值以及所述间隔图像帧数导入预设的相似度计算模 型， 得到两个所述视频图像帧内的所述人脸图像之间的相似度； 所述相似度计算模型具体 为： 。

48、0090 0091 其中， Similarity为所述相似度； ActFrame为所述间隔图像帧数； FigDist为所述 特征距离值； BaseDist为基准距离值； BaseFrame为所述视频文件的拍摄帧率； StandardDist为预设调整系数 0092 在本实施例中， 由于两个视频图像帧之间的间隔图像帧数的数值越大， 则同一实 体用户的人脸移动距离越长， 因此在计算两个人脸图像之间的相似度时， 可以通过间隔图 像帧数进行归一化处理， 从而减少了帧数之间的差异而对相似度计算的影响。 并根据特征 说明书 8/13 页 11 CN 111290800 A 11 距离值与标准距离值之间的差。

49、值， 判断特征距离之间的差异度， 从而计算出两个人脸图像 之间的相似度， 通过人脸特征坐标， 来进行相似度计算。 0093 在本发明实施例中， 通过识别人脸特征坐标， 并构建人脸特征序列， 并通过两个视 频图像帧之间的间隔图像帧数以及人脸特征序列之间的特征距离值， 计算人脸图像的相似 度， 提高了相似度计算的准确性。 0094 图6示出了本发明第五实施例提供的一种人脸图像的识别方法S105的具体实现流 程图。 参见图6， 相对于图1-5任一所述实施例， 本实施例提供的一种人脸图像的识别方法 S105包括： S601S603， 具体详述如下： 0095 进一步地， 所述若当前时间在所述有效时长内。

50、， 则通过所述页面数据显示所述网 络页面， 包括： 0096 在S601中， 确定所述人脸图像的表情类型， 并识别所述表情类型为基准表情。 0097 在本实施例中， 终端设备可以通过表情识别算法， 确定该人脸图像中拍摄时刻对 应的表情类型。 例如， 表情类型可以为： 微笑类型、 大笑类型、 哭泣类型、 伤心类型等， 并识别 该人脸图像的表情类型为基准表情。 0098 在S602中， 根据表情转换算法以及所述基准表情， 输出所述人脸图像的衍生图像； 所述衍生图像的表情类型与所述人脸图像的表情类型不同。 0099 在本实施例中， 终端设备可以根据基准表情调整表情转换算法， 确定如何从基准 表情转换。