人脸情绪识别的方法、装置、介质及电子设备.pdf

《人脸情绪识别的方法、装置、介质及电子设备.pdf》由会员分享，可在线阅读，更多相关《人脸情绪识别的方法、装置、介质及电子设备.pdf（25页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010339686.2 (22)申请日 2020.04.26 (71)申请人 腾讯科技(北京)有限公司 地址 100080 北京市海淀区海淀大街38号 银科大厦16层16011608室 (72)发明人 杨天舒高洵刘军煜 (74)专利代理机构 深圳市隆天联鼎知识产权代 理有限公司 44232 代理人 叶虹 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06T 5/40(2006.01) G06T 7/13(2017.01。

2、) (54)发明名称 一种人脸情绪识别的方法、 装置、 介质及电 子设备 (57)摘要 本申请的实施例提供了一种人脸情绪识别 的方法、 装置、 计算机可读介质及电子设备， 涉及 人工智能的计算机视觉技术领域。 该人脸情绪识 别的方法包括： 检测待识别人脸情绪的图像中所 包含的人脸区域； 根据所述人脸区域， 识别人脸 的表情类型， 并识别与所述表情类型对应的目标 面部器官的动作标签根据所述表情类型， 识别与 所述表情类型对应的目标面部器官的动作标签； 根据所述表情类型和所述目标面部器官的动作 标签， 确定所述图像中的人脸情绪。 本申请实施 例的技术方案通过识别人脸区域中的表情类型， 并确定表情类。

3、型对应的面部器官的动作标签， 以 综合表情类型和动作标签得到全面的人脸情绪 信息， 提高了人脸情绪检测的全面性和准确率。 权利要求书2页 说明书15页 附图7页 CN 111626126 A 2020.09.04 CN 111626126 A 1.一种人脸情绪识别的方法， 其特征在于， 包括： 检测待识别人脸情绪的图像中所包含的人脸区域； 根据所述人脸区域， 识别人脸的表情类型； 根据所述表情类型， 识别与所述表情类型对应的目标面部器官的动作标签； 根据所述表情类型和所述目标面部器官的动作标签， 确定所述图像中的人脸情绪。 2.根据权利要求1所述的方法， 其特征在于， 在检测待识别人脸情绪的图。

4、像中所包含的 人脸区域之前， 所述方法还包括： 获取待处理的视频文件； 解析所述视频文件， 得到视频帧； 基于视频帧的像素信息对所述视频帧进行过滤， 将过滤后得到的视频帧作为所述待识 别人脸情绪的图像。 3.根据权利要求2所述的方法， 其特征在于， 基于视频帧的像素信息对所述视频帧进行 过滤， 包括： 基于所述视频帧的像素信息， 生成所述视频帧对应的直方图； 根据所述直方图和边缘检测算子， 对所述视频帧进行聚类， 得到至少一个类； 过滤各个所述类中重复的视频帧。 4.根据权利要求2所述的方法， 其特征在于， 基于视频帧的像素信息对所述视频帧进行 过滤， 包括： 基于所述视频帧的像素信息， 确定。

5、所述视频帧的清晰度； 过滤清晰度小于清晰度阈值的视频帧。 5.根据权利要求2所述的方法， 其特征在于， 基于视频帧的像素信息对所述视频帧进行 过滤， 包括： 基于所述视频帧的像素信息， 对所述视频帧中的人脸区域进行检测； 过滤不包括人脸区域、 或包括的人脸区域不完整的视频帧。 6.根据权利要求1所述的方法， 其特征在于， 根据所述表情类型， 识别与所述表情类型 对应的目标面部器官的动作标签， 包括： 根据所述表情类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所述目 标面部器官； 识别所述目标面部器官的动作标签。 7.根据权利要求1所述的方法， 其特征在于， 根据所述表情类型， 识别。

6、与所述表情类型 对应的目标面部器官的动作标签， 包括： 识别所述人脸区域中面部器官对应的动作标签； 根据所述表情类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所述目 标面部器官、 以及所述目标面部器官的动作标签。 8.根据权利要求7所述的方法， 其特征在于， 识别所述人脸区域中面部器官对应的动作 标签， 包括： 提取所述人脸区域的特征， 得到人脸特征图； 将所述人脸特征图分别输入各个面部器官对应的分类模型中， 得到所述各个面部器官 对应的动作标签。 权利要求书 1/2 页 2 CN 111626126 A 2 9.根据权利要求1所述的方法， 其特征在于， 所述待识别人脸情绪的图像包。

7、括视频文件 的视频帧， 所述方法还包括： 从所述视频帧中识别指定人脸情绪对应的目标图像； 根据所述目标图像在所述视频文件中的位置， 从所述视频文件中提取包含所述目标图 像的视频片段； 根据所述视频片段， 生成所述目标情绪对应的表情包。 10.根据权利要求1所述的方法， 其特征在于， 所述待识别人脸情绪的图像包括视频文 件的视频帧， 所述方法还包括： 获取所述视频文件中每一视频帧对应的人脸情绪； 根据所述每一视频帧对应的人脸情绪、 以及所述每一视频帧在所述视频文件中的播放 时刻生成人脸情绪目录。 11.根据权利要求1所述的方法， 其特征在于， 所述待识别人脸情绪的图像包括视频文 件的视频帧， 所。

8、述方法还包括： 从所述视频文件中获取指定人脸情绪对应的至少两个视频帧； 合并所述至少两个视频帧， 得到所述指定人脸情绪对应的剪辑视频。 12.根据权利要求11所述的方法， 其特征在于， 从所述视频文件中获取指定人脸情绪对 应的至少两个视频帧， 包括： 从所述视频文件对应的人脸情绪目录中， 查找所述指定人脸情绪在所述视频文件中对 应的目标播放时刻； 基于所述目标播放时刻， 从所述视频文件中提取所述目标播放时刻对应的视频帧。 13.一种人脸情绪识别的装置， 其特征在于， 包括： 检测单元， 用于检测待识别人脸情绪的图像中所包含的人脸区域； 表情识别单元， 用于根据所述人脸区域， 识别人脸的表情类型。

9、； 动作识别单元， 用于根据所述表情类型， 识别与所述表情类型对应的目标面部器官的 动作标签； 确定单元， 用于根据所述表情类型和所述目标面部器官的动作标签， 确定所述图像中 的人脸情绪。 14.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至12中任一项所述的人脸情绪识别的方法。 15.一种电子设备， 其特征在于， 包括： 一个或多个处理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得所述一个或多个处理器实现如权利要求1至12中任一项所述的人脸情绪识 别的方法。 权利要求书 2/。

10、2 页 3 CN 111626126 A 3 一种人脸情绪识别的方法、 装置、 介质及电子设备 技术领域 0001 本申请涉及人工智能的计算机视觉技术领域， 具体而言， 涉及一种人脸情绪识别 的方法、 装置、 计算机可读介质及电子设备。 背景技术 0002 情绪识别是计算机理解人类情感的重要方向， 通过情绪识别可以确定出某一场景 内的人脸情绪。 一般通过对人脸图像中的关键点信息进行识别， 得到人脸图像对应的情绪。 但真实业务场景中的人脸角度丰富多样， 仅仅依靠关键点的坐标， 不能够准确的识别图像 的表情或情绪， 尤其是在人物面部图像不规整的情况下， 因此存在情绪识别准确率较低的 问题。 发明内。

11、容 0003 本申请的实施例提供了一种人脸情绪识别的方法、 装置、 计算机可读介质及电子 设备， 进而至少在一定程度上可以得到全面的人脸情绪信息， 提高人脸情绪识别的全面性 和准确率。 0004 本申请的其他特性和优点将通过下面的详细描述变得显然， 或部分地通过本申请 的实践而习得。 0005 根据本申请实施例的一个方面， 提供了一种人脸情绪识别的方法， 包括： 检测待识 别人脸情绪的图像中所包含的人脸区域； 根据所述人脸区域， 识别人脸的表情类型； 根据所 述表情类型， 识别与所述表情类型对应的目标面部器官的动作标签； 根据所述表情类型和 所述目标面部器官的动作标签， 确定所述图像中的人脸情。

12、绪。 0006 根据本申请实施例的一个方面， 提供了一种人脸情绪识别的装置， 包括： 检测单 元， 用于检测待识别人脸情绪的图像中所包含的人脸区域； 表情识别单元， 用于根据所述人 脸区域， 识别人脸的表情类型； 动作识别单元， 用于根据所述表情类型， 识别与所述表情类 型对应的目标面部器官的动作标签； 确定单元， 用于根据所述表情类型和所述目标面部器 官的动作标签， 确定所述图像中的人脸情绪。 0007 在本申请的一些实施例中， 基于前述方案， 所述人脸情绪识别的装置还包括： 第一 获取单元， 用于获取待处理的视频文件； 解析单元， 用于解析所述视频文件， 得到视频帧； 过 滤单元， 用于基。

13、于视频帧的像素信息对所述视频帧进行过滤， 将过滤后得到的视频帧作为 所述待识别人脸情绪的图像。 0008 在本申请的一些实施例中， 基于前述方案， 所述过滤单元包括： 第一生成单元， 用 于基于所述视频帧的像素信息， 生成所述视频帧对应的直方图； 聚类单元， 用于根据所述直 方图和边缘检测算子， 对所述视频帧进行聚类， 得到至少一个类； 第一过滤单元， 用于过滤 各个所述类中重复的视频帧。 0009 在本申请的一些实施例中， 基于前述方案， 所述第一过滤单元包括： 清晰度单元， 用于基于所述视频帧的像素信息， 确定所述视频帧的清晰度； 第二过滤单元， 用于过滤清晰 说明书 1/15 页 4 C。

14、N 111626126 A 4 度小于清晰度阈值的视频帧。 0010 在本申请的一些实施例中， 基于前述方案， 所述第一过滤单元包括： 区域检测单 元， 用于基于所述视频帧的像素信息， 对所述视频帧中的人脸区域进行检测； 第三过滤单 元， 用于过滤不包括人脸区域、 或包括的人脸区域不完整的视频帧。 0011 在本申请的一些实施例中， 基于前述方案， 所述动作识别单元包括： 目标确定单 元， 用于根据所述表情类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所 述目标面部器官； 目标识别单元， 用于识别所述目标面部器官的动作标签。 0012 在本申请的一些实施例中， 基于前述方案， 所述。

15、动作识别单元包括： 标签识别单 元， 用于识别所述人脸区域中面部器官对应的动作标签； 标签确定单元， 用于根据所述表情 类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所述目标面部器官、 以及 所述目标面部器官的动作标签。 0013 在本申请的一些实施例中， 基于前述方案， 所述标签识别单元包括： 第一提取单 元， 用于提取所述人脸区域的特征， 得到人脸特征图； 动作标签单元， 用于将所述人脸特征 图分别输入各个面部器官对应的分类模型中， 得到所述各个面部器官对应的动作标签。 0014 在本申请的一些实施例中， 基于前述方案， 所述面部器官包括以下至少一个： 嘴、 眼以及眉； 所述嘴。

16、部动作标签包括以下至少一个： 嘴张大、 嘴微张、 抿嘴或者闭嘴； 所述眼部 动作标签包括斜眼、 睁眼或者闭眼； 所述眉部动作标签包括皱眉。 0015 在本申请的一些实施例中， 基于前述方案， 所述待识别人脸情绪的图像包括视频 文件的视频帧， 所述人脸情绪识别的装置还包括： 第一识别单元， 用于从所述视频帧中识别 指定人脸情绪对应的目标图像； 第二提取单元， 用于根据所述目标图像在所述视频文件中 的位置， 从所述视频文件中提取包含所述目标图像的视频片段； 第二生成单元， 用于根据所 述视频片段， 生成所述目标情绪对应的表情包。 0016 在本申请的一些实施例中， 基于前述方案， 所述待识别人脸情。

17、绪的图像包括视频 文件的视频帧， 所述人脸情绪识别的装置还包括： 第二获取单元， 用于获取所述视频文件中 每一视频帧对应的人脸情绪； 第三生成单元， 用于根据所述每一视频帧对应的人脸情绪、 以 及所述每一视频帧在所述视频文件中的播放时刻生成人脸情绪目录。 0017 在本申请的一些实施例中， 基于前述方案， 所述待识别人脸情绪的图像包括视频 文件的视频帧， 所述人脸情绪识别的装置还包括： 第三获取单元， 用于从所述视频文件中获 取指定人脸情绪对应的至少两个视频帧； 合并单元， 用于合并所述至少两个视频帧， 得到所 述指定人脸情绪对应的剪辑视频。 0018 在本申请的一些实施例中， 基于前述方案，。

18、 所述第三获取单元包括： 查找单元， 用 于从所述视频文件对应的人脸情绪目录中， 查找所述指定人脸情绪在所述视频文件中对应 的目标播放时刻； 第三提取单元， 用于基于所述目标播放时刻， 从所述视频文件中提取所述 目标播放时刻对应的视频帧。 0019 根据本申请实施例的一个方面， 提供了一种计算机可读介质， 其上存储有计算机 程序， 所述计算机程序被处理器执行时实现如上述实施例中所述的人脸情绪识别的方法。 0020 根据本申请实施例的一个方面， 提供了一种电子设备， 包括： 一个或多个处理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执 行时， 使得所述一。

19、个或多个处理器实现如上述实施例中所述的人脸情绪识别的方法。 说明书 2/15 页 5 CN 111626126 A 5 0021 在本申请的一些实施例所提供的技术方案中， 通过检测待识别人脸情绪的图像中 所包含的人脸区域， 识别人脸区域中的表情类型； 并识别人脸区域中与表情类型对应的目 标面部器官的动作标签， 以综合表情类型和动作标签得到全面的人脸情绪信息， 提高了人 脸情绪检测的全面性和准确率。 0022 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本申请。 附图说明 0023 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本申请的实施 例。

20、， 并与说明书一起用于解释本申请的原理。 显而易见地， 下面描述中的附图仅仅是本申请 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 这些附图获得其他的附图。 在附图中： 0024 图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图； 0025 图2示意性示出了根据本申请的一个实施例的示例性系统架构的示意图； 0026 图3示意性示出了根据本申请的一个实施例的人脸情绪识别的方法的流程图； 0027 图4示意性示出了根据本申请的一个实施例的对视频帧进行处理的流程图； 0028 图5示意性示出了根据本申请的一个实施例的外界环境的视频文件获取示意。

21、图； 0029 图6示意性示出了根据本申请的一个实施例的基于待识别人脸情绪的图像检测其 中包含的人脸区域的示意图； 0030 图7示意性示出了根据本申请的一个实施例的基于待识别人脸情绪的图像检测其 中包含的人脸区域的示意图； 0031 图8示意性示出了根据本申请的一个实施例的分任务识别各个面部器官对应的动 作标签的示意图； 0032 图9示意性示出了根据本申请的一个实施例的分任务识别各个面部器官对应的动 作标签的示意图； 0033 图10示意性示出了根据本申请的一个实施例的识别视频中的人脸情绪的示意图； 0034 图11示意性示出了根据本申请的一个实施例的确定人脸情绪的示意图； 0035 图1。

22、2示意性示出了根据本申请的一个实施例的人脸情绪识别的装置的框图； 0036 图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。 具体实施方式 0037 现在将参考附图更全面地描述示例实施方式。 然而， 示例实施方式能够以多种形 式实施， 且不应被理解为限于在此阐述的范例； 相反， 提供这些实施方式使得本申请将更加 全面和完整， 并将示例实施方式的构思全面地传达给本领域的技术人员。 0038 此外， 所描述的特征、 结构或特性可以以任何合适的方式结合在一个或更多实施 例中。 在下面的描述中， 提供许多具体细节从而给出对本申请的实施例的充分理解。 然而， 本领域技术人员将意识。

23、到， 可以实践本申请的技术方案而没有特定细节中的一个或更多， 或者可以采用其它的方法、 组元、 装置、 步骤等。 在其它情况下， 不详细示出或描述公知方 法、 装置、 实现或者操作以避免模糊本申请的各方面。 说明书 3/15 页 6 CN 111626126 A 6 0039 附图中所示的方框图仅仅是功能实体， 不一定必须与物理上独立的实体相对应。 即， 可以采用软件形式来实现这些功能实体， 或在一个或多个硬件模块或集成电路中实现 这些功能实体， 或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。 0040 附图中所示的流程图仅是示例性说明， 不是必须包括所有的内容和操作/步骤。

24、， 也 不是必须按所描述的顺序执行。 例如， 有的操作/步骤还可以分解， 而有的操作/步骤可以合 并或部分合并， 因此实际执行的顺序有可能根据实际情况改变。 0041 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控 制的机器模拟、 延伸和扩展人的智能， 感知环境、 获取知识并使用知识获得最佳结果的理 论、 方法、 技术及应用系统。 换句话说， 人工智能是计算机科学的一个综合技术， 它企图了解 智能的实质， 并生产出一种新的能以人类智能相似的方式做出反应的智能机器。 人工智能 也就是研究各种智能机器的设计原理与实现方法， 使机器具有感知、 推理与。

25、决策的功能。 0042 人工智能技术是一门综合学科， 涉及领域广泛， 既有硬件层面的技术也有软件层 面的技术。 人工智能基础技术一般包括如传感器、 专用人工智能芯片、 云计算、 分布式存储、 大数据处理技术、 操作/交互系统、 机电一体化等技术。 人工智能软件技术主要包括计算机 视觉技术、 语音处理技术、 自然语言处理技术以及机器学习/深度学习等几大方向。 0043 计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器 “看” 的科学， 更进一步的说， 就是指用摄影机和电脑代替人眼对目标进行识别、 跟踪和测量等机 器视觉， 并进一步做图形处理， 使电脑处理成为更。

26、适合人眼观察或传送给仪器检测的图像。 作为一个科学学科， 计算机视觉研究相关的理论和技术， 试图建立能够从图像或者多维数 据中获取信息的人工智能系统。 计算机视觉技术通常包括图像处理、 图像识别、 图像语义理 解、 图像检索、 OCR、 视频处理、 视频语义理解、 视频内容/行为识别、 三维物体重建、 3D技术、 虚拟现实、 增强现实、 同步定位与地图构建等技术， 还包括常见的人脸识别、 指纹识别等生 物特征识别技术。 0044 机器学习(Machine Learning,ML)是一门多领域交叉学科， 涉及概率论、 统计学、 逼近论、 凸分析、 算法复杂度理论等多门学科。 专门研究计算机怎样模。

27、拟或实现人类的学习 行为， 以获取新的知识或技能， 重新组织已有的知识结构使之不断改善自身的性能。 机器学 习是人工智能的核心， 是使计算机具有智能的根本途径， 其应用遍及人工智能的各个领域。 机器学习和深度学习通常包括人工神经网络、 置信网络、 强化学习、 迁移学习、 归纳式教学 等技术。 0045 随着人工智能技术研究和进步， 人工智能技术在多个领域展开研究和应用， 例如 常见的人脸支付、 刷脸验证、 智能家居、 智能穿戴设备、 虚拟助理、 智能音箱、 智能营销、 无人 驾驶、 自动驾驶、 无人机、 机器人、 智能医疗、 智能客服等， 相信随着技术的发展， 人工智能技 术将在更多的领域得到。

28、应用， 并发挥越来越重要的价值。 0046 本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术， 具 体通过如下实施例进行说明： 0047 图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。 0048 如图1所示， 系统架构可以包括终端设备(如图1中所示智能手机101、 平板电脑102 和便携式计算机103中的一种或多种， 当然也可以是台式计算机等等)、 网络104和服务器 105。 网络104用以在终端设备和服务器105之间提供通信链路的介质。 网络104可以包括各 说明书 4/15 页 7 CN 111626126 A 7 种连接类型， 例如有线通信链路、 。

29、无线通信链路等等。 0049 应该理解， 图1中的终端设备、 网络和服务器的数目仅仅是示意性的。 根据实现需 要， 可以具有任意数目的终端设备、 网络和服务器。 比如服务器105可以是多个服务器组成 的服务器集群等。 0050 用户可以使用终端设备通过网络104与服务器105交互， 以接收或发送消息等。 服 务器105可以是提供各种服务的服务器。 例如用户利用终端设备103(也可以是终端设备101 或102)向服务器105上传了待识别人脸情绪的图像， 服务器105检测待识别人脸情绪的图像 中所包含的人脸区域； 根据人脸区域， 识别人脸的表情类型， 并识别人脸区域中的面部器官 所对应的动作标签；。

30、 根据表情类型和目标面部器官的动作标签， 确定图像中的人脸情绪。 通 过识别人脸区域对应的表情类型和面部器官对应的动作标签， 并综合表情类型和动作标签 得到全面的人脸情绪信息， 提高了人脸情绪检测的全面性和准确率。 0051 需要说明的是， 本申请实施例所提供的人脸情绪识别的方法一般由服务器105执 行， 相应地， 人脸情绪识别的装置一般设置于服务器105中。 但是， 在本申请的其它实施例 中， 终端设备也可以与服务器具有相似的功能， 从而执行本申请实施例所提供的人脸情绪 识别的方案。 0052 图2示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。 0053 如图2所示， 系统架。

31、构中的终端设备210面对人进行相片或者视频采集， 得到人脸 图像220， 通过检测待识别人脸情绪的图像中所包含的人脸区域； 根据人脸区域， 识别人脸 的表情类型， 并识别人脸区域中的面部器官所对应的动作标签； 根据表情类型和目标面部 器官的动作标签， 确定图像中的人脸情绪。 通过识别人脸区域对应的表情类型和面部器官 对应的动作标签， 并综合表情类型和动作标签得到全面的人脸情绪信息。 0054 本实施例可以通过终端设备210直接获取待识别人脸情绪的图像， 以直接针对该 图像进行人脸情绪的识别。 进一步的， 本实施例中的方法可以在获取到的人脸图像效果不 佳时， 重新进行拍摄， 提高了人脸情绪识别的。

32、可操作性性和可控性。 0055 以下对本申请实施例的技术方案的实现细节进行详细阐述： 0056 请参考图3和图4所示， 图3示出了根据本申请的一个实施例的人脸情绪识别的方 法的流程图， 该人脸情绪识别的方法可以由服务器来执行， 该服务器可以是图1中所示的服 务器， 也可以是图2中的终端设备； 图4示出了本申请实施例中对视频帧进行处理的流程图。 0057 在图3中步骤S310检测待识别人脸情绪的图像中所包含的人脸区域的过程之前， 还包括步骤S410步骤S430， 详细说明如下： 0058 在步骤S410中， 获取待处理的视频文件。 0059 在本申请的一个实施例中， 获取视频文件的方式可以通过摄。

33、像装置拍摄得到， 也 可以通过从其他数据存储装置获取得到， 除此之外， 还可以是网络中的视频数据， 此处不做 限定。 0060 图5为本申请实施例提供的一种外界环境的视频文件获取示意图。 0061 如图5所示， 本实施例中可以通过终端设备510实时拍摄一个对象的视频文件， 以 识别该对象的情绪； 也可以拍摄外界环境下的多个对象的视频文件， 以得到包含多个人脸 的图像520， 通过识别多个人脸的图像520中的人脸情绪， 以确定环境中大部分群众的情绪， 并基于这些群众的情绪进行相应的处理。 说明书 5/15 页 8 CN 111626126 A 8 0062 示例性的， 本实施例中可以通过视频文件。

34、获取到待识别人脸情绪的图像， 以识别 到视频文件的人脸情绪， 进行后续的剪辑等使用。 0063 在步骤S420中， 解析视频文件， 得到视频帧。 0064 在本申请的一个实施例中， 获取到待处理的视频文件之后， 对视频文件进行解析， 得到视频帧， 以基于单个的视频帧中的人脸画面， 进行人脸情绪识别。 0065 可选的， 在解析视频文件的过程中， 先设定一个视频帧率， 基于该视频帧率和视频 文件的时长， 确定抽取视频帧时的周期， 根据抽取视频帧的周期确定每一视频帧在视频文 件中对应的位置， 基于每一视频帧在视频文件中对应的位置， 从视频文件中提取出视频帧。 0066 具体的， 本实施例中视频帧在。

35、视频文件中对应的位置可以包括视频帧在视频文件 中对应的播放时刻。 0067 可选的， 本实施例中可以通过视频处理软件直接对视频文件进行处理， 得到视频 帧。 0068 进一步的， 由于本实施例中对视频文件进行处理得到视频帧， 以基于视频帧来识 别人脸表情。 因此， 在本实施例中， 可以先识别该视频文件中存在人脸的时间段， 再处理这 些时间段对应的视频内容， 以得到其中包含人脸区域的视频帧。 0069 在步骤S430中， 基于视频帧的像素信息对视频帧进行过滤， 将过滤后得到的视频 帧作为待识别人脸情绪的图像。 0070 在本申请的一个实施例中， 在得到视频帧之后， 基于视频帧的像素信息对视频帧 。

36、进行过滤， 以滤除视频帧中较模糊或者重复等效果较差的视频帧， 得到精简、 效果较好的视 频帧， 并将过滤后得到的视频帧作为待识别人脸情绪的图像。 0071 在本申请的一个实施例中， 步骤S230中基于视频帧的像素信息对视频帧进行过滤 的过程包括如下步骤： 0072 基于视频帧的像素信息， 生成视频帧对应的直方图； 0073 根据直方图和边缘检测算子， 对视频帧进行聚类， 得到至少一个类； 0074 过滤各个类中重复的视频帧。 0075 在本申请的一个实施例中， 提取视频帧中的像素信息， 生成直方图， 以确定每个视 频帧对应的图像信息； 再根据直方图和边缘检测算子确定归属于相同类型的视频帧， 得。

37、到 至少一个类。 由于每个类中可能存在至少一个图像帧， 且每一类中的图像帧属于相似的图 像， 对一个类中所有的图像帧进行处理则会耗费较长的处理时间和成本， 因此本实施例中 对每一类中重复的视频帧进行过滤， 使得每一类中只包括一个视频帧。 0076 本实施例中通过统计像素信息中的灰度信息， 将视频帧中的所有像素， 按照灰度 值的大小， 统计其出现的频率， 生成灰度直方图， 以基于灰度直方图和边缘检测算子确定属 于同一类的视频帧。 0077 通过上述过滤视频帧的方式， 可以减少重复的视频帧， 并用同一类中的一个视频 帧来代表同一类中的其它视频帧， 以针对该类中的一个视频帧进行情绪识别， 并将识别得。

38、 到的该视频帧对应的人脸情绪作为同一类中所有视频帧的人脸情绪。 通过这种方式精简待 识别图像的数量， 减少人脸识别的工作量和处理时间， 提高视频处理的工作效率。 0078 在本申请的一个实施例中， 步骤S230中基于视频帧的像素信息对视频帧进行过滤 的过程包括如下步骤： 说明书 6/15 页 9 CN 111626126 A 9 0079 基于视频帧的像素信息， 确定视频帧的清晰度； 0080 过滤清晰度小于清晰度阈值的视频帧。 0081 在本申请的一个实施例中， 通过视频帧的像素信息来确定视频帧的清晰度。 例如， 根据每个视频帧中的像素分布， 确定其对应的分辨率， 将该分辨率作为视频帧的清晰。

39、度。 根 据设定的清晰度阈值， 将清晰度小于清晰度阈值的视频帧进行滤除， 得到精简的视频帧。 0082 本实施例中通过上述过滤视频帧的方式， 可以过滤掉清晰度较低的视频帧， 以保 证人脸情绪识别的精确性， 提高人脸情绪识别的效果。 0083 在本申请的一个实施例中， 步骤S230中基于视频帧的像素信息对视频帧进行过滤 的过程包括如下步骤： 0084 基于视频帧的像素信息， 对视频帧中的人脸区域进行检测； 0085 过滤不包括人脸区域、 或包括的人脸区域不完整的视频帧。 0086 在本申请的一个实施例中， 从视频文件中提取得到的视频帧可能是连续的多个视 频帧， 这些视频帧中可能包含人脸区域， 也。

40、可能不包含人脸区域。 本实施例中通过基于视频 帧的像素信息， 识别视频帧中的人脸区域。 若视频帧中包含人脸区域， 则进行保留该视频 帧， 若不包含该人脸区域， 则滤除该视频帧。 0087 进一步的， 由于可能检测到视频帧中存在部分人脸区域， 则在本实施例中可以基 于检测到的人脸区域确定人脸区域的完整比例。 当完整比例超过设定的比例阈值时， 则保 留该视频帧， 当完整比例小于该比例阈值时， 则滤除该视频帧。 0088 本实施例中通过检测人脸区域的方式滤除视频帧， 以保证被识别的人脸区域的完 整性， 进而提高人脸识别的准确度。 0089 参照图3所示， 该人脸情绪识别的方法至少包括步骤S310至步。

41、骤S340， 详细介绍如 下： 0090 在步骤S310中， 检测待识别人脸情绪的图像中所包含的人脸区域。 0091 在本申请的一个实施例中， 对待识别人脸情绪的图像进行检测， 确定其中包含的 人脸区域， 以针对该人脸区域， 确定人脸区域对应的表情类型。 0092 可选的， 本实施例中可以通过人脸区域模型来实现对人脸区域的检测， 在应用过 程中， 可以直接将视频通过人脸区域模型， 在识别得到视频帧中存在人脸区域时， 截取得到 人脸区域， 作为接下来模型的输入。 可选的， 本实施例中的人脸区域模型为人脸区域检测样 本及其对应的标注信息训练得到。 0093 图6为本申请实施例提供的一种基于待识别人。

42、脸情绪的图像检测其中包含的人脸 区域的示意图。 0094 如图6所示， 本实施例中可以通过图像识别的方式， 检测得到图像610中的人脸区 域620， 并截取该人脸区域620， 作为接下来情绪识别的输入。 0095 需要说明的是， 本实施例中人脸区域的识别方法可以通过基于人脸特征点的识别 方法、 基于整幅人脸图像的识别方法、 基于模板的识别方法或者利用神经网络进行识别的 方法进行识别， 此处不做具体说明。 0096 在步骤S320中， 根据人脸区域， 识别人脸的表情类型。 0097 在本申请的一个实施例中， 在识别人脸区域的表情类型时， 可以通过训练得到的 分类模型来识别， 例如基于残差网络训练。

43、得到的分类模型， 此处不做限定。 通过模型识别得 说明书 7/15 页 10 CN 111626126 A 10 到的表情类型可以包括开心， 难过， 震惊， 平静或者其他表情类型， 此处不做限定。 0098 在步骤S330中， 根据所述表情类型， 识别与所述表情类型对应的目标面部器官的 动作标签。 0099 在实际应用中， 根据人脸情绪的判别基准， 在人脸的表情加上一定的五官动作时， 可能会有更加深层的情绪。 例如， 一般人在开心的情况下， 若出现嘴张大的情况， 则可能是 由于激动造成的。 出于这种考虑， 本实施例中， 根据人脸表情和五官之间的联系， 确定表情 类型和所述面部器官之间的对应关系。

44、。 本实施例中， 表情类型和面部器官之间的对应关系 用于表示不同类型的表情和面部器官之间的联系， 用于基于某一表情极其对应的面部器官 情况， 分析得到对应的深层情绪。 0100 示例性的， 本实施例中的表情类型和面部器官之间的对应关系可以包括： 开心的 表情类型对应的面部器官可以为嘴部或者眼部； 难过的表情类型对应的面部器官可以为嘴 部； 震惊的表情类型对应的面部器官可以为嘴部和眼部； 平静的表情类型对应的面部器官 可以为嘴部或眉部， 此处仅为示例， 不做具体限定。 0101 在本申请的一个实施例中， 步骤S330中根据所述表情类型， 识别与所述表情类型 对应的目标面部器官的动作标签的过程， 。

45、可以分为与步骤S320串行或并行两种方式执行， 其中串行的步骤如下： 0102 根据所述表情类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所 述目标面部器官； 0103 识别所述目标面部器官的动作标签。 0104 具体的， 本实施例中在确定了表情类型之后， 先基于表情类型和面部器官之间的 对应关系， 确定表情类型对应的目标面部器官； 之后直接针对该目标面部器官进行识别， 得 到目标面部器官对应的动作标签。 上述与步骤S320串行的执行过程可以减少需要识别的面 部器官的数目， 进而减少计算量， 降低对计算机的算力需求。 0105 除了上述与步骤S320串行的执行方式之外， 在与步骤S。

46、320并行的执行过程中， 包 括如下步骤： 0106 识别所述人脸区域中面部器官对应的动作标签； 0107 根据所述表情类型和所述面部器官之间的对应关系， 确定所述表情类型对应的所 述目标面部器官、 以及所述目标面部器官的动作标签。 0108 在本申请的一个实施例中， 与上述串行的方式相反的， 在并行的执行过程中， 本实 施例中先识别人脸区域中的面部器官对应的动作标签， 在得到所有动作标签之后， 根据表 情类型和面部器官之间的对应关系， 确定表情类型对应的目标面部器官， 再确定目标面部 器官的动作标签。 0109 在本申请的一个实施例中， 上述并行过程中， 识别所述人脸区域中面部器官对应 的动。

47、作标签的过程中， 包括步骤S3301和步骤S3302， 详细说明如下： 0110 在步骤S3301中， 提取人脸区域的特征， 得到人脸特征图。 0111 在本申请的一个实施例中， 识别并提取人脸区域中的特征， 得到人脸特征图。 其 中， 人脸特征图中包括了人脸中的器官的特征信息， 例如眉毛、 眼睛、 鼻子、 嘴巴等区域的特 征信息， 此处对人脸特征不做限定。 0112 可选的， 本实施例中可以通过多任务模型来提取人脸区域的特征。 考虑到后台的 说明书 8/15 页 11 CN 111626126 A 11 处理效率， 五官识别模型采用多任务模型， 即多个任务共享一个主干网络， 以将人脸区域通 。

48、过多任务模型， 得到包含人脸器官特征的人脸特征图。 0113 图7为本申请实施例提供的一种基于同享网络的提取人脸特征图的示意图。 0114 如图7所示， 人脸图像710可以为处理过的只有人脸区域的图片； conv_1， conv_2， conv_3， conv_4， conv_5分别表示带有残差的网络模块； fc_1表示一个有多维的全连接层， 例如1024维。 0115 示例性的， 本实施例中conv_1， conv_2， conv_3， conv_4， conv_5， fc_1几个网络层 为共享网络层， 各个任务共享上述网络层的参数， 以通过该共享网络对人脸图像进行处理； 并将处理结果分别输。

49、入对应的嘴部识别任务720、 眼部识别任务730以及眉部识别任务740 中， 得到对应的特征识别结果。 0116 在步骤S3302中， 将人脸特征图分别输入各个面部器官对应的分类模型中， 得到各 个面部器官对应的动作标签。 0117 在本申请的一个实施例中， 通过共享网络对人脸区域进行处理， 提取到人脸特征 图之后， 将人脸特征图分别输入各个面部器官对应的分类模型中， 以分别确定各个面部器 官对应的动作标签。 本实施例通过先基于共享网络处理再进行分布处理的方式， 可以降低 数字图像处理的算力需求， 提高图像的识别效率。 0118 图8为本申请实施例提供的一种分任务识别各个面部器官对应的动作标签。

50、的示意 图。 0119 如图8所示， 将人脸特征图分别输入各个面部器官对应的分类模型中， 得到各人脸 器官对应的动作标签。 这里以嘴型为例， 经过共享网络中的fc_1层810后， 再经过dropout层 820， dropout层主要目的是防止过拟合， 再经过fc_2层820后得到嘴型任务对应的动作标 签。 嘴型、 眼型、 眉型中每个任务均有各自的fc_2层， 即fc_2层不共享， 经过fc_2层后， 各自 任务做分类识别， 得到各人脸器官对应的动作标签。 0120 在本申请的一个实施例中， 面部器官包括以下至少一个： 嘴、 眼以及眉， 除此之外 还可以是其它的面部区域， 例如额头、 颧骨区域。