识别猕猴面部表情的方法.pdf

《识别猕猴面部表情的方法.pdf》由会员分享，可在线阅读，更多相关《识别猕猴面部表情的方法.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010361101.7 (22)申请日 2020.04.30 (71)申请人 北京航空航天大学 地址 100191 北京市海淀区学院路37号 (72)发明人 张慧周嘉琪潘梅卿 (74)专利代理机构 北京航智知识产权代理事务 所(普通合伙) 11668 代理人 陈磊张桢 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种识别猕猴面。

2、部表情的方法 (57)摘要 本发明公开一种识别猕猴面部表情的方法， 包括如下步骤： 构建猕猴面部图像样本集， 所述 猕猴面部图像样本集包括多种不同的猕猴表情； 将所述猕猴面部图像样本集划分为训练集、 验证 集和测试集三个部分； 计算训练集中所有猕猴面 部图像的通道均值； 构建、 训练、 验证和测试猕猴 面部表情分类模型； 基于完成训练的猕猴面部表 情分类模型提取猕猴正面图像的表情属性。 本发 明通过对静态猕猴面部图像样本集建立猕猴面 部表情分类模型， 达到识别猕猴图像表情的目 的， 同时提高了识别猕猴表情的速度与效率。 权利要求书1页 说明书3页 附图2页 CN 111709278 A 202。

3、0.09.25 CN 111709278 A 1.一种识别猕猴面部表情的方法， 其特征在于， 包括如下步骤： S1： 构建猕猴面部图像样本集， 所述猕猴面部图像样本集包括多种不同的猕猴表情； S2： 将所述猕猴面部图像样本集划分为训练集、 验证集和测试集三个部分， 保证三个部 分的图像互不包含， 且不同部分不含有相同猕猴个体的图像； S3： 计算训练集中所有猕猴面部图像的通道均值； S4： 首先将训练集、 验证集和测试集按照猕猴表情分类， 然后基于VGGFace模型构建猕 猴面部表情分类模型， 之后将所构建的猕猴面部表情分类模型在训练集上进行微调， 并在 验证集上进行验证， 完成训练后， 选择。

4、在验证集上获得猕猴面部表情验证正确率最高的猕 猴面部表情分类模型， 在测试集上进行测试， 得到猕猴面部表情分类正确率； S5： 对于给定的猕猴面部图像， 先对其减去步骤S3中计算的通道均值， 再将其输入完成 训练的猕猴面部表情分类模型， 得到猕猴面部图像的表情属性。 2.根据权利要求1所述的方法， 其特征在于， 步骤S1中， 所述猕猴面部图像样本集包括 四种不同的猕猴面部表情： 中性、 臣服、 恐惧和恐吓。 3.根据权利要求1或2所述的方法， 其特征在于， 步骤S1还包括使用图像处理软件对每 一幅猕猴面部图像进行编辑和处理， 以保证这些猕猴面部图像之间的低层次视觉信息一 致。 4.根据权利要求。

5、3所述的方法， 其特征在于， 所述低层次视觉信息包括图像背景、 猕猴 毛发、 猕猴肤色以及图像明暗。 5.根据权利要求1所述的方法， 其特征在于， 步骤S4包括如下子步骤： S41:基于VGGFace模型构建猕猴面部表情分类模型， 所述猕猴面部表情分类模型复制 了VGGFace模型上除了分类块外的所有模型设计及其参数， 并具有一个表情分类块， 所述表 情分类块包含一个flatten层和三个全连接层， 其中最后一个全连接层的输出大小与猕猴 面部表情的种类数对应， 初始化所述表情分类块的参数； S42:冻结VGGFace模型对应的层及其参数， 而只开放所述表情分类块之前的第一个卷 积块， 在训练集。

6、上训练所述表情分类块以及其之前的第一个卷积块， 当模型训练收敛时， 如 果正确率不是很高， 则依次开放所述表情分类块之前的第二个卷积块和第三个卷积块， 进 行猕猴面部表情分类模型的训练。 权利要求书 1/1 页 2 CN 111709278 A 2 一种识别猕猴面部表情的方法 技术领域 0001 本发明属于图像处理及分析技术领域， 特别涉及一种识别猕猴面部表情的方法。 背景技术 0002 从灵长类行为学角度和认知科学角度来说， 猕猴有4种基本的面部表情： 中性、 臣 服、 恐惧和恐吓。 这与同为灵长类的人类的面部表情有非常大的区别， 例如人类有7种基本 面部表情： 厌恶、 愤怒、 恐惧、 高兴。

7、、 悲伤以及惊奇。 对于非研究猕猴行为学特征的专业人士， 识别猕猴的面部表情是困难的。 而传统靠肉眼辨别猕猴面部表情的方法对于专业人士来说 也耗时且低效。 因此， 准确、 高效地识别猕猴面部表情在了解灵长类动物的活动和社会学特 征以及开展灵长类的行为学研究中越来越重要。 尽管目前已经有很多用于识别人类面部表 情的方法和系统， 但是目前还没有一套专门用于识别猕猴个体表情的人工智能识别系统。 0003 近年来， 基于深度学习的机器学习模型发展迅速， 深度学习机器学习模型通过在 海量数据上对图像特征进行迭代训练， 提取到图像中用于区分不同类型物体的属性特征， 可以达到非常好的分类和识别效果。 深度神。

8、经网络在物体分类、 人脸识别上已经表现出了 非常优越的性能。 而到目前为止， 还没有基于深度神经网络来对猕猴表情进行识别的方法 可以应用。 发明内容 0004 为此， 本发明提供了一种识别猕猴面部表情的方法， 通过对静态猕猴面部图像样 本集建立人脸表情分类模型， 达到识别猕猴图像表情的目的， 同时提高了识别猕猴表情的 速度与效率。 0005 本发明提供了一种识别猕猴面部表情的方法， 包括如下步骤： 0006 S1： 构建猕猴面部图像样本集， 所述猕猴面部图像样本集包括多种不同的猕猴表 情； 0007 S2： 将所述猕猴面部图像样本集划分为训练集、 验证集和测试集三个部分， 保证三 个部分的图像。

9、互不包含， 且不同部分不含有相同猕猴个体的图像； 0008 S3： 计算训练集中所有猕猴面部图像的通道均值； 0009 S4： 首先将训练集、 验证集和测试集按照猕猴表情分类， 然后基于VGGFace模型构 建猕猴面部表情分类模型， 之后将所构建的猕猴面部表情分类模型在训练集上进行微调， 并在验证集上进行验证， 完成训练后， 选择在验证集上获得猕猴面部表情验证正确率最高 的猕猴面部表情分类模型， 在测试集上进行测试， 得到猕猴面部表情分类正确率； 0010 S5： 对于给定的猕猴面部图像， 先对其减去步骤S3中计算的通道均值， 再将其输入 完成训练的猕猴面部表情分类模型， 得到猕猴面部图像的表。

10、情属性。 0011 进一步， 步骤S1中， 所述猕猴面部图像样本集包括四种不同的猕猴面部表情： 中 性、 臣服、 恐惧和恐吓。 0012 进一步， 步骤S1还包括使用图像处理软件对每一幅猕猴面部图像进行编辑和处 说明书 1/3 页 3 CN 111709278 A 3 理， 以保证这些猕猴面部图像之间的低层次视觉信息一致。 0013 进一步， 所述低层次视觉信息包括图像背景、 猕猴毛发、 猕猴肤色以及图像明暗。 0014 进一步， 步骤S4包括如下子步骤： 0015 S41:基于VGGFace模型构建猕猴面部表情分类模型， 所述猕猴面部表情分类模型 复制了VGGFace模型上除了分类块外的所有。

11、模型设计及其参数， 并具有一个表情分类块， 所 述表情分类块包含一个flatten层和三个全连接层， 其中最后一个全连接层的输出大小与 猕猴面部表情的种类数对应， 初始化所述表情分类块的参数； 0016 S42:冻结VGGFace模型对应的层及其参数， 而只开放所述表情分类块之前的第一 个卷积块， 在训练集上训练所述表情分类块以及其之前的第一个卷积块， 当模型训练收敛 时， 如果正确率不是很高， 则依次开放所述表情分类块之前的第二个卷积块和第三个卷积 块， 进行猕猴面部表情分类模型的训练。 0017 本发明的有益效果： 0018 在目前没有基于深度学习对猕猴面部表情进行识别的技术的情况下， 本。

12、发明可以 较准确的识别猕猴面部表情， 提高猕猴面部表情识别的效率； 同时， 本发明对于猕猴的行为 学和社会学研究也大有益处， 研究人员可以通过本发明自动识别猕猴的表情， 从而判断猕 猴当时所处的情绪状态； 此外， 研究人员通过本发明对猕猴群体表情的分析， 还可以进一步 研究猕猴群体之间的交流。 附图说明 0019 图1为本发明的识别猕猴面部表情的方法流程图； 0020 图2为本发明的猕猴面部表情分类器的训练示意图。 具体实施方式 0021 下面结合附图和实施例进一步描述本发明， 应该理解， 以下所述实施例旨在便于 对本发明的理解， 而对其不起任何限定作用。 0022 如图1所示， 本发明的识别。

13、猕猴面部表情的方法包括如下步骤： 0023 S1： 构建猕猴面部图像样本集 0024 首先采集猕猴的正面面部图像， 构成所需的猕猴面部图像样本集。 本实施例共选 择了81个不同的猕猴个体， 每个猕猴个体约有100张图像， 整个样本集中包含了猕猴的四种 表情： 中性、 臣服、 恐惧和恐吓。 应该注意， 并不是每个猕猴个体都包含了上述4种表情， 但样 本集中四种猕猴表情的图像数量基本均衡， 共计8100张左右。 特别地， 为了尽量保证这些图 像之间的低层次视觉信息(如背景色、 毛发、 肤色、 明暗等)的一致， 本实施例使用adobe premiere pro图像处理软件对每一幅猕猴面部图像进行了编。

14、辑和处理。 0025 S2:将猕猴面部图像样本集划分为三个部分： 将样本集的60的猕猴个体的所有 图像， 共计约4900张图像， 作为训练集； 样本集的20的猕猴个体的所有图像， 共计约1600 张图像， 作为验证集； 样本集剩下的20的猕猴个体的所有图像， 共计约1600张图像， 作为 测试集。 0026 S3:计算训练集中图像的通道均值 0027 因为猕猴表情图像样本集均是由灰度图片扩展为RGB图片， 即每个通道的像素值 说明书 2/3 页 4 CN 111709278 A 4 都相同， 所以每个通道的均值也相同。 在后续模型的训练、 验证、 测试阶段， 均采用均值减法 的图像预处理方法。。

15、 0028 S4:构建、 训练、 验证和测试猕猴面部表情分类模型 0029 首先将训练集、 验证集、 测试集均按照4种猕猴表情分类， 然后基于基于VGG16网络 架构的VGGFace模型创建一个新的神经网络模型， 即猕猴面部表情分类模型， 它复制了 VGGFace模型上除了分类块(包含了一个flatten层和三个全连接层)外的所有模型设计及 其参数。 这些模型参数包含了VGGFace模型在源数据集上学习到的人脸相关信息， 因此和本 发明的猕猴面部图像数据集有一定的相关性。 接着为猕猴面部表情分类模型添加一个表情 分类块(同样包含了一个flatten层和三个全连接层， 其中最后一个全连接层的输出。

16、大小为 4， 对应4种猕猴表情)， 并初始化表情分类块的参数。 0030 最后冻结原VGGFace模型对应的层及其参数， 然后在训练集上训练猕猴面部表情 分类模型中用于表情分类的分类块。 训练结束后， 正确率并不高， 这是因为VGGFace模型是 用于人脸身份识别的模型， 因此分类块之前的层提取的信息是关于人脸身份的， 直接用于 猕猴的面部表情分类会对正确率有所影响。 于是进一步开放猕猴表情分类模型分类块之前 的第一个卷积块(卷积块5， 见图2)， 让这两部分都参与后续训练。 当模型训练收敛时， 如果 正确率仍不是很高， 可以进一步依次开放猕猴面部表情分类模型中的第二个卷积块(卷积 块4)和第。

17、三个卷积块(卷积块3)， 进行模型的训练至模型收敛， 选择在验证集上表现最好的 模型， 在测试集上进行测试， 最终达到超过显著水平的准确率。 0031 S5： 对于给定的猕猴面部图像， 先对其减去步骤S3中计算的通道均值， 再将其输入 完成训练的猕猴面部表情分类模型， 得到猕猴面部图像的表情属性。 0032 此外， 除了能提取猕猴的表情属性外， 本发明还可以采用类似的方法来提取猕猴 的其他属性(年龄、 种类等)， 比如基于vggface模型进行微调， 训练一个猕猴种类分类模型， 来实现提取猕猴种类属性的功能。 0033 对于本领域的普通技术人员来说， 在不脱离本发明创造构思的前提下， 还可以对 本发明的实施例作出若干变型和改进， 这些都属于本发明的保护范围。 说明书 3/3 页 5 CN 111709278 A 5 图1 说明书附图 1/2 页 6 CN 111709278 A 6 图2 说明书附图 2/2 页 7 CN 111709278 A 7 。