人脸美丽预测方法、装置、系统及可读存储介质.pdf

《人脸美丽预测方法、装置、系统及可读存储介质.pdf》由会员分享，可在线阅读，更多相关《人脸美丽预测方法、装置、系统及可读存储介质.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010819631.1 (22)申请日 2020.08.14 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 余翠琳柯琪锐周文略陈家聪 翟懿奎甘俊英应自炉 (74)专利代理机构 广州嘉权专利商标事务所有 限公司 44205 代理人 孙浩 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸美丽预测方法、 装置、 系统及可。

2、读存储 介质 (57)摘要 本发明公开了一种人脸美丽预测方法、 装 置、 系统及可读存储介质， 人脸美丽预测方法包 括获取第一人脸图像， 将所述第一人脸图像输入 至胶囊多组分生成对抗网络中进行特征提取， 得到人脸图像特征； 将所述人脸图像特征输入至 宽度学习网络中进行训练， 得到人脸美丽预测模 型； 将待识别的第二人脸图像输入至所述人脸美 丽预测模型进行人脸美丽预测， 得到所述待识别 的第二人脸图像的人脸美丽预测数据。 本发明的 技术方案能够获取足够多的训练样本， 并实现对 人脸图像的人脸美丽预测， 且模型训练耗时较 短。 权利要求书2页 说明书11页 附图5页 CN 112069916 A 。

3、2020.12.11 CN 112069916 A 1.一种人脸美丽预测方法， 其特征在于， 包括以下步骤： 获取第一人脸图像， 将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特 征提取， 得到人脸图像特征； 将所述人脸图像特征输入至宽度学习网络中进行训练， 得到人脸美丽预测模型； 将待识别的第二人脸图像输入至所述人脸美丽预测模型进行人脸美丽预测， 得到所述 待识别的第二人脸图像的人脸美丽预测数据。 2.根据权利要求1所述的人脸美丽预测方法， 其特征在于， 所述获取第一人脸图像， 将 所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取， 得到人脸图像特征， 包括以下步骤： 获。

4、取若干第一人脸图像， 根据若干所述第一人脸图像构造训练样本集； 将所述训练样本集输入至多组分生成对抗网络中进行训练， 得到人脸图像数据对； 将所述人脸图像数据对输入至胶囊网络中进行特征提取， 得到人脸图像特征。 3.根据权利要求2所述的人脸美丽预测方法， 其特征在于， 所述将所述训练样本集输入 至多组分生成对抗网络中进行训练， 得到人脸图像数据对， 还包括以下步骤： 对所述训练样本集进行预处理， 得到预处理样本集； 将所述预处理样本集输入至多组分生成对抗网络中进行训练， 得到人脸图像数据对。 4.根据权利要求1所述的人脸美丽预测方法， 其特征在于， 所述将所述人脸图像特征输 入至宽度学习网络中。

5、进行训练， 得到人脸美丽预测模型， 包括以下步骤： 将所述人脸图像特征输入至宽度学习网络， 提取所述人脸图像特征的特征节点； 利用非线性激活函数计算所述特征节点映射的增强节点； 利用权重参数连接所述特征节点和所述增强节点， 得到第一特征矩阵； 根据所述第一特征矩阵， 构建人脸美丽预测模型。 5.根据权利要求4所述的人脸美丽预测方法， 其特征在于， 所述根据所述第一特征矩 阵， 构建人脸美丽预测模型， 还包括以下步骤： 将给定的第二特征矩阵输入到所述第一特征矩阵中， 并对所述第一特征矩阵进行伪逆 岭回归算法处理， 得到权重参数值； 根据所述权重参数值、 所述第一特征矩阵， 构建人脸美丽预测模型。。

6、 6.一种运行控制装置， 其特征在于， 包括： 至少一个控制处理器和用于与所述至少一个 控制处理器通信连接的存储器； 所述存储器存储有可被所述至少一个控制处理器执行的指 令， 所述指令被所述至少一个控制处理器执行， 以使所述至少一个控制处理器能够执行如 权利要求1至5任一项所述的人脸美丽预测方法。 7.一种人脸美丽预测系统， 其特征在于， 包括： 人脸识别模块， 包括摄像头， 所述人脸识别模块用于通过所述摄像头来采集第二人脸 图像； 人脸美丽预测模块， 所述人脸美丽预测模块用于执行如权利要求1至5任一项所述的人 脸美丽预测方法； 美妆模块， 所述美妆模块用于识别所述第二人脸图像， 并根据所述人。

7、脸美丽预测数据， 分析所述第二人脸图像的皮肤状态， 并为所述第二人脸图像提供虚拟试妆功能； 控制系统， 所述控制系统与所述人脸识别模块、 所述人脸美丽预测模块、 所述美妆模块 权利要求书 1/2 页 2 CN 112069916 A 2 连接， 所述控制系统用于接收不同的信号， 并根据所述不同的信号来控制不同模块的运作。 8.根据权利要求7所述的人脸美丽预测系统， 其特征在于， 所述人脸美丽预测系统还包 括： 人机交互模块， 所述人机交互模块与所述控制系统连接， 所述人机交互模块包括人机 交互界面和交互装置， 所述人机交互模块用于通过触发所述人机交互界面上不同的按键， 来切换所述交互装置中不同。

8、的功能； 语音模块， 所述语音模块与所述控制系统连接， 所述语音模块用于获取语言信息并反 馈所述语言信息给所述控制系统， 所述控制系统用于根据所述语言信息发送不同指令， 以 控制不同模块运作； 无线通信模块， 所述无线通信模块与所述控制系统连接， 所述无线通信模块用于获取 所述人脸美丽预测数据， 并将所述人脸美丽预测数据传输给智能终端； 数据存储模块， 所述数据存储模块与所述控制系统连接， 所述数据存储模块用于存储 所述人脸美丽预测数据； 数据分析模块， 所述数据分析模块与所述控制系统连接， 所述数据分析模块用于获取 所述第二人脸图像， 并对所述第二人脸图像进行数据分析后反馈给所述控制系统。 。

9、9.根据权利要求7所述的人脸美丽预测系统， 其特征在于， 所述人脸美丽预测系统还包 括： 亮度调节模块， 所述亮度调节模块与所述控制系统连接， 所述亮度调节模块包括旋转 开关， 所述旋转开关用于调节光亮度， 以对获取到的所述第二人脸图像进行亮度的调节。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的人脸美 丽预测方法。 权利要求书 2/2 页 3 CN 112069916 A 3 人脸美丽预测方法、 装置、 系统及可读存储介质 技术领域 0001 本发明涉及图像处理技术领域， 特别。

10、涉及一种人脸美丽预测方法、 装置、 系统及可 读存储介质。 背景技术 0002 人脸作为人的一种自然属性， 其具有很强的稳定性和个体差异性， 对于一个人最 初的印象是基于人脸， 而且人们对其最基本的判断便是漂不漂亮。 爱美之心， 人皆有之， 然 而如何评价一张人脸图像的美丽程度是一个抽象的问题。 评价人脸的美丽程度很有可能受 到主观因素的影响， 不同人、 不同的审美观及不同种族都有不同的评价标准。 0003 人们对美的追求， 推动了人脸美丽研究相关产业的迅猛发展， 并带来巨大的经济 效益和广阔的发展前景。 研究发展至今， 其理论成果被广泛应用于实践当中， 如社交应用、 整容辅助以及美容产品导购。

11、等。 虽然人脸美丽产业发展迅速， 但是目前市场上并没有形成 相对系统的标准来对人脸美丽进行预测， 且现有的人脸预测方法中还存在模型训练耗时长 等问题。 且在目前对机器视觉图像进行半监督学习中， 现有的双组分生成对抗网络存在两 个问题： 0004 1.生成器和判别器不能同时达到最优。 即双组分生成对抗网络虽然可以很好地进 行分类判别， 以及很好地建立带有样本信息的生成过程， 但是其不能同时实现最优的生成 器和判别器； 0005 2.生成器不能彻底地学习不同类别之间的潜在表示。 半监督学习的目的是在有限 的监督下， 从数据本身中提取分类信息或其他有意义的特征。 判别器在判断所给数据来自 于真实数据。

12、还是模型分布时， 只考虑数据本身， 并没有完全的利用标签相关信息。 0006 因此， 在对抗性训练过程中， 潜在变量无法在生成器中学习足够多的标签知识， 导 致训练样本不足。 0007 名词解释： 0008 生成对抗网络(Generative Adversarial Networks， GAN)本质上是一种训练模 型， 其基于深度生成模型， 而不是特定的网络。 生成对抗网络主要包括一个生成器G (Generator)和一个判别器D(Discriminator)。 0009 多组分生成对抗网络 (Triple GAN)由三个部分组成 ， 主要为分类器C (Classifier)， 生成器G(Ge。

13、nerator)和判别器D(Discriminator)。 0010 胶囊网络(CapsuleNet)是一种结合特征实例的出现概率与特征实例的姿态信息 来判定对象是否为目标类别的神经网络。 0011 宽度学习网络是一种随机向量函数链接神经网络， 该网络结构没有层与层之间的 耦合和连接， 也不需要利用梯度下降来更新权值。 发明内容 0012 本发明旨在至少解决现有技术中存在的技术问题之一。 为此， 本发明提出一种人 说明书 1/11 页 4 CN 112069916 A 4 脸美丽预测方法、 装置、 系统及可读存储介质， 能够获取足够多的训练样本， 并实现对人脸 图像的人脸美丽预测， 且模型训练。

14、耗时较短。 0013 本发明解决其问题所采用的技术方案是： 0014 本发明实施例的第一方面， 提供了一种人脸美丽预测方法， 包括以下步骤： 0015 获取第一人脸图像， 将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进 行特征提取， 得到人脸图像特征； 0016 将所述人脸图像特征输入至宽度学习网络中进行训练， 得到人脸美丽预测模型； 0017 将待识别的第二人脸图像输入至所述人脸美丽预测模型进行人脸美丽预测， 得到 所述待识别的第二人脸图像的人脸美丽预测数据。 0018 本发明实施例中提供的一个或多个技术方案， 至少具有如下有益效果： 本发明实 施例通过获取第一人脸图像， 将第一人脸图。

15、像输入至胶囊-多组分生成对抗网络中进行特 征提取， 得到人脸图像特征； 再将人脸图像特征输入至宽度学习网络中进行训练， 得到人脸 美丽预测模型； 最后将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预 测， 得到待识别的第二人脸图像的人脸美丽预测数据。 相对于现有技术， 本发明实施例的技 术方案， 能够获取足够多的训练样本， 并实现对人脸图像的人脸美丽预测， 且模型训练耗时 较短。 0019 根据本发明第一方面的一些实施例， 所述获取第一人脸图像， 将所述第一人脸图 像输入至胶囊-多组分生成对抗网络中进行特征提取， 得到人脸图像特征， 包括以下步骤： 0020 获取若干第一人脸图像， 。

16、根据若干所述第一人脸图像构造训练样本集； 0021 将所述训练样本集输入至多组分生成对抗网络中进行训练， 得到人脸图像数据 对； 0022 将所述人脸图像数据对输入至胶囊网络中进行特征提取， 得到人脸图像特征。 0023 根据本发明第一方面的一些实施例， 所述将所述训练样本集输入至多组分生成对 抗网络中进行训练， 得到人脸图像数据对， 还包括以下步骤： 0024 对所述训练样本集进行预处理， 得到预处理样本集； 0025 将所述预处理样本集输入至多组分生成对抗网络中进行训练， 得到人脸图像数据 对。 0026 根据本发明第一方面的一些实施例， 所述将所述人脸图像特征输入至宽度学习网 络中进行训。

17、练， 得到人脸美丽预测模型， 包括以下步骤： 0027 将所述人脸图像特征输入至宽度学习网络， 提取所述人脸图像特征的特征节点； 0028 利用非线性激活函数计算所述特征节点映射的增强节点； 0029 利用权重参数连接所述特征节点和所述增强节点， 得到第一特征矩阵； 0030 根据所述第一特征矩阵， 构建人脸美丽预测模型。 0031 根据本发明第一方面的一些实施例， 所述根据所述第一特征矩阵， 构建人脸美丽 预测模型， 还包括以下步骤： 0032 将给定的第二特征矩阵输入到所述第一特征矩阵中， 并对所述第一特征矩阵进行 伪逆岭回归算法处理， 得到权重参数值； 0033 根据所述权重参数值、 所。

18、述第一特征矩阵， 构建人脸美丽预测模型。 0034 本发明实施例的第二方面， 提供了一种运行控制装置， 包括至少一个控制处理器 说明书 2/11 页 5 CN 112069916 A 5 和用于与所述至少一个控制处理器通信连接的存储器； 所述存储器存储有可被所述至少一 个控制处理器执行的指令， 所述指令被所述至少一个控制处理器执行， 以使所述至少一个 控制处理器能够执行如上述第一方面所述的人脸美丽预测方法。 0035 本发明实施例的第三方面， 提供了一种人脸美丽预测系统， 包括： 0036 人脸识别模块， 包括摄像头， 所述人脸识别模块用于通过所述摄像头来采集第二 人脸图像； 0037 人脸美。

19、丽预测模块， 所述人脸美丽预测模块用于执行如上述第一方面所述的人脸 美丽预测方法； 0038 美妆模块， 所述美妆模块用于识别所述第二人脸图像， 并根据所述人脸美丽预测 数据， 分析所述第二人脸图像的皮肤状态， 并为所述第二人脸图像提供虚拟试妆功能； 0039 控制系统， 所述控制系统与所述人脸识别模块、 所述人脸美丽预测模块、 所述美妆 模块连接， 所述控制系统用于接收不同的信号， 并根据所述不同的信号来控制不同模块的 运作。 0040 本发明实施例中提供的一个或多个技术方案， 至少具有如下有益效果： 本发明实 施例设有控制系统、 美妆模块、 人脸美丽预测模块和人脸识别模块， 通过控制系统控。

20、制不同 模块的运作， 人脸美丽预测模块能够执行人脸美丽预测方法， 以对获取的人脸图像进行人 脸美丽预测， 实现智能化控制。 0041 根据本发明第三方面的一些实施例， 所述人脸美丽预测系统还包括： 0042 人机交互模块， 所述人机交互模块与所述控制系统连接， 所述人机交互模块包括 人机交互界面和交互装置， 所述人机交互模块用于通过触发所述人机交互界面上不同的按 键， 来切换所述交互装置中不同的功能； 0043 语音模块， 所述语音模块与所述控制系统连接， 所述语音模块用于获取语言信息 并反馈所述语言信息给所述控制系统， 所述控制系统用于根据所述语言信息发送不同指 令， 以控制不同模块运作； 。

21、0044 无线通信模块， 所述无线通信模块与所述控制系统连接， 所述无线通信模块用于 获取所述人脸美丽预测数据， 并将所述人脸美丽预测数据传输给智能终端； 0045 数据存储模块， 所述数据存储模块与所述控制系统连接， 所述数据存储模块用于 存储所述人脸美丽预测数据； 0046 数据分析模块， 所述数据分析模块与所述控制系统连接， 所述数据分析模块用于 获取所述第二人脸图像， 并对所述第二人脸图像进行数据分析后反馈给所述控制系统。 0047 根据本发明第三方面的一些实施例， 所述人脸美丽预测系统还包括： 0048 亮度调节模块， 所述亮度调节模块与所述控制系统连接， 所述亮度调节模块包括 旋转。

22、开关， 所述旋转开关用于调节光亮度， 以对获取到的所述第二人脸图像进行亮度的调 节。 0049 本发明实施例的第四方面， 提供了一种计算机可读存储介质， 所述计算机可读存 储介质存储有计算机可执行指令， 所述计算机可执行指令用于使计算机执行如上述第一方 面所述的人脸美丽预测方法。 0050 本发明的附加方面和/或优点将在下面的描述中部分给出， 部分将从下面的描述 中变得明显， 或通过本发明的实践了解到。 说明书 3/11 页 6 CN 112069916 A 6 附图说明 0051 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解， 其中： 0052 图1。

23、是本发明一个实施例所提供的人脸美丽预测方法的流程示意图； 0053 图2是本发明一个实施例所提供的获取人脸图像特征的流程示意图； 0054 图3是本发明一个实施例所提供的获取人脸图像数据对的流程示意图； 0055 图4是本发明一个实施例所提供的构建人脸美丽预测模型的流程示意图； 0056 图5是本发明另一个实施例所提供的构建人脸美丽预测模型的流程示意图； 0057 图6是本发明一个实施例所提供的宽度学习网络的网络结构示意图； 0058 图7是本发明一个实施例所提供的运行控制装置的结构示意图； 0059 图8是本发明一个实施例所提供的人脸美丽预测系统的电路示意框图； 0060 图9是本发明一个实。

24、施例所提供的人脸美丽预测系统的结构示意图。 具体实施方式 0061 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅用以解释本发明， 并不 用于限定本发明。 0062 需要说明的是， 虽然在系统示意图中进行了功能模块划分， 在流程图中示出了逻 辑顺序， 但是在某些情况下， 可以以不同于系统中的模块划分， 或流程图中的顺序执行所示 出或描述的步骤。 说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 类似的对象， 而不必用于描述特定的顺序或先后次序。 0063 参照图1， 本发明。

25、实施例的第一方面， 提供了一种人脸美丽预测方法， 包括以下步 骤： 0064 步骤S100， 获取第一人脸图像， 将第一人脸图像输入至胶囊-多组分生成对抗网络 中进行特征提取， 得到人脸图像特征； 0065 步骤S200， 将人脸图像特征输入至宽度学习网络中进行训练， 得到人脸美丽预测 模型； 0066 步骤S300， 将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预 测， 得到待识别的第二人脸图像的人脸美丽预测数据。 0067 在本实施例中， 通过获取第一人脸图像， 并将第一人脸图像输入至胶囊-多组分生 成对抗网络中进行特征提取， 得到人脸图像特征。 即通过利用胶囊-多组分生成对抗。

26、网络 (Caps-TripleGAN)来实现对第一人脸图像数据对的生成和特征提取。 本实施例的第一人脸 图像是为了构建人脸美丽预测模型。 0068 具体地， 胶囊-多组分生成对抗网络原理为： 0069 生成对抗网络中的对抗具体指的是生成网络和判别网络的互相对抗。 生成网络尽 可能生成逼真样本， 判别网络则尽可能去判别该样本是真实样本， 还是生成的假样本。 0070 本实施例采用多组分生成对抗网络(Triple GAN)能够在对抗训练过程中， 将网络 中与类别相关的部分从判别网络剥离出来， 单独组成一个网络， 命名为分类器。 这样生成器 与分类器一起对光谱与类别之间的关系进行学习， 判别器则用来。

27、对数据和类别标签组成的 说明书 4/11 页 7 CN 112069916 A 7 数据对进行判定真伪， 三个组分做紧耦合式学习， 从而实现多组分生成对抗紧耦合训练模 式， 在生成样本辅助训练的同时， 对无标签样本进行充分的信息挖掘， 以解决人脸美丽分类 过程中训练样本不足的问题。 0071 具体地， 本实施例的多组分生成对抗网络在生成器G和判别器D之间， 需要判别器D 来控制分类条件分布pg(x,y)收敛到实际数据分布。 分类器C用于描述条件分布pc(x,y)， 生 成器G用于描述分类条件分布pg(x,y)， 判别器D用于检测数据对(x， y)来自真实分布pr(x,y) 或模型分布pg(x,。

28、y)或pc(x,y)。 G和C都被描述为一个神经网络。 人脸图像可以由p(x)和p(y) 建模， 分类器C可以通过条件分布的后验概率来给定x的标签y。 因此， 联合分布可以计算为 pc(x,y)p(x)pc(y|x)。 对于pg(x,y)， y是从p(y)采样的， 并且潜分布pz(z)用于生成xgG (y,z)。 在本实施例中， 选择高斯分布作为潜在分布。 在生成伪数据对之后， 将作为正训练样 本的真实数据对(xr,yr)和作为负训练样本的伪数据对(xg,yg)、 (xc,yc)发送到监督学习训 练过程是基于对抗过程的， 其中对抗损失函数由G、 C和D组成。 0072 而本实施例的胶囊网络认为。

29、视觉神经对物体的识别过程是基于物体部分的姿态 关系。 在视点位置对识别的物体进行分层式创建姿态信息， 分层建立姿态信息可看作是对 数据进行反向解析的过程。 对输入对象进行分类的正确与否取决于对象各特征之间是否保 持了健全的分层姿态信息。 在现有的卷积神经网络中， 各个神经元之间都是平等的， 没有内 部的组织结构， 这导致无法保证在不同位置、 不同角度下对同一个物品做出相同的识别， 也 无法提取不同卷积核得出的子结构之间的相互关系。 卷积神经网络中采用的分块和共享权 重， 其目标都是希望能够使神经网络学到的特征提取方法能够在图形出现微小变化时做出 应对， 而不是针对图形的变化。 对应神经网络进行。

30、相应的改变， 是本实施例中的胶囊网络可 以实现的。 0073 本实施例通过构建了胶囊-多组分生成对抗网络的半监督学习框架， 以通过对第 一人脸图像进行特征提取后得到人脸图像特征， 不仅可以获取到足够多的训练样本， 且能 够精确提取人脸图像特征， 模型训练耗时较短。 0074 本实施例还通过将人脸图像特征输入至宽度学习网络中进行训练， 得到人脸美丽 预测模型。 本实施例的宽度学习网络运算速度较快， 同时， 在保证运算速度的情况下， 能够 通过增加网络的宽度来提升精度； 采用宽度学习网络对人脸图像特征进行处理， 运算速度 快， 精确度较高。 0075 最后将待识别的第二人脸图像输入至人脸美丽预测模。

31、型进行人脸美丽预测， 得到 待识别的第二人脸图像的人脸美丽预测数据。 得到的人脸美丽预测数据可以为人脸美丽等 级， 例如是一级、 二级、 三级， 甚至到十级等， 等级越高代表人脸美丽程度越高； 在其他实施 例中， 人脸美丽预测数据还可以为人脸美丽百分比， 例如是10、 20、 30， 甚至到100 等， 不同百分比代表不同人脸美丽程度， 且百分比越高代表人脸美丽程度越高。 0076 本发明实施例中提供的一个或多个技术方案， 至少具有如下有益效果： 本发明实 施例通过获取第一人脸图像， 将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特 征提取， 得到人脸图像特征； 再将人脸图像特征输入至宽度。

32、学习网络中进行训练， 得到人脸 美丽预测模型； 最后将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预 测， 得到待识别的第二人脸图像的人脸美丽预测数据。 相对于现有技术， 本发明实施例的技 术方案， 能够获取足够多的训练样本， 并实现对人脸图像的人脸美丽预测， 且模型训练耗时 说明书 5/11 页 8 CN 112069916 A 8 较短。 0077 参照图2， 根据本发明第一方面的一些实施例， 获取第一人脸图像， 将第一人脸图 像输入至胶囊-多组分生成对抗网络中进行特征提取， 得到人脸图像特征， 包括以下步骤： 0078 步骤S110， 获取若干第一人脸图像， 根据若干第一人脸图。

33、像构造训练样本集； 0079 步骤S120， 将训练样本集输入至多组分生成对抗网络中进行训练， 得到人脸图像 数据对； 0080 步骤S130， 将人脸图像数据对输入至胶囊网络中进行特征提取， 得到人脸图像特 征。 0081 本实施例是通过结合多组分生成对抗网络的训练过程和胶囊网络的特征提取过 程来实现对人脸图像数据对生成和人脸图像特征提取过程。 本实施例的训练分为两步， 首 先获取若干第一人脸图像， 根据若干第一人脸图像构造训练样本集， 之后将训练样本集输 入至多组分生成对抗网络中进行训练， 得到人脸图像数据对。 生成的人脸图像数据对作为 训练补充样本添加到胶囊网络中进行特征提取， 最后利用。

34、训练补充样本和标签样本， 充分 训练胶囊网络， 实现对人脸图像特征的提取。 0082 具体地， 多组分生成对抗网络训练过程： 0083 假设第一人脸图像XR， 构造训练样本集： 0084 T(x1,y1),(x1,y2),.,(xn,yn),xnR； 0085 本实施例的测试样本： S(x1,y1),(x2,y2),.,(xs,ys),xsR； 0086 将训练样本集和测试样本分别输入胶囊-多组分生成对抗网络中， 并设置判别器 D、 生成器G、 分类器C的训练次数； 0087 之后获取(x,y)pc(x,y)； 使用分类器C、 T和未标注样本， 批大小为mc； 0088 对数据对(x,y)pg。

35、(x,y)进行采样； 使用生成器G， 已给标签值和隐变量z， 批大小 为mg； 0089 对(x,y)p(x,y)进行采样； 在T中， 批大小为md； 0090 重组(xd,yd)并训练判别器D， 使用(x,y)pc(x,y)， (x,y)pg(x,y)和(x,y)p (x,y)， 并将(xc,yc)和(xg,yg)作为负标签， (x,y)作为正标签； 0091 更新参数D， 使用以下梯度公式： 0092 0093 计算来自真实分布和模型分布的分类损失， 即(x,y)pg(x,y)和(x,y)p(x,y)； 分类损失如下： 0094 E(x,y)p(x,y)-logpc(y|x)+E(x,y)。

36、pg(x,y)-logpc(y|x) 0095 更新参数C， 使用以下梯度公式： 0096 0097 更新参数G， 使用以下梯度公式： 说明书 6/11 页 9 CN 112069916 A 9 0098 0099 生成(x,y)pg(x,y)， 使用G已给标签值和隐变量z， 批大小为mg； 构建Tn， 连接(x, y)pg(x,y)和(x,y)p(x,y)。 0100 而胶囊网络的特征提取过程： 0101 设置胶囊网络训练次数， 并利用卷积神经网络提取主要特征， 构造胶囊ini； 0102 使用动态路由算法进行动态例行操作； 0103 之后， 确定耦合系数ci,j,给定额定变量bi,j， 低。

37、级胶囊ui， 高级胶囊vi， W表示权重系 数， UWu； 0104 层l的所有胶囊i和层(l+1)的胶囊j有： bi,j0； 0105 通过循环训练次数， 以得到层l的所有胶囊i:cisoftmax(bi)、 层(l+1)的所有胶 囊层(l+1)的所有胶囊j:vjsquash(sj)以及层l的所有胶囊i和层(l+1) 的胶囊j有bi,jbi,j+Uj|tvj； 0106 更新胶囊网络参数， 最后输出人脸图像特征： XX1,X2,.,XN。 0107 参照图3， 根据本发明第一方面的一些实施例， 将训练样本集输入至多组分生成对 抗网络中进行训练， 得到人脸图像数据对， 还包括以下步骤： 010。

38、8 步骤S121， 对训练样本集进行预处理， 得到预处理样本集； 0109 步骤S122， 将预处理样本集输入至多组分生成对抗网络中进行训练， 得到人脸图 像数据对。 0110 在本实施例中， 通过对训练样本集进行预处理， 使得第一人脸图像能够进行归一 化， 便于后续步骤对第一人脸图像的处理， 减少人脸图像因外界因素造成的差异性， 提高检 测的准确度。 0111 参照图4， 根据本发明第一方面的一些实施例， 将人脸图像特征输入至宽度学习网 络中进行训练， 得到人脸美丽预测模型， 包括以下步骤： 0112 步骤S210， 将人脸图像特征输入至宽度学习网络， 提取人脸图像特征的特征节点； 0113。

39、 步骤S220， 利用非线性激活函数计算特征节点映射的增强节点； 0114 步骤S230， 利用权重参数连接特征节点和增强节点， 得到第一特征矩阵； 0115 步骤S240， 根据第一特征矩阵， 构建人脸美丽预测模型。 0116 本实施的步骤S210将人脸图像特征输入至宽度学习网络， 通过以下函数来计算人 脸图像特征的数据映射的第i个特征节点Zi： 0117 即假设给定输入样本， 输入人脸图像特征X投影并产生第i个特征节点， 则第i个特 征节点Zi可以表示为： 0118 Zi(XWei+ ei)； 0119 其中， i1,2,.,n； Wei表示随机矩阵， ei表示偏置， 且Wei和 ei均是。

40、随机产生的； X 为人脸图像特征， XX；是一个可选择的非线性激活函数； Zi为特征节点， 对于输入到宽 度学习网络的人脸图像特征， 能够生成n个特征节点， 所有特征节点可以表示为Zn Z1,.,Zn。 说明书 7/11 页 10 CN 112069916 A 10 0120 步骤S220， 对于n个特征节点， 通过以下函数计算n个特征节点映射的增强节点， 其 中第m个增强节点表示为： Hm (ZnWhm+ hm)； 0121 其中， m1,2,.,p； Whm表示随机矩阵， hm表示偏置， 且Whm和 hm均是随机产生的； ()是一个可选择的非线性激活函数； 对于n个特征节点， 可以映射生成。

41、m个增强节点， 所有 增强节点可以表示为HmH1,.,Hm。 0122 步骤S230， 利用权重参数连接特征节点和增强节点， 得到第一特征矩阵， 第一特征 矩阵作为系统的实际输入， 假设输出矩阵为YR， 则宽度学习模型可以表示为： 0123 YZ1,.,Zn| (ZnWh1+ h1),., (ZnWhm+ hm)Wm 0124 Z1,.,Zn|H1,.,HmWm 0125 Zn|HmWm 0126 以上宽度学习模型可以简为YZn|HmWm， 其中， Y为第一特征矩阵， Wm为权重参 数。 0127 本实施例通过利用权重参数连接待识别特征节点和待识别增强节点， 计算得到待 识别第一特征矩阵， 运。

42、算过程简单、 快捷。 权重参数是通过第一特征矩阵得到的。 0128 参照图5， 根据本发明第一方面的一些实施例， 根据第一特征矩阵， 构建人脸美丽 预测模型， 还包括以下步骤： 0129 步骤S241， 将给定的第二特征矩阵输入到第一特征矩阵中， 并对第一特征矩阵进 行伪逆岭回归算法处理， 得到权重参数值； 0130 步骤S242， 根据权重参数值、 第一特征矩阵， 构建人脸美丽预测模型。 0131 在本实施例中， 宽度学习模型为： YZn|HmWm； 0132 结合公式Wm( I+AAT)-1ATY， 并根据伪逆岭回归算法： 0133 A+lim( I+AAT)-1AT， 其中A+Zn|Hm。

43、+， 通过以上推导可得出： 0134 WmZn|Hm+Y， 即权重参数值； 0135 其中， 是正则化参数； A为特征节点与增强节点的列拼接。 0136 在模型训练的过程中， 将给定的第二特征矩阵输入到第一特征矩阵中， 并对第一 特征矩阵进行伪逆岭回归算法处理， 便可得到权重参数值。 0137 另外， 参照图1-图6， 本发明的另一个实施例还提供了一种人脸美丽预测方法， 包 括如下步骤： 0138 步骤S110， 获取若干第一人脸图像， 根据若干第一人脸图像构造训练样本集； 0139 步骤S121， 对训练样本集进行预处理， 得到预处理样本集； 0140 步骤S122， 将预处理样本集输入至多。

44、组分生成对抗网络中进行训练， 得到人脸图 像数据对； 0141 步骤S130， 将人脸图像数据对输入至胶囊网络中进行特征提取， 得到人脸图像特 征； 0142 步骤S210， 将人脸图像特征输入至宽度学习网络， 提取人脸图像特征的特征节点； 0143 步骤S220， 利用非线性激活函数计算特征节点映射的增强节点； 0144 步骤S230， 利用权重参数连接特征节点和增强节点， 得到第一特征矩阵； 0145 步骤S241， 将给定的第二特征矩阵输入到第一特征矩阵中， 并对第一特征矩阵进 行伪逆岭回归算法处理， 得到权重参数值； 说明书 8/11 页 11 CN 112069916 A 11 01。

45、46 步骤S242， 根据权重参数值、 第一特征矩阵， 构建人脸美丽预测模型； 0147 步骤S300， 将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预 测， 得到待识别的第二人脸图像的人脸美丽预测数据。 0148 在本实施例中， 利用宽度学习网络对人脸图像特征进行处理， 求得权重参数值， 有 利于待识别第一特征矩阵的计算， 运算速度快， 精确度高； 将待识别的第二人脸图像输入到 人脸美丽预测模型中进行人脸美丽预测， 得到待识别的第二人脸图像的人脸美丽预测数 据， 预测速度快、 检测的准确度较高。 本发明实施例的技术方案， 能够获取足够多的训练样 本， 并实现对人脸图像的人脸美丽预。

46、测， 且模型训练耗时较短。 0149 本发明实施例的第二方面， 提供了一种运行控制装置， 包括至少一个控制处理器 和用于与至少一个控制处理器通信连接的存储器； 存储器存储有可被至少一个控制处理器 执行的指令， 指令被至少一个控制处理器执行， 以使至少一个控制处理器能够执行如上述 第一方面的人脸美丽预测方法。 0150 参照图7， 本发明实施例的第二方面， 提供了一种运行控制装置6000， 该运行控制 装置6000可以是任意类型的智能终端， 如手机、 平板电脑、 个人计算机等。 0151 根据本发明的一些实施例， 该运行控制装置6000包括： 一个或多个控制处理器 6001和存储器6002， 图。

47、7中以一个控制处理器6001为例。 0152 控制处理器6001和存储器6002可以通过总线或其他方式连接， 图7以通过总线连 接为例。 0153 存储器6002作为一种非暂态计算机可读存储介质， 可用于存储非暂态软件程序、 非暂态性计算机可执行程序以及单元， 如本发明实施例中的运行控制装置6000对应的程序 指令/单元。 控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、 指令以及单 元， 从而执行各种功能应用以及数据处理， 即实现上述方法实施例的人脸美丽预测方法。 0154 存储器6002可以包括存储程序区和存储数据区， 其中， 存储程序区可存储操作系 统、 至少一个功能所。

48、需要的应用程序； 存储数据区可存储根据程序指令/单元创建的数据 等。 此外， 存储器6002可以包括高速随机存取存储器， 还可以包括非暂态存储器， 例如至少 一个磁盘存储器件、 闪存器件、 或其他非暂态固态存储器件。 在一些实施例中， 存储器6002 可选包括相对于控制处理器6001远程设置的存储器， 这些远程存储器可以通过网络连接至 该运行控制装置6000。 上述网络的实例包括但不限于互联网、 企业内部网、 局域网、 移动通 信网及其组合。 0155 一个或者多个单元存储在存储器6002中， 当被一个或者多个控制处理器6001执行 时， 执行上述任意方法实施例中的人脸美丽预测方法。 例如， 。

49、执行以上描述的图1中的方法 步骤S100至S300、 图2中的方法步骤S110至S130、 图3中的方法步骤S121至S122、 图4中的方 法步骤S210至S240、 图5中的方法步骤S241至S242。 0156 参照图8至图9， 本发明实施例的第三方面， 提供了一种人脸美丽预测系统， 包括： 人脸识别模块， 包括摄像头100， 人脸识别模块用于通过摄像头100来采集第二人脸图像； 人 脸美丽预测模块， 人脸美丽预测模块用于执行如上述第一方面的人脸美丽预测方法； 美妆 模块， 美妆模块用于识别第二人脸图像， 并根据人脸美丽预测数据， 分析第二人脸图像的皮 肤状态， 并为第二人脸图像提供虚拟。

50、试妆功能； 控制系统， 控制系统与人脸识别模块、 人脸 美丽预测模块、 美妆模块连接， 控制系统用于接收不同的信号， 并根据不同的信号来控制不 说明书 9/11 页 12 CN 112069916 A 12 同模块的运作。 0157 在本实施例中， 控制系统主要统筹协调各个模块。 不同模块之间通过控制系统来 进行信息传输和交互， 从而实现人脸美丽预测系统的整体运作。 0158 人脸识别模块主要是基于人的脸部特征信息进行生物特征识别的。 通过摄像头 100来采集第二人脸图像， 在其他实施例中， 第二人脸图像可以为含有人脸的图像或视频 流， 并自动在图像中检测和跟踪人脸， 进而对检测到的人脸进行脸。