三维人脸重建方法、装置及终端设备.pdf

《三维人脸重建方法、装置及终端设备.pdf》由会员分享，可在线阅读，更多相关《三维人脸重建方法、装置及终端设备.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911025216.2 (22)申请日 2019.10.25 (71)申请人 中国科学院深圳先进技术研究院 地址 518000 广东省深圳市南山区深圳大 学城学苑大道1068号 (72)发明人 乔宇曾小星彭小江 (74)专利代理机构 深圳中一联合知识产权代理 有限公司 44414 代理人 符亚飞 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/50(2017.01) (54)发明名称 三维人脸重建方法、 装置及终端设备 (57)摘要 本申请适用。

2、于人脸识别技术领域， 提供了三 维人脸重建方法、 装置及终端设备， 三维人脸重 建方法包括： 获取人脸的二维图像； 使用密集深 度网络根据二维图像预测出初步人脸深度图， 使 用精细深度网络获取更多的细节信息， 最后利用 精微深度网络去预测人脸深度图的深度偏移图， 将精细人脸深度图和深度偏移图进行叠加， 得到 最终人脸深度图， 根据最终人脸深度图得到三维 人脸。 根据密集到精细到精微的三维人脸重建思 路， 在每一个阶段使用不同的深度神经网络有针 对性的进行重建， 相比现有的方法， 更加具有鲁 棒性， 因此可以获得更高的精度。 即便在脸上有 毛发(胡须)的情况下仍然可以重建出精确的深 度图， 进而。

3、重建得到的三维人脸更加具有辨识 度。 权利要求书2页 说明书10页 附图5页 CN 110889894 A 2020.03.17 CN 110889894 A 1.一种三维人脸重建方法， 其特征在于， 包括： 获取人脸的二维图像； 将所述二维图像送入密集深度网络， 经过所述密集深度网络处理后得到初步人脸深度 图； 将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所述精细深度网络处 理后得到精细人脸深度图； 将所述二维图像与所述精细人脸深度图送入精微深度网络， 经过所述精微深度网络处 理后得到深度偏移图； 将所述精细人脸深度图和所述深度偏移图进行叠加， 得到最终人脸深度图； 根据所述最。

4、终人脸深度图得到三维人脸。 2.根据权利要求1所述的三维人脸重建方法， 其特征在于， 所述获取人脸的二维图像， 包括： 获取人脸的二维图像； 对所述二维图像进行预处理。 3.根据权利要求2所述的三维人脸重建方法， 其特征在于， 所述对所述二维图像进行预 处理， 包括： 获取所述二维图像的若干个人脸关键点； 根据所述人脸关键点对所述二维图像进行分割； 对所述二维图像进行减去像素均值， 再除以像素值方差的处理。 4.根据权利要求3所述的三维人脸重建方法， 其特征在于， 所述获取所述二维图像的若 干个人脸关键点， 包括： 根据Dlib人脸检测和关键点检测函数对所述二维图像进行处理； 获取所述二维图像。

5、的若干个人脸关键点。 5.根据权利要求1-4任一项所述的三维人脸重建方法， 其特征在于， 所述将所述二维图 像与所述初步人脸深度图送入精细深度网络， 经过所述精细深度网络处理后得到精细人脸 深度图， 包括： 将所述二维图像与所述初步人脸深度图拼接成六通道的输入张量； 将所述六通道的输入张量送入所述精细深度网络； 经过所述精细深度网络处理后得到所述精细人脸深度图。 6.根据权利要求1-4任一项所述的三维人脸重建方法， 其特征在于， 所述将所述二维图 像与所述精细人脸深度图送入精微深度网络， 经过所述精微深度网络处理后得到深度偏移 图， 包括： 将所述二维图像与所述精细人脸深度图拼接成六通道的输入。

6、张量； 将所述六通道的输入张量送入所述精微深度网络； 经过所述精微深度网络处理后得到所述深度偏移图。 7.根据权利要求1-4任一项所述的三维人脸重建方法， 其特征在于， 所述根据所述最终 人脸深度图得到三维人脸， 包括： 根据所述二维图像的邻近点关系， 将所述最终人脸深度图中的点云的顶点连接起来， 形成三维人脸面片； 权利要求书 1/2 页 2 CN 110889894 A 2 根据所述二维图像的像素信息获取纹理信息， 结合所述三维人脸面片和所述纹理信 息， 获取带有纹理的三维人脸。 8.一种三维人脸重建装置， 其特征在于， 包括： 二维图像获取模块， 用于获取人脸的二维图像； 初步人脸深度图。

7、获取模块， 用于将所述二维图像送入密集深度网络， 经过所述密集深 度网络处理后得到初步人脸深度图； 精细人脸深度图获取模块， 用于将所述二维图像与所述初步人脸深度图送入精细深度 网络， 经过所述精细深度网络处理后得到精细人脸深度图； 深度偏移图获取模块， 用于将所述二维图像与所述精细人脸深度图送入精微深度网 络， 经过所述精微深度网络处理后得到深度偏移图； 最终人脸深度图获取模块， 用于将所述精细人脸深度图和所述深度偏移图进行叠加， 得到最终人脸深度图； 三维人脸获取模块， 用于根据所述最终的人脸深度图得到三维人脸。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理。

8、器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1-7任 一项所述的三维人脸重建方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的三维人脸重建方法 的步骤。 权利要求书 2/2 页 3 CN 110889894 A 3 三维人脸重建方法、 装置及终端设备 技术领域 0001 本申请属于人脸识别技术领域， 尤其涉及三维人脸重建方法、 装置及终端设备。 背景技术 0002 基于二维图片的三维人脸重建是一种被研究了几十年， 并且拥有广泛应用场景的 技术。

9、， 它可用于人脸动画生成， 人机交互， 医疗美容行业。 现有的三维人脸重建方法为基于 三维形变模型的方法， 利用统计学的方法从少量实验室场景下实际三维人脸中， 提取中平 均人脸(分别为形状平均人脸和纹理平均人脸)和人脸系数(形状和纹理)， 然后对二维人脸 进行处理得到需要的形状和纹理系数， 最终获得重建完成的人脸。 这种三维人脸重建方法 的重建精度不高， 得到的重建后的人脸与实际人脸的误差较大。 发明内容 0003 有鉴于此， 本申请实施方式提供了三维人脸重建方法、 装置及终端设备， 以解决现 有的三维人脸重建方法的重建精度不高的问题。 0004 本申请实施方式第一方面提供了一种三维人脸重建方。

10、法， 包括： 0005 获取人脸的二维图像； 0006 将所述二维图像送入密集深度网络， 经过所述密集深度网络处理后得到初步人脸 深度图； 0007 将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所述精细深度网 络处理后得到精细人脸深度图； 0008 将所述二维图像与所述精细人脸深度图送入精微深度网络， 经过所述精微深度网 络处理后得到深度偏移图； 0009 将所述精细人脸深度图和所述深度偏移图进行叠加， 得到最终人脸深度图； 0010 根据所述最终人脸深度图得到三维人脸。 0011 可选地， 所述获取人脸的二维图像， 包括： 0012 获取人脸的二维图像； 0013 对所述二维图。

11、像进行预处理。 0014 可选地， 所述对所述二维图像进行预处理， 包括： 0015 获取所述二维图像的若干个人脸关键点； 0016 根据所述人脸关键点对所述二维图像进行分割； 0017 对所述二维图像进行减去像素均值， 再除以像素值方差的处理。 0018 可选地， 所述获取所述二维图像的若干个人脸关键点， 包括： 0019 根据Dlib人脸检测和关键点检测函数对所述二维图像进行处理； 0020 获取所述二维图像的若干个人脸关键点。 0021 可选地， 所述将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所 述精细深度网络处理后得到精细人脸深度图， 包括： 说明书 1/10 页 4 。

12、CN 110889894 A 4 0022 将所述二维图像与所述初步人脸深度图拼接成六通道的输入张量； 0023 将所述六通道的输入张量送入所述精细深度网络； 0024 经过所述精细深度网络处理后得到所述精细人脸深度图。 0025 可选地， 所述将所述二维图像与所述精细人脸深度图送入精微深度网络， 经过所 述精微深度网络处理后得到深度偏移图， 包括： 0026 将所述二维图像与所述精细人脸深度图拼接成六通道的输入张量； 0027 将所述六通道的输入张量送入所述精微深度网络； 0028 经过所述精微深度网络处理后得到所述深度偏移图。 0029 可选地， 所述根据所述最终人脸深度图得到三维人脸， 。

13、包括： 0030 根据所述二维图像的邻近点关系， 将所述最终人脸深度图中的点云的顶点连接起 来， 形成三维人脸面片； 0031 根据所述二维图像的像素信息获取纹理信息， 结合所述三维人脸面片和所述纹理 信息， 获取带有纹理的三维人脸。 0032 本申请实施方式第二方面提供了一种三维人脸重建装置， 包括： 0033 二维图像获取模块， 用于获取人脸的二维图像； 0034 初步人脸深度图获取模块， 用于将所述二维图像送入密集深度网络， 经过所述密 集深度网络处理后得到初步人脸深度图； 0035 精细人脸深度图获取模块， 用于将所述二维图像与所述初步人脸深度图送入精细 深度网络， 经过所述精细深度网。

14、络处理后得到精细人脸深度图； 0036 深度偏移图获取模块， 用于将所述二维图像与所述精细人脸深度图送入精微深度 网络， 经过所述精微深度网络处理后得到深度偏移图； 0037 最终人脸深度图获取模块， 用于将所述精细人脸深度图和所述深度偏移图进行叠 加， 得到最终人脸深度图； 0038 三维人脸获取模块， 用于根据所述最终的人脸深度图得到三维人脸。 0039 本申请实施方式第三方面提供了一种终端设备， 包括存储器、 处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时 实现如上述本申请实施方式第一方面提供的三维人脸重建方法的步骤。 0040 本申请。

15、实施方式第四方面提供了一种计算机可读存储介质， 所述计算机可读存储 介质存储有计算机程序， 所述计算机程序被处理器执行时实现如上述本申请实施方式第一 方面提供的三维人脸重建方法的步骤。 0041 本申请实施方式第五方面提供了一种计算机程序产品， 当计算机程序产品在终端 设备上运行时， 使得终端设备执行上述本申请实施方式第一方面提供的一种三维人脸重建 方法。 0042 本发明实施方式与现有技术相比存在的有益效果是： 首先使用密集深度网络根据 二维图像预测出初步人脸深度图， 而且使用精细深度网络获取更多的细节信息， 最后利用 精微深度网络去预测人脸深度图的深度偏移图， 将精细人脸深度图和深度偏移图。

16、进行叠 加， 得到最终人脸深度图， 根据最终人脸深度图得到三维人脸。 根据密集到精细到精微的三 维人脸重建思路， 在每一个阶段使用不同的深度神经网络有针对性的进行重建， 相比现有 的方法， 更加具有鲁棒性， 因此可以获得更高的精度。 即便在脸上有毛发(胡须)的情况下仍 说明书 2/10 页 5 CN 110889894 A 5 然可以重建出精确的深度图， 进而重建得到的三维人脸更加具有辨识度。 附图说明 0043 为了更清楚地说明本申请实施方式中的技术方案， 下面将对实施方式或现有技术 描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的 一些实施方式， 对于本领。

17、域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根 据这些附图获得其他的附图。 0044 图1是本申请实施例一提供的三维人脸重建方法的第一种流程示意图； 0045 图2是本申请实施例一提供的三维人脸重建方法的实现结构示意图； 0046 图3是本申请实施例一提供的三维人脸重建方法的第二种流程示意图； 0047 图4是本申请实施例一提供的三维人脸重建方法的算法流程示意图； 0048 图5是本申请实施例一提供的三维人脸重建方法的效果示意图； 0049 图6是本申请实施例二提供的三维人脸重建装置的结构示意图； 0050 图7是本申请实施例三提供的终端设备的结构示意图。 具体实施方式 005。

18、1 以下描述中， 为了说明而不是为了限定， 提出了诸如特定系统结构、 技术之类的具 体细节， 以便透彻理解本申请实施方式。 然而， 本领域的技术人员应当清楚， 在没有这些具 体细节的其它实施方式中也可以实现本申请。 在其它情况中， 省略对众所周知的系统、 装 置、 电路以及方法的详细说明， 以免不必要的细节妨碍本申请的描述。 0052 应当理解， 当在本说明书和所附权利要求书中使用时， 术语 “包括” 指示所描述特 征、 整体、 步骤、 操作、 元素和/或组件的存在， 但并不排除一个或多个其它特征、 整体、 步骤、 操作、 元素、 组件和/或其集合的存在或添加。 0053 还应当理解， 在本申。

19、请说明书和所附权利要求书中使用的术语 “和/或” 是指相关 联列出的项中的一个或多个的任何组合以及所有可能组合， 并且包括这些组合。 0054 还应当理解， 在此本申请说明书中所使用的术语仅仅是出于描述特定实施方式的 目的而并不意在限制本申请。 如在本申请说明书和所附权利要求书中所使用的那样， 除非 上下文清楚地指明其它情况， 否则单数形式的 “一” 、“一个” 及 “该” 意在包括复数形式。 0055 应当理解， 本实施例中各步骤的先后撰写顺序并不意味着执行顺序的先后， 各过 程的执行顺序应以其功能和内在逻辑确定， 而不应对本发明实施例的实施过程构成任何限 定。 0056 在本申请说明书中描。

20、述的参考 “一个实施例” 或 “一些实施例” 等意味着在本申请 的一个或多个实施例中包括结合该实施例描述的特定特征、 结构或特点。 由此， 在本说明书 中的不同之处出现的语句 “在一个实施例中” 、“在一些实施例中” 、“在其他一些实施例中” 、 “在另外一些实施例中” 等不是必然都参考相同的实施例， 而是意味着 “一个或多个但不是 所有的实施例” ， 除非是以其他方式另外特别强调。 术语 “包括” 、“包含” 、“具有” 及它们的变 形都意味着 “包括但不限于” ， 除非是以其他方式另外特别强调。 0057 为了说明本申请所述的技术方案， 下面通过具体实施方式来进行说明。 0058 参见图1。

21、， 是本申请实施例一提供的三维人脸重建方法的实现过程的流程图， 为了 说明书 3/10 页 6 CN 110889894 A 6 便于说明， 仅示出了与本申请实施例相关的部分。 0059 该三维人脸重建方法包括： 0060 步骤S101： 获取人脸的二维图像。 0061 如图2所示， 通过第一终端201进行人脸的二维图像的采集， 比如对真实场景中的 人脸进行图像采集， 第一终端201可以是照相机、 摄像机、 智能手机等具备摄像头的图像采 集设备。 第一终端201连接第二终端202， 第一终端201将人脸的二维图像输出给第二终端 202， 第二终端202获取人脸的二维图像， 并进行三维人脸重建过。

22、程， 即执行三维人脸重建方 法对应的软件程序。 第二终端202对应的终端设备可以是计算机、 处理芯片、 后台服务器等 具备执行软件程序的设备。 0062 步骤S102： 将所述二维图像送入密集深度网络， 经过所述密集深度网络处理后得 到初步人脸深度图。 0063 本申请中， 需要先对深度网络进行训练， 然后再进行测试使用阶段， 因此， 在对深 度网络进行训练时， 训练数据分为三部分： 1)现有算法重建数据： 使用Yao Feng等人2018年 在欧洲计算机视觉大会(ECCV)发表的文章 Joint 3d face reconstruction and dense alignment with 。

23、position map regression network 以及Anh Tuan Tran等人2018年在 计算机视觉与模式识别大会(CVPR)发表的文章 Extreme 3d face reconstruction: Seeing through occlusions 使用的方法， 以及公布在GitHub上的相关测试代码， 对从网 络上下载的图片进行测试， 从而得到基于现有算法的训练数据； 2)合成数据： 使用Pascal Paysan等人2009年发表的 A 3d face model for pose and illumination invariant face recogniti。

24、on 的方法， 合成非真实场景下的三维人脸模型； 3)二维数据： 从Bor-Chun Chen等人2014在欧洲计算机视觉大会(ECCV)发表的数据库 Cross-age reference coding for age-invariant face recognition and retrieval 中人工挑选出难以重建的图片。 0064 在训练密集深度网络时， 在这个阶段训练数据为1)现有算法重建数据以及2)合成 数据。 密集深度网络采用的网络结构为Olaf Ronneberger等人2015年在MICCAI (International Conference on Medical ima。

25、ge computing and computer-assisted intervention)发表的 Unet:Convolutional networks for biomedical image segmentation 文章中使用的网络结构。 使用的损失函数为平均绝对误差损失函数。 网络输 入为分辨率为512*512的二维图片， 输出为512*512的深度图。 0065 将步骤S101获取的二维图像送入密集深度网络， 经过该密集深度网络处理后得到 初步人脸深度图。 0066 步骤S103： 将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所述 精细深度网络处理后得到精细人脸深。

26、度图。 0067 在训练精细网络时， 这个阶段训练数据为1)现有算法重建数据。 网络结构为Shi Yan等人2018年在欧洲计算机视觉大会(ECCV)在文章 DDrnet:Depth map denoising and refinement for consumer depth cameras using cascaded cnns 中提出的超柱网络结 构。 该网络结构的输入为分辨率为512*512的二维图片和密集深度网络的输出深度图(初步 人脸深度图)。 损失函数为 0068 说明书 4/10 页 7 CN 110889894 A 7 0069 在公式 (1)中 ， I表示输入的二维图片， 。

27、R为图片的反射图片， 计算方式为 SoumyadipSengupta等人2018年在计算机视觉与模式识别大会(CVPR)发表的文章 Sfsnet: Learning shape,reflectance and illuminance of facesin the wild 中的方法。 Npre 为从预测的三维形状中进行计算的， l是二维图片的光照系数。 0070 将步骤S101获取的二维图像与步骤S102获取的初步人脸深度图拼接成六通道的 输入张量， 然后将该六通道的输入张量送入精细深度网络， 最后经过精细深度网络处理后 得到精细人脸深度图。 0071 步骤S104： 将所述二维图像与所述精细。

28、人脸深度图送入精微深度网络， 经过所述 精微深度网络处理后得到深度偏移图。 0072 在训练精微深度网络时， 这个阶段的训练数据为3)二维数据。 在这个阶段设计了 融合超柱结构和多分辨率的网络结构， 损失函数只使用等式(1)中的损失函数。 0073 将步骤S101获取的二维图像与步骤S103获取的精细人脸深度图拼接成六通道的 输入张量， 然后将该六通道的输入张量送入精微深度网络， 最后经过精微深度网络处理后 得到人脸深度图的深度偏移图， 即深度图偏移图谱。 0074 步骤S105： 将所述精细人脸深度图和所述深度偏移图进行叠加， 得到最终人脸深 度图。 0075 将步骤S103输出的精细人脸深。

29、度图和步骤S104输出的深度偏移图进行叠加， 得到 最终人脸深度图。 0076 步骤S106： 根据所述最终人脸深度图得到三维人脸。 0077 先根据二维图像的邻近点关系， 将最终人脸深度图中的点云的顶点连接起来， 形 成三维人脸面片； 然后， 根据二维图像的像素信息获取纹理信息， 结合三维人脸面片和纹理 信息， 即在三维人脸面片上贴上纹理， 获取带有纹理的三维人脸。 0078 参见图3， 是本申请实施例一提供的三维人脸重建方法的第二种实现过程的流程 图， 为了便于说明， 仅示出了与本申请实施例相关的部分。 0079 该三维人脸重建方法包括： 0080 步骤S301： 获取人脸的二维图像。 0。

30、081 步骤S301的实现过程与上述步骤S101相同， 不再赘述。 0082 步骤S302： 对所述二维图像进行预处理。 0083 获取二维图像的若干个人脸关键点， 具体地， 根据Dlib人脸检测和关键点检测函 数对二维图像进行处理， 获取二维图像的68个人脸关键点。 然后， 根据得到的人脸关键点对 二维图像进行分割。 最后对二维图像减去像素均值， 再除以像素值方差。 0084 步骤S303： 将所述二维图像送入密集深度网络， 经过所述密集深度网络处理后得 到初步人脸深度图。 0085 步骤S303以及后续步骤中的二维图像均是经过步骤S302预处理后的二维图像。 该 步骤S303的实现过程与上。

31、述步骤S102相同， 不再赘述。 0086 步骤S304： 将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所述 精细深度网络处理后得到精细人脸深度图。 0087 该步骤S304的实现过程与上述步骤S103相同， 不再赘述。 0088 步骤S305： 将所述二维图像与所述精细人脸深度图送入精微深度网络， 经过所述 说明书 5/10 页 8 CN 110889894 A 8 精微深度网络处理后得到深度偏移图。 0089 该步骤S305的实现过程与上述步骤S104相同， 不再赘述。 0090 步骤S306： 将所述精细人脸深度图和所述深度偏移图进行叠加， 得到最终人脸深 度图。 0091。

32、 该步骤S306的实现过程与上述步骤S105相同， 不再赘述。 0092 步骤S307： 根据所述最终人脸深度图得到三维人脸。 0093 该步骤S307的实现过程与上述步骤S106相同， 不再赘述。 0094 因此， 本申请提供的三维人脸重建方法是一种基于深度学习的从二维图片重建三 维人脸的技术方法， 该方法分为三大步： 首先使用密集深度网络从二维图片去预测出人脸 的深度图， 该深度图能准确预测人脸的深度图， 但是缺少细节信息， 于是使用半监督的方法 训练精细深度网络去获取更多的细节。 最后使用精微深度网络去预测人脸深度图的偏移 量， 在这个过程中只使用基于阴影恢复形状的损失函数， 把第二个阶。

33、段的输出和第三个阶 段的输出进行叠加就可以得到最终的重建结果。 算法流程图如图4所示。 图5是三维人脸重 建方法的效果示意图。 0095 本申请提供的三维人脸重建方法能够解决现有技术存在的以下缺点： (1)重建的 深度图精度不高， 原因在于在深度网络中的训练数据缺少足够真实场景条件下的二维图 片； (2)对于脸部有毛发(胡须等)， 大姿态人脸重建效果不佳， 原因在于在深度网络中的训 练数据缺少足够真实场景条件下的二维图片； (3)重建的最终三维人脸与二维图片缺少真 实对应关系， 原因在于非刚体形变改变了三维人脸的形状。 那么， 本申请所要解决的技术问 题为： (1)搜集真实场景下的二维图片以及。

34、深度图标签信息， 利用深度网络技术， 可以使得 在从二维图片到深度图的预测相比之前的方法更加具有鲁棒性， 因此可以获得更高的精 度； (2)搜集到丰富多样的不同种族， 性别， 年龄的数据， 可以做到在脸上有毛发(胡须)的情 况下仍然可以重建出精确的深度图； (3)加上具有针对性的深度网络训练方式， 损失函数和 网络框架， 重建的三维人脸更加具有辨识度。 0096 因此， 本申请提出了一种由密集到精细到精微的三维人脸重建思路， 在每一个阶 段使用不同的深度神经网络有针对性的进行重建； 配合每一个阶段的任务， 针对性地设计 不同的神经网络结构， 采用不同的训练损失函数， 让整个算法由粗到精细重建三。

35、维人脸； 提 出的多分辨率超柱结构能够有效地填充深度图中的空洞， 能够有效去噪。 0097 在具体应用时， 本申请可以应用于人脸表情迁移和人脸识别系统。 其中， 本申请可 以应用在人脸表情迁移中， 在影视动画产业中， 动漫人物的表情通常需要工作人员在脸上 粘多个传感器， 对表情进行捕捉， 然后应用到动漫人物身上， 这种情况下， 仪器成本和用工 成本较高， 然而使用人脸表情迁移技术， 可以降低成本， 在没有传感器干扰的情况下获得更 多丰富细节的表情； 本申请可以应用在人脸识别中， 由于光照、 大姿态等原因， 二维人脸识 别在极端环境下经常出现识别错误率比较高的情况， 而采用生成的三维人脸辅助二维。

36、人脸 识别， 有助于提升二维人脸识别鲁棒性。 本申请应用在人脸表情迁移和人脸识别系统中的 关键步骤归纳如下， 下述步骤(1)-(3)为本申请提供的三维人脸重建方法中的相关的处理 流程。 0098 (1)利用人脸关键点检测器， 对人脸区域进行分割； 0099 (2)送入密集-精细-精微网络， 获取三维人脸； 说明书 6/10 页 9 CN 110889894 A 9 0100 (3)把获取的三维人脸(Target)保持形状不变， 使用一个模板三维人脸 (Template)进行形变， 得到一个具有统一拓扑结构的三维人脸； 0101 (4)人脸表情迁移： 使用同一个人的多张图像， 循环步骤(1)-(。

37、3)获取三维人脸； 然 后对这些三维人脸进行主成分分析， 得到形状和纹理的特征向量和特征系数； 最后可以把 这个形状系数(表情)应用到对应的动漫人物脸上， 实现了表情迁移； 0102 (5)人脸识别： 获得的三维人脸与后台数据库中保存的三维人脸进行三维顶点的 距离匹配计算， 得到的结果与阈值进行比较， 从而对人脸身份进行判别。 0103 另外， 本申请还可以用于医学美容行业， 重建三维人脸后， 通过对局部进行形变可 以预观察术后的人脸各个观察角度人脸的形状， 从而指导医学美容从业人员， 对于剂量的 把控； 本申请还可以用于人脸识别中的防伪攻击， 对于现在通用的基于深度网络二维人脸 识别， 可以。

38、轻而易举地用简单手段进行攻击， 导致识别系统发生严重误判。 而三维人脸能有 效抵抗这种伪造信息， 能提升人脸识别系统的稳定性。 0104 对应于上文中的三维人脸重建方法实施例所述的三维人脸重建方法， 图6示出了 本申请实施例二提供的三维人脸重建装置的结构框图， 为了便于说明， 仅示出了与本申请 实施例相关的部分。 0105 参照图6， 三维人脸重建装置400包括： 0106 二维图像获取模块401， 用于获取人脸的二维图像； 0107 初步人脸深度图获取模块402， 用于将所述二维图像送入密集深度网络， 经过所述 密集深度网络处理后得到初步人脸深度图； 0108 精细人脸深度图获取模块403，。

39、 用于将所述二维图像与所述初步人脸深度图送入 精细深度网络， 经过所述精细深度网络处理后得到精细人脸深度图； 0109 深度偏移图获取模块404， 用于将所述二维图像与所述精细人脸深度图送入精微 深度网络， 经过所述精微深度网络处理后得到深度偏移图； 0110 最终人脸深度图获取模块405， 用于将所述精细人脸深度图和所述深度偏移图进 行叠加， 得到最终人脸深度图； 0111 三维人脸获取模块406， 用于根据所述最终的人脸深度图得到三维人脸。 0112 可选地， 所述获取人脸的二维图像， 包括： 0113 获取人脸的二维图像； 0114 对所述二维图像进行预处理。 0115 可选地， 所述对。

40、所述二维图像进行预处理， 包括： 0116 获取所述二维图像的若干个人脸关键点； 0117 根据所述人脸关键点对所述二维图像进行分割； 0118 对所述二维图像进行减去像素均值， 再除以像素值方差的处理。 0119 可选地， 所述获取所述二维图像的若干个人脸关键点， 包括： 0120 根据Dlib人脸检测和关键点检测函数对所述二维图像进行处理； 0121 获取所述二维图像的若干个人脸关键点。 0122 可选地， 所述将所述二维图像与所述初步人脸深度图送入精细深度网络， 经过所 述精细深度网络处理后得到精细人脸深度图， 包括： 0123 将所述二维图像与所述初步人脸深度图拼接成六通道的输入张量；。

41、 说明书 7/10 页 10 CN 110889894 A 10 0124 将所述六通道的输入张量送入所述精细深度网络； 0125 经过所述精细深度网络处理后得到所述精细人脸深度图。 0126 可选地， 所述将所述二维图像与所述精细人脸深度图送入精微深度网络， 经过所 述精微深度网络处理后得到深度偏移图， 包括： 0127 将所述二维图像与所述精细人脸深度图拼接成六通道的输入张量； 0128 将所述六通道的输入张量送入所述精微深度网络； 0129 经过所述精微深度网络处理后得到所述深度偏移图。 0130 可选地， 所述根据所述最终人脸深度图得到三维人脸， 包括： 0131 根据所述二维图像的邻。

42、近点关系， 将所述最终人脸深度图中的点云的顶点连接起 来， 形成三维人脸面片； 0132 根据所述二维图像的像素信息获取纹理信息， 结合所述三维人脸面片和所述纹理 信息， 获取带有纹理的三维人脸。 0133 需要说明的是， 上述装置/模块之间的信息交互、 执行过程等内容， 由于与本申请 三维人脸重建方法实施例基于同一构思， 其具体功能及带来的技术效果， 具体可参见三维 人脸重建方法实施例部分， 此处不再赘述。 0134 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各功 能模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配由不同的功能 模块完成， 即将。

43、所述三维人脸重建装置400的内部结构划分成不同的功能模块， 以完成以上 描述的全部或者部分功能。 实施例中的各功能模块可以集成在一个处理单元中， 也可以是 各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中， 上述集成的单元 既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。 另外， 各功能模块的具 体名称也只是为了便于相互区分， 并不用于限制本申请的保护范围。 上述中各功能模块的 具体工作过程， 可以参考前述三维人脸重建方法实施例中的对应过程， 在此不再赘述。 0135 图7是本申请实施例三提供的终端设备的结构示意图。 如图7所示， 终端设备500包 括： 处理器5。

44、02、 存储器501以及存储在存储器501中并可在处理器502上运行的计算机程序 503。 处理器502的个数是至少一个， 图7以一个为例。 处理器502执行计算机程序503时实现 上述三维人脸重建方法的实现步骤， 即图1或者图3所示的步骤。 0136 终端设备500的具体实现过程可以参见上文中的三维人脸重建方法实施例。 0137 示例性的， 计算机程序503可以被分割成一个或多个模块/单元， 所述一个或者多 个模块/单元被存储在存储器501中， 并由处理器502执行， 以完成本申请。 所述一个或多个 模块/单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述计算 机程序50。

45、3在终端设备500中的执行过程。 0138 终端设备500可以是桌上型计算机、 笔记本、 掌上电脑等计算设备， 也可以是相机、 手机等具有图像采集功能和数据处理功能的设备。 终端设备500可包括， 但不仅限于， 处理 器以及存储器。 本领域技术人员可以理解， 图7仅是终端设备500的示例， 并不构成对终端设 备500的限定， 可以包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部件， 例 如终端设备500还可以包括输入输出设备、 网络接入设备、 总线等。 0139 处理器502可以是CPU(Central Processing Unit， 中央处理单元)， 还可以是其他 通用处理器。

46、、 DSP(Digital Signal Processor， 数字信号处理器)、 ASIC(Application 说明书 8/10 页 11 CN 110889894 A 11 Specific Integrated Circuit， 专用集成电路)、 FPGA(Field-Programmable Gate Array， 现成可编程门阵列)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、 分立硬件组件 等。 通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。 0140 存储器501可以是终端设备500的内部存储单元， 例如硬盘或内存。 存储器501也可 以是终端设备50。

47、0的外部存储设备， 例如终端设备500上配备的插接式硬盘、 SMC(Smart Media Card， 智能存储卡)、 SD卡(Secure Digital， 安全数字卡)、 Flash Card(闪存卡)等。 进一步地， 存储器501还可以既包括终端设备500的内部存储单元也包括外部存储设备。 存 储器501用于存储操作系统、 应用程序、 引导装载程序、 数据以及其他程序等， 例如所述计算 机程序503的程序代码等。 存储器501还可以用于暂时地存储已经输出或者将要输出的数 据。 0141 本申请实施例还提供了一种计算机可读存储介质， 所述计算机可读存储介质存储 有计算机程序， 所述计算机程。

48、序被处理器执行时实现可实现上文中的三维人脸重建方法实 施例中的步骤。 0142 集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可 以存储在一个计算机可读取存储介质中。 基于这样的理解， 本申请实现上述三维人脸重建 方法实施例中的全部或部分流程， 可以通过计算机程序来指令相关的硬件来完成， 所述的 计算机程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时， 可实现 上述三维人脸重建方法实施例的步骤。 其中， 所述计算机程序包括计算机程序代码， 所述计 算机程序代码可以为源代码形式、 对象代码形式、 可执行文件或某些中间形式等。 所述计算 机可读介质至少可以。

49、包括： 能够将计算机程序代码携带到拍照装置/终端设备的任何实体 或装置、 记录介质、 计算机存储器、 ROM(Read-Only Memory， 只读存储器)、 RAM(Random Access Memory， 随机存取存储器)、 电载波信号、 电信信号以及软件分发介质。 例如U盘、 移 动硬盘、 磁碟或者光盘等。 在某些司法管辖区， 根据立法和专利实践， 计算机可读介质不可 以是电载波信号和电信信号。 0143 在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述或记 载的部分， 可以参见其它实施例的相关描述。 0144 本领域普通技术人员可以意识到， 结合本文中所公开的。

50、实施例描述的各示例的单 元及算法步骤， 能够以电子硬件、 或者计算机软件和电子硬件的结合来实现。 这些功能究竟 以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人员 可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超出 本申请的范围。 0145 在本申请所提供的实施例中， 应该理解到， 所揭露的装置/终端设备和方法， 可以 通过其它的方式实现。 例如， 以上所描述的装置/终端设备实施例仅仅是示意性的， 例如， 所 述模块或单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式， 例如 多个单元或组件可以结合或者可以集成到。