基于生成对抗网络由父母照片生成子女照片的方法.pdf

《基于生成对抗网络由父母照片生成子女照片的方法.pdf》由会员分享，可在线阅读，更多相关《基于生成对抗网络由父母照片生成子女照片的方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910855999.0 (22)申请日 2019.09.11 (71)申请人 中国计量大学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 章东平束元陈思瑶 (74)专利代理机构 杭州杭欣专利代理事务所 (普通合伙) 33333 代理人 潘欣欣 (51)Int.Cl. G06T 3/00(2006.01) G06K 9/00(2006.01) G06K 9/36(2006.01) (54)发明名称 一种基于生成对抗网络由父母照片生成子 女照片的。

2、方法 (57)摘要 本发明公开了一种基于生成对抗网络由父 母照片生成子女照片的方法， 将人脸图像数据行 划分为训练样本集与测试样本集， 并对训练样本 集中的人脸图像进行数据预处理。 之后， 重新构 建生成对抗中生成器的卷积神经网络结构， 加入 了反卷积。 然后， 将训练样本集和对应人脸照片 的年龄信息一同输入到模型中进行训练， 并保存 各生成器、 判断器和相似度模型的网络参数。 最 后， 利用经过数据预处理后的测试样本集对生成 器和判断器模型进行测试， 获得测试结果。 本发 明旨在当需要对一个人通过人脸图像进行身份 识别而一时只有其父母的人脸图像的情况下， 能 够迅速的对其身份进行初步认证。 。

3、权利要求书2页 说明书6页 附图3页 CN 110570349 A 2019.12.13 CN 110570349 A 1.一种基于生成对抗网络由父母照片生成子女照片的方法， 其特征在于， 按照如下步 骤进行： 步骤1： 收集同一家庭的不同全家福照片中的人脸图像作为训练数据集， 将训练数据依 据家庭关系分为4类， 分别为： 父亲、 母亲、 儿子、 女儿， 并对图像的大小进行归一化预处理； 步骤2： 基于生成对抗网络的由父母照片生成子女照片的模型由3个模块组成， 分别为 生成对抗网络中的生成器G(ij)k(i,j1,2且ij,k3,4)、 生成对抗网络中的判断器Dk(k 3,4)以及相似度模型S。

4、； 其中， 生成器G(ij)k采用残差卷积神经网络结构， 输入为一张父亲的人脸图像、 一张母亲 的人脸图像以及两人对应照片上的年龄， 输出得到一张儿子或女儿的人脸图像， 其损失函 数记为LG； 判断器Dk， 其输入为一张真实的儿子或女儿的人脸图像和一张由生成器G(ij)k生成的儿 子或女儿的人脸图像， 输出值表示将输入图像判断为真实的儿子或女儿的人脸图像的概 率， 其损失函数记为LD； 相似度模型S， 直接使用预训练好的人脸识别模型， 分别将两张人脸图像输入到相似度 模型中， 提取特征层中特征计算欧式距离， 输出的是两张人脸图像的相似度， 其损失函数记 为LS； 步骤3： 输入两张类别分别为i。

5、和j的人脸图像Xi和Xj， 以及对应的年龄Ai和Aj,通过生成 器G(ij)k生成人脸图像X(ij)k； 步骤4： 再将X(ij)k和类别k的真实人脸图像Xk输入判断器Dk中， 得到判断生成的虚拟图像 X(ij)k为真实的人脸图像Xk的概率p； 步骤5： 将X(ij)k、 Xi和X(ij)k、 Xj分别输入至相似度模型S中， 得到真实的父亲人脸图像与 生成的儿子或女儿人脸图像之间的相似度， 以及真实的母亲人脸图像与生成的儿子或女儿 人脸图像之间的相似度； 步骤6： 损失函数LLG+LD+Ls， 遍历i， j， k(i， j1， 2且ij， k3， 4)， 调整G(ij)k和相似 度模型S的参数。

6、使得L值最小， 调整Dk的参数使得L值最大； 步骤7： 保持判断器Dk的参数不变， 反复执行步骤2至步骤6， 调整对应生成器网络和相似 度模型的参数， 使得L值逐渐变小直至稳定； 步骤8： 保持各个生成器和相似度模型的参数不变， 反复执行步骤2至步骤6， 调整对应 判断器Dk的网络参数， 使得L值逐渐变大直至稳定； 步骤9： 重复步骤7和步骤8， 直至损失函数L收敛。 2.如权利要求1所述的一种基于生成对抗网络由父母照片生成子女照片的方法， 其特 征在于： 步骤2中生成对抗网络的训练过程为： 将父母的人脸图像输入至预训练好的年龄识别网络中， 分别得到父母的年龄Ai和Aj， 再 将父母的人脸图像。

7、与对应的年龄信息一同输入至生成器G(ij)k中， 从而生成儿子或女儿的人 脸图像， 并且生成的儿子或女儿的人脸有年龄限制， 即对应生成的儿子或女儿的年龄在 min(Ai,Aj)-b-a,min(Ai,Aj)-b+a的范围内， 其中， a、 b为人为设定的常数。 3.如权利要求1所述的一种基于生成对抗网络由父母照片生成子女照片的方法， 其特 征在于： 步骤2中生成器的网络结构为： 生成器的网络结构采用卷积与反卷积所构成的U形网络， 同时加入残差的思想构成新 权利要求书 1/2 页 2 CN 110570349 A 2 的网络结构， 网络的最后一层用1x1的卷积层代替sigmod层， 其中卷积层N。

8、层与反卷积层M 层， 并且采用残差的思想将第k层卷积层输出的特征图输入至网络倒数第k层反卷积层中， 每隔k层进行一次上述操作， 每个卷积层后的激活函数采用线性整流函数： ReLU函数。 4.如权利要求1所述的一种基于生成对抗网络由父母照片生成子女照片的方法， 其特 征在于： 步骤2中各个损失函数为： 损失函数LG的计算公式为： 其中， f是构造出的一个含参数w的连续函数， w代表一组在一定范围内的参数， xPg表 示x取自生成器G的输出图像集； 损失函数LD的计算公式为： 其中， xPr表示x取自真实图像集； 损失函数LS的计算公式为： LS Lf+ Lm 其中， Lf和Lm分别表示父亲与儿子。

9、或女儿以及母亲与儿子或女儿的人脸相似度损失， 且 和 为常数系数， 其表达式分别为： 其中， xiPdata(xi)表示xi取自类别i的真实图像集； f(xi)表示xi通过相似度模型S后 特征层的输出值； d(f(xi),f(xk)计算f(xi)和f(xk)的欧式距离。 权利要求书 2/2 页 3 CN 110570349 A 3 一种基于生成对抗网络由父母照片生成子女照片的方法 技术领域 0001 本发明属于深度学习图像识别领域， 涉及到生成对抗网络、 卷积神经网络、 深度学 习和图像匹配等技术， 具体涉及到一种基于生成对抗网络由父母照片生成子女照片的方 法。 背景技术 0002 近年来， 。

10、随着计算机技术的迅速发展， 图像识别技术得到广泛研究与开发， 例如人 脸识别和行人识别就是近30年里模式识别和图像处理中最热门的研究主题之一， 它们的目 的分别是从人脸和行人图像中抽取人的个性化特征， 并以此来识别人的身份。 0003 在人脸识别和行人识别的工作中， 制作合适的数据集往往是一个巨大的难题。 以 人脸识别为例， 想要通过人脸来进行身份识别需要采集同一摄像头下大量不同角度的人脸 图像。 同时还要将光照、 天气、 角度、 遮挡等常见因素， 甚至时间因素考虑在内， 这就导致了 人脸图像的短期内不同标签数据量悬殊的问题。 0004 2014年Goodfellow Ian提出生成对抗网络G。

11、enerative Adversarial Nets(GAN) 概念后， GAN瞬间风靡了整个学术圈， 利用GAN来根据需求自由生成目标图像以起到扩充数 据集的作用。 0005 GAN主要包括了两个部分， 即生成器generator与判别器discriminator。 生成器主 要用来学习真实图像分布从而让自身生成的图像更加真实， 以骗过判别器。 判别器则需要 对接收的图片进行真假判别。 这就使得在整个过程中， 生成器努力地让生成的图像更加真 实， 而判别器则努力地去识别出图像的真假。 随着时间的推移， 生成器和判别器在不断地进 行对抗的过程中， 两个网络最终达到了一个动态均衡： 即生成器生成。

12、的图像接近于真实图 像分布， 而判别器识别不出真假图像， 对于给定图像的预测为真的概率基本接近0.5。 发明内容 0006 本发明的目的在于提供一种基于生成对抗网络由父母照片生成子女照片的方法， 以解决上述背景技术中提出的问题。 0007 一种基于生成对抗网络由父母照片生成子女照片的方法， 其特征在于， 按照如下 步骤进行： 0008 步骤1： 收集同一家庭的不同全家福照片中的人脸图像作为训练数据集， 将训练数 据依据家庭关系分为4类， 分别为： 父亲、 母亲、 儿子、 女儿， 并对图像的大小进行归一化预处 理； 0009 步骤2： 基于生成对抗网络的由父母照片生成子女照片的模型由3个模块组成。

13、， 分 别为生成对抗网络中的生成器G(ij)k(i,j1,2且ij,k3,4)、 生成对抗网络中的判断器 Dk(k3,4)以及相似度模型S； 0010 其中， 生成器G(ij)k采用残差卷积神经网络结构， 输入为一张父亲的人脸图像、 一张 母亲的人脸图像以及两人对应照片上的年龄， 输出得到一张儿子或女儿的人脸图像， 其损 说明书 1/6 页 4 CN 110570349 A 4 失函数记为LG； 0011 判断器Dk， 其输入为一张真实的儿子或女儿的人脸图像和一张由生成器G(ij)k生成 的儿子或女儿的人脸图像， 输出值表示将输入图像判断为真实的儿子或女儿的人脸图像的 概率， 其损失函数记为L。

14、D； 0012 相似度模型S， 直接使用预训练好的人脸识别模型， 分别将两张人脸图像输入到相 似度模型中， 提取特征层中特征计算欧式距离， 输出的是两张人脸图像的相似度， 其损失函 数记为LS； 0013 步骤3： 输入两张类别分别为i和j的人脸图像Xi和Xj， 以及对应的年龄Ai和Aj,通过 生成器G(ij)k生成人脸图像X(ij)k； 0014 步骤4： 再将X(ij)k和类别k的真实人脸图像Xk输入判断器Dk中， 得到判断生成的虚 拟图像X(ij)k为真实的人脸图像Xk的概率p； 0015 步骤5： 将X(ij)k、 Xi和X(ij)k、 Xj分别输入至相似度模型S中， 得到真实的父亲人。

15、脸图 像与生成的儿子或女儿人脸图像之间的相似度， 以及真实的母亲人脸图像与生成的儿子或 女儿人脸图像之间的相似度s； 0016 步骤6： 损失函数LLG+LD+Ls， 遍历i， j， k(i， j1， 2且ij， k3， 4)， 调整G(ij)k和 相似度模型S的参数使得L值最小， 调整Dk的参数使得L值最大； 0017 步骤7： 保持判断器Dk的参数不变， 反复执行步骤2至步骤6， 调整对应生成器网络 和相似度模型的参数， 使得L值逐渐变小直至稳定； 0018 步骤8： 保持各个生成器和相似度模型的参数不变， 反复执行步骤2至步骤6， 调整 对应判断器Dk的网络参数， 使得L值逐渐变大直至稳。

16、定； 0019 步骤9： 重复步骤7和步骤8， 直至损失函数L收敛。 0020 作为优选， 步骤2中生成对抗网络的训练过程为： 0021 将父母的人脸图像输入至预训练好的年龄识别网络中， 分别得到父母的年龄Ai和 Aj， 再将父母的人脸图像与对应的年龄信息一同输入至生成器G(ij)k中， 从而生成儿子或女 儿的人脸图像， 并且生成的儿子或女儿的人脸有年龄限制， 即对应生成的儿子或女儿的年 龄在min(Ai,Aj)-b-a,min(Ai,Aj)-b+a的范围内， 其中， a、 b为一个人为设定的常数。 0022 作为优选， 步骤2中生成器的网络结构为： 0023 生成器的网络结构采用卷积与反卷积。

17、所构成的U形网络， 同时加入残差的思想构 成新的网络结构， 网络的最后一层用1x1的卷积层代替sigmod层， 其中卷积层N层与反卷积 层M层， 并且采用残差的思想将第k层卷积层输出的特征图输入至网络倒数第k层反卷积层 中， 每隔k层进行一次上述操作， 每个卷积层后的激活函数采用线性整流函数： ReLU函数。 0024 作为优选， 步骤2中各个损失函数为： 0025 损失函数LG的计算公式为： 0026 0027 其中， f是构造出的一个含参数w的连续函数， w代表一组在一定范围内的参数， x Pg表示x取自生成器G的输出图像集； 0028 损失函数LD的计算公式为： 0029 说明书 2/6。

18、 页 5 CN 110570349 A 5 0030 其中， xPr表示x取自真实图像集； 0031 损失函数LS的计算公式为： 0032 LS Lf+ Lm 0033 其中， Lf和Lm分别表示父亲与儿子或女儿以及母亲与儿子或女儿的人脸相似度损 失， 且 和 为常数系数， 其表达式分别为： 0034 0035 0036 其中， xiPdata(xi)表示xi取自类别i的真实图像集； f(xi)表示xi通过相似度模 型S后特征层的输出值； d(f(xi),f(xk)计算f(xi)和f(xk)的欧式距离。 0037 与现有的技术相比， 本发明具有如下优点： 0038 本发明公开了一种基于生成对抗。

19、网络由父母照片生成子女照片的方法， 同时训练 多个生成器和判断器， 将改进的传统GAN损失和相似度损失相结合， 共同作为训练过程中的 目标函数。 首先， 将人脸图像数据行划分为训练样本集与测试样本集， 并对训练样本集中的 人脸图像进行数据预处理。 之后， 重新构建生成对抗中生成器的卷积神经网络结构， 加入了 反卷积。 然后， 将训练样本集和对应人脸照片的年龄信息一同输入到模型中进行训练， 并保 存各生成器、 判断器和相似度模型的网络参数。 最后， 利用经过数据预处理后的测试样本集 对生成器和判断器模型进行测试， 获得测试结果。 本发明旨在当需要对一个人通过人脸图 像进行身份识别而一时只有其父母。

20、的人脸图像的情况下， 能够迅速的对其身份进行初步认 证。 附图说明 0039 图1是一种基于生成对抗网络由父母照片生成儿子照片的方法实施例流程图； 0040 图2是一种基于生成对抗网络由父母照片生成儿子照片的方法实施例中生成对抗 网络生成器G的网络结构； 0041 图3： 一种基于生成对抗网络由父母照片生成儿子照片的方法实施例中生成器G输 入的父母人脸图像； 0042 图4： 一种基于生成对抗网络由父母照片生成儿子照片的方法实施例中真实的儿 子人脸图像。 0043 图5： 一种基于生成对抗网络由父母照片生成儿子照片的方法实施例中生成的虚 拟儿子人脸图像。 具体实施方式 0044 下面结合实施例。

21、对本发明做进一步的描述。 0045 以下实施例用于说明本发明， 但不能用来限制本发明的保护范围。 实施例中的条 件可以根据具体条件做进一步的调整， 在本发明的构思前提下对本发明的方法简单改进都 属于本发明要求保护的范围。 0046 如图1所示， 一种基于生成对抗网络由父母照片生成儿子照片的方法， 按照如下步 骤进行： 说明书 3/6 页 6 CN 110570349 A 6 0047 步骤1： 收集同一家庭的不同全家福照片中的人脸图像作为数据集， 将训练数据依 据家庭关系分为3类， 分别为： 父亲、 母亲、 儿子， 并对图像的大小进行归一化预处理； 0048 步骤2： 基于生成对抗网络的由父母。

22、照片生成儿子照片的模型由3个模块组成， 分 别为生成对抗网络中的生成器G(ij)3(i,j1,2)、 生成对抗网络中的判断器D3以及相似度模 型S； 0049 其中， 生成器G(ij)3采用残差卷积神经网络结构， 输入为一张父亲的人脸图像、 一张 母亲的人脸图像以及两人对应照片上的年龄， 输出得到一张儿子的人脸图像， 其损失函数 记为LG； 0050 判断器D3， 其输入为一张真实的儿子的人脸图像和一张由生成器G(ij)3生成的儿子 的人脸图像， 输出值表示将输入图像判断为真实的儿子的人脸图像的概率p， 一般， 当判断 器D3的输出值p大于等于0.8时， 认为生成的儿子的虚拟人脸图像可以当做真。

23、实的儿子人脸 图像， 并在实际中应用， 其损失函数记为LD； 0051 相似度模型S， 直接使用预训练好的人脸识别模型， 输入同一家庭中一张父亲(或 母亲)的真实人脸图像和一张由生成器生成的儿子的虚拟人脸图像到相似度模型S中， 提取 特征层中特征计算欧式距离， 输出的是两张人脸图像的相似度s， 一般情况下相似度s大于 等于0.4时， 认为这两个人是父子或者母子关系， 其损失函数记为LS； 0052 步骤3： 输入两张类别分别为i和j的人脸图像Xi和Xj， 以及对应的年龄Ai和Aj,通过 生成器G(ij)3生成人脸图像X(ij)3； 0053 步骤4： 再将X(ij)3和真实人脸图像X3输入判断。

24、器D3中， 得到判断生成的虚拟图像 X(ij)3为真实的人脸图像X3的概率p； 0054 步骤5： 将X(ij)3、 Xi和X(ij)3、 Xj分别输入至相似度模型S中， 得到真实的父亲人脸图 像与生成的儿子人脸图像之间的相似度， 以及真实的母亲人脸图像与生成的儿子人脸图像 之间的相似度s； 0055 步骤6： 损失函数LLG+LD+Ls， 遍历i， j， k(i， j1， 2且ij， k3)， 调整G(ij)3和相 似度模型S的参数使得L值最小， 调整D3的参数使得L值最大； 0056 步骤7： 保持判断器D3的参数不变， 反复执行步骤2至步骤6， 调整对应生成器网络 和相似度模型的参数， 。

25、使得L值逐渐变小直至稳定； 0057 步骤8： 保持各个生成器和相似度模型的参数不变， 反复执行步骤2至步骤6， 调整 对应判断器Dk的网络参数， 使得L值逐渐变大直至稳定； 0058 步骤9： 重复步骤7和步骤8， 直至损失函数L收敛。 0059 其中， 步骤2中生成对抗网络的训练过程为： 0060 将父母的人脸图像输入至预训练好的年龄识别网络中， 分别得到父母的年龄A1和 A2， 再将父母的人脸图像与对应的年龄信息一同输入至生成器G(ij)3中， 从而生成儿子的人 脸图像， 并且生成的儿子的人脸有年龄限制， 即对应生成的儿子或女儿的年龄在min(Ai, Aj)-b-a,min(Ai,Aj)。

26、-b+a的范围内， 其中， a2、 b20。 当父亲40岁， 母亲35岁时， 对应生成 的儿子或女儿的照片年龄在13， 17之间。 0061 步骤2中生成器的网络结构为： 0062 生成器的网络结构采用卷积与反卷积所构成的U形网络， 同时加入残差的思想构 成新的网络结构， 网络的最后一层用1x1的卷积层代替sigmod层， 其中卷积层7层与反卷积 说明书 4/6 页 7 CN 110570349 A 7 层7层， 并且采用残差的思想将第2层卷积层输出的特征图输入至网络倒数第2层反卷积层 中， 每隔2层进行一次上述操作， 每个卷积层后的激活函数采用线性整流函数： ReLU函数。 0063 步骤2。

27、中各个损失函数为： 0064 损失函数LG的计算公式为： 0065 0066 其中， f是构造出的一个含参数w的连续函数， w代表一组在2， 5范围内的参数， 一 般采用即w3， xPg表示x取自生成器G的输出图像集； 0067 损失函数LD的计算公式为： 0068 0069 其中， xPr表示x取自真实图像集； 0070 损失函数LS的计算公式为： 0071 LS Lf+ Lm 0072 其中， Lf和Lm分别表示父亲与儿子或女儿以及母亲与儿子或女儿的人脸相似度损 失， 且 和 为常数系数， 实例中若选择生成儿子则一般取 0.7、 0.3， 若选择生成女儿 则一般取 0.3、 0.7， 其表。

28、达式分别为： 0073 0074 0075 其中， xiPdata(xi)表示xi取自类别i的真实图像集； f(xi)表示xi通过相似度模 型S后特征层的输出值； d(f(xi),f(xk)计算f(xi)和f(xk)的欧式距离。 0076 如图3所示， 输入至生成器G的父母人脸图像的尺寸大小均为358像素441像素， 其中父亲和母亲的年龄分别为40岁和35岁； 如图4所示为真实的儿子人脸图像， 图5所示为 通过本发明提供的生成器G生成的虚拟儿子人脸图像。 0077 下表为各个人脸图像之间的相似度数据： 0078 0079 从上表中可以看出， 1、 虚拟的儿子人脸图像与父亲和母亲的相似度分别达到。

29、 0.547和0.438， 均大于0.4的临界值， 即可得出结论： 虚拟的儿子人脸图像与真实的父母人 脸图像可以认定为父子和母子关系； 2、 虚拟的儿子人脸图像和真实的儿子人脸图像的相似 度值为0.912， 大于临界值0.8， 因此， 生成的虚拟的儿子人脸图像可以作为真实的儿子人脸 图像做实际使用。 说明书 5/6 页 8 CN 110570349 A 8 0080 本发明的一种基于生成对抗网络由父母照片生成子女照片的方法， 通过收集有限 的父母照片数据集， 过程中建立基于对抗网络的生成器、 判断器以及相似度三个模块， 通过 调整生成器和相似度模型得到符合条件的损失函数L值， 得到可作为实际应。

30、用的生成的虚 拟子女图像。 实际应用中， 在仅有父母人脸图像数据的情况下， 可迅速对目标人物进行初步 人脸识别。 0081 尽管已经示出和描述了本发明的实施例， 对于本领域的普通技术人员而言， 可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、 修改、 替换 和变型， 本发明的范围由所附权利要求及其等同物限定。 说明书 6/6 页 9 CN 110570349 A 9 图1 说明书附图 1/3 页 10 CN 110570349 A 10 图2 说明书附图 2/3 页 11 CN 110570349 A 11 图3 图4 图5 说明书附图 3/3 页 12 CN 110570349 A 12 。