近红外图像的生成方法、生成网络的训练方法和装置.pdf

《近红外图像的生成方法、生成网络的训练方法和装置.pdf》由会员分享，可在线阅读，更多相关《近红外图像的生成方法、生成网络的训练方法和装置.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010065711.2 (22)申请日 2020.01.20 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 田飞 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2006.01) G06T 17/00(2006.01) G06T 11/00(2006.01。

2、) G06T 11/40(2006.01) (54)发明名称 近红外图像的生成方法、 生成网络的训练方 法和装置 (57)摘要 本申请公开了一种近红外图像的生成方法、 生成网络的训练方法和装置， 涉及计算机视觉技 术领域。 具体实现方案为： 获取训练样本集和待 训练的对抗网络， 其中的生成网络用于根据输入 的可见光图像生成对应的近红外图像， 所述判别 网络用于判断输入的图像是真实的还是生成的； 根据生成的近红外图像和近红外图像样本在图 像空间中的距离， 以及所述生成的近红外图像和 近红外图像样本在特征空间中的距离， 构建第一 目标函数； 优化所述第一目标函数值， 采用所述 训练样本集对所述对抗。

3、网络进行对抗训练。 本申 请实施例通过采用图像空间中的距离和特征空 间中的距离联合构建目标函数， 有利于提高生成 近红外图像的精度。 权利要求书2页 说明书13页 附图5页 CN 111291885 A 2020.06.16 CN 111291885 A 1.一种生成网络的训练方法， 其特征在于， 获取训练样本集， 所述训练样本集包括近红外图像样本和可见光图像样本； 获取待训练的对抗网络， 所述对抗网络包括生成网络和判别网络， 所述生成网络用于 根据输入的可见光图像生成对应的近红外图像， 所述判别网络用于判断输入的图像是真实 的还是生成的； 根据所述生成的近红外图像和近红外图像样本在图像空间中。

4、的距离， 以及所述生成的 近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数； 优化所述第一目标函数值， 采用所述训练样本集对所述对抗网络进行对抗训练。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述生成的近红外图像和近红外 图像样本在图像空间中的距离， 以及所述生成的近红外图像和近红外图像样本在特征空间 中的距离， 构建第一目标函数， 包括： 根据所述生成的近红外图像与近红外图像样本的对应像素的像素值， 得到所述生成的 近红外图像与近红外图像样本在所述图像空间中的距离； 根据所述生成的近红外图像与近红外图像样本的深度特征， 得到所述生成的近红外图 像与近红外图像样本。

5、在所述特征空间中的距离； 根据所述生成的近红外图像和近红外图像样本在图像空间中的距离， 以及所述生成的 近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数。 3.根据权利要求1或2所述的方法， 其特征在于， 所述判别网络用于对输入的近红外图 像进行多种尺度变换， 并判断各种尺度变换后的图像是真实的还是生成的； 所述方法还包括： 根据判别网络中的多种变换尺度， 对所述近红外图像样本进行尺度变换； 根据各尺度的近红外图像样本的数据分布与生成的对应尺度的近红外图像的数据分 布之间的推土机距离， 得到第二目标函数； 优化所述第二目标函数值， 采用所述训练样本集对所述判别网络进行训练。 4。

6、.根据权利要求1或2所述的方法， 其特征在于， 所述方法还包括： 根据生成的近红外图像与所述可见光图像样本的图像特征相似度， 构建第三目标函 数； 优化第三目标函数值， 采用所述可见光图像样本对所述生成网络进行训练。 5.根据权利要求1或2所述的方法， 其特征在于， 在所述优化所述第一目标函数值， 采用 所述训练样本集对所述对抗网络进行对抗训练之前， 还包括： 对近红外图像样本和可见光图像样本分别进行三维重建， 并生成同角度下的二维投影 图像； 将所述近红外图像样本基于其对应的二维投影图像进行像素对齐； 将所述可见光图像样本基于其对应的二维投影图像进行像素对齐。 6.根据权利要求1或2所述的方。

7、法， 其特征在于， 在所述优化所述第一目标函数值， 采用 所述训练样本集对所述对抗网络进行对抗训练之前， 还包括： 对所述近红外图像样本和可见光图像样本进行颜色编码， 分离出所述近红外图像样本 和可见光图像样本中的结构信息。 7.一种近红外图像的生成方法， 其特征在于， 包括： 权利要求书 1/2 页 2 CN 111291885 A 2 获取包括目标对象的可见光图像； 将所述可见光图像输入至生成网络中， 得到近红外图像； 所述生成网络采用权利要求1-6任一项所述的方法进行训练得到。 8.根据权利要求7所述的方法， 其特征在于， 所述方法还包括： 从所述可见光图像中截取包括所述目标对象的设定兴。

8、趣点的局部图像； 将所述局部图像输入至所述生成网络中， 得到局部近红外图像； 将所述近红外图像和所述局部近红外图像进行图像融合， 得到最终的近红外图像。 9.根据权利要求7所述的方法， 其特征在于， 所述将所述近红外图像和所述局部近红外 图像进行图像融合， 得到最终的近红外图像， 包括： 将所述近红外图像和所述局部近红外图像的对应像素的像素值进行加权求和。 10.根据权利要求7-9任一项所述的方法， 其特征在于， 所述目标对象包括人脸， 所述设 定兴趣点包括嘴部和/或眼部。 11.一种生成网络的训练装置， 其特征在于， 包括： 第一获取模块， 用于获取训练样本集， 所述训练样本集包括近红外图像。

9、样本和可见光 图像样本； 第二获取模块， 用于获取待训练的对抗网络， 所述对抗网络包括生成网络和判别网络， 所述生成网络用于根据输入的可见光图像生成对应的近红外图像， 所述判别网络用于判断 输入的图像是真实的还是生成的； 构建模块， 用于根据所述生成的近红外图像和近红外图像样本在图像空间中的距离， 以及所述生成的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数； 训练模块， 用于优化所述第一目标函数值， 采用所述训练样本集对所述对抗网络进行 对抗训练。 12.一种近红外图像的生成装置， 其特征在于， 包括： 第一获取模块， 用于获取包括目标对象的可见光图像； 生成模块， 用于将。

10、所述可见光图像输入至生成网络中， 得到近红外图像； 所述生成网络采用权利要求1-6任一项所述的方法进行训练得到。 13.一种电子设备， 其特征在于， 包括： 至少一个处理器； 以及 与所述至少一个处理器通信连接的存储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1-6中任一项所述的一种生成网络 的训练方法， 或者权利要求7-10任一项所述的近红外图像的生成方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使所述计算机执行权利要求1-6中任一项所述的一种。

11、生成网络的训练方法， 或者权 利要求7-10任一项所述的近红外图像的生成方法。 权利要求书 2/2 页 3 CN 111291885 A 3 近红外图像的生成方法、 生成网络的训练方法和装置 技术领域 0001 本申请涉及计算机技术， 尤其涉及计算机视觉技术领域。 背景技术 0002 图像识别技术是计算机视觉领域的一个热门话题， 近年来已取得了很多成功的案 例， 例如人脸识别、 目标检测等。 以人脸识别为例， 环境中可见光条件是多变且复杂的， 因此 人脸识别的性能很容易受到可见光源变化的影响， 近红外成像技术的应用在一定程度上解 决了光源变化的问题。 因此， 目前大多使用近红外图像训练识别模型。

12、， 以提高识别精度。 0003 然而， 实际应用中大量图像采自于可见光条件， 例如监控视频， 身份证照片等。 为 了解决训练样本不足的技术问题， 现有技术将容易获取的可见光图像转换成近红外图像。 0004 发明人在图像转换过程中发现， 现有的图像转换方法得到的近红外图像普遍存在 模糊不清、 精度不够的技术问题， 不能成为合格的训练样本。 发明内容 0005 本申请实施例提供了一种近红外图像的生成方法、 生成网络的训练方法和装置、 设备和存储介质， 以提高生成近红外图像的精度。 0006 第一方面， 本申请实施例提供了一种生成网络的训练方法， 包括： 0007 获取训练样本集， 所述训练样本集包。

13、括近红外图像样本和可见光图像样本； 0008 获取待训练的对抗网络， 所述对抗网络包括生成网络和判别网络， 所述生成网络 用于根据输入的可见光图像生成对应的近红外图像， 所述判别网络用于判断输入的图像是 真实的还是生成的； 0009 根据所述生成的近红外图像和近红外图像样本在图像空间中的距离， 以及所述生 成的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数； 0010 优化所述第一目标函数值， 采用所述训练样本集对所述对抗网络进行对抗训练。 0011 本申请实施例通过采用生成的近红外图像和近红外图像样本， 在图像空间中的距 离和在特征空间中的距离， 构建第一目标函数， 从而在。

14、优化第一目标函数时， 从图像空间和 特征空间两个维度， 将生成的近红外图像拟合近红外图像样本， 得到高精度的生成网络。 0012 可选的， 根据所述生成的近红外图像和近红外图像样本在图像空间中的距离， 以 及所述生成的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数， 包 括： 0013 通过根据所述生成的近红外图像与近红外图像样本的对应像素的像素值， 得到所 述生成的近红外图像与近红外图像样本在所述图像空间中的距离； 0014 根据所述生成的近红外图像与近红外图像样本的深度特征， 得到所述生成的近红 外图像与近红外图像样本在所述特征空间中的距离； 0015 根据所述生成的近红。

15、外图像和近红外图像样本在图像空间中的距离， 以及所述生 成的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数。 说明书 1/13 页 4 CN 111291885 A 4 0016 上述申请中的一种可选实施方式， 通过根据所述生成的近红外图像与近红外图像 样本的对应像素的像素值， 得到二者在图像空间中的距离， 实现像素级别的监督； 通过根据 所述生成的近红外图像与近红外图像样本的深度特征， 得到二者在特征空间中的距离， 实 现深层特征的监督。 0017 可选的， 所述判别网络用于对输入的近红外图像进行多种尺度变换， 并判断各种 尺度变换后的图像是真实的还是生成的； 0018 所。

16、述方法还包括： 根据判别网络中的多种变换尺度， 对所述近红外图像样本进行 尺度变换； 0019 根据各尺度的近红外图像样本的数据分布与生成的对应尺度的近红外图像的数 据分布之间的推土机距离， 得到第二目标函数； 0020 优化所述第二目标函数值， 采用所述训练样本集对所述判别网络进行训练。 0021 上述申请中的一种可选实施方式， 判别网络为多尺度的判别网络， 即从多个尺度 判断图像是真实的还是生成的； 通过各尺度的图像之间的推土机距离构建第二目标函数， 从而通过优化第二目标函数值从多尺度拟合生成的近红外图像的数据分布与近红外图像 样本的数据分布， 提高判别网络的精度， 从而在对抗训练时提高生。

17、成网络的精度。 0022 可选的， 所述方法还包括： 根据生成的近红外图像与所述可见光图像样本的图像 特征相似度， 构建第三目标函数； 0023 优化第三目标函数值， 采用所述可见光图像样本对所述生成网络进行训练。 0024 上述申请中的一种可选实施方式， 通过图像特征之间的相似度构建第三目标函 数， 从图像特征维度将生成的近红外图像拟合可见光图像样本， 使二者包含的图像语义接 近， 提高生成网络的精度， 从而在对抗训练时提高生成网络的精度。 0025 可选的， 在所述优化所述第一目标函数值， 采用所述训练样本集对所述对抗网络 进行对抗训练之前， 还包括： 0026 对近红外图像样本和可见光图。

18、像样本分别进行三维重建， 并生成同角度下的二维 投影图像； 0027 将所述近红外图像样本基于其对应的二维投影图像进行像素对齐； 0028 将所述可见光图像样本基于其对应的二维投影图像进行像素对齐。 0029 上述申请中的一种可选实施方式， 通过对样本进行三维重建以及二维像素对齐， 实现近红外图像样本和可见光图像的像素对齐， 降低了拍摄角度和相机参数的影响， 有利 于提高生成网络的精度。 0030 可选的， 在所述优化所述第一目标函数值， 采用所述训练样本集对所述对抗网络 进行对抗训练之前， 还包括： 0031 对所述近红外图像样本和可见光图像样本进行颜色编码， 分离出所述近红外图像 样本和可。

19、见光图像样本中的结构信息。 0032 上述申请中的一种可选实施方式， 由于近红外图像样本和可见光图像样本的不同 之处在于色度， 相同之处在于结构； 通过分离图像样本中的结构信息， 使得图像样本的内容 更加接近， 有利于提高生成网络的精度。 0033 第二方面， 本申请实施例还提供了一种近红外图像的生成方法， 包括： 0034 获取包括目标对象的可见光图像； 说明书 2/13 页 5 CN 111291885 A 5 0035 将所述可见光图像输入至生成网络中， 得到近红外图像； 0036 所述生成网络采用第一方面实施例所提供的方法进行训练得到。 0037 本申请实施例通过高精度的生成网络生成包。

20、含目标对象的可见光图像， 提高了生 成的可见光图像的精度。 0038 可选的， 所述方法还包括： 从所述可见光图像中截取包括所述目标对象的设定兴 趣点的局部图像； 0039 将所述局部图像输入至所述生成网络中， 得到局部近红外图像； 0040 将所述近红外图像和所述局部近红外图像进行图像融合， 得到最终的近红外图 像。 0041 上述申请中的一种可选实施方式， 通过对包含目标对象的设定兴趣点进行局部图 像生成， 并将局部近红外图像与整体的近红外图像融合， 对整体的近红外图像进行局部细 节强化， 提高近红外图像局部的清晰度。 0042 可选的， 所述将所述近红外图像和局部近红外图像进行图像融合，。

21、 得到最终的近 红外图像， 包括： 0043 将所述近红外图像和所述局部近红外图像的对应像素的像素值进行加权求和。 0044 上述申请中的一种可选实施方式， 通过对对应像素的像素值进行加权求和， 从像 素级别进行局部细节强化， 进一步提高近红外图像局部的清晰度。 0045 可选的， 所述目标对象包括人脸， 所述设定兴趣点包括嘴部和/或眼部。 0046 上述申请中的一种可选实施方式， 在生成包括人脸的近红外图像的应用场景中， 嘴部和眼部是人脸识别的关键点， 同时也是具有独立特征的部分， 通过对嘴部和眼部进行 局部细节强化， 使得生成的人脸图像更好地训练人脸识别模型。 0047 第三方面， 本申请。

22、实施例还提供了一种生成网络的训练装置， 包括： 0048 第一获取模块， 用于获取训练样本集， 所述训练样本集包括近红外图像样本和可 见光图像样本； 0049 第二获取模块， 用于获取待训练的对抗网络， 所述对抗网络包括生成网络和判别 网络， 所述生成网络用于根据输入的可见光图像生成对应的近红外图像， 所述判别网络用 于判断输入的图像是真实的还是生成的； 0050 构建模块， 用于根据所述生成的近红外图像和近红外图像样本在图像空间中的距 离， 以及所述生成的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函 数； 0051 训练模块， 用于优化所述第一目标函数值， 采用所述训练样本。

23、集对所述对抗网络 进行对抗训练。 0052 第四方面， 本申请实施例还提供了一种近红外图像的生成装置， 包括： 0053 第一获取模块， 用于获取包括目标对象的可见光图像； 0054 生成模块， 用于将所述可见光图像输入至生成网络中， 得到近红外图像； 0055 所述生成网络采用如第一方面实施例所提供的方法进行训练得到。 0056 第五方面， 本申请实施例还提供了一种电子设备， 包括： 0057 至少一个处理器； 以及 0058 与所述至少一个处理器通信连接的存储器； 其中， 说明书 3/13 页 6 CN 111291885 A 6 0059 所述存储器存储有可被所述至少一个处理器执行的指令。

24、， 所述指令被所述至少一 个处理器执行， 以使所述至少一个处理器能够执行如第一方面实施例所提供的一种生成网 络的训练方法， 或者执行如第二方面实施例所提供的一种近红外图像的生成方法。 0060 第六方面， 本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存 储介质， 所述计算机指令用于使所述计算机执行如第一方面实施例所提供的一种生成网络 的训练方法， 或者执行如第二方面实施例所提供的一种近红外图像的生成方法。 0061 上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。 附图说明 0062 附图用于更好地理解本方案， 不构成对本申请的限定。 其中： 0063 图1是本申请。

25、实施例一中的一种生成网络的训练方法的流程图； 0064 图2是本申请实施例二中的一种生成网络的训练方法的流程图； 0065 图3是本申请实施例三中的一种生成网络的训练方法的流程图； 0066 图4是本申请实施例四中的一种近红外图像的生成方法的流程图； 0067 图5是本申请实施例五中的一种生成网络的训练装置的结构图； 0068 图6是本申请实施例六中的一种近红外图像的生成装置的结构图； 0069 图7是用来实现本申请实施例的生成网络的训练方法或者近红外图像的生成方法 的电子设备的框图。 具体实施方式 0070 以下结合附图对本申请的示范性实施例做出说明， 其中包括本申请实施例的各种 细节以助于。

26、理解， 应当将它们认为仅仅是示范性的。 因此， 本领域普通技术人员应当认识 到， 可以对这里描述的实施例做出各种改变和修改， 而不会背离本申请的范围和精神。 同 样， 为了清楚和简明， 以下的描述中省略了对公知功能和结构的描述。 0071 实施例一 0072 图1是本申请实施例一中的一种生成网络的训练方法的流程图， 本申请实施例适 用于对用于根据可见光图像生成近红外图像的生成网络进行训练的情况， 该方法通过近红 外图像的生成装置执行， 该装置采用软件和/或硬件实现， 并具体配置于具备一定数据运算 能力的电子设备中。 0073 如图1所示的一种生成网络的训练方法， 包括： 0074 S101、 。

27、获取训练样本集， 训练样本集包括近红外图像样本和可见光图像样本。 0075 本实施例中， 训练样本集包括多组近红外图像样本和可见光图像样本， 每组近红 外图像样本和可见光图像样本包括的图像内容相同。 例如， 采用近红外摄像机和普通的可 见光摄像机对同一人在同一姿势下进行拍摄， 得到一组近红外图像样本和可见光图像样 本； 对同一人在不同姿势下进行拍摄， 得到另一组近红外图像样本和可见光图像样本。 0076 S102、 获取待训练的对抗网络， 对抗网络包括生成网络和判别网络， 生成网络用于 根据输入的可见光图像生成对应的近红外图像， 判别网络用于判断输入的图像是真实的还 是生成的。 0077 本实。

28、施例对生成网络的结构不作限定， 例如， 生成网络的结构为Pix2Pix网络中的 说明书 4/13 页 7 CN 111291885 A 7 U-net， 或者CYCLE GAN中的编解码， 或者其他可能的结构。 具体的结构需要根据场景数据来 试验那种结构最好。 在一可选实施方式中， 选择Pix2PixHD网络中的residual block作为生 成网络。 0078 同样地， 本实施例对判别网络的结构也不作限定， 例如判别网络的结构为Pix2Pix 网络中的PatchGAN， 或者若干卷积层+输出层， 或者其他可能的结构。 具体的结构需要根据 场景数据来试验那种结构最好。 0079 S103、。

29、 根据生成的近红外图像和近红外图像样本在图像空间中的距离， 以及生成 的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数。 0080 可选的， 通过根据生成的近红外图像与近红外图像样本的对应像素的像素值， 得 到生成的近红外图像与近红外图像样本在图像空间中的距离， 又称为L1 loss。 具体地， 将 对应像素的绝对差值的总和作为生成的近红外图像与图像样本在图像空间中的距离。 0081 可选的， 根据生成的近红外图像与近红外图像样本的深度特征， 得到生成的近红 外图像与近红外图像样本在特征空间中的距离。 具体地， 使用损失网络， 例如视觉几何群 (Visual Geometry。

30、 Group， VGG)网络， 提取图像特征； 再计算深度特征之间的距离， 如式(1) 所示。 0082 0083其中， 表示损失网络， Cj表示损失网络的第j层， CjHjWj表示第j层的特征图的大 小， y是近红外图像样本， 是生成的近红外图像。 0084 得到图像空间中的距离和特征空间中的距离之后， 将图像空间中的距离和特征空 间中的距离进行加权求和， 得到第一目标函数。 0085 S104、 优化第一目标函数值， 采用训练样本集对对抗网络进行对抗训练。 0086 在训练对抗网络时， 将可见光图像样本输入至生成网络， 生成网络生成对应的近 红外图像； 随即将生成的近红外图像和同组的近红外。

31、图像样本输入至判别网络中， 判别网 络输出0-1之间的参数值， 0表示判别结果为假， 1表示判别结果为真。 0087 在一可选实施方式中， 先经过少量迭代训练判别网络， 在判别网络的判别精度达 到设定值后， 对生成网络和判别网络进行交替训练。 本实施例中， 通过优化第一目标函数值 训练对抗网络中的生成网络， 例如通过最小化第一目标函数值， 不断迭代生成网络中的图 像参数， 得到训练好的生成网络。 对于判别网络可采用现有的损失函数进行训练， 本实施例 不作限定。 0088 本申请实施例通过采用生成的近红外图像和近红外图像样本， 在图像空间中的距 离和在特征空间中的距离， 构建第一目标函数， 从而。

32、在优化第一目标函数时， 从图像空间和 特征空间两个维度， 将生成的近红外图像拟合近红外图像样本， 得到高精度的生成网络。 0089 进一步地， 通过根据生成的近红外图像与近红外图像样本的对应像素的像素值， 得到二者在图像空间中的距离， 实现像素级别的监督； 通过根据生成的近红外图像与近红 外图像样本的深度特征， 得到二者在特征空间中的距离， 实现深层特征的监督。 0090 实施例二 0091 图2是本申请实施例二中的一种生成网络的训练方法的流程图， 本申请实施例在 说明书 5/13 页 8 CN 111291885 A 8 上述各实施例的技术方案的基础上进行了优化改进。 0092 进一步的， 。

33、判别网络用于对输入的近红外图像进行多种尺度变换， 并判断各种尺 度变换后的图像是真实的还是生成的。 进一步地， 在上述方法的基础上追加操作 “根据判别 网络中的多种变换尺度， 对近红外图像样本进行尺度变换； 根据各尺度的近红外图像样本 的数据分布与生成的对应尺度的近红外图像的数据分布之间的推土机距离， 得到第二目标 函数； 优化第二目标函数值， 采用训练样本集对判别网络进行训练” ， 从而提高判别网络的 精度， 进而提高生成网络的精度。 0093 如图2所示的一种生成网络的训练方法， 包括： 0094 S201、 获取训练样本集， 训练样本集包括近红外图像样本和可见光图像样本。 0095 S2。

34、02、 获取待训练的对抗网络， 对抗网络包括生成网络和判别网络， 生成网络用于 根据输入的可见光图像生成对应的近红外图像， 判别网络用于判断输入的图像是真实的还 是生成的。 0096 S203、 根据生成的近红外图像和近红外图像样本在图像空间中的距离， 以及生成 的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数。 0097 S204、 根据判别网络中的多种变换尺度， 对近红外图像样本进行尺度变换。 0098 S205、 根据各尺度的近红外图像样本的数据分布与生成的对应尺度的近红外图像 的数据分布之间的推土机距离， 得到第二目标函数。 0099 S206、 优化第二目标函数值，。

35、 采用训练样本集对判别网络进行训练； 优化第一目标 函数值， 采用训练样本集对生成网络进行训练。 0100 可选的， 变换尺度包括原图、 原图的1/2和原图的1/4。 基于此， 保留对近红外图像 样本的原图， 对近红外图像样本进行1/2下采样， 对近红外图像样本进行1/4下采样。 0101 本实施例中的判别网络为多尺度判别网络。 可选的， 判别网络包括多个独立的子 网络。 其中， 多个子网络用于对生成的近红外图像进行对应尺度的变换， 并根据同尺度的近 红外图像样本判断输入的近红外图像是真实的还是生成的。 可选的， 为了提高训练效率， 令 多个子网络共享参数。 0102 式(2)示出了第二目标函。

36、数的表达式： 0103 0104 式(3)整个对抗网络的目标函数的表达式： 0105 0106 其中， D1,D2,D3是三种尺度的判别网络， G是生成网络。 GAN表示各尺度的生成的近 红外图像的数据分布与近红外图像样本的数据分布的推土机距离(Wasserstein距离)。 max 指使判别网络最大化地判别出输入的是生成的近红外图像还是真实的近红外图像； min指 生成网络要最小化判别精度。 0107 在一具体实施方式中， 首先最小化第二目标函数值单独训练判别网络。 当判别精 度达到设定值后。 然后， 固定判别网络的参数 ， 最小化第一目标函数值并最小化 Wasserstein距离之和的最大。

37、值， 以训练生成网络的参数， 再固定生成网络的参数， 最小化 第二目标函数值训练判别网络的参数， 如此交替训练对抗网络。 说明书 6/13 页 9 CN 111291885 A 9 0108 本实施例中， 判别网络为多尺度的判别网络， 即从多个尺度判断图像是真实的还 是生成的； 通过各尺度的图像之间的推土机距离构建第二目标函数， 从而通过优化第二目 标函数值从多尺度拟合生成的近红外图像的数据分布与近红外图像样本的数据分布， 提高 判别网络的精度， 从而在对抗训练时提高生成网络的精度。 0109 实施例三 0110 图3是本申请实施例三中的一种生成网络的训练方法的流程图， 本申请实施例在 上述各。

38、实施例的技术方案的基础上进行了优化改进。 0111 进一步的， 在上述方法的基础上， 增加操作 “根据生成的近红外图像与可见光图像 样本的图像特征相似度， 构建第三目标函数； 优化第三目标函数值， 采用可见光图像样本对 生成网络进行训练” ， 进一步提高生成网络的精度。 0112 如图3所示的一种生成网络的训练方法， 包括： 0113 S301、 获取训练样本集， 训练样本集包括近红外图像样本和可见光图像样本。 0114 S302、 获取待训练的对抗网络， 对抗网络包括生成网络和判别网络， 生成网络用于 根据输入的可见光图像生成对应的近红外图像， 判别网络用于判断输入的图像是真实的还 是生成的。

39、。 0115 S303、 根据生成的近红外图像和近红外图像样本在图像空间中的距离， 以及生成 的近红外图像和近红外图像样本在特征空间中的距离， 构建第一目标函数。 0116 S304、 根据生成的近红外图像与可见光图像样本的图像特征相似度， 构建第三目 标函数。 0117 S305、 优化第三目标函数值， 采用可见光图像样本对生成网络进行训练； 优化第一 目标函数值， 采用训练样本集对生成网络进行训练。 0118 通过生成网络将输入的可见光图像样本生成近红外图像， 图像转换后， 图像内容 不应该改变， 那么图像特征也应该是相近的。 基于此， 可以计算生成的近红外图像和输入的 可见光图像样本的图。

40、像特征相似度， 比如特征余弦的差值， 构建第三目标函数。 在训练生成 包括人脸的近红外图像的生成网络的应用场景中， 从生成的近红外图像和输入的可见光图 像样本中提取人脸特征， 再计算人脸特征的相似度。 0119 在一具体实施方式中， 可以将第一目标函数和第三目标函数进行加权求和构成联 合函数， 权值可以自主设定或者通过训练得到。 首先单独训练判别网络， 例如优化第二目标 函数值单独训练判别网络。 当判别精度达到设定值后。 固定判别网络的参数， 优化联合函数 值训练生成网络的参数， 再固定生成网络的参数， 训练判别网络的参数， 例如优化第二目标 函数值训练判别网络的参数， 如此交替训练对抗网络。。

41、 0120 本实施例通过图像特征之间的相似度构建第三目标函数， 从图像特征维度将生成 的近红外图像拟合可见光图像样本， 使二者包含的图像语义接近， 提高生成网络的精度， 从 而在对抗训练时提高生成网络的精度。 0121 在上述各实施例中， 在优化第一目标函数值， 采用训练样本集对对抗网络进行对 抗训练之前， 还包括： 对近红外图像样本和可见光图像样本分别进行三维重建， 并生成同角 度下的二维投影图像； 将近红外图像样本基于其对应的二维投影图像进行像素对齐； 将可 见光图像样本基于其对应的二维投影图像进行像素对齐。 0122 在采用近红外摄像机和普通的可见光摄像机对同一人在同一姿势下进行拍摄时，。

42、 说明书 7/13 页 10 CN 111291885 A 10 人的姿势会有轻微的变化， 而拍摄时间不能保证绝对的同步， 这样会导致近红外图像和可 见光图像的像素不对齐， 而且近红外摄像机和普通的可见光摄像机的拍摄参数不同也会使 得像素不对齐， 不利于训练得到高精度的生成网络。 基于此， 对近红外图像样本和可见光图 像样本分别进行三维重建。 其中， 本实施例不对三维重建的方法作限定。 可选的， 在训练生 成包括人脸的近红外图像的生成网络的应用场景中， 采用论文GANFIT:Generative Adversarial Network Fitting for High Fidelity 3D 。

43、Face Reconstruction中提供的 方法进行三维人脸重建， 将人脸的姿态角度调整一致， 并生成人脸纹理贴图。 该论文提供的 方法GANFIT使用了端到端的可微分渲染， 通过神经网络一次性输出完毕， 没有神经网络以 外的计算， 有利于提高像素对齐的效率， 进而提高生成网络的训练效率。 0123 近红外图像样本和可见光图像样本的人脸纹理贴图生成以后， 贴到同一人脸模型 上， 同时获得两个人脸模型。 两个人脸模型都正对镜头， 或者都和摄像头呈现同一个夹角， 就可以获得完全对齐的二维投影图像。 将近红外图像样本中的像素进行调整， 以基于其对 应的二维投影图像进行像素对齐； 同理， 将可见光。

44、图像样本中的像素进行调整， 以基于其对 应的二维投影图像进行像素对齐。 0124 接着， 采用像素对齐后的训练集对对抗网络进行训练。 0125 本实施例通过对样本进行三维重建以及二维像素对齐， 实现近红外图像样本和可 见光图像的像素对齐， 降低了拍摄角度和相机参数的影响， 有利于提高生成网络的精度。 0126 在上述各实施例中， 在优化第一目标函数值， 采用训练样本集对对抗网络进行对 抗训练之前， 还包括： 对近红外图像样本和可见光图像样本进行颜色编码， 分离出近红外图 像样本和可见光图像样本中的结构信息。 0127 可选的， 对近红外图像样本和可见光图像样本进行YUV颜色编码。 具体将近红外。

45、图 像样本和可见光图像样本均投影到YUV空间， 其中 “Y” 表示明亮度(Luminance或Luma)， 也就 是灰阶值，“U” 和 “V” 表示的则是色度(Chrominance或Chroma)。 投影到YUV空间后， 生成对应 的YCbCr图像。 0128 下面式(3)-式(5)示出了将可见光图像样本转换为YCbCr图像的公式， 式(6)-式 (7)示出了将近红外图像样本转换为YCbCr图像的公式。 0129 Y0.257*R+0.564*G+0.098*B+16； (3) 0130 Cb-0.148*R-0.291*G+0.439*B+128； (4) 0131 Cr0.439*R-0。

46、.368*G-0.071*B+128； (5) 0132 Y0.257*N+0.564*I+0.098*R+16； (6) 0133 Cb-0.148*N-0.291*I+0.439*R+128； (7) 0134 Cr0.439*N-0.368*I-0.071*R+128； (8) 0135 从上式可以看出， 在将可见光图像和近红外图像转换为YCbCr图像后， 通过Y通道 保存了大部分结构信息， 最有转换价值。 在训练生成包括人脸的近红外图像的生成网络的 应用到场景中， Cb通道分配最少的参数， 而人脸很少有蓝色信息， 从而YCbCr图像较好地分 离出结构信息。 接着， 采用颜色编码后的训练。

47、集对对抗网络进行训练。 0136 本实施例中， 由于近红外图像样本和可见光图像样本的不同之处在于色度， 相同 之处在于结构； 通过分离图像样本中的结构信息， 使得图像样本的内容更加接近， 有利于提 高生成网络的精度。 说明书 8/13 页 11 CN 111291885 A 11 0137 实施例四 0138 图4是本申请实施例四中的一种近红外图像的生成方法的流程图， 本申请实施例 适用于对根据可见光图像生成近红外图像的情况， 该方法通过近红外图像的生成装置执 行， 该装置采用软件和/或硬件实现， 并具体配置于具备一定数据运算能力的电子设备中。 0139 如图4所示的一种近红外图像的生成方法，。

48、 包括： 0140 S401、 获取包括目标对象的可见光图像。 0141 S402、 将可见光图像输入至生成网络中， 得到近红外图像， 其中， 生成网络采用上 述任一实施例所提供的方法进行训练得到。 0142 本实施例中， 得到的高精度的近红外图像将用于训练人脸识别网络。 0143 本申请实施例中的生成网络精度较高， 通过高精度的生成网络生成包含目标对象 的可见光图像， 提高了生成的可见光图像的精度。 0144 在一可选实施方式中， 上述方法还包括： 从可见光图像中截取包括目标对象的设 定兴趣点的局部图像； 将局部图像输入至生成网络中， 得到局部近红外图像； 将近红外图像 和局部近红外图像进行。

49、图像融合， 得到最终的近红外图像。 0145 其中， 设定兴趣点为感兴趣的图像区域， 以目标对象是人脸为例， 设定兴趣点为人 脸关键点， 例如嘴部和/或眼部等， 当然还可以包括其他人脸关键点。 具体地， 对可见光图像 进行人脸关键点识别， 识别出嘴部和/或眼部所在的区域， 并从可见光图像中截取包括嘴部 和/或眼部的局部图像。 将局部图像输入至生成网络中， 得到局部近红外图像。 0146 可选的， 将近红外图像和局部近红外图像的对应像素的像素值进行加权求和。 为 了突出设定兴趣点的特征， 可以为局部近红外图像的像素值赋予更高的权重。 0147 本实施方式， 通过对包含目标对象的设定兴趣点进行局部。

50、图像生成， 并将局部近 红外图像与整体的近红外图像融合， 对整体的近红外图像进行局部细节强化， 提高近红外 图像局部的清晰度。 通过对对应像素的像素值进行加权求和， 从像素级别进行局部细节强 化， 进一步提高近红外图像局部的清晰度。 0148 在生成包括人脸的近红外图像的应用场景中， 嘴部和眼部是人脸识别的关键点， 同时也是具有独立特征的部分， 通过对嘴部和眼部进行局部细节强化， 使得生成的人脸图 像更好地训练人脸识别模型。 0149 实施例五 0150 图5是本申请实施例五中的一种生成网络的训练装置的结构图， 本申请实施例适 用于对用于根据可见光图像生成近红外图像的生成网络进行训练的情况， 。