书签 分享 收藏 举报 版权申诉 / 13

人脸幻构方法和人脸幻构系统.pdf

  • 上传人:Y0****01
  • 文档编号:5997679
  • 上传时间:2019-04-02
  • 格式:PDF
  • 页数:13
  • 大小:961.42KB
  • 摘要
    申请专利号:

    CN201510831521.6

    申请日:

    2015.11.25

    公开号:

    CN106780318A

    公开日:

    2017.05.31

    当前法律状态:

    实审

    有效性:

    审中

    法律详情:

    实质审查的生效IPC(主分类):G06T 3/40申请日:20151125|||公开

    IPC分类号:

    G06T3/40; G06T5/50

    主分类号:

    G06T3/40

    申请人:

    北京大学; 北大方正集团有限公司; 北京北大方正电子有限公司

    发明人:

    宋思捷; 厉扬豪; 刘家瑛; 郭宗明

    地址:

    100871 北京市海淀区颐和园路5号

    优先权:

    专利代理机构:

    北京友联知识产权代理事务所(普通合伙) 11343

    代理人:

    尚志峰;汪海屏

    PDF完整版下载: PDF下载
    内容摘要

    本发明提出了一种人脸幻构方法和一种人脸幻构系统,其中,人脸幻构方法包括:获取低分辨率人脸图片;根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;将所述高分辨率图像块进行合并,得到高分辨率人脸图片。通过本发明的技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

    权利要求书

    1.一种人脸幻构方法,其特征在于,包括:
    获取低分辨率人脸图片;
    根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的
    每幅训练集图片的光照分布和细节分布;
    根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率
    图像块;
    将所述高分辨率图像块进行合并,得到高分辨率人脸图片。
    2.根据权利要求1所述的人脸幻构方法,其特征在于,在所述调整
    训练集中的每幅训练集图片的光照分布和细节分布之前,还包括:
    调整所述低分辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的
    人脸尺寸与所述每幅训练集图片的人脸尺寸相符;以及
    通过人脸探测功能和特征标记功能,为所述低分辨率人脸图片和所述
    每幅训练集图片划分五官区域;
    通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官
    区域对齐。
    3.根据权利要求2所述的人脸幻构方法,其特征在于,在所述通过
    仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐
    之后,还包括:
    通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸
    图片的每一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率
    人脸图片的每一个像素的位置。
    4.根据权利要求1至3中任一项所述的人脸幻构方法,其特征在于,
    所述根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的
    每幅训练集图片的光照分布和细节分布,具体包括:
    将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照
    层;
    对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分
    布处理;以及
    用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层,
    得到调节光照分布后的每幅训练集图片。
    5.根据权利要求4所述的人脸幻构方法,其特征在于,所述通过邻
    域嵌入方法建立高分辨率图像块,具体包括:
    根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨
    率表出系数;
    在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率
    图像块。
    6.一种人脸幻构系统,其特征在于,包括:
    获取单元,获取低分辨率人脸图片;
    训练集图片调整单元,根据所述低分辨率人脸图片的光照分布和细节
    分布,调整训练集中的每幅训练集图片的光照分布和细节分布;
    图像块建立单元,根据调整后的所述每幅训练集图片,通过邻域嵌入
    方法建立高分辨率图像块;
    图像块合并单元,将所述高分辨率图像块进行合并,得到高分辨率人
    脸图片。
    7.根据权利要求6所述的人脸幻构系统,其特征在于,还包括:
    人脸尺寸调整单元,在所述调整训练集中的每幅训练集图片的光照分
    布和细节分布之前,调整所述低分辨率人脸图片的人脸尺寸,使所述低分
    辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符;
    区域划分单元,通过人脸探测功能和特征标记功能,为所述低分辨率
    人脸图片和所述每幅训练集图片划分五官区域;
    区域对齐单元,通过仿射变换将所述低分辨率人脸图片与所述每幅训
    练集图片的五官区域对齐。
    8.根据权利要求7所述的人脸幻构系统,其特征在于,还包括:
    像素对齐单元,在所述通过仿射变换将所述低分辨率人脸图片与所述
    每幅训练集图片的五官区域对齐之后,通过SIFT流为所述每幅训练集图
    片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射,以根
    据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。
    9.根据权利要求6至8中任一项所述的人脸幻构系统,其特征在于,
    所述训练集图片调整单元包括:
    分层单元,将所述低分辨率人脸图片和所述每幅训练集图片分解为细
    节层和光照层;
    细节层调整单元,对所述低分辨率人脸图片和所述每幅训练集图片的
    细节层进行能量分布处理;以及
    光照层调整单元,用所述低分辨率人脸图片的光照层替换所述每幅训
    练集图片的光照层,得到调节光照分布后的每幅训练集图片。
    10.根据权利要求9所述的人脸幻构系统,其特征在于,所述图像块
    建立单元包括:
    系数计算单元,根据所述低分辨率人脸图片的任一图像块的线性表出
    系数计算高分辨率表出系数;
    图像块表出单元,在高分辨率空间中使用所述高分辨率表出系数线性
    表出所述高分辨率图像块。

    说明书

    人脸幻构方法和人脸幻构系统

    技术领域

    本发明涉及计算机技术领域,具体而言,涉及一种人脸幻构方法和一
    种人脸幻构系统。

    背景技术

    目前,人脸幻构是指对于输入的低分辨率人脸图像重建得到其对应的
    高分辨率人脸图像,从而提升人脸识别、人脸探测等基础应用的性能。为
    更好地利用对应低分辨率图像和高分辨率图像块的关系,研究人员将邻域
    嵌入的超分辨率方法运用在人脸幻构上并取得了良好的效果。基于低分辨
    率和高分辨率图像块对具有相同的局部几何特征和邻域关系的假设,可以
    事先分别训练对应的高低分辨率的字典,将输入的低分辨率图像用低分辨
    率字典中的图像块线性表示,然后将该系数与对应的高分辨率字典中的图
    像块相乘即可得到高分辨率的图像。

    然而,这种人脸幻构方法没有考虑到训练集图片和输入的低分辨率图
    像的光照情况不匹配的问题,例如,低分辨率图像由于强光源而在人脸上
    有明显的高光和阴影分布,而训练集图片的光照情况比较柔和,由于不同
    光照情况下的高频信息不一致,在重建过程中很难在训练集图片中找到高
    度相似的图像块,导致高分辨率重建的结果退化。

    因此需要一种新的技术方案,可以提升重建高分辨率人脸图片的准确
    性。

    发明内容

    本发明正是基于上述问题,提出了一种新的技术方案,可以提升重建
    高分辨率人脸图片的准确性。

    有鉴于此,本发明的一方面提出了一种人脸幻构方法,包括:获取低
    分辨率人脸图片;根据所述低分辨率人脸图片的光照分布和细节分布,调
    整训练集中的每幅训练集图片的光照分布和细节分布;根据调整后的所述
    每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;将所述高分辨
    率图像块进行合并,得到高分辨率人脸图片。

    在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和
    细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图
    片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练
    集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低
    分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可
    使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。
    通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸
    图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分
    辨率重建,提升了重建高分辨率人脸图片的准确性。

    在上述技术方案中,优选地,在所述调整训练集中的每幅训练集图片
    的光照分布和细节分布之前,还包括:调整所述低分辨率人脸图片的人脸
    尺寸,使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸
    尺寸相符;以及通过人脸探测功能和特征标记功能,为所述低分辨率人脸
    图片和所述每幅训练集图片划分五官区域;通过仿射变换将所述低分辨率
    人脸图片与所述每幅训练集图片的五官区域对齐。

    在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集
    图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分
    区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在
    假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础
    上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,
    提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,在所述通过仿射变换将所述低分辨
    率人脸图片与所述每幅训练集图片的五官区域对齐之后,还包括:通过
    SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每
    一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率人脸图片
    的每一个像素的位置。

    在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(Scale
    Invariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一
    个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图
    片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸
    和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升
    了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,所述根据所述低分辨率人脸图片的
    光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节
    分布,具体包括:将所述低分辨率人脸图片和所述每幅训练集图片分解为
    细节层和光照层;对所述低分辨率人脸图片和所述每幅训练集图片的细节
    层进行能量分布处理;以及用所述低分辨率人脸图片的光照层替换所述每
    幅训练集图片的光照层,得到调节光照分布后的每幅训练集图片。

    在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为
    细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片
    的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照
    条件,提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,所述通过邻域嵌入方法建立高分辨
    率图像块,具体包括:根据所述低分辨率人脸图片的任一图像块的线性表
    出系数计算高分辨率表出系数;在高分辨率空间中使用所述高分辨率表出
    系数线性表示所述高分辨率图像块。

    在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非
    局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确
    性。

    本发明的另一方面提出了一种人脸幻构系统,包括:获取单元,获取
    低分辨率人脸图片;训练集图片调整单元,根据所述低分辨率人脸图片的
    光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节
    分布;图像块建立单元,根据调整后的所述每幅训练集图片,通过邻域嵌
    入方法建立高分辨率图像块;图像块合并单元,将所述高分辨率图像块进
    行合并,得到高分辨率人脸图片。

    在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和
    细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图
    片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练
    集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低
    分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可
    使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。
    通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸
    图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分
    辨率重建,提升了重建高分辨率人脸图片的准确性。

    在上述技术方案中,优选地,还包括:人脸尺寸调整单元,在所述调
    整训练集中的每幅训练集图片的光照分布和细节分布之前,调整所述低分
    辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的人脸尺寸与所述每
    幅训练集图片的人脸尺寸相符;区域划分单元,通过人脸探测功能和特征
    标记功能,为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域;
    区域对齐单元,通过仿射变换将所述低分辨率人脸图片与所述每幅训练集
    图片的五官区域对齐。

    在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集
    图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分
    区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在
    假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础
    上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,
    提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,还包括:像素对齐单元,在所述通
    过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对
    齐之后,通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率
    人脸图片的每一个像素建立稠密映射,以根据所述稠密映射调整所述低分
    辨率人脸图片的每一个像素的位置。

    在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(Scale
    Invariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一
    个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图
    片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸
    和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升
    了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,所述训练集图片调整单元包括:分
    层单元,将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和
    光照层;细节层调整单元,对所述低分辨率人脸图片和所述每幅训练集图
    片的细节层进行能量分布处理;以及光照层调整单元,用所述低分辨率人
    脸图片的光照层替换所述每幅训练集图片的光照层,得到调节光照分布后
    的每幅训练集图片。

    在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为
    细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片
    的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照
    条件,提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,所述图像块建立单元包括:系数计
    算单元,根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高
    分辨率表出系数;图像块表出单元,在高分辨率空间中使用所述高分辨率
    表出系数线性表出所述高分辨率图像块。

    在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非
    局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确
    性。

    通过以上技术方案,实现了一种光照适应的人脸幻构方法,使低分辨
    率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进
    行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

    附图说明

    图1示出了根据本发明的一个实施例的人脸幻构方法的流程图;

    图2示出了根据本发明的一个实施例的人脸幻构系统的框图;

    图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。

    具体实施方式

    为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附
    图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不
    冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

    在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,
    本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明
    的保护范围并不受下面公开的具体实施例的限制。

    图1示出了根据本发明的一个实施例的人脸幻构方法的流程图。

    如图1所示,根据本发明的一个实施例的人脸幻构方法,包括:

    步骤102,获取低分辨率人脸图片;

    步骤104,根据所述低分辨率人脸图片的光照分布和细节分布,调整
    训练集中的每幅训练集图片的光照分布和细节分布;

    步骤106,根据调整后的所述每幅训练集图片,通过邻域嵌入方法建
    立高分辨率图像块;

    步骤108,将所述高分辨率图像块进行合并,得到高分辨率人脸图片。

    在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和
    细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图
    片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练
    集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低
    分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可
    使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。
    通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸
    图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分
    辨率重建,提升了重建高分辨率人脸图片的准确性。

    在上述技术方案中,优选地,在步骤104之前,还包括:调整所述低
    分辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的人脸尺寸与所述
    每幅训练集图片的人脸尺寸相符;以及通过人脸探测功能和特征标记功能,
    为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域;通过仿射
    变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。

    在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集
    图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分
    区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在
    假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础
    上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,
    提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,在所述通过仿射变换将所述低分辨
    率人脸图片与所述每幅训练集图片的五官区域对齐之后,还包括:通过
    SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每
    一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率人脸图片
    的每一个像素的位置。

    在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(Scale
    Invariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一
    个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图
    片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸
    和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升
    了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,步骤104具体包括:将所述低分辨
    率人脸图片和所述每幅训练集图片分解为细节层和光照层;对所述低分辨
    率人脸图片和所述每幅训练集图片的细节层进行能量分布处理;以及用所
    述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层,得到调
    节光照分布后的每幅训练集图片。

    在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为
    细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片
    的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照
    条件,提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,步骤106具体包括:根据所述低分
    辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数;在高
    分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。

    在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非
    局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确
    性。

    图2示出了根据本发明的一个实施例的人脸幻构系统的框图。

    如图2所示,根据本发明的一个实施例的人脸幻构系统200,包括:
    获取单元202、训练集图片调整单元204、图像块建立单元206和图像块
    合并单元208。

    其中,获取单元202用于获取低分辨率人脸图片;训练集图片调整单
    元204用于根据低分辨率人脸图片的光照分布和细节分布,调整训练集中
    的每幅训练集图片的光照分布和细节分布;图像块建立单元206用于根据
    调整后的每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;图像
    块合并单元208用于将高分辨率图像块进行合并,得到高分辨率人脸图片。

    在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和
    细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图
    片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练
    集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低
    分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可
    使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。
    通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸
    图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分
    辨率重建,提升了重建高分辨率人脸图片的准确性。

    在上述技术方案中,优选地,还包括:人脸尺寸调整单元210、区域
    划分单元212和区域对齐单元214。

    其中,人脸尺寸调整单元210用于在调整训练集中的每幅训练集图片
    的光照分布和细节分布之前,调整低分辨率人脸图片的人脸尺寸,使低分
    辨率人脸图片的人脸尺寸与每幅训练集图片的人脸尺寸相符;区域划分单
    元212用于通过人脸探测功能和特征标记功能,为低分辨率人脸图片和每
    幅训练集图片划分五官区域;区域对齐单元214用于通过仿射变换将低分
    辨率人脸图片与每幅训练集图片的五官区域对齐。

    在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集
    图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分
    区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在
    假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础
    上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,
    提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,还包括:像素对齐单元216,用于
    在通过仿射变换将低分辨率人脸图片与每幅训练集图片的五官区域对齐之
    后,通过SIFT流为每幅训练集图片的每个像素与低分辨率人脸图片的每
    一个像素建立稠密映射,以根据稠密映射调整低分辨率人脸图片的每一个
    像素的位置。

    在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(Scale
    Invariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一
    个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图
    片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸
    和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升
    了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,训练集图片调整单元204包括:分
    层单元2042、细节层调整单元2044和光照层调整单元2046。

    其中,分层单元2042用于将低分辨率人脸图片和每幅训练集图片分
    解为细节层和光照层;细节层调整单元2044用于对低分辨率人脸图片和
    每幅训练集图片的细节层进行能量分布处理;以及光照层调整单元2046
    用于用低分辨率人脸图片的光照层替换每幅训练集图片的光照层,得到调
    节光照分布后的每幅训练集图片。

    在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为
    细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片
    的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照
    条件,提升了重建高分辨率人脸图片的准确性。

    在上述任一技术方案中,优选地,图像块建立单元206包括:系数计
    算单元2062和图像块表出单元2064。

    其中,系数计算单元2062用于根据低分辨率人脸图片的任一图像块
    的线性表出系数计算高分辨率表出系数;图像块表出单元2064用于在高
    分辨率空间中使用高分辨率表出系数线性表出高分辨率图像块。

    在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非
    局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确
    性。

    图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。

    如图3所示,根据本发明的另一个实施例的人脸幻构方法,包括:

    步骤302,输入低分辨率图片和训练集图片序列。

    步骤304,将低分辨率图片和训练集图片人脸对齐。

    首先,认定训练集图片和低分辨率图片中的人脸有相似的表情和姿态。
    这样,将输入的低分辨率图片上插,使其和训练集图片具有相同尺寸,通
    过人脸探测和特征标记,根据五官对每个人脸划分区域,利用仿射变换可
    以将人脸的嘴部和眼部大致对齐。为了得到更加精确的对齐结果,可采用
    SIFT流将训练集图片的每一个像素和输入的低分辨率图片的每一个像素建
    立稠密映射,输入的低分辨率图片的像素位置可根据这一映射关系调整从而
    将输入的低分辨率人脸和训练集人脸精确对齐,并将这一对齐过程定义为
    函数M。

    步骤306,将低分辨率图片和训练集图片分解为细节层和光照层。

    具体来说,以训练集图片Yt为例,使用下式进行光照分离:


    其中,l=1时Sl[Yt]为图片Yt减去光照层,即Yt-YtG(σ)为细节层,保
    留了图像的原始特征和细节部分,为细节层,l=2时YtG(σ)为光照层,主要
    体现了图片的光照分布。相似地,输入的低分辨率图片Xt也可以用相同的方
    法分解。

    步骤308,根据低分辨率图片的细节层能量分布调整训练集图片的细节
    层,并将训练集图片的光照层替换为对齐后的低分辨率图片的光照层。

    具体来说,对训练集图片的两层采取不同的方法处理。

    对于细节层,应用能力计算公式计算下式得到训练集图片Yt的细节层能
    量图E1[Yt]:


    为了使训练集图片的能量分布和输入的低分辨率图片相似,对Yt的细节
    层进行以下变换,作为处理后图像O的细节层:


    其中,M为在步骤304中定义的对齐操作函数,ε为常数。为了补偿训
    练集图片的光照总量,直接使用对齐后的低分辨率图片的光照层作为处理后
    图片O的光照层,即:

    S2[O]=M(S2[Xt])

    最终经过光照调整的训练集图片O由下式可得:

    O=Sl[O]+S2[O]

    步骤310,合并处理后的光照层和细节层,扩充训练集。

    步骤312,利用非局部相似性使用邻域嵌入方法重建高分辨率图像块。

    具体来说,邻域嵌入方法是建立在认定低分辨率图片和高分辨率图像块
    对有相同的几何特征的基础上的,高分辨率图像块可以在高分辨率空间中用
    在低分辨率空间中估计出的系数线性表出。相似的图像块应该有相似的线性
    表出方式,根据这一特点,可约束高分辨率图像块的线性表出系数,从而提
    高求解系数的精确性。对于低分辨率输入图片Xt中的图像块xt,首先利用非
    局部相似性对图像块xt的线性表出系数α做出估计β。

    其估计方法如下:在Xt中通过k-NN算法搜寻Xt的非局部相似块(包括xt)
    构成集合,集合Ω中所有图像块的最近邻构成集合将该集合
    中出现频率最高的K个图像块构成集合Nl,使用Nl线性表出Ω中的每个图像
    块其系数αi可以利用的关系计算得到。

    由此对α做出估计β:


    其中,wi是归一化后的权重,其数值取决于xt和的距离,W为归一化
    因子,h为一常数。另外,系数α可利用
    的关系计算得到。

    最后,再利用低分辨率最近邻Nl在训练集中对应的高分辨率最近邻Nh,
    得到重建后的高分辨率图像块Yt:

    Yt=Nhα

    步骤314,输出高分辨率图片,即合并所有重建后的图像块,得到高分
    辨率图像Y。

    综上,本发明提出了一种光照适应的基于邻域嵌入的人脸幻构方法,主
    要针对输入的低分辨率图片和训练集图片光照条件不一致的情况,算法主要
    由三个步骤组成。首先,考虑到光源引起的高光和阴影在人脸上的不同分布,
    训练集的人脸需要利用SIFT流和输入的低分辨率图片中的人脸建立稠密映射,
    从而将人脸精确对齐。然后,通过对训练集中的人脸分为细节层和光照层,

    根据输入人脸的光照情况分别对训练集人脸的两层采取不同处理,使训练集
    中人脸的光照情况和输入的低分辨率图片中人脸的光照情况一致。最后,利
    用邻域嵌入的方法重建高分辨率图像块,并用非局部相似性对重建系数进行
    约束。具体地,本发明在邻域嵌入的框架基础上,考虑到训练集和输入的低
    分辨率图片光照情况不一致的情形,通过对训练集和输入图片光照分离,将
    输入的低分辨率图片的人脸的光照分布迁移到训练集图片的人脸上,并且保
    留原始的训练集图片的人脸特征,从而将原始训练集扩充。

    以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,
    实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集
    图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了
    重建高分辨率人脸图片的准确性。

    以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于
    本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精
    神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明
    的保护范围之内。

    关 键  词:
    人脸幻构 方法 系统
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:人脸幻构方法和人脸幻构系统.pdf
    链接地址:https://www.zhuanlichaxun.net/p-5997679.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1