基于Gabor小波的人脸表情识别方法及装置.pdf

《基于Gabor小波的人脸表情识别方法及装置.pdf》由会员分享，可在线阅读，更多相关《基于Gabor小波的人脸表情识别方法及装置.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010838936.7 (22)申请日 2020.08.19 (71)申请人 北京影谱科技股份有限公司 地址 100000 北京市朝阳区朝外大街22号5 层521室 (72)发明人 樊硕 (74)专利代理机构 北京万思博知识产权代理有 限公司 11694 代理人 高镇 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于Gabor小波的人脸表情识别方法及 装置 (57)摘要 本申请公开了一种基于Gab。

2、or小波的人脸表 情识别方法及装置。 所述方法包括： 对输入图像 进行灰度化和尺寸归一处理； 根据预设的灰度均 值和灰度方差对灰度化和尺寸归一处理后的图 像进行灰度均衡处理， 并将灰度均衡处理后的图 像作为待识别图像； 采用二维Gabor小波滤波器 组对所述待识别图像进行Gabor小波变换； 提取 所述待识别图像的表情特征向量； 利用非均匀弹 性网格模板对提取出的表情特征向量进行匹配 识别。 所述装置包括： 预处理模块、 特征提取模块 和识别匹配模块。 本申请对Gabor小波滤波进行 了改进， 有效降低了干扰， 使识别率大大提高， 运 算时间大大减小。 权利要求书2页 说明书6页 附图3页 C。

3、N 112084888 A 2020.12.15 CN 112084888 A 1.一种基于Gabor小波的人脸表情识别方法， 包括： 对输入图像进行灰度化和尺寸归一处理； 根据预设的灰度均值和灰度方差对灰度化和尺寸归一处理后的图像进行灰度均衡处 理， 并将灰度均衡处理后的图像作为待识别图像； 采用二维Gabor小波滤波器组对所述待识别图像进行Gabor小波变换； 提取所述待识别 图像的表情特征向量； 利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别。 2.根据权利要求1所述的方法， 其特征在于， 所述对输入图像进行灰度化和尺寸归一处 理的方式为： 对所述输入图像进行灰度化处理； 将灰。

4、度图像规整到统一的尺寸； 并对尺寸统一后的图像纠正图像的旋转变形。 3.根据权利要求1或2所述的方法， 其特征在于， 根据预设的灰度均值和灰度方差对灰 度化和尺寸归一处理后的图像进行灰度均衡处理包括： 以预设的灰度均值和灰度方差为依据， 对灰度化和尺寸统一处理后的图像采用双三次 插值和直方图均衡的方式进行灰度均衡处理。 4.根据权利要求1或2所述的方法， 其特征在于， 采用二维Gabor小波滤波器组对所述待 识别图像进行Gabor小波变换包括： 使用n个中心频率和m个方向组成的nm个Gabor滤波器提取所述待识别图像的表情特 征向量。 5.根据权利要求1或2所述的方法， 其特征在于， 利用非均。

5、匀弹性网格模板对提取出的 表情特征向量进行匹配识别包括： 使用非均匀网格提取表情特征信息； 求出表情图库中每一种表情特征图与待识别图像的最小代价函数； 根据近邻分类策略得出识别结果。 6.一种基于Gabor小波的人脸表情识别装置， 包括： 预处理模块， 设置为对输入图像进行灰度化和尺寸归一处理； 所述预处理模块， 还设置为根据预设的灰度均值和灰度方差对灰度化和尺寸归一处理 后的图像进行灰度均衡处理， 并将灰度均衡处理后的图像作为待识别图像； 特征提取模块， 设置为采用二维Gabor小波滤波器组对所述待识别图像进行Gabor小波 变换； 提取所述待识别图像的表情特征向量； 识别匹配模块， 设置为。

6、利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识 别。 7.根据权利要求6所述的装置， 其特征在于， 所述预处理模块对输入图像进行灰度化和 尺寸归一处理包括： 对所述输入图像进行灰度化处理； 将灰度图像规整到统一的尺寸； 并对尺寸统一后的图像纠正图像的旋转变形。 8.根据权利要求6或7所述的装置， 其特征在于， 所述预处理模块根据预设的灰度均值 和灰度方差对灰度化和尺寸归一处理后的图像进行灰度均衡处理包括： 以预设的灰度均值和灰度方差为依据， 对灰度化和尺寸统一处理后的图像采用双三次 权利要求书 1/2 页 2 CN 112084888 A 2 插值和直方图均衡的方式进行灰度均衡处理。 。

7、9.根据权利要求6或7所述的装置， 其特征在于， 所述特征提取模块采用二维Gabor小波 滤波器组对所述待识别图像进行Gabor小波变换包括： 使用n个中心频率和m个方向组成的nm个Gabor滤波器提取所述待识别图像的表情特 征向量。 10.根据权利要求6或7所述的装置， 其特征在于， 所述识别匹配模块利用非均匀弹性网 格模板对提取出的表情特征向量进行匹配识别包括： 使用非均匀网格提取表情特征信息； 求出表情图库中每一种表情特征图与待识别图像的最小代价函数； 根据近邻分类策略得出识别结果。 权利要求书 2/2 页 3 CN 112084888 A 3 一种基于Gabor小波的人脸表情识别方法及。

8、装置 技术领域 0001 本申请涉及图像识别技术， 特别是涉及基于Gabor小波的人脸表情识别方法及装 置。 背景技术 0002 CNN是人脸检测过程中常用的二分类模型， Gabor小波滤波是CNN模型中常用的采 样图像的频率域的方式。 但是， 随着对人脸检测要求的提高， Gabor小波滤波的缺陷也逐渐 显露出来， 例如： 针对人脸识别的Gabor小波滤波容易受到人脸表情、 光照条件和各种几何 变换的影响， 难以取得很高的识别精度， 容易导致网络过拟合， 影响人脸识别率。 发明内容 0003 本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。 0004 根据本申请的一个方面， 。

9、提供了一种基于Gabor小波的人脸表情识别方法， 所述方 法包括： 0005 对输入图像进行灰度化和尺寸归一处理； 0006 根据预设的灰度均值和灰度方差对灰度化和尺寸归一处理后的图像进行灰度均 衡处理， 并将灰度均衡处理后的图像作为待识别图像； 0007 采用二维Gabor小波滤波器组对所述待识别图像进行Gabor小波变换； 提取所述待 识别图像的表情特征向量； 0008 利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别。 0009 优选地， 所述对输入图像进行灰度化和尺寸归一处理的方式为： 0010 对所述输入图像进行灰度化处理； 0011 将灰度图像规整到统一的尺寸； 并对尺寸统。

10、一后的图像纠正图像的旋转变形。 0012 优选地， 根据预设的灰度均值和灰度方差对灰度化和尺寸归一处理后的图像进行 灰度均衡处理包括： 0013 以预设的灰度均值和灰度方差为依据， 对灰度化和尺寸统一处理后的图像采用双 三次插值和直方图均衡的方式进行灰度均衡处理。 0014 优选地， 采用二维Gabor小波滤波器组对所述待识别图像进行Gabor小波变换包 括： 0015 使用n个中心频率和m个方向组成的nm个Gabor滤波器提取所述待识别图像的表 情特征向量。 0016 优选地， 利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别包括： 0017 使用非均匀网格提取表情特征信息； 001。

11、8 求出表情图库中每一种表情特征图与待识别图像的最小代价函数； 0019 根据近邻分类策略得出识别结果。 0020 根据本申请的另一个方面， 提供了一种基于Gabor小波的人脸表情识别装置， 包 说明书 1/6 页 4 CN 112084888 A 4 括： 0021 预处理模块， 设置为对输入图像进行灰度化和尺寸归一处理； 0022 所述预处理模块， 还设置为根据预设的灰度均值和灰度方差对灰度化和尺寸归一 处理后的图像进行灰度均衡处理， 并将灰度均衡处理后的图像作为待识别图像； 0023 特征提取模块， 设置为采用二维Gabor小波滤波器组对所述待识别图像进行Gabor 小波变换； 提取所述。

12、待识别图像的表情特征向量； 0024 识别匹配模块， 设置为利用非均匀弹性网格模板对提取出的表情特征向量进行匹 配识别。 0025 优选地， 所述预处理模块对输入图像进行灰度化和尺寸归一处理包括： 0026 对所述输入图像进行灰度化处理； 0027 将灰度图像规整到统一的尺寸； 并对尺寸统一后的图像纠正图像的旋转变形。 0028 优选地， 所述预处理模块根据预设的灰度均值和灰度方差对灰度化和尺寸归一处 理后的图像进行灰度均衡处理包括： 0029 以预设的灰度均值和灰度方差为依据， 对灰度化和尺寸统一处理后的图像采用双 三次插值和直方图均衡的方式进行灰度均衡处理。 0030 优选地， 所述特征提。

13、取模块采用二维Gabor小波滤波器组对所述待识别图像进行 Gabor小波变换包括： 0031 使用n个中心频率和m个方向组成的nm个Gabor滤波器提取所述待识别图像的表 情特征向量。 0032 优选地， 所述识别匹配模块利用非均匀弹性网格模板对提取出的表情特征向量进 行匹配识别包括： 0033 使用非均匀网格提取表情特征信息； 0034 求出表情图库中每一种表情特征图与待识别图像的最小代价函数； 0035 根据近邻分类策略得出识别结果。 0036 本申请的基于Gabor小波的人脸表情识别方法及装置， 通过改变Gabor小波的形 状、 带宽、 中心频率和方向参数， 使得二维Gabor小波滤波器。

14、来采样一幅图像的整个频率域， 使用5个中心频率和8个方向组成的40个Gabor滤波器组来提取表情特征关键点的特征向 量， 使用非均匀网格提取对表情变化其主要作用的关键点的特征信息， 逐步求出表情特征 图与待识别图像的最小代价函数， 采用优于最近邻策略得出最终识别结果， 有效降低了干 扰， 使识别率大大提高， 运算时间大大减小。 0037 根据下文结合附图对本申请的具体实施例的详细描述， 本领域技术人员将会更加 明了本申请的上述以及其他目的、 优点和特征。 附图说明 0038 后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。 附图中相同的附图标记标示了相同或类似的部件或部分。

15、。 本领域技术人员应该理解， 这些 附图未必是按比例绘制的。 附图中： 0039 图1是根据本申请一个实施例的一种基于Gabor小波的人脸表情识别方法的示意 性流程图； 说明书 2/6 页 5 CN 112084888 A 5 0040 图2是图1所示方法的利用非均匀弹性网格模板对提取出的表情特征向量进行匹 配识别的示意性流程图； 0041 图3是根据本申请一个实施例的一种基于Gabor小波的人脸表情识别装置的示意 性结构框图； 0042 图4是根据本申请一个实施例的一种计算设备的示意性结构框图； 0043 图5是根据本申请一个实施例的一种计算机可读存储介质的示意性结构框图。 具体实施方式 0。

16、044 图1是根据本申请一个实施例的一种基于Gabor小波的人脸表情识别方法的示意 性流程图。 所述的基于Gabor小波的人脸表情识别识别方法一般性地可包括如下步骤： 0045 S1、 对输入图像进行灰度化和尺寸归一处理： 0046 本实施方式是针对灰度图像的人脸识别， 方式为： 0047 对所述输入图像进行灰度化处理； 0048 将灰度图像规整到统一的尺寸； 并对尺寸统一后的图像纠正图像的旋转变形。 0049 本实施方式中， 需要对输入图像进行预处理， 预处理过程是人脸表情识别系统的 第一步工作， 图像预处理的好坏直接影响表情特征提取的效果和识别率。 本实施方式的尺 寸归一将大小不一的表情图。

17、像规整到统一的尺寸， 以方便表情特征的提取及表情识别， 此 外还要纠正图像的细微旋转变形。 0050 S2、 根据预设的灰度均值和灰度方差对灰度化和尺寸归一处理后的图像进行灰度 均衡处理， 并将灰度均衡处理后的图像作为待识别图像： 0051 本实施方式灰度均衡的方式为： 以预设的灰度均值和灰度方差为依据， 对灰度化 和尺寸统一处理后的图像采用双三次插值和直方图均衡的方式进行灰度均衡处理。 0052 本实施方式中， 灰度均衡将所有的表情灰度图像归一化为统一的灰度均值和灰度 方差， 使得表情识别对光照变化和人脸肤色差异有较强的鲁棒性。 本实施方式通过分析， 选 用双三次插值和直方图均衡的方法使输出。

18、图像统一规格为100*100大小的图像。 0053 本实施方式中， 灰度均衡使用一个累积分布函数(cumulative distribution function(cdf)。 灰度均衡化是通过调整图像的灰阶分布， 使得在0255灰阶上的分布更 加均衡， 提高了图像的对比度， 达到改善图像主观视觉效果的目的。 对比度较低的图像适合 使用直方图均衡化方法来增强图像细节。 0054 本实施方式中通过灰度均衡增加图像的全局对比度， 尤其是当图像的有用数据的 对比度相当接近的时候。 另外， 通过灰度均衡化， 亮度可以更好地在直方图上分布。 这样就 可以用于增强局部的对比度而不影响整体的对比度， 灰度均衡。

19、化通过有效地扩展常用的亮 度来实现这种功能。 这种方法对于背景和前景都太亮或者太暗的图像非常有用， 这种方法 尤其可以带来X光图像中更好的骨骼结构显示以及曝光过度或者曝光不足照片中更好的细 节。 另外， 灰度均衡化的一个主要优势体现在它是一个相当直观的技术并且是可逆操作， 如 果已知均衡化函数， 就可以恢复原始的灰度直方图， 并且计算量不大。 0055 S3、 采用二维Gabor小波滤波器组对所述待识别图像进行Gabor小波变换； 提取所 述待识别图像的表情特征向量： 0056 本实施方式获取表情特征向量的方式为： 使用n个中心频率和m个方向组成的nm 说明书 3/6 页 6 CN 11208。

20、4888 A 6 个Gabor滤波器提取所述待识别图像的表情特征向量。 0057 本实施方式中， 如果直接采用传统的图像像素的灰度值进行人脸表情识别时， 模 式特征容易受到人脸表情、 光照条件和各种几何变换的影响， 难以取得很高的识别精度。 而 二维Gabor小波变换可以较好地模拟人类视觉系统某些方面的特点， 并且具有一些非常吸 引人的优良特性， 如在空间域和频率域同时具有最优的局部化特点， 通过改变Gabor小波的 形状、 带宽、 中心频率和方向参数， 可以设计二维Gabor小波滤波器来采样一幅图像的整个 频率域。 因此， 本实施方式中使用5个中心频率和8个方向组成的40个Gabor滤波器组。

21、来提取 表情特征， 其中， 所述Gabor滤波器组依据具体情况取值。 在训练阶段， 对预处理之后的典型 图像进行Gabor小波变换， 提取其表情特征关键点的特征向量， 构成非均匀弹性网格模板， 形成弹性模板表情特征图库在识别阶段， 对待识别图像进行Gabor小波变换， 提取关键点特 征向量。 0058 S4、 利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别： 0059 图2为利用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别的示意性 流程图， 本实施方式进行匹配识别的方式为： 0060 S41、 使用非均匀网格提取表情特征信息； 0061 S42、 求出表情图库中每一种表情特征。

22、图与待识别图像的最小代价函数； 0062 S43、 根据近邻分类策略得出识别结果。 0063 对于提取的表情特征进行分类识别是人脸表情识别系统的关键步骤之一。 传统的 弹性模板匹配算法是使用均匀网格提取全脸的特征信息进而使用最近邻分类策略来进行 匹配识别， 这样引入了对表情变化贡献较小部位如脸部轮廓、 额头、 面颊部位的干扰信息， 使计算量成倍增加， 且识别率下降。 本文提出了基于表情特征的弹性模板改进算法， 使用非 均匀网格提取对表情变化其主要作用的关键点的特征信息， 逐步求出表情特征图与待识别 图像的最小代价函数， 采用优于最近邻策略的， 一近邻分类策略得出最终识别结果， 有效降 低了干扰。

23、， 使识别率大大提高， 运算时间大大减小。 0064 本实施方式中， 用非均匀弹性网格模板对提取出的表情特征向量进行匹配识别的 具体方式为： 0065 (1)首先将图像划分为1616的小区域(cell)； 0066 (2)对每个cell中的每个像素， 将相邻的8个像素的灰度值与之比较， 若大于该灰 度值， 则标记为1， 否则标记为0。 33邻域内的8个像素点经比较可产生8位二进制数， 即为该 像素点的LBP(LocalBinaryPattern， 局部二值模式)值。 0067 (3)将二进制LBP值转换为十进制， 计算每个cell的LBP直方图， 即统计每个LBP值 出现的频率， 并对直方图进。

24、行归一化。 0068 (4)将1616个cell的直方图进行连接得到一个特征向量， 即整幅图的LBP纹理特征 向量。 0069 然后利用SVM或者其他机器学习算法进行分类。 0070 本实施方式中， 利用纹理特征提取， 提取的特征是图像的局部纹理特征； 使得特征 更明显， 便于分析运算。 0071 图3是根据本申请一个实施例的一种基于Gabor小波的人脸表情识别装置的示意 性结构框图。 所述的基于改进的卷积网络的人脸识别装置一般性地可包括： 说明书 4/6 页 7 CN 112084888 A 7 0072 预处理模块， 设置为对输入图像进行灰度化和尺寸归一处理； 0073 所述预处理模块， 。

25、还设置为根据预设的灰度均值和灰度方差对灰度化和尺寸归一 处理后的图像进行灰度均衡处理， 并将灰度均衡处理后的图像作为待识别图像； 0074 特征提取模块， 设置为采用二维Gabor小波滤波器组对所述待识别图像进行Gabor 小波变换； 提取所述待识别图像的表情特征向量； 0075 识别匹配模块， 设置为利用非均匀弹性网格模板对提取出的表情特征向量进行匹 配识别。 0076 本实施方式中， 所述预处理模块对输入图像进行灰度化和尺寸归一处理包括： 0077 对所述输入图像进行灰度化处理； 0078 将灰度图像规整到统一的尺寸； 并对尺寸统一后的图像纠正图像的旋转变形。 0079 本实施方式中， 所。

26、述预处理模块根据预设的灰度均值和灰度方差对灰度化和尺寸 归一处理后的图像进行灰度均衡处理包括： 0080 以预设的灰度均值和灰度方差为依据， 对灰度化和尺寸统一处理后的图像采用双 三次插值和直方图均衡的方式进行灰度均衡处理。 0081 本实施方式中， 所述特征提取模块采用二维Gabor小波滤波器组对所述待识别图 像进行Gabor小波变换包括： 0082 使用n个中心频率和m个方向组成的nm个Gabor滤波器提取所述待识别图像的表 情特征向量。 0083 本实施方式中， 所述识别匹配模块利用非均匀弹性网格模板对提取出的表情特征 向量进行匹配识别包括： 0084 使用非均匀网格提取表情特征信息； 。

27、0085 求出表情图库中每一种表情特征图与待识别图像的最小代价函数； 0086 根据近邻分类策略得出识别结果。 0087 本申请实施例还提供了一种计算设备， 参照图4， 该计算设备包括存储器1120、 处 理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序， 该计算机 程序存储于存储器1120中的用于程序代码的空间1130， 该计算机程序在由处理器1110执行 时实现用于执行任一项根据本发明的方法步骤1131。 0088 本申请实施例还提供了一种计算机可读存储介质。 参照图5， 该计算机可读存储介 质包括用于程序代码的存储单元， 该存储单元设置有用于执行根据本发明。

28、的方法步骤的程 序1131 ， 该程序被处理器执行。 0089 本申请实施例还提供了一种包含指令的计算机程序产品。 当该计算机程序产品在 计算机上运行时， 使得计算机执行根据本发明的方法步骤。 0090 在上述实施例中， 可以全部或部分地通过软件、 硬件、 固件或者其任意组合来实 现。 当使用软件实现时， 可以全部或部分地以计算机程序产品的形式实现。 所述计算机程序 产品包括一个或多个计算机指令。 在计算机加载和执行所述计算机程序指令时， 全部或部 分地产生按照本申请实施例所述的流程或功能。 所述计算机可以是通用计算机、 专用计算 机、 计算机网络、 获取其他可编程装置。 所述计算机指令可以存。

29、储在计算机可读存储介质 中， 或者从一个计算机可读存储介质向另一个计算机可读存储介质传输， 例如， 所述计算机 指令可以从一个网站站点、 计算机、 服务器或数据中心通过有线(例如同轴电缆、 光纤、 数字 说明书 5/6 页 8 CN 112084888 A 8 用户线(DSL)或无线(例如红外、 无线、 微波等)方式向另一个网站站点、 计算机、 服务器或 数据中心进行传输。 所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者 是包含一个或多个可用介质集成的服务器、 数据中心等数据存储设备。 所述可用介质可以 是磁性介质， (例如， 软盘、 硬盘、 磁带)、 光介质(例如， DVD)、。

30、 或者半导体介质(例如固态硬盘 Solid State Disk(SSD)等。 0091 专业人员应该还可以进一步意识到， 结合本文中所公开的实施例描述的各示例的 单元及算法步骤， 能够以电子硬件、 计算机软件或者二者的结合来实现， 为了清楚地说明硬 件和软件的可互换性， 在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现 不应认为超出本申请的范围。 0092 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是。

31、可以 通过程序来指令处理器完成， 所述的程序可以存储于计算机可读存储介质中， 所述存储介 质是非短暂性(英文： non-transitory)介质， 例如随机存取存储器， 只读存储器， 快闪存储 器， 硬盘， 固态硬盘， 磁带(英文： magnetic tape)， 软盘(英文： floppy disk)， 光盘(英文： optical disc)及其任意组合。 0093 以上所述， 仅为本申请较佳的具体实施方式， 但本申请的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本申请揭露的技术范围内， 可轻易想到的变化或替换， 都应涵盖在本申请的保护范围之内。 因此， 本申请的保护范围应该以权利要求的保护范围 为准。 说明书 6/6 页 9 CN 112084888 A 9 图1 说明书附图 1/3 页 10 CN 112084888 A 10 图2 图3 说明书附图 2/3 页 11 CN 112084888 A 11 图4 图5 说明书附图 3/3 页 12 CN 112084888 A 12 。