基于特征混合矩阵的指纹与指静脉识别融合方法.pdf

《基于特征混合矩阵的指纹与指静脉识别融合方法.pdf》由会员分享，可在线阅读，更多相关《基于特征混合矩阵的指纹与指静脉识别融合方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910072376.6 (22)申请日 2019.01.25 (71)申请人 黑龙江大学 地址 150081 黑龙江省哈尔滨市南岗区学 府路74号 (72)发明人 马慧 (51)Int.Cl. G06K 9/62(2006.01) G06K 9/32(2006.01) G06K 9/00(2006.01) (54)发明名称 基于特征混合矩阵的指纹与指静脉识别融 合方法 (57)摘要 本发明针对单模态系统存在的认证不稳定， 错误率较高等缺点， 综合考虑指纹识别及手指静 脉识别。

2、的优缺点， 提出了一种基于特征混合矩阵 的指纹与指静脉识别融合方法。 对读入的静脉图 像与指纹图像分别进行预处理操作， 其中对静脉 图像进行手指区域分割， 感兴趣区域提取， 方向 滤波增强等操作， 对指纹图像进行尺寸归一化与 方向滤波增强操作； 然后将两种图像进行模糊分 块处理， 在此基础上， 利用离散余弦变换提取两 种图像的每一个图像子块的低频系数来表征局 部特征； 再将指纹特征向量与静脉特征向量串联 混合构成特征混合矩阵， 最后将该混合矩阵的识 别结果与基于局部特征方法的指纹识别结果、 手 指静脉识别结果在决策级上融合， 将融合后的结 果作为最终的识别结果。 本发明利用大量的融合 特征信息。

3、可以估计出精确的统计模型， 充分地利 用特征间的互补信息来提高系统准确性， 有效地 弥补了单一模态识别系统的不足。 权利要求书1页 说明书5页 附图5页 CN 109829493 A 2019.05.31 CN 109829493 A 1.基于特征混合矩阵的指纹与指静脉识别融合方法， 其特征是： 对读入的静脉图像与 指纹图像分别进行预处理操作， 其中对静脉图像进行手指区域分割， 感兴趣区域提取， 方向 滤波增强等操作， 对指纹图像进行尺寸归一化与方向滤波增强操作； 然后将两种图像进行 模糊分块处理， 在此基础上， 利用离散余弦变换(DCT)提取两种图像的每一个图像子块的低 频系数来表示局部特征。

4、； 再将指纹特征向量与静脉特征向量串联混合构成特征混合矩阵， 最后将该混合矩阵的识别结果与基于局部特征方法的指纹识别结果及静脉识别结果在决 策级上进行融合， 将融合后的结果作为最终的识别结果。 2.根据权利要求1所述的局部特征提取方法， 其特征是： 首先对图像进行模糊分块处 理， 根据每个像素点到模糊子块中心的距离大小来确定该像素点属于该子块的隶属度， 应 用上述准则将静脉图像分成83个模糊块； 对上述模糊分块后的指纹图像与手指静脉图像 的每一个图像子块分别进行DCT变换， 对于MN个块图像， 我们将得到一个由图像的所有频 率分量组成的MN 的DCT系数矩阵， 在DCT系数矩阵中， 较大幅度的。

5、系数位于矩阵的左上 角， 这些系数包含了图像的大部分信息， 本发明取系数矩阵中的前8个。 3.根据权利要求1所述的特征混合矩阵， 其特征是： 利用DCT变换提取每个静脉图像子 块中的重要信息， 生成静脉图像特征向量， 同理生成指纹图像特征向量， 式中g表 示每个手指参与训练的指纹图像、 静脉图像个数， w表示每幅图像模糊子块的个数，D为特 征向量的维数， 本发明取G=5，W=24， 特征向量维数为8， 则手指静脉图像的特征向量可表示 为， 同理指纹图像特征向量表示为 ； 将指纹图像与手指静脉图像特征向量首尾相连构造出串联特征向量， 按串联顺 序不同， 得到两个串联特征向量与 ， 将上述两个串联。

6、特征向量构造出融 合特征混合矩阵为， 在进行识别时， 将库中模板特征混合矩 阵与待识别样本的进行比较， 将库中不匹配程度最小的样本作为匹配识别结果； 在提取出指纹图像与指静脉图像的局部特征后， 得到基于局部特征方法的指纹识别结 果Rp及静脉识别结果Rv， 结合上述指纹静脉特征混合矩阵的识别结果Rfusion， 这三个结果的 取值为0或1， 0代表识别失败， 1代表识别成功， 整个系统最终的识别结果R由上述得到Rp、Rv 与Rfusion采用投票的方式获得， 当有两个及以上的分类器识别结果为通过时，R的结果为通 过， 具体公式如下： 。 权利要求书 1/1 页 2 CN 109829493 A 。

7、2 基于特征混合矩阵的指纹与指静脉识别融合方法 技术领域 0001 本发明属于模式识别技术领域， 具体涉及一种基于特征混合矩阵的指纹与指静脉 识别融合方法。 背景技术 0002 多模态生物特征识别技术为生物特征识别系统提供了一种更加通用的方法， 增加 了安全性， 提高了识别精度。 此外， 特征级的数据采集从特征提取出了丰富的特征信息， 因 此在这一层次上进行模式融合是必要的。 指纹图像与手指静脉图像的特征提取可分为全局 特征提取和局部特征提取， 通常这两种图像的全局特征维数较高， 很难在特征空间中直接 分类， 而局部特征的维数比全局特征低， 因此， 本发明在充分分析和研究手指指纹与手指静 脉识。

8、别各自存在优点和缺点的基础上， 结合指纹信息及静脉信息处理特点， 利用离散余弦 变换 （DCT） 方法提取指纹图像与手指静脉图像的局部特征， 提出一种基于混合矩阵的指部 生物特征融合方法， 以期获得一种具有使用价值高的、 可靠性高的智能身份识别系统。 发明内容 0003 本发明的目的在于提供一种基于特征混合矩阵的指纹与指静脉双模态融合方法。 0004 本发明的目的是这样实现的： 基于特征混合矩阵的指纹与指静脉识别融合方法， 首先对读入的静脉图像与指纹图像 分别进行预处理操作， 其中对静脉图像进行手指区域分割， 感兴趣区域提取， 方向滤波增强 等操作， 对指纹图像进行尺寸归一化与方向滤波增强操作。

9、； 然后将两种图像进行模糊分块 处理， 在此基础上， 利用离散余弦变换(DCT)提取两种图像的每一个图像子块的低频系数来 表示局部特征； 再将指纹特征向量与静脉特征向量串联混合构成特征混合矩阵， 最后将该 混合矩阵的识别结果与基于局部特征方法的指纹识别结果及静脉识别结果在决策级上进 行融合， 将融合后的结果作为最终的识别结果。 0005 所述的局部特征提取方法， 首先对图像进行模糊分块处理。 根据每个像素点到模 糊子块中心的距离大小来确定该像素点属于该子块的隶属度。 应用上述准则将静脉图像分 成83个模糊块； 对上述模糊分块后的指纹图像与手指静脉图像的每一个图像子块分别进 行DCT变换， 对于。

10、MN个块图像， 我们将得到一个由图像的所有频率分量组成的MN的F图 像的大部分信息。 本发明取系数矩阵中的前8个。 0006 所述的特征混合矩阵是利用DCT变换提取每个静脉图像子块中的重要信息， 生成 静脉图像特征向量， 同理生成指纹图像特征向量 。 式中g表示每个手指参与训练的指纹图像、 静脉图 像个数， 表示每幅图像模糊子块的个数，D为特征向量的维数。 本发明取G=5，W=24， 特征向量 维数为8， 则手指静脉图像的特征向量可表示为， 同 说明书 1/5 页 3 CN 109829493 A 3 理指纹图像特征向量表示为。 0007 将指纹图像与手指静脉图像特征向量首尾相连构造出串联特征。

11、向量， 按串 联顺序不同， 得到两个串联特征向量与 。 将上述两个串联特征向量构造出融 合特征混合矩阵为。 在进行识别时， 将库中模板特征混合矩 阵与待识别样本的进行比较， 将库中不匹配程度最小的样本作为匹配识别结果。 0008 在提取出指纹图像与指静脉图像的局部特征后， 得到基于局部特征方法的指纹识 别结果Rp及静脉识别结果Rv， 结合上述指纹静脉特征混合矩阵的识别结果Rfusion， 这三个结 果的取值为0或1， 0代表识别失败， 1代表识别成功。 整个系统最终的识别结果R由上述得到 Rp、Rv与Rfusion采用投票的方式获得， 当有两个及以上的分类器识别结果为通过时，R的结果 为通过。。

12、 具体公式如下： 。 0009 本发明的主要贡献和特点在于： 本发明针对单一模态的生物特征识别系统存在的 认证不稳定， 错误率较高等缺点， 提出了一种新的基于特征混合矩阵的指纹与指静脉融合 方法。 本发明利用DCT变换提取指纹与指静脉图像的低频系数来表征局部特征， 并将指纹特 征向量与静脉特征向量串联混合来构成特征混合矩阵， 利用低频系数构成的特征混合矩阵 能够充分地利用特征间的互补信息来提高系统准确性， 有效地弥补了单一模态识别系统的 不足， 又避免了多模态间由于特征量纲相差较大而导致直接串联而出现的特征不平衡的情 况， 有效解决传统特征级联方法中常见的 “维数灾难” 问题。 附图说明 00。

13、10 图1基于特征混合矩阵的指纹与指静脉识别融合方法的模块组成。 0011 图2原始手指静脉图像示例。 0012 图3 Kapur熵阈值化操作后的静脉图像。 0013 图4 开操作处理后的图像。 0014 图5 提取出的手指区域图像。 0015 图6 感兴趣区域示意图。 0016 图7 提取出的静脉图像感兴趣区域。 0017 图8静脉图像的方向图。 0018 图9原始指纹图像。 0019 图10指纹图像的方向图。 0020 图11 静脉图像模糊分块示意图。 0021 图12 指纹与手指静脉融合数据库中部分图像示例。 说明书 2/5 页 4 CN 109829493 A 4 具体实施方式 002。

14、2 1 图像预处理。 0023 静脉图像预处理。 0024 (1) 手指区域提取。 0025 由于采集到的图像受环境的影响， 其背景像素点的灰度值不全为0，（数据库中的 原始静脉图像如图2所示） ， 为了避免背景对后续特征提取及识别处理的影响， 在提取静脉 目标之前需要获取手指区域的像素点的集合。 此处通过Kapur熵阈值化操作来实现手指区 域的获取， 阈值化操作后的图像如图3所示。 由于阈值分割后的图像存在毛刺， 此处采用数 学形态学中的开操作对其进行处理， 处理后的图像如图4所示。 最终提取出的手指区域图像 如图5所示。 0026 (2) 感兴趣区域提取。 0027 对提取出手指区域的静脉。

15、图像进一步提取出感兴趣区域。 首先， 将整个图像区域 向竖直方向投影， 计算图像中每列像素的灰度值的总和， 在一定图像区间内找到平均值最 大的区域， 本发明取静脉手指区域图像的前70列像素区域， 将此区域的中间列作为图像感 兴趣区域竖直方向左侧的分割线， 该线取为， 根据左侧分割线确定出右侧分割线为a+b， 式 中b表示两条竖直平行直线l1、l2之间的距离， 即图像感兴趣区域的横向宽度； 再将手指轮廓 上、 下边缘的内切线l3、l4与l1、l2相交形成一个封闭的矩形区域即为提取出的手指静脉的 感兴趣区域。 感兴趣区域示意图如图6所示， 提取出的指静脉感兴趣区域如图7所示。 0028 (3) 方。

16、向滤波。 0029 求取静脉图像中每个像素点的邻域方向构成方向图并设计8个方向的滤波器模板 组成方向滤波器， 滤波时根据像素点的方向选择相应方向的滤波器对图像进行滤波操作。 静脉图像的方向图如图8所示。 0030 指纹图像预处理。 0031 对指纹图像进行尺寸归一化和方向滤波增强操作， 指纹图像方向滤波增强方法参 见上述静脉图像方法。 原始指纹图像及其平滑后的方向图分别如图9及图10所示。 0032 2 提取局部特征。 0033 模糊分块。 0034 对预处理后的指纹图像与手指静脉图像提取局部特征之前， 先对图像进行分块处 理。 如果手指静脉图像被划分为不重叠的块， 则当识别同一人在不同的时间。

17、采集到的图像 时， 块边界周围的像素可能不会落在同一块中， 这是由于图像采集过程中存在平移和旋转 变换， 从而降低了识别率。 为了解决这一问题， 我们将图像划分为模糊分块。 也就是说， 任意 两个相邻块之间有像素点的重叠， 两个相邻块之间的边界不确定。 模糊分块避免了确定性 分块方法存在的问题， 并且对旋转和平移具有一定的鲁棒性。 0035 根据每个像素点到模糊子块中心的距离大小来确定该像素点属于该子块的隶属 度。 隶属度计算准则如下： (1) 说明书 3/5 页 5 CN 109829493 A 5 (2) 其中xk，yk为每个模糊子块的中心点的横纵坐标， l为子块的边长。 0036 应用上。

18、述准则将静脉图像分成83个模糊块， 图11为手指静脉图像的模糊划分示 意图， 图中虚线框内的像素点为一个模糊块中的像素点。 本发明对指纹图像进行同样的模 糊分块划分。 0037 基于离散余弦变换的局部特征提取。 0038 离散余弦变换 （Discrete Cosine Transform， DCT） 是可分离的变换， 其变换核为 余弦函数。 DCT除了具有一般的正交变换性质外， 它的变换阵的基向量能很好地描述人类语 音信号和图像信号的相关特征。 因此， 在对语音信号、 图像信号的变换中， DCT变换被认为是 一种准最佳变换。 0039 设f(x,y)为MN二维DCT正变换核为： (3) 式中,。

19、。 0040 二维DCT定义如下： (4) 式中，。 0041 对上述模糊分块后的指纹图像与手指静脉图像的每一个图像子块分别进行DCT变 换， 对于MN个块图像， 我们将得到一个由图像的所有频率分量组成的MN的DCT系数矩 阵。 在DCT系数矩阵中， 较大幅度的系数位于矩阵的左上角， 这些系数包含了图像的大部分 信息。 为了降低数据的维数， 本发明取系数矩阵中的前8个。 0042 3指纹静脉特征混合矩阵。 0043 本发明使用的指纹数据库中， 共有120人的指纹图像， 其中每人采集5幅图像， 共计 600幅指纹图像， 原始图像大小为256300； 所用的静脉数据库中样本共有126人， 每人采集。

20、 5幅图像， 共计630幅指静脉图像， 原始图像大小为320240。 从静脉数据库中随机抽取120 人的图像与指纹图像一一匹配， 构建指纹/指静脉融合数据库， 匹配规则采取随机匹配。 匹 配后的指纹与手指静脉融合数据库中的部分图像如图12所示。 0044 鉴于指静脉图像与指纹图像每个手指样本均有5幅图像， 设Fv1,Fv2,L,Fv5代表每个 对象的5幅静脉图像， 同理每个手指样本的5幅指纹图像用Fp1,Fp2,L,Fp5表示。 每个指纹图像 Fpi和每个指纹图像Fvi被细分成m个子块， 相邻子块间有一半的像素点重叠。 0045 利用DCT变换提取每个图像子块中的重要信息 ， 生成静脉图像特征。

21、向量 ， 同理生成指纹图像特征向量 说明书 4/5 页 6 CN 109829493 A 6 。 式中g表示每个手指参与训练的指纹图像、 静脉 图像个数，w表示每幅图像模糊子块的个数，D为特征向量的维数。 本发明取G=5，W为24， 特征 向量维数为8， 则手指静脉图像的特征向量可表示为， 同理指纹图像特征向量表示为。 0046 将指纹图像与手指静脉图像特征向量首尾相连构造出串联特征向量， 按 串联顺序不同， 得到两个串联特征向量 与。 0047将上述两个串联特征向量构造出融合特征混合矩阵为。 对于同一个手指对象， 指纹图像特征与手指静脉图像特征所描述的内容不尽相同， 因此将 来自于同一个对象。

22、的指纹特征向量与静脉特征向量进行特征混合， 这样的混合矩阵包含更 多的识别信息， 能产生比单一特征更为全面准确的判断。 在进行识别时， 将库中模板特征混 合矩阵与待识别样本的进行比较， 将库中不匹配程度最小的样本作为识别结果。 0048 在提取出指纹图像与指静脉图像的局部特征后， 得到基于局部特征方法的指纹识 别结果Rp及静脉识别结果Rv， 结合上述指纹静脉特征混合矩阵的识别结果Rfusion， 这三个结 果的取值为0或1， 0代表识别失败， 1代表识别成功。 整个系统最终的识别结果R由上述得到 Rp、Rv与Rfusion采用投票的方式获得， 当有两个及以上的分类器识别结果为通过时, R的结果。

23、 为通过。 具体公式如下： (5)。 0049 本发明针对单一模态的生物特征识别系统存在的认证不稳定， 错误率较高等缺 点， 提出了一种新的基于特征混合矩阵的指纹与指静脉融合方法。 本方法综合考虑了静脉 识别与指纹识别的特性， 利用DCT变换提取两种图像的低频系数来表示局部特征， 并将指纹 特征向量与静脉特征向量串联混合来构成特征混合矩阵， 利用大量的融合特征向量可以估 计出精确的统计模型， 这样能够充分地利用特征间的互补信息来提高系统准确性， 有效地 弥补了单一模态识别系统的不足， 又避免了多模态间由于特征量纲相差较大而导致直接串 联而出现的特征不平衡的情况。 说明书 5/5 页 7 CN 109829493 A 7 图1 说明书附图 1/5 页 8 CN 109829493 A 8 图2 图3 图4 说明书附图 2/5 页 9 CN 109829493 A 9 图5 图6 图7 图8 说明书附图 3/5 页 10 CN 109829493 A 10 图9 图10 图11 说明书附图 4/5 页 11 CN 109829493 A 11 图12 说明书附图 5/5 页 12 CN 109829493 A 12 。