一种人脸录入的方法及装置.pdf

《一种人脸录入的方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种人脸录入的方法及装置.pdf（15页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103605969 A (43)申请公布日 2014.02.26 CN 103605969 A (21)申请号 201310633977.2 (22)申请日 2013.11.28 G06K 9/00(2006.01) (71)申请人 TCL 集团股份有限公司 地址 516001 广东省惠州市鹅岭南路 6 号 TCL 工业大厦 8 楼技术中心 (72)发明人 范杰 刘莫闲 陈康增 史淼泓 (74)专利代理机构 深圳中一专利商标事务所 44237 代理人 张全文 (54) 发明名称 一种人脸录入的方法及装置 (57) 摘要 本发明适用于计算机视觉技术领域， 提供了 一种人。

2、脸录入的方法， 所述方法包括 ： 采集视频 帧， 形成视频帧队列 ； 对所述视频帧队列进行检 测， 判断所述视频帧队列中是否包含人脸 ； 如果 所述视频帧队列中包含人脸， 将所述人脸与人脸 库中保存的人脸进行匹配 ； 如果所述人脸未保存 在所述人脸库中， 自动将所述人脸录入所述人脸 库。在本发明中， 在采集到的视频帧中检测人脸， 判断检测出的人脸是否保存在人脸库中， 如果未 保存在人脸库中， 自动将其录入人脸库， 实现了人 脸库中数据的自动增加， 有利于对陌生人脸的识 别和跟踪。 (51)Int.Cl. 权利要求书 2 页 说明书 6 页 附图 6 页 (19)中华人民共和国国家知识产权局 (。

3、12)发明专利申请 权利要求书2页 说明书6页 附图6页 (10)申请公布号 CN 103605969 A CN 103605969 A 1/2 页 2 1. 一种人脸录入的方法， 其特征在于， 包括 ： 采集视频帧， 形成视频帧队列 ； 对所述视频帧队列进行检测， 判断所述视频帧队列中是否包含人脸 ； 如果所述视频帧队列中包含人脸， 将所述人脸与人脸库中保存的人脸进行匹配 ； 如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述人脸库。 2. 如权利要求 1 所述的方法， 其特征在于， 在所述如果所述视频帧队列中包含人脸， 将 所述人脸与人脸库中保存的人脸进行匹配之后， 在所述如果所述。

4、人脸未保存在所述人脸库 中， 自动将所述人脸录入所述人脸库之前， 所述方法还包括 ： 如果所述人脸未保存在所述人脸库中， 为所述人脸分配唯一的标识 ； 根据所述人脸的标识， 标记所述人脸的运动轨迹。 3. 如权利要求 1 所述的方法， 其特征在于， 所述采集视频帧， 形成视频帧队列包括 ： 采集视频帧 ； 按照预设间隔提取视频帧， 形成视频帧队列。 4. 如权利要求 1 所述的方法， 其特征在于， 所述对所述视频帧队列进行检测， 判断所述 视频帧队列中是否包含人脸包括 ： 对所述视频帧队列进行检测预处理 ； 通过级联的 Haar 人脸分类器和 Haar 双眼分类器， 对检测预处理后的视频帧队列。

5、进行 过滤， 得到视频帧队列中人脸覆盖的像素点坐标 ； 根据视频帧队列中的所述像素点坐标计算所述人脸的位置变化速度 ； 如果所述位置变化速度小于第一预设阈值， 最终判定覆盖所述像素点坐标的为人脸。 5. 如权利要求 2 所述的方法， 其特征在于， 所述如果所述视频帧队列中包含人脸， 将所 述人脸与人脸库中保存的人脸进行匹配包括 ： 对所述视频帧队列进行识别预处理 ； 通过第一算法提取识别预处理后的视频帧队列中人脸的第一特征向量 ； 计算所述第一特征向量和所述人脸库中保存的人脸特征向量的相似度 ； 如果所述相似度小于第二预设阈值， 所述人脸未保存在所述人脸库中。 6. 如权利要求 5 所述的方法。

6、， 其特征在于， 所述如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述人脸库包括 ： 通过第二算法提取所述人脸的第二特征向量 ； 建立所述人脸的标识和所述第二特征向量的对应关系， 放入所述人脸库中。 7. 一种人脸录入的装置， 其特征在于， 包括 ： 采集模块， 用于采集视频帧， 形成视频帧队列 ； 检测模块， 用于对所述视频帧队列进行检测， 判断所述视频帧队列中是否包含人脸 ； 识别模块， 用于如果所述视频帧队列中包含人脸， 将所述人脸与人脸库中保存的人脸 进行匹配 ； 录入模块， 用于如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述人脸 库。 8. 如权利要求 7 所述。

7、的装置， 其特征在于， 所述装置还包括 ： 分配模块， 用于如果所述人脸未保存在所述人脸库中， 为所述人脸分配唯一的标识 ； 权 利 要 求 书 CN 103605969 A 2 2/2 页 3 标记模块， 用于根据所述人脸的标识， 标记所述人脸的运动轨迹。 9. 如权利要求 7 所述的装置， 其特征在于， 所述采集模块还包括 ： 采集子模块， 用于采集视频帧 ； 提取子模块， 用于按照预设间隔提取视频帧， 形成视频帧队列。 10. 如权利要求 7 所述的装置， 其特征在于， 所述检测模块包括 ： 检测预处理子模块， 用于对所述视频帧队列进行检测预处理 ； 过滤子模块， 用于通过级联的Haar。

8、人脸分类器和Haar双眼分类器， 对检测预处理后的 视频帧队列进行过滤， 得到视频帧队列中人脸覆盖的像素点坐标 ； 位置变化速度计算子模块， 用于根据视频帧队列中的所述像素点坐标计算所述人脸的 位置变化速度 ； 第一判断子模块， 用于如果所述位置变化速度小于第一预设阈值， 最终判定覆盖所述 像素点坐标的为人脸。 11. 如权利要求 8 所述的装置， 其特征在于， 所述识别模块包括 ： 识别预处理子模块， 用于对所述视频帧队列进行识别预处理 ； 第一特征提取子模块， 用于通过第一算法提取识别预处理后的视频帧队列中人脸的第 一特征向量 ； 特征相似度计算子模块， 用于计算所述第一特征向量和所述人脸。

9、库中保存的人脸特征 向量的相似度 ； 第二判断子模块， 用于如果所述相似度小于第二预设阈值， 所述人脸未保存在所述人 脸库中。 12. 如权利要求 11 所述的装置， 其特征在于， 所述录入模块包括 ： 第二特征提取子模块， 用于通过第二算法提取所述人脸的第二特征向量 ； 对应关系建立子模块， 用于建立所述人脸的标识和所述第二特征向量的对应关系， 放 入所述人脸库中。 权 利 要 求 书 CN 103605969 A 3 1/6 页 4 一种人脸录入的方法及装置 技术领域 0001 本发明属于计算机视觉技术领域， 尤其涉及一种人脸录入的方法及装置。 背景技术 0002 近年来， 随着计算机视觉。

10、技术的发展， 人脸识别技术在日常生活中的应用越来越 广泛， 如笔记本登录验证、 门禁系统和视频监控等。但是， 目前的人脸识别系统均需要预先 建立人脸库， 只能对预先放入人脸库中的人脸进行识别和跟踪， 如果要实现增量化的人脸 识别， 则需要人工手动录入人脸， 而且在行人处于非配合的运动状态下进行的人脸识别， 如 视频监控， 视频画面中会出现大量的人脸， 并且其中大多数陌生的人脸都是不能预先录入 人脸库的， 局限了人脸识别系统的智能化应用。 发明内容 0003 本发明的目的在于提供一种人脸录入的方法， 旨在解决现有技术不能自动录入陌 生人脸进而跟踪其运动轨迹的问题。 0004 本发明是这样实现的，。

11、 一种人脸录入的方法， 包括 ： 0005 采集视频帧， 形成视频帧队列 ； 0006 对所述视频帧队列进行检测， 判断所述视频帧队列中是否包含人脸 ； 0007 如果所述视频帧队列中包含人脸， 将所述人脸与人脸库中保存的人脸进行匹配 ； 0008 如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述人脸库。 0009 本发明的另一目的在于提供一种人脸录入的装置， 包括 ： 0010 采集模块， 用于采集视频帧， 形成视频帧队列 ； 0011 检测模块， 用于对所述视频帧队列进行检测， 判断所述视频帧队列中是否包含人 脸 ； 0012 识别模块， 用于如果所述视频帧队列中包含人脸， 将所。

12、述人脸与人脸库中保存的 人脸进行匹配 ； 0013 录入模块， 用于如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述 人脸库。 0014 在本发明中， 在采集到的视频帧中检测人脸， 判断检测出的人脸是否保存在人脸 库中， 如果未保存在人脸库中， 自动将其录入人脸库， 实现了人脸库中数据的自动增加， 有 利于对陌生人脸的识别和跟踪。 附图说明 0015 图 1 是本发明实施例提供的一种人脸录入的方法的实现流程图 ； 0016 图 2 是本发明实施例提供的一种人脸录入的方法采集视频帧的流程示意图 ； 0017 图 3 是本发明实施例提供的一种人脸录入的方法步骤 S102 的具体实现流程图。

13、 ； 0018 图 4 是本发明实施例提供的一种人脸录入的方法检测预处理的过程示意图 ； 说 明 书 CN 103605969 A 4 2/6 页 5 0019 图 5 是本发明实施例提供的一种人脸录入的方法 Haar 特征示意图 ； 0020 图 6 是本发明实施例提供的一种人脸录入的方法检测过程示意图 ； 0021 图 7 是本发明实施例提供的一种人脸录入的方法步骤 S103 的具体实现流程图 ； 0022 图 8 是本发明实施例提供的一种人脸录入的方法识别预处理的过程示意图 ； 0023 图 9 是本发明实施例提供的一种人脸录入的方法跟踪过程的具体实现流程图 ； 0024 图 10 是本。

14、发明实施例提供的一种人脸录入的方法步骤 S104 的具体实现流程图 ； 0025 图 11 是本发明实施例提供的一种人脸录入的装置的结构框图。 具体实施方式 0026 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。 0027 在本发明实施例中， 在采集到的视频帧中检测人脸， 判断检测出的人脸是否保存 在人脸库中， 如果未保存在人脸库中， 自动将其录入人脸库， 实现了人脸库中数据的自动增 加， 有利于对陌生人脸的识别和跟踪。 0028 图 1 示出了本发明实。

15、施例提供的一种人脸录入的方法的实现流程， 详述如下 ： 0029 在步骤 S101 中， 采集视频帧， 形成视频帧队列。 0030 首先采集视频图像， 在本发明实施例中， 驱动和初始化摄像头， 分配内存缓冲区， 对摄像头的图像捕获格式、 图像分辨率等参数进行设置， 然后采集视频帧。图 2 为采集视频 帧过程的示意图， 摄像头根据预先设置的图像捕获速度捕获视频帧， 如每秒 6 帧， 然后通过 摄像头驱动层将视频帧传送到操作封装层， 对视频帧进行封装后， 放入预先分配的内存缓 冲区。 0031 由于摄像头采集视频帧的速度远远大于后续检测等步骤的处理速度， 为了使采集 视频帧和处理视频帧的速度能够相。

16、互配合， 应该对采集到的视频帧进行一些动态调整。按 照预设间隔提取视频帧， 形成视频帧队列。如在采集到的视频帧中每隔 10 帧提取一帧， 形 成视频帧队列， 以供后续的检测等步骤使用。预设间隔需综合考虑摄像头采集视频帧的速 度和后续检测等步骤的处理速度， 在此不做限定。 0032 在步骤 S102 中， 对所述视频帧队列进行检测， 判断所述视频帧队列中是否包含人 脸。 0033 作为本发明的一个实施例， 如图 3 所示， S102 具体为 ： 0034 在 S301 中， 对所述视频帧队列进行检测预处理。 0035 为了适应检测算法， 同时也为了兼顾检测的速度和精度， 对间隔取帧后的视频帧 队。

17、列进行检测前的预处理， 如图像灰度化、 调整图像分辨率和颜色空间转换等， 图像灰度化 是将彩色的视频帧转换为灰度图， 图像分辨率影响检测的处理速度， 调整图像分辨率能够 在检测速度和检测精度之间取得更好的平衡。图 4 为各种检测预处理的过程示意图， 检测 预处理的操作应根据检测的要求而定， 并不局限于图中所示， 可以是图中所示的一种或者 多种的组合， 在此不做一一限定。 0036 在 S302 中， 通过级联的 Haar 人脸分类器和 Haar 双眼分类器， 对检测预处理后的 视频帧队列进行过滤， 得到视频帧队列中人脸覆盖的像素点坐标。 说 明 书 CN 103605969 A 5 3/6 页。

18、 6 0037 采用基于 Haar 分类器的检测算法， 也称为 Viola-Jones 算法， 将人脸看作是五官 特征的组合， 根据眼睛、 眉毛、 嘴巴、 鼻子等五官的特征以及相互之间的几何位置关系来区 分视频帧中的人脸和非人脸。 0038 首先通过大量的具有明显 Haar 特征的图像对 Haar 分类器进行训练， 如图 5 所示， Haar 特征分为边缘特征、 线性特征、 中心特征。将其中任意一个特征放到视频帧上， 白色区 域的像素和减去黑色区域的像素和得到人脸特征值， 对于人类区域和非人脸区域， 计算得 到的人脸特征值是不一样的， 从而可以区分人脸和非人脸。将待检测的视频帧经过级联的 训练。

19、好的 Haar 分类器过滤， 即能够找出人脸覆盖的像素点坐标。 0039 级联的 Haar 分类器越多， 检测的准确性越好， 为了兼顾检测的速度和准确性， 在 本发明实施例中， 通过级联的 Haar 人脸分类器和 Haar 双眼分类器过滤视频帧队列， 如图 6 所示， 检测出人脸覆盖的像素点坐标。 0040 在 S303 中， 根据视频帧队列中的所述像素点坐标计算所述人脸的位置变化速度。 0041 在本发明实施例中， 对于同一个人脸， 通过每一视频帧中其覆盖的像素点坐标计 算其位移， 并且从视频帧的间隔推算出时间， 从而计算该人脸的位置变化速度。 0042 在 S304 中， 如果所述位置变化。

20、速度小于第一预设阈值， 最终判定覆盖所述像素点 坐标的为人脸。 0043 在本发明实施例中， 如果人脸对应的位置变化速度小于预设阈值， 说明这个人脸 的变化速度不是剧变的， 认为是真正的人脸 ； 对于剧变的人脸， 可认为是噪音， 忽略不做处 理。 0044 在步骤 S103 中， 如果所述视频帧队列中包含人脸， 将所述人脸与人脸库中保存的 人脸进行匹配。 0045 作为本发明的一个实施例， 如图 7 所示， S103 具体为 ： 0046 在 S701 中， 对所述视频帧队列进行识别预处理。 0047 与检测预处理类似， 在进行识别之前， 为了适应识别算法， 同时也为了兼顾识别的 速度和精度，。

21、 对视频帧队列进行识别前的预处理， 如调整图像分辨率、 设置像素值类型、 直 方图均衡化等。 与检测的区别在于， 识别要求的精度高于检测， 因此应提高检测后的视频帧 队列的图像分辨率。图 8 示出了各种识别预处理的过程示意图， 识别预处理的操作应根据 识别的要求而定， 并不局限于图中所示， 可以是图中所示的一种或者多种的组合， 在此不做 一一限定。 0048 在 S702 中， 通过第一算法提取识别预处理后的视频帧队列中人脸的第一特征向 量。 0049 在本发明实施例中， 通过主成分分析 （Principal Component Analysis， PCA） 算法 提取检测出的所有人脸的特征向。

22、量， 特征向量包括但不限于眼虹膜特征值、 鼻翼特征值、 嘴 角特征值、 五官轮廓特征值等， 上述特征向量可以从不同的角度反应同一个人脸的特点。 为 了提高识别的准确度和可靠性， 可以对多个视频帧进行特征提取后取平均值， 各个特征向 量的平均值综合表示该人脸。 0050 在 S703 中， 计算所述第一特征向量和所述人脸库中保存的人脸特征向量的相似 度。 0051 人脸库中保存的每一张人脸同样也是通过多个特征向量进行表示。 在本发明实施 说 明 书 CN 103605969 A 6 4/6 页 7 例中， 以人脸库中所有人脸的特征向量训练形成特征子空间， 将第一特征向量投影到该特 征子空间上， 。

23、通过距离函数计算投影系数， 该投影系数表征了第一特征向量分别与人脸库 中各个人脸的相似度。 0052 在 S704 中， 如果所述相似度小于第二预设阈值， 所述人脸未保存在所述人脸库 中。 0053 在本发明实施例中， 如果所有的投影系数都小于第二预设阈值， 即为该人脸与人 脸库中保存的所有人脸的相似度均较低， 表示该人脸未保存在人脸库中。 另外， 其中某个投 影系数大于预设阈值的， 即该人脸与人脸库中的该投影系数对应的人脸相似度较高， 识别 即为此人脸。 0054 以上所述的步骤放入具体的应用场景中为， 当视频帧中出现陌生人脸 A 和陌生人 脸 B 时， 通过级联的 Haar 分类器检测到 。

24、A 覆盖的坐标和 B 覆盖的坐标， 通过 PCA 算法在视 频帧的上述坐标上分别提取 A 的特征向量和 B 的特征向量， 然后与人脸库中保存的人脸匹 配后可知， A 和 B 均没有保存在人脸库中。如果希望跟踪和区分出 A 和 B 的运动轨迹， 继续 进行以下步骤。 0055 在长时间监控多人脸的情况下， 对于未保存在人脸库中的人脸， 由于光照、 遮挡、 姿态等不确定因素影响， 难以进行跟踪或者跟踪的准确度不高。 在识别出未知人脸后， 如图 9 所示， 对该人脸进行匿名化处理以提高跟踪的准确度， 具体为 ： 0056 在 S901 中， 如果所述人脸未保存在所述人脸库中， 为所述人脸分配唯一的标。

25、识。 0057 在本发明实施例中， 维护一张人脸库中保存的人脸列表， 当识别出视频帧中某个 人脸未保存在人脸库时， 为该人脸在人脸列表中分配唯一的标识， 更新人脸列表。 0058 在 S902 中， 根据所述人脸的标识， 标记所述人脸的运动轨迹。 0059 在本发明实施例中， 以检测到的该人脸的像素点坐标为初始位置， 采用跟踪学习 检测 （Tracking Learning Detection， TLD） 算法获取该人脸的运动轨迹， 并以分配的标识 标记该运动轨迹， 在后续该人脸发生遮挡或者重新进入画面等情况时， 能够快速地识别和 跟踪。如， 上述应用场景中识别出 A 和 B 未保存在人脸库时。

26、， 为 A 和 B 分配不同的标识， 由 标识来区分各自的运动轨迹。 0060 在步骤 S104 中， 如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述 人脸库。 0061 在人脸库中， 每一张人脸通过各种特征向量进行综合表示， 当需要增加新人脸时， 作为本发明的一个实施例， 如图 10 所示， S104 具体为 ： 0062 在 S1001 中， 通过第二算法提取所述人脸的第二特征向量。 0063 与识别阶段通过 PCA 算法提取人脸的特征向量不同， 录入人脸库中的人脸需要更 高的图像质量和分辨率。对包含需要录入人脸的特定数量的视频帧提高分辨率后， 重新采 用 PCA 算法对视频帧。

27、进行特征向量的提取， 计算特征向量的平均值， 各个特征向量的平均 值综合表示该人脸。 0064 在 S1002 中， 建立所述人脸的标识和所述第二特征向量的对应关系， 放入所述人 脸库中。 0065 为了能够实时监控整个处理过程， 将以上各个阶段的视频帧队列， 如采集的原始 视频帧队列、 检测后的视频帧队列、 识别后的视频帧队列等， 通过并发处理模块后再进入下 说 明 书 CN 103605969 A 7 5/6 页 8 一处理环节， 每次更新的人脸列表和人脸的运动轨迹也反馈到该并发处理模块中。当需要 监控某个阶段的处理细节时， 从并发处理模块中提取相应的数据进行显示。 0066 在本发明实施。

28、例中， 在采集到的视频帧中检测人脸， 判断检测出的人脸是否保存 在人脸库中， 如果未保存在人脸库中， 自动将其录入人脸库， 实现了人脸库中数据的自动增 加， 有利于对陌生人脸的识别和跟踪。 0067 图 11 示出了本发明实施例提供的一种人脸录入的装置的结构框图， 该装置可以 位于楼宇安防和公共场所人数统计等视频监控系统中， 用于执行本发明实施例图 1 至图 10 所述的一种人脸录入的方法。为了便于说明， 仅示出了与本实施例相关的部分。 0068 参照图 11， 该装置包括 ： 0069 采集模块 1101， 采集视频帧， 形成视频帧队列。 0070 检测模块 1102， 对所述视频帧队列进行。

29、检测， 判断所述视频帧队列中是否包含人 脸。 0071 识别模块 1103， 如果所述视频帧队列中包含人脸， 将所述人脸与人脸库中保存的 人脸进行匹配。 0072 录入模块 1104， 如果所述人脸未保存在所述人脸库中， 自动将所述人脸录入所述 人脸库。 0073 可选地， 所述装置还包括 ： 0074 分配模块， 如果所述人脸未保存在所述人脸库中， 为所述人脸分配唯一的标识。 0075 标记模块， 根据所述人脸的标识， 标记所述人脸的运动轨迹。 0076 可选地， 所述采集模块还包括 ： 0077 采集子模块， 采集视频帧。 0078 提取子模块， 按照预设间隔提取视频帧， 形成视频帧队列。。

30、 0079 可选地， 所述检测模块包括 ： 0080 检测预处理子模块， 对所述视频帧队列进行检测预处理。 0081 过滤子模块， 通过级联的Haar人脸分类器和Haar双眼分类器， 对检测预处理后的 视频帧队列进行过滤， 得到视频帧队列中人脸覆盖的像素点坐标。 0082 位置变化速度计算子模块， 根据视频帧队列中的所述像素点坐标计算所述人脸的 位置变化速度。 0083 第一判断子模块， 如果所述位置变化速度小于第一预设阈值， 最终判定覆盖所述 像素点坐标的为人脸。 0084 可选地， 所述识别模块包括 ： 0085 识别预处理子模块， 对所述视频帧队列进行识别预处理。 0086 第一特征提取。

31、子模块， 通过第一算法提取识别预处理后的视频帧队列中人脸的第 一特征向量。 0087 特征相似度计算子模块， 计算所述第一特征向量和所述人脸库中保存的人脸特征 向量的相似度。 0088 第二判断子模块， 如果所述相似度小于第二预设阈值， 所述人脸未保存在所述人 脸库中。 0089 可选地， 所述录入模块包括 ： 说 明 书 CN 103605969 A 8 6/6 页 9 0090 第二特征提取子模块， 通过第二算法提取所述人脸的第二特征向量。 0091 对应关系建立子模块， 建立所述人脸的标识和所述第二特征向量的对应关系， 放 入所述人脸库中。 0092 在本发明实施例中， 在采集到的视频帧。

32、中检测人脸， 判断检测出的人脸是否保存 在人脸库中， 如果未保存在人脸库中， 自动将其录入人脸库， 实现了人脸库中数据的自动增 加， 有利于对陌生人脸的识别和跟踪。 0093 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保护范围之内。 说 明 书 CN 103605969 A 9 1/6 页 10 图 1 图 2 说 明 书 附 图 CN 103605969 A 10 2/6 页 11 图 3 图 4 说 明 书 附 图 CN 103605969 A 11 3/6 页 12 图 5 图 6 说 明 书 附 图 CN 103605969 A 12 4/6 页 13 图 7 图 8 说 明 书 附 图 CN 103605969 A 13 5/6 页 14 图 9 图 10 说 明 书 附 图 CN 103605969 A 14 6/6 页 15 图 11 说 明 书 附 图 CN 103605969 A 15 。