融合多个特征的身份识别方法、装置、系统、介质及设备.pdf

《融合多个特征的身份识别方法、装置、系统、介质及设备.pdf》由会员分享，可在线阅读，更多相关《融合多个特征的身份识别方法、装置、系统、介质及设备.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910923395.5 (22)申请日 2019.09.27 (71)申请人 上海依图网络科技有限公司 地址 200051 上海市徐汇区宜州路180号1 幢第1层01、 02室 (72)发明人 杨俊陶云峰李志广 (74)专利代理机构 上海华诚知识产权代理有限 公司 31300 代理人 徐颖聪 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 一种融合多个特征的身份识别方法、 装置、 系统、 介质及设备 (5。

2、7)摘要 本发明涉及一种融合多个特征的身份识别 方法， 包括： 构建特征数据库， 其中， 动态采集多 个人员的人脸特征和其他特征， 对于多个人员中 每个人员的每次采集， 将人员的人脸特征分别和 其他特征中的各个特征关联在一起并融合到特 征数据库中； 采集待识别人员的人脸特征和其他 特征， 并将待识别人员的人脸特征分别和其他特 征中的各个特征关联在一起； 对于特征数据库中 每个人员， 分别比对待识别人员和人员的特征集 合中均包含的各特征并计算综合置信度， 综合置 信度等于各特征的置信度与各自的权重系数的 乘积的加和； 将待识别人员识别为特征数据库中 具有最大的与待识别人员的综合置信度的人员。 本。

3、发明还涉及一种融合多个特征的身份识别装 置、 介质、 设备及系统。 权利要求书3页 说明书9页 附图2页 CN 110717428 A 2020.01.21 CN 110717428 A 1.一种融合多个特征的身份识别方法， 其特征在于， 包括： 构建特征数据库， 其中， 动态的采集多个人员的人脸特征和其他特征， 对于所述多个人 员中的每个人员的每次采集， 将所述人员的所述人脸特征分别和所述其他特征中的各个特 征关联在一起然后融合到所述特征数据库中； 采集待识别人员的所述人脸特征和所述其他特征， 并将所述待识别人员的所述人脸特 征分别和所述其他特征中的各个特征关联在一起； 对于所述特征数据库中。

4、的每个人员， 分别比对所述待识别人员和所述人员的特征集合 中均包含的各个特征并计算综合置信度， 所述综合置信度等于各个特征的置信度与各自的 权重系数的乘积的加和； 将所述待识别人员识别为所述特征数据库中具有最大的与所述待识别人员的所述综 合置信度的人员。 2.根据权利要求1所述的方法， 其特征在于， 对于所述多个人员中每个人员的各次采 集、 所述待识别人员的采集， 所述其他特征包含的特征的数量和类型可以不同。 3.根据权利要求2所述的方法， 其特征在于， 所述其他特征可以包括车辆特征、 个人电 子设备特征、 体型特征、 声纹特征中的一个或多个， 其中所述车辆特征、 体型特征、 声纹特征 可以通。

5、过摄像机被采集， 所述个人电子设备特征可以通过无线信号侦测单元被采集， 并且 所述无线信号侦测单元部署在所述摄像机附近。 4.根据权利要求3所述的方法， 其特征在于， 如果所述摄像机拍摄到人员的车辆以及驾 驶车辆的人员的人脸， 则从所述摄像机拍摄的视频帧中提取并直接关联人员的所述人脸特 征和所述车辆特征。 5.根据权利要求3所述的方法， 其特征在于， 如果所述无线信号侦测单元侦测到个人电 子设备的无线信号， 则提取侦测到的所述无线信号中的所述个人电子设备特征， 并将所述 个人电子设备特征关联到从所述摄像机拍摄的视频帧中提取的人员的所述人脸特征。 6.根据权利要求5所述的方法， 其特征在于， 将。

6、所述个人电子设备特征关联到从以下视 频帧中提取的人员的所述人脸特征： 比侦测到所述无线信号出现的时刻晚第一时间阈值的时刻的视频帧； 和/或 比侦测到所述无线信号消失的时刻早第二时间阈值的时刻的视频帧。 7.根据权利要求6所述的方法， 其特征在于， 所述第一时间阈值和所述第二时间阈值与 所述无线信号侦测单元的侦测范围有关。 8.根据权利要求5所述的方法， 其特征在于， 所述无线信号为蓝牙信号、 WiFi信号或移 动网络信号。 9.根据权利要求1所述的方法， 其特征在于， 进一步包括： 将所述待识别人员的所述人脸特征和所述其他特征融合到所述特征数据库中。 10.根据权利要求1或9所述的方法， 其特。

7、征在于， 将所述待识别人员或者在构建所述特 征数据库时被采集人员的所述人脸特征和所述其他特征融合到所述特征数据库中包括： 将所述被采集人员或者所述待识别人员的所述人脸特征与所述特征数据库中各个人 员的所述人脸特征进行比较并计算人脸相似度； 将所述被采集人员或者所述待识别人员的所述人脸特征和所述其他特征融合到所述 特征数据库中具有最大人脸相似度的人员的特征集合中， 并确定在融合之后， 具有最大人 权利要求书 1/3 页 2 CN 110717428 A 2 脸相似度的所述人员的所述特征集合中的各个特征的所述权重系数。 11.根据权利要求10所述的方法， 其特征在于， 将所述被采集人员或者待识别人。

8、员的所 述人脸特征和所述其他特征融合到所述特征数据库后， 如果具有最大人脸相似度的所述人 员的所述特征集合中的一个特征获得了新的特征值， 则降低所述特征的权重系数。 12.根据权利要求1所述的方法， 其特征在于， 如果所述特征数据库中与一个人员相关 联的一个特征具有多个特征值， 则分别计算所述特征数据库的所述人员的所述特征的所述 多个特征值与所述待识别人员的所述特征的特征值之间的多个置信度， 并且所述特征数据 库的所述人员的所述特征与所述待识别人员的所述特征之间的置信度等于所述多个置信 度中的最大置信度。 13.一种融合多个特征的身份识别装置， 其特征在于， 包括： 特征采集模块， 所述特征采。

9、集模块用于在构建特征数据库时， 动态的采集多个人员的 人脸特征和其他特征， 所述特征采集模块也用于采集待识别人员的所述人脸特征和所述其 他特征； 特征提取模块， 所述特征提取模块用于在构建特征数据库时， 对于所述多个人员中的 每个人员的每次采集， 从所述特征采集模块采集的特征中提取所述人员的所述人脸特征和 所述其他特征， 所述特征提取模块也用于从所述特征采集模块采集的特征中提取所述待识 别人员的所述人脸特征和所述其他特征； 特征关联模块， 所述特征关联模块用于在构建特征数据库时， 对于所述多个人员中的 每个人员的每次采集， 将所述特征提取模块提取的所述人员的所述人脸特征分别关联到所 述人员的所。

10、述其他特征， 所述特征关联模块也用于将所述特征提取模块提取的所述待识别 人员的所述人脸特征分别关联到所述待识别人员的所述其他特征； 特征融合模块， 所述特征融合模块用于在构建特征数据库时， 对于所述多个人员中的 每个人员的每次采集， 将所述特征关联模块关联的所述人员的所述人脸特征和所述其他特 征融合到所述特征数据库中； 特征比对模块， 对于所述特征数据库中的每个人员， 所述特征比对模块用于分别比对 所述待识别人员和所述人员的特征集合中均包含的各个特征并计算综合置信度， 并将所述 待识别人员识别为所述特征数据库中具有最大的与所述待识别人员的所述综合置信度的 人员， 其中所述综合置信度等于各个特征。

11、的置信度与各自的权重系数的乘积的加和。 14.根据权利要求13所述的装置， 其特征在于， 所述特征采集模块在构建所述特征数据 库时对所述多个人员中每个人员的各次采集、 以及对所述待识别人员的采集， 所述其他特 征包含的特征的数量和类型可以不同。 15.根据权利要求14所述的装置， 其特征在于， 所述其他特征可以包括车辆特征、 个人 电子设备特征、 体型特征、 声纹特征中的一个或多个， 其中所述车辆特征、 体型特征、 声纹特 征可以通过所述特征采集模块中的摄像机被采集， 所述个人电子设备特征可以通过所述特 征采集模块中的无线信号侦测单元被采集， 并且所述无线信号侦测单元部署在所述摄像机 附近。 。

12、16.根据权利要求15所述的装置， 其特征在于， 如果所述摄像机拍摄到人员的车辆以及 驾驶车辆的人员的人脸， 则所述特征关联模块直接关联所述特征提取模块从所述摄像机拍 摄的视频帧中提取的人员的所述人脸特征和所述车辆特征。 权利要求书 2/3 页 3 CN 110717428 A 3 17.根据权利要求15所述的装置， 其特征在于， 如果所述无线信号侦测单元侦测到个人 电子设备的无线信号， 则所述特征提取模块提取侦测到的所述无线信号中的所述个人电子 设备特征， 所述特征关联模块将所述个人电子设备特征关联到从所述摄像机拍摄的视频帧 中提取的人员的所述人脸特征。 18.根据权利要求17所述的装置， 。

13、其特征在于， 所述特征关联模块将所述个人电子设备 特征关联到从以下视频帧中提取的人员的所述人脸特征： 比侦测到所述无线信号出现的时刻晚第一时间阈值的时刻的视频帧； 和/或 比侦测到所述无线信号消失的时刻早第二时间阈值的时刻的视频帧。 19.根据权利要求18所述的装置， 其特征在于， 所述第一时间阈值和所述第二时间阈值 与所述无线信号侦测单元的侦测范围有关。 20.根据权利要求17所述的装置， 其特征在于， 所述无线信号为蓝牙信号、 WiFi信号或 移动网络信号。 21.根据权利要求13所述的装置， 其特征在于， 所述特征融合模块进一步用于： 将所述待识别人员的所述人脸特征和所述其他特征融合到所。

14、述特征数据库中。 22.根据权利要求13或21所述的装置， 其特征在于， 所述特征比对模块还用于将所述待 识别人员或者在构建所述特征数据库时被采集人员的所述人脸特征与所述特征数据库中 各个人员的所述人脸特征进行比较并计算人脸相似度， 以使得所述特征融合模块将所述被 采集人员或者所述待识别人员的所述人脸特征和所述其他特征融合到所述特征数据库中 具有最大人脸相似度的人员的特征集合中， 并确定在融合之后， 具有最大人脸相似度的所 述人员的所述特征集合中的各个特征的所述权重系数。 23.根据权利要求22所述的装置， 其特征在于， 将所述被采集人员或者待识别人员的所 述人脸特征和所述其他特征融合到所述特。

15、征数据库后， 如果具有最大人脸相似度的所述人 员的所述特征集合中的一个特征获得了新的特征值， 则降低所述特征的权重系数。 24.根据权利要求13所述的装置， 其特征在于， 如果所述特征数据库中与一个人员相关 联的一个特征具有多个特征值， 则所述特征比对模块分别计算所述特征数据库的所述人员 的所述特征的所述多个特征值与所述待识别人员的所述特征的特征值之间的多个置信度， 并且使得所述特征数据库的所述人员的所述特征与所述待识别人员的所述特征之间的置 信度等于所述多个置信度中的最大置信度。 25.一种非易失性存储介质， 其特征在于， 在所述存储介质上存储有融合多个特征的身 份识别程序， 所述程序被计算。

16、机执行以实施权利要求1至12中任意一项所述的融合多个特 征的身份识别方法。 26.一种融合多个特征的身份识别设备， 其特征在于， 包括： 存储器， 存储有计算机可以执行的融合多个特征的身份识别程序； 以及 处理器， 连接至所述存储器， 并且被配置为执行所述融合多个特征的身份识别程序以 实施权利要求1至12中任意一项所述的融合多个特征的身份识别方法。 27.一种融合多个特征的身份识别系统， 其特征在于， 包括权利要求13至24中任意一项 所述的融合多个特征的身份识别装置。 权利要求书 3/3 页 4 CN 110717428 A 4 一种融合多个特征的身份识别方法、 装置、 系统、 介质及设备 。

17、技术领域 0001 本发明属于身份识别技术领域， 具体涉及一种融合多个特征的身份识别方法、 装 置、 系统、 介质及设备。 背景技术 0002 当前用于人物追踪和陌生人检测等的安防产品一般都是采用单一手段,比如主要 都是通过人脸检测来进行身份识别， 这种方式会受限于摄像头部署密度、 位置、 角度以及环 境光照等的限制， 并且有时陌生人也会有意躲避(例如， 通过故意遮挡)摄像头的拍摄。 发明内容 0003 为了解决上述全部或部分问题， 本发明提供一种融合多个特征的身份识别方法， 包括： 0004 构建特征数据库， 其中， 动态的采集多个人员的人脸特征和其他特征， 对于所述多 个人员中的每个人员的。

18、每次采集， 将所述人员的所述人脸特征分别和所述其他特征中的各 个特征关联在一起然后融合到所述特征数据库中； 0005 采集待识别人员的所述人脸特征和所述其他特征， 并将所述待识别人员的所述人 脸特征分别和所述其他特征中的各个特征关联在一起； 0006 对于所述特征数据库中的每个人员， 分别比对所述待识别人员和所述人员的特征 集合中均包含的各个特征并计算综合置信度， 所述综合置信度等于各个特征的置信度与各 自的权重系数的乘积的加和； 0007 将所述待识别人员识别为所述特征数据库中具有最大的与所述待识别人员的所 述综合置信度的人员。 0008 在一种可能的实现方式中， 对于所述多个人员中每个人员。

19、的各次采集、 所述待识 别人员的采集， 所述其他特征包含的特征的数量和类型可以不同。 0009 在一种可能的实现方式中， 所述其他特征可以包括车辆特征、 个人电子设备特征、 体型特征、 声纹特征中的一个或多个， 其中所述车辆特征、 体型特征、 声纹特征可以通过摄 像机被采集， 所述个人电子设备特征可以通过无线信号侦测单元被采集， 并且所述无线信 号侦测单元部署在所述摄像机附近。 0010 在一种可能的实现方式中， 如果所述摄像机拍摄到人员的车辆以及驾驶车辆的人 员的人脸， 则从所述摄像机拍摄的视频帧中提取并直接关联人员的所述人脸特征和所述车 辆特征。 0011 在一种可能的实现方式中， 如果所。

20、述无线信号侦测单元侦测到个人电子设备的无 线信号， 则提取侦测到的所述无线信号中的所述个人电子设备特征， 并将所述个人电子设 备特征关联到从所述摄像机拍摄的视频帧中提取的人员的所述人脸特征。 0012 在一种可能的实现方式中， 将所述个人电子设备特征关联到从以下视频帧中提取 的人员的所述人脸特征： 说明书 1/9 页 5 CN 110717428 A 5 0013 比侦测到所述无线信号出现的时刻晚第一时间阈值的时刻的视频帧； 和/或 0014 比侦测到所述无线信号消失的时刻早第二时间阈值的时刻的视频帧。 0015 在一种可能的实现方式中， 所述第一时间阈值和所述第二时间阈值与所述无线信 号侦测。

21、单元的侦测范围有关。 0016 在一种可能的实现方式中， 所述无线信号为蓝牙信号、 WiFi信号或移动网络信号。 0017 在一种可能的实现方式中， 所述方法进一步包括： 0018 将所述待识别人员的所述人脸特征和所述其他特征融合到所述特征数据库中。 0019 在一种可能的实现方式中， 将所述待识别人员或者在构建所述特征数据库时被采 集人员的所述人脸特征和所述其他特征融合到所述特征数据库中包括： 0020 将所述被采集人员或者所述待识别人员的所述人脸特征与所述特征数据库中各 个人员的所述人脸特征进行比较并计算人脸相似度； 0021 将所述被采集人员或者所述待识别人员的所述人脸特征和所述其他特征。

22、融合到 所述特征数据库中具有最大人脸相似度的人员的特征集合中， 并确定在融合之后， 具有最 大人脸相似度的所述人员的所述特征集合中的各个特征的所述权重系数。 0022 在一种可能的实现方式中， 将所述被采集人员或者待识别人员的所述人脸特征和 所述其他特征融合到所述特征数据库后， 如果具有最大人脸相似度的所述人员的所述特征 集合中的一个特征获得了新的特征值， 则降低所述特征的权重系数。 0023 在一种可能的实现方式中， 如果所述特征数据库中与一个人员相关联的一个特征 具有多个特征值， 则分别计算所述特征数据库的所述人员的所述特征的所述多个特征值与 所述待识别人员的所述特征的特征值之间的多个置信。

23、度， 并且所述特征数据库的所述人员 的所述特征与所述待识别人员的所述特征之间的置信度等于所述多个置信度中的最大置 信度。 0024 本发明还提供一种融合多个特征的身份识别装置， 包括： 0025 特征采集模块， 所述特征采集模块用于在构建特征数据库时， 动态的采集多个人 员的人脸特征和其他特征， 所述特征采集模块也用于采集待识别人员的所述人脸特征和所 述其他特征； 0026 特征提取模块， 所述特征提取模块用于在构建特征数据库时， 对于所述多个人员 中的每个人员的每次采集， 从所述特征采集模块采集的特征中提取所述人员的所述人脸特 征和所述其他特征， 所述特征提取模块也用于从所述特征采集模块采集。

24、的特征中提取所述 待识别人员的所述人脸特征和所述其他特征； 0027 特征关联模块， 所述特征关联模块用于在构建特征数据库时， 对于所述多个人员 中的每个人员的每次采集， 将所述特征提取模块提取的所述人员的所述人脸特征分别关联 到所述人员的所述其他特征， 所述特征关联模块也用于将所述特征提取模块提取的所述待 识别人员的所述人脸特征分别关联到所述待识别人员的所述其他特征； 0028 特征融合模块， 所述特征融合模块用于在构建特征数据库时， 对于所述多个人员 中的每个人员的每次采集， 将所述特征关联模块关联的所述人员的所述人脸特征和所述其 他特征融合到所述特征数据库中； 0029 特征比对模块， 。

25、对于所述特征数据库中的每个人员， 所述特征比对模块用于分别 比对所述待识别人员和所述人员的特征集合中均包含的各个特征并计算综合置信度， 并将 说明书 2/9 页 6 CN 110717428 A 6 所述待识别人员识别为所述特征数据库中具有最大的与所述待识别人员的所述综合置信 度的人员， 其中所述综合置信度等于各个特征的置信度与各自的权重系数的乘积的加和。 0030 在一种可能的实现方式中， 所述特征采集模块在构建所述特征数据库时对所述多 个人员中每个人员的各次采集、 以及对所述待识别人员的采集， 所述其他特征包含的特征 的数量和类型可以不同。 0031 在一种可能的实现方式中， 所述其他特征。

26、可以包括车辆特征、 个人电子设备特征、 体型特征、 声纹特征中的一个或多个， 其中所述车辆特征、 体型特征、 声纹特征可以通过所 述特征采集模块中的摄像机被采集， 所述个人电子设备特征可以通过所述特征采集模块中 的无线信号侦测单元被采集， 并且所述无线信号侦测单元部署在所述摄像机附近。 0032 在一种可能的实现方式中， 如果所述摄像机拍摄到人员的车辆以及驾驶车辆的人 员的人脸， 则所述特征关联模块直接关联所述特征提取模块从所述摄像机拍摄的视频帧中 提取的人员的所述人脸特征和所述车辆特征。 0033 在一种可能的实现方式中， 如果所述无线信号侦测单元侦测到个人电子设备的无 线信号， 则所述特征。

27、提取模块提取侦测到的所述无线信号中的所述个人电子设备特征， 所 述特征关联模块将所述个人电子设备特征关联到从所述摄像机拍摄的视频帧中提取的人 员的所述人脸特征。 0034 在一种可能的实现方式中， 所述特征关联模块将所述个人电子设备特征关联到从 以下视频帧中提取的人员的所述人脸特征： 0035 比侦测到所述无线信号出现的时刻晚第一时间阈值的时刻的视频帧； 和/或 0036 比侦测到所述无线信号消失的时刻早第二时间阈值的时刻的视频帧。 0037 在一种可能的实现方式中， 所述第一时间阈值和所述第二时间阈值与所述无线信 号侦测单元的侦测范围有关。 0038 在一种可能的实现方式中， 所述无线信号为。

28、蓝牙信号、 WiFi信号或移动网络信号。 0039 在一种可能的实现方式中， 所述特征融合模块进一步用于： 0040 将所述待识别人员的所述人脸特征和所述其他特征融合到所述特征数据库中。 0041 在一种可能的实现方式中， 所述特征比对模块还用于将所述待识别人员或者在构 建所述特征数据库时被采集人员的所述人脸特征与所述特征数据库中各个人员的所述人 脸特征进行比较并计算人脸相似度， 以使得所述特征融合模块将所述被采集人员或者所述 待识别人员的所述人脸特征和所述其他特征融合到所述特征数据库中具有最大人脸相似 度的人员的特征集合中， 并确定在融合之后， 具有最大人脸相似度的所述人员的所述特征 集合中。

29、的各个特征的所述权重系数。 0042 在一种可能的实现方式中， 将所述被采集人员或者待识别人员的所述人脸特征和 所述其他特征融合到所述特征数据库后， 如果具有最大人脸相似度的所述人员的所述特征 集合中的一个特征获得了新的特征值， 则降低所述特征的权重系数。 0043 在一种可能的实现方式中， 如果所述特征数据库中与一个人员相关联的一个特征 具有多个特征值， 则所述特征比对模块分别计算所述特征数据库的所述人员的所述特征的 所述多个特征值与所述待识别人员的所述特征的特征值之间的多个置信度， 并且使得所述 特征数据库的所述人员的所述特征与所述待识别人员的所述特征之间的置信度等于所述 多个置信度中的最。

30、大置信度。 说明书 3/9 页 7 CN 110717428 A 7 0044 本发明还提供一种非易失性存储介质， 在所述存储介质上存储有融合多个特征的 身份识别程序， 所述程序被计算机执行以实施上述任意一种融合多个特征的身份识别方 法。 0045 本发明还提供一种融合多个特征的身份识别设备， 包括： 0046 存储器， 存储有计算机可以执行的融合多个特征的身份识别程序； 以及 0047 处理器， 连接至所述存储器， 并且被配置为执行所述融合多个特征的身份识别程 序以实施上述任意一种融合多个特征的身份识别方法。 0048 本发明还提供一种融合多个特征的身份识别系统， 包括上述任意一种融合多个特。

31、 征的身份识别装置。 0049 在本发明中， 融合了人脸特征以及其他特征(例如， 车辆特征、 电子设备特征等)对 待识别人员进行综合身份识别， 即使在待识别人员故意遮挡面部的情况下， 也可以通过其 他特征进行身份识别， 因此相对于仅使用人脸检测进行身份识别， 提高了识别的准确度。 此 外， 在构建特征数据库过程中， 通过动态地采集人员在不同时刻的特征并动态地调整各个 特征的权重系数， 相对于现有技术中使用的静态数据库， 可以更准确地提高识别的准确度。 附图说明 0050 图1示出了根据本发明实施例， 融合多个特征的身份识别装置的示例； 0051 图2示出了根据本发明实施例， 融合多个特征的身份。

32、识别方法的示例； 0052 图3示出了根据本发明实施例， 在进行特征融合之前， 特征数据库中人员1和人员2 的各个特征的权重系数的示例； 0053 图4示出了根据本发明实施例， 在进行特征融合之后， 特征数据库中人员1和人员2 的各个特征的权重系数的示例。 具体实施方式 0054 以下由特定的具体实施例说明本发明的实施方式， 本领域技术人员可由本说明书 所揭示的内容轻易地了解本发明的其他优点及功效。 虽然本发明的描述将结合较佳实施例 一起介绍， 但这并不代表此发明的特征仅限于该实施方式。 恰恰相反， 结合实施方式作发明 介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。 。

33、为了提 供对本发明的深度了解， 以下描述中将包含许多具体的细节。 本发明也可以不使用这些细 节实施。 此外， 为了避免混乱或模糊本发明的重点， 有些具体细节将在描述中被省略。 需要 说明的是， 在不冲突的情况下， 本发明中的实施例及实施例中的特征可以相互组合。 0055 应注意的是， 在本说明书中， 相似的标号和字母在下面的附图中表示类似项， 因 此， 一旦某一项在一个附图中被定义， 则在随后的附图中不需要对其进行进一步定义和解 释。 0056 为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明的实施 方式作进一步地详细描述。 0057 图1示出了根据本发明实施例的融合多个特。

34、征的身份识别装置1000的示例， 如图 所示， 身份识别装置1000包括特征采集模块1100、 特征提取模块1200、 特征关联模块1300、 特征融合模块1400、 特征比对模块1500、 特征数据库1600以及通信模块1700。 图2示出了根 说明书 4/9 页 8 CN 110717428 A 8 据本发明实施例的融合多个特征的身份识别方法的示例， 以下参考图2来介绍融合多个特 征的身份识别的各方面， 以及在身份识别过程中， 图1中所示的身份识别装置1000的各个模 块的功能。 0058 框201： 构建特征数据库， 动态的采集多个人员的人脸特征和其他特征， 对于所述 多个人员中的每个人。

35、员的每次采集， 将人员的人脸特征分别和其他特征中的各个特征关联 在一起， 然后融合到特征数据库中。 0059 根据本发明的实施例， 在进行待识别人员的身份识别之前， 先构建用作比对基准 的包括多个人员的特征集合的特征数据库1600。 和现有技术中使用静态的人脸特征数据库 (例如， 通过公安系统获得的多个人员的身份证照片)不同的是， 根据本发明的实施例的特 征数据库1600是动态变化的， 即， 动态地(在一段时间内或者持续地)采集不同人员的人脸 特征和其他特征， 并将各次采集的各个特征融合到特征数据库中。 例如， 在t时刻采集到了 人员1的多个特征， 则将t时刻采集到的各个特征融合到特征数据库中。

36、人员1的特征集合， 如 果在不同于t时刻的t 时刻又采集到了人员1的多个特征， 则再次将t 时刻采集到的各个特 征融合到特征数据库中人员1的特征集合。 0060 在构建特征数据库时， 特征采集模块1100用于采集不同人员的人脸特征以及其他 特征， 图1示出了特征采集模块1100的一种示例， 在图1中， 其包括多个摄像机1101a-摄像机 1101n以及多个无线信号侦测单元1102a-1102n， 其中， 摄像机1101可以用于采集人脸特征 和车辆特征， 车辆特征可以指示车辆的车牌信息、 类型信息、 外观信息等； 无线信号侦测单 元1102可以用于侦测个人电子设备的无线信号， 如蓝牙信号、 Wi。

37、Fi信号、 移动网络信号等， 个人电子设备特征可以指示个人电子设备在无线信号中的设备ID， 例如手机和/或可穿戴 设备在蓝牙信号、 WiFi信号、 移动网络信号等中的设备ID等。 根据部署安排及密度， 摄像机 1101a-摄像机1101n被部署在不同的位置， 无线信号侦测单元1102a-1102n中的每个部署在 摄像机1101a-摄像机1101n中的每个附近， 例如， 无线信号侦测单元1102a部署在摄像机 1101a附近， 无线信号侦测单元1102n部署在摄像机1101n附近。 0061 根据本发明实施例， 除人脸特征之外的其他特征还可以包括体型特征、 声纹特征 等中的一个或多个， 图1中示。

38、出的摄像机1101可以用于采集体型特征、 声纹特征等中的一个 或多个。 根据本发明实施例， 特征采集模块1100不限于图1所示的形式， 取决于采集人员的 特征类型， 特征采集模块1100还可以包括其他类型的特征采集单元； 并且取决于具体的部 署安排及密度， 每种类型的特征采集单元的数量可以是一个或多个， 各个特征采集单元部 署在摄像机1101附近。 0062 需要说明的是， 对于其中一个人员， 特征采集模块1100的各次采集的特征的类型 和数量可以不同(但均包括人脸特征)， 例如， 在t时刻， 特征采集模块1100采集到的是人员1 的人脸特征和车辆特征， 而在t 时刻， 特征采集模块1100采。

39、集到的是人员1的人脸特征、 车 辆特征以及个人电子设备特征。 0063 在构建特征数据库时， 对于特征采集模块1100对某个人员的一次信息采集， 特征 提取模块1200用于从特征采集模块1100采集的信息中提取人脸特征以及其他特征， 例如， 对于图1中示出的特征采集模块1100， 特征提取模块1200可以从摄像机1101拍摄的视频流 的各个视频帧中提取人脸特征和车辆特征， 从无线信号侦测单元1102侦测的个人电子设备 的无线信号中提取个人电子设备特征。 特征提取模块1200还可以从其他类型的特征采集单 说明书 5/9 页 9 CN 110717428 A 9 元采集的信息中提取特征信息。 00。

40、64 在构建特征数据库时， 对于特征采集模块1100对某个人员的一次信息采集， 特征 关联模块1300用于将特征提取模块1200提取的人脸特征分别关联到其他特征中的各个特 征， 例如， 对于图1中示出的特征采集模块1100， 特征关联模块1300用于将特征提取模块 1200提取的人脸特征分别关联到提取的车辆特征和个人电子设备特征。 0065 在一种示例中， 如果特征提取模块1200从摄像机1101拍摄的视频流的一个视频帧 中提取了驾驶车辆的人员的人脸特征以及被驾驶车辆的车辆特征， 则特征关联模块1300直 接将提取的人脸特征以及车辆特征关联在一起。 0066 在一种示例中， 如果特征提取模块1。

41、200从无线信号侦测单元1102在t1时刻侦测到 出现的无线信号中提取了个人电子设备特征， 则特征关联模块1300将提取的个人电子设备 特征关联到特征提取模块1200从摄像机1101拍摄的t1+t1时刻的视频帧中提取的人脸特 征。 其中， t1与无线信号侦测单元1102对无线信号的侦测范围有关。 0067 在另一种示例中， 如果特征提取模块1200从无线信号侦测单元1102在t2时刻侦测 到消失的无线信号中提取了个人电子设备特征， 则特征关联模块1300将提取的个人电子设 备特征关联到特征提取模块1200从摄像机1101拍摄的t2-t2时刻的视频帧中提取的人脸 特征。 其中， t2与无线信号侦。

42、测单元1102对无线信号的侦测范围有关。 0068 在另一种示例中， 如果特征提取模块1200从无线信号侦测单元1102在t1时刻侦测 到出现的无线信号中提取了个人电子设备特征， 从无线信号侦测单元1102在t2时刻侦测到 消失的无线信号中提取了相同的个人电子设备特征， 则特征关联模块1300将提取的个人电 子设备特征关联到特征提取模块1200提取的同时存在于t1+t1时刻的视频帧和t2-t2时 刻的视频帧中的人脸特征， 此时需要特征比对模块1500对从t1+t1时刻的视频帧中提取的 人脸特征和从t2-t2时刻的视频帧中提取的人脸特征进行比对， 确定具有最大相似度且相 似度超过阈值的两个人脸特。

43、征属于同一人员的人脸。 0069 特征关联模块1200还可以将人脸特征关联到例如体型特征、 声纹特征等的其他特 征。 0070 在构建特征数据库时， 对于特征采集模块1100对某个人员的一次信息采集， 特征 融合模块1400将由特征关联模块1300关联的被采集人员的人脸特征和其他特征融合到特 征数据库1600中， 并确定各个特征的权重系数用于对待识别人员进行身份识别时综合置信 度的计算。 0071 在一种示例中， 通过特征比对模块1500， 将被采集人员的人脸特征与特征数据库 中已存在的各个人员的人脸特征进行比较并计算人脸相似度， 确定特征数据库中符合融合 条件的人员， 即其人脸特征与被采集人。

44、员的人脸特征具有最大相似度且相似度超过阈值的 人员。 然后， 通过特征融合模块1400， 将被采集人员的人脸特征和其他特征与特征数据库中 符合融合条件的人员的所有特征相融合， 作为该人员的特征集合。 0072 在一种示例中， 在特征数据库的一个人员的特征集合中， 各个特征具有归一化的 权重系数。 图3和图4分别示出了在特征融合模块1400进行特征融合之前和之后， 特征数据 库中人员1和人员2的各个特征的权重系数的示例。 一个特征的权重系数的大小取决于由该 特征确定身份时的可信度， 例如， 如图3和4所示， 人脸特征可以具有比车辆特征、 个人电子 设备特征的权重系数大的权重系数。 说明书 6/9。

45、 页 10 CN 110717428 A 10 0073 一个特征具有的特征值越多， 那么该特征的权重系数越小， 如果在特征融合模块 1400完成特征融合之后， 一个特征获得了新的特征值， 则降低该特征的权重系数。 例如， 如 图3所示， 在特征融合模块1400进行特征融合之前， 特征数据库中的人员1具有人脸特征A1、 车牌号B1(车辆特征)以及蓝牙设备号C1(个人电子特征)， 其对应的权重系数分别为0.4、 0.3、 0.3； 特征数据库中的人员2具有人脸特征A2、 车牌号B2(车辆特征)以及蓝牙设备号C2 (个人电子特征)， 其对应的权重系数分别为0.4、 0.3、 0.3。 某一时刻， 。

46、摄像机1101拍摄到了 人员1的人脸及其驾驶的车辆， 特征提取单元1200提取了人员1的人脸特征A1及车牌号B1 ， 特征关联模块1300将人脸特征A1及车牌号B1 关联在一起， 特征比对模块1500确定特征数据 库中符合融合条件的人员为人员1， 特征融合模块将新采集的人脸特征A1及车牌号B1 融合 到特征数据库中人员1的特征集合中， 如图3所示， 融合后的人员1具有人脸特征A1、 车牌号B1 和车牌号B1 (车辆特征)以及蓝牙设备号C1(个人电子特征)， 由于融合后车辆特征在车牌号 方面具有了新的特征值B1 ， 因此特征融合模块1400将车辆特征的权重系数降低为0.2， 并 相应地将人脸特征。

47、的权重系数增加为0.45， 将个人电子设备特征的权重系数增加为0.35。 0074 同样地， 如果摄像机1101拍摄到了人员2的人脸， 无线电侦测单元侦测到人员2的 个人电子设备的蓝牙信号， 则特征提取单元1200提取人员2的人脸特征A2及蓝牙设备号C2， 特征关联模块1300将人脸特征A2及蓝牙设备号C2关联在一起， 特征比对模块1500确定特征 数据库中符合融合条件的人员为人员2， 特征融合模块将新采集的人脸特征A2及蓝牙设备 号C2融合到特征数据库中人员2的特征集合中， 如图4所示， 融合后的人员2的特征集合没有 发生变化， 个人电子设备特征在蓝牙设备号方面还是只有一个特征值C2， 因此。

48、特征融合模 块1400不改变各个特征的权重系数。 0075 需要说明的是， 特征融合模块1400对权重系数的分配不限于图3和图4中所示出的 形式。 0076 在构建特征数据库时， 如上所述， 特征比对模块1500用于将被采集人员的人脸特 征与特征数据库中已存在的各个人员的人脸特征进行比较并计算人脸相似度， 确定特征数 据库中符合融合条件的人员， 即其人脸特征与被采集人员的人脸特征具有最大相似度且相 似度超过阈值的人员。 0077 通信模块1700可通信地耦合到其他身份识别装置的通信模块， 用于将身份识别装 置1000的特征数据库1600共享给其他身份识别装置， 也用于从其他身份识别装置接收其他。

49、 的特征数据库。 在通信模块1700接收到其他特征数据库后， 特征融合模块1400可以将其他 特征数据库的数据与特征数据库1600的数据进行融合， 具体与上述融合过程类似， 在此不 再赘述。 0078 在另外一种实施例中， 在根据以上构建特征数据库之前， 特征数据库中可以已经 预存有通过公安系统采集的多个人员的人脸特征以及其他特征， 例如， 公安系统可以通过 居民身份证采集人员的人脸特征， 并根据身份证信息采集对应人员的车辆特征、 个人电子 设备特征等并将其关联到对应人员的人脸特征。 在根据以上构建特征数据库时， 如上所述， 可以通过特征融合模块1400将特征采集模块1100采集到的人员的人脸。

50、特征以及其他特征 与特征数据库中预存的人员的人脸特征以及其他特征进行融合。 0079 框202： 采集待识别人员的人脸特征和其他特征， 并将待识别人员的人脸特征分别 和其他特征中的各个特征关联在一起。 说明书 7/9 页 11 CN 110717428 A 11 0080 基于特定事件的发生， 例如公安系统需要对犯罪人员进行布控， 则部署在不同区 域的身份识别装置1000和其他身份识别装置的特征采集模块可以采集位于特征采集模块 采集范围内的人员的人脸特征和其他特征， 被采集的多个人员将作为待识别人员进行身份 识别。 0081 类似于上述针对被添加到特征数据库的人员所描述的， 待识别人员的人脸特。