轨迹信息获取方法及装置、电子设备和存储介质.pdf

《轨迹信息获取方法及装置、电子设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《轨迹信息获取方法及装置、电子设备和存储介质.pdf（31页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910103456.3 (22)申请日 2019.02.01 (71)申请人 深圳市商汤科技有限公司 地址 518054 广东省深圳市南山区南海大 道1052号海翔广场7楼712 (72)发明人 付豪李蔚琳陈小健钱能胜 彭浩 (74)专利代理机构 北京林达刘知识产权代理事 务所(普通合伙) 11277 代理人 刘新宇 (51)Int.Cl. G06T 7/246(2017.01) (54)发明名称 轨迹信息获取方法及装置、 电子设备和存储 介质 (57)摘要 本公开涉及一种。

2、轨迹信息获取方法及装置、 电子设备和存储介质， 所述方法包括： 根据第一 参考图像， 获取第一对象的人脸特征信息和人体 特征信息； 根据第一对象的人脸特征信息和人体 特征信息， 在待检测视频的多个视频帧中确定出 包括第一对象的目标视频帧； 根据目标视频帧的 时间戳和地理位置信息， 确定第一对象的轨迹信 息。 根据本公开的实施例的轨迹信息获取方法， 可根据人脸特征信息和人体特征信息中， 在待检 测视频中确定出包括第一对象的目标视频帧， 并 根据目标视频帧的时间戳和地理位置信息确定 第一对象的轨迹。 节省在待检测视频中搜索第一 对象以及确定第一对象的轨迹信息的时间和人 力， 提高工作效率。 权利要。

3、求书2页 说明书20页 附图8页 CN 111524160 A 2020.08.11 CN 111524160 A 1.一种轨迹信息获取方法， 其特征在于， 包括： 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息； 根据第一对象的人脸特征信息和人体特征信息， 在待检测视频的多个视频帧中确定出 包括所述第一对象的目标视频帧， 其中， 所述目标视频帧中包括所述第一对象的人脸区域 和人体区域中的至少一个； 根据所述目标视频帧的时间戳和地理位置信息， 确定所述第一对象的轨迹信息。 2.根据权利要求1所述的方法， 其特征在于， 所述第一参考图像包括所述第一对象的人 脸区域或人体区域， 其中。

4、， 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息， 包括： 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息或人体特 征信息； 根据所述第一对象的人脸特征信息或人体特征信息， 确定出多个第一图像， 其中， 所述 第一图像中包括第一对象的人脸区域和人体区域； 对第一图像进行筛选处理， 从所述多个第一图像中确定出第二参考图像； 获取所述第二参考图像中的第一对象的人脸特征信息和人体特征信息。 3.根据权利要求2所述的方法， 其特征在于， 对第一图像进行筛选处理， 从所述多个第 一图像中确定出第二参考图像， 包括： 在接收到对所述第一图像中的选择信息的情况下， 将被。

5、选中的第一图像确定为所述第 二参考图像。 4.根据权利要求1所述的方法， 其特征在于， 所述第一参考图像包括所述第一对象的人 脸区域和人体区域， 其中， 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息， 包括： 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息和人体特 征信息； 根据所述第一对象的人脸特征信息和人体特征信息中的至少一个， 确定出多个第二图 像， 其中， 所述第二图像中包括第一对象的人脸区域和人体区域； 对第二图像进行筛选处理， 从所述多个第二图像中确定出第三参考图像， 其中， 所述第 三参考图像的清晰度高于所述第一参考图像； 获取所述第三参考图。

6、像中的第一对象的人脸特征信息和人体特征信息。 5.根据权利要求1所述的方法， 其特征在于， 根据第一对象的人脸特征信息和人体特征 信息， 在待检测视频的多个视频帧中确定出目标视频帧， 包括： 获取第一视频帧的各对象的人脸特征信息和人体特征信息， 其中， 所述第一视频帧为 待检测视频的多个视频帧中的任意一个； 在第一视频帧中存在与第一对象的人脸特征信息的特征相似度大于或等于人脸相似 度阈值， 和/或与第一对象的人体特征信息的特征相似度大于或等于人体相似度阈值的对 象的情况下， 将第一视频帧确定为所述目标视频帧。 6.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 在所述目标视频帧中，。

7、 确定出与所述第一对象的像素距离小于或等于距离阈值且出现 次数大于或等于次数阈值的第二对象； 权利要求书 1/2 页 2 CN 111524160 A 2 根据所述第二对象的人脸区域和人体区域中的至少一个， 在待检测视频的多个视频帧 中确定出包括所述第二对象的第二视频帧； 根据所述第二视频帧的时间戳和地理位置信息， 确定所述第二对象的轨迹信息。 7.根据权利要求7所述的方法， 其特征在于， 所述方法还包括： 将所述第一对象的轨迹信息和所述第二对象的轨迹信息的地理位置的交汇点确定为 目标位置。 8.一种轨迹信息获取装置， 其特征在于， 包括： 获取模块， 用于根据第一参考图像， 获取第一对象的人。

8、脸特征信息和人体特征信息； 目标视频帧确定模块， 用于根据第一对象的人脸特征信息和人体特征信息， 在待检测 视频的多个视频帧中确定出包括所述第一对象的目标视频帧， 其中， 所述目标视频帧中包 括所述第一对象的人脸区域和人体区域中的至少一个； 第一轨迹信息确定模块， 用于根据所述目标视频帧的时间戳和地理位置信息， 确定所 述第一对象的轨迹信息。 9.一种电子设备， 其特征在于， 包括： 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被配置为： 执行权利要求1至7中任意一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令。

9、被处理器执行时实现权利要求1至7中任意一项所述的方法。 权利要求书 2/2 页 3 CN 111524160 A 3 轨迹信息获取方法及装置、 电子设备和存储介质 技术领域 0001 本公开涉及计算机技术领域， 尤其涉及一种轨迹信息获取方法及装置、 电子设备 和存储介质。 背景技术 0002 在相关技术中， 可通过人脸识别技术， 根据目标对象的参考图像在大量视频中检 索出包括目标对象的视频帧， 并根据视频帧的时间戳确定目标对象出现的时间和地点， 但 果参考图像中不包括目标对象的人脸区域(例如， 仅拍摄到人体区域)， 则需要花费大量的 时间和人力在大量视频中搜索目标对象， 工作效率较低。 发明内。

10、容 0003 本公开提出了一种轨迹信息获取方法及装置、 电子设备和存储介质。 0004 根据本公开的一方面， 提供了一种轨迹信息获取方法， 包括： 0005 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息； 0006 根据第一对象的人脸特征信息和人体特征信息， 在待检测视频的多个视频帧中确 定出包括所述第一对象的目标视频帧， 其中， 所述目标视频帧中包括所述第一对象的人脸 区域和人体区域中的至少一个； 0007 根据所述目标视频帧的时间戳和地理位置信息， 确定所述第一对象的轨迹信息。 0008 根据本公开的实施例的轨迹信息获取方法， 可根据人脸特征信息和人体特征信息 中， 在待检。

11、测视频中确定出包括第一对象的目标视频帧， 并根据目标视频帧的时间戳和地 理位置信息确定第一对象的轨迹。 节省在待检测视频中搜索第一对象以及确定第一对象的 轨迹信息的时间和人力， 提高工作效率。 0009 在一种可能的实现方式中， 所述第一参考图像包括所述第一对象的人脸区域或人 体区域， 0010 其中， 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息， 包括： 0011 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息或人 体特征信息； 0012 根据所述第一对象的人脸特征信息或人体特征信息， 确定出多个第一图像， 其中， 所述第一图像中包括第一对象的人脸区域。

12、和人体区域； 0013 对第一图像进行筛选处理， 从所述多个第一图像中确定出第二参考图像； 0014 获取所述第二参考图像中的第一对象的人脸特征信息和人体特征信息。 0015 在一种可能的实现方式中， 对第一图像进行筛选处理， 从所述多个第一图像中确 定出第二参考图像， 包括： 0016 在接收到对所述第一图像中的选择信息的情况下， 将被选中的第一图像确定为所 述第二参考图像。 0017 通过这种方式， 可利用人脸特征信息或人体特征信息中的任意一个确定第二参考 说明书 1/20 页 4 CN 111524160 A 4 图像， 进而确定目标视频帧， 可在第一参考图像中的特征信息不完整的情况下确。

13、定包括第 一对象的目标视频帧。 0018 在一种可能的实现方式中， 所述第一参考图像包括所述第一对象的人脸区域和人 体区域， 0019 其中， 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信息， 包括： 0020 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息和人 体特征信息； 0021 根据所述第一对象的人脸特征信息和人体特征信息中的至少一个， 确定出多个第 二图像， 其中， 所述第二图像中包括第一对象的人脸区域和人体区域； 0022 对第二图像进行筛选处理， 从所述多个第二图像中确定出第三参考图像， 其中， 所 述第三参考图像的清晰度高于所述第一参考图像；。

14、 0023 获取所述第三参考图像中的第一对象的人脸特征信息和人体特征信息。 0024 通过这种方式， 可利用人脸特征信息或人体特征信息中的任意一个确定第三参考 图像， 进而确定目标视频帧， 可在第一参考图像中的特征信息不完整的情况下确定包括第 一对象的目标视频帧。 0025 在一种可能的实现方式中， 根据第一对象的人脸特征信息和人体特征信息， 在待 检测视频的多个视频帧中确定出目标视频帧， 包括： 0026 获取第一视频帧的各对象的人脸特征信息和人体特征信息， 其中， 所述第一视频 帧为待检测视频的多个视频帧中的任意一个； 0027 在第一视频帧中存在与第一对象的人脸特征信息的特征相似度大于或。

15、等于人脸 相似度阈值， 和/或与第一对象的人体特征信息的特征相似度大于或等于人体相似度阈值 的对象的情况下， 将第一视频帧确定为所述目标视频帧。 0028 在一种可能的实现方式中， 所述方法还包括： 0029 在所述目标视频帧中， 确定出与所述第一对象的像素距离小于或等于距离阈值且 出现次数大于或等于次数阈值的第二对象； 0030 根据所述第二对象的人脸区域和人体区域中的至少一个， 在待检测视频的多个视 频帧中确定出包括所述第二对象的第二视频帧； 0031 根据所述第二视频帧的时间戳和地理位置信息， 确定所述第二对象的轨迹信息。 0032 通过这种方式， 可通过目标视频帧中与第一对象的距离较近。

16、的对象的出现次数来 确定第一对象的随行人员以及随行人员的轨迹信息， 可减少确定第一对象的随行人员的工 作量， 提高处理效率。 0033 在一种可能的实现方式中， 所述方法还包括： 0034 将所述第一对象的轨迹信息和所述第二对象的轨迹信息的地理位置的交汇点确 定为目标位置。 0035 通过这种方式， 可确定第一对象和第二对象的轨迹信息的地理位置交汇点， 对获 取第一对象和第二对象共同出现的地点， 有助于掌握第一对象和第二对象的行踪。 0036 在一种可能的实现方式中， 所述方法还包括： 0037 在所述目标视频帧中， 确定出与所述第一对象的像素距离小于或等于距离阈值且 出现次数大于或等于次数阈。

17、值的第三对象； 说明书 2/20 页 5 CN 111524160 A 5 0038 根据所述第三对象的人脸区域和人体区域以及所述第一对象的人脸区域和人体 区域中的至少一个， 在待检测视频的多个视频帧中确定出包括所述第三对象和第一对象中 的至少一个的第三视频帧； 0039 根据所述第三视频帧的时间戳和地理位置信息， 确定所述第一对象的轨迹信息。 0040 通过这种方式， 可通过第一对象以及与第一对象同行的第三对象的特征信息来确 定第三视频帧， 进而确定第一对象的轨迹信息， 可减少第一对象的轨迹信息的缺失， 完善第 一对象的轨迹信息。 0041 在一种可能的实现方式中， 所述方法还包括： 004。

18、2 通过以下中的一种对目标视频帧进行筛选： 0043 目标视频帧的时间戳； 0044 目标视频帧的地理位置信息； 0045 第一对象的属性信息。 0046 在一种可能的实现方式中， 所述第一参考图像为包括所述第一对象的人脸区域和 人体区域中的至少一个的图像或视频帧， 其中， 所述视频帧为所述待检测视频的视频帧。 0047 根据本公开的另一方面， 提供了一种轨迹信息获取装置， 包括： 0048 获取模块， 用于根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信 息； 0049 目标视频帧确定模块， 用于根据第一对象的人脸特征信息和人体特征信息， 在待 检测视频的多个视频帧中确定出包括所述。

19、第一对象的目标视频帧， 其中， 所述目标视频帧 中包括所述第一对象的人脸区域和人体区域中的至少一个； 0050 第一轨迹信息确定模块， 用于根据所述目标视频帧的时间戳和地理位置信息， 确 定所述第一对象的轨迹信息。 0051 在一种可能的实现方式中， 所述第一参考图像包括所述第一对象的人脸区域或人 体区域， 0052 其中， 所述获取模块被进一步配置为： 0053 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息或人 体特征信息； 0054 根据所述第一对象的人脸特征信息或人体特征信息， 确定出多个第一图像， 其中， 所述第一图像中包括第一对象的人脸区域和人体区域； 005。

20、5 对第一图像进行筛选处理， 从所述多个第一图像中确定出第二参考图像； 0056 获取所述第二参考图像中的第一对象的人脸特征信息和人体特征信息。 0057 在一种可能的实现方式中， 所述获取模块被进一步配置为： 0058 在接收到对所述第一图像中的选择信息的情况下， 将被选中的第一图像确定为所 述第二参考图像。 0059 在一种可能的实现方式中， 所述第一参考图像包括所述第一对象的人脸区域和人 体区域， 0060 其中， 所述获取模块被进一步配置为： 0061 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人脸特征信息和人 体特征信息； 说明书 3/20 页 6 CN 1115241。

21、60 A 6 0062 根据所述第一对象的人脸特征信息和人体特征信息中的至少一个， 确定出多个第 二图像， 其中， 所述第二图像中包括第一对象的人脸区域和人体区域； 0063 对第二图像进行筛选处理， 从所述多个第二图像中确定出第三参考图像， 其中， 所 述第三参考图像的清晰度高于所述第一参考图像； 0064 获取所述第三参考图像中的第一对象的人脸特征信息和人体特征信息。 0065 在一种可能的实现方式中， 所述目标视频帧确定模块被进一步配置为： 0066 获取第一视频帧的各对象的人脸特征信息和人体特征信息， 其中， 所述第一视频 帧为待检测视频的多个视频帧中的任意一个； 0067 在第一视频。

22、帧中存在与第一对象的人脸特征信息的特征相似度大于或等于人脸 相似度阈值， 和/或与第一对象的人体特征信息的特征相似度大于或等于人体相似度阈值 的对象的情况下， 将第一视频帧确定为所述目标视频帧。 0068 在一种可能的实现方式中， 所述装置还包括： 0069 第二对象确定模块， 用于在所述目标视频帧中， 确定出与所述第一对象的像素距 离小于或等于距离阈值且出现次数大于或等于次数阈值的第二对象； 0070 第二视频帧确定模块， 用于根据所述第二对象的人脸区域和人体区域中的至少一 个， 在待检测视频的多个视频帧中确定出包括所述第二对象的第二视频帧； 0071 第二轨迹信息确定模块， 用于根据所述第。

23、二视频帧的时间戳和地理位置信息， 确 定所述第二对象的轨迹信息。 0072 在一种可能的实现方式中， 所述装置还包括： 0073 目标位置确定模块， 用于将所述第一对象的轨迹信息和所述第二对象的轨迹信息 的地理位置的交汇点确定为目标位置。 0074 在一种可能的实现方式中， 所述装置还包括： 0075 第三对象确定模块， 用于在所述目标视频帧中， 确定出与所述第一对象的像素距 离小于或等于距离阈值且出现次数大于或等于次数阈值的第三对象； 0076 第三视频帧确定模块， 用于根据所述第三对象的人脸区域和人体区域以及所述第 一对象的人脸区域和人体区域中的至少一个， 在待检测视频的多个视频帧中确定出。

24、包括所 述第三对象和第一对象中的至少一个的第三视频帧； 0077 第三轨迹信息确定模块， 用于根据所述第三视频帧的时间戳和地理位置信息， 确 定所述第一对象的轨迹信息。 0078 在一种可能的实现方式中， 所述装置还包括： 0079 筛选模块， 用于通过以下中的一种对目标视频帧进行筛选： 0080 目标视频帧的时间戳； 0081 目标视频帧的地理位置信息； 0082 第一对象的属性信息。 0083 在一种可能的实现方式中， 所述第一参考图像为包括所述第一对象的人脸区域和 人体区域中的至少一个的图像或视频帧， 其中， 所述视频帧为所述待检测视频的视频帧。 0084 根据本公开的一方面， 提供了一。

25、种电子设备， 包括： 0085 处理器； 0086 用于存储处理器可执行指令的存储器； 说明书 4/20 页 7 CN 111524160 A 7 0087 其中， 所述处理器被配置为： 执行上述轨迹信息获取方法。 0088 根据本公开的一方面， 提供了一种计算机可读存储介质， 其上存储有计算机程序 指令， 所述计算机程序指令被处理器执行时实现上述轨迹信息获取方法。 0089 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 而非 限制本公开。 0090 根据下面参考附图对示例性实施例的详细说明， 本公开的其它特征及方面将变得 清楚。 附图说明 0091 此处的附图被并入说。

26、明书中并构成本说明书的一部分， 这些附图示出了符合本公 开的实施例， 并与说明书一起用于说明本公开的技术方案。 0092 图1示出根据本公开实施例的轨迹信息获取方法的流程图； 0093 图2示出根据本公开实施例的轨迹信息获取方法的流程图； 0094 图3示出根据本公开实施例的轨迹信息获取方法的流程图； 0095 图4示出根据本公开实施例的轨迹信息获取方法的流程图； 0096 图5示出根据本公开实施例的轨迹信息获取方法的流程图； 0097 图6示出根据本公开实施例的轨迹信息获取方法的应用示意图； 0098 图7示出根据本公开实施例的轨迹信息获取装置的框图； 0099 图8示出根据本公开实施例的轨。

27、迹信息获取装置的框图； 0100 图9示出根据本公开实施例的电子装置的框图； 0101 图10示出根据本公开实施例的电子装置的框图。 具体实施方式 0102 以下将参考附图详细说明本公开的各种示例性实施例、 特征和方面。 附图中相同 的附图标记表示功能相同或相似的元件。 尽管在附图中示出了实施例的各种方面， 但是除 非特别指出， 不必按比例绘制附图。 0103 在这里专用的词 “示例性” 意为 “用作例子、 实施例或说明性” 。 这里作为 “示例性” 所说明的任何实施例不必解释为优于或好于其它实施例。 0104 本文中术语 “和/或” ， 仅仅是一种描述关联对象的关联关系， 表示可以存在三种关。

28、 系， 例如， A和/或B， 可以表示： 单独存在A， 同时存在A和B， 单独存在B这三种情况。 另外， 本文 中术语 “至少一种” 表示多种中的任意一种或多种中的至少两种的任意组合， 例如， 包括A、 B、 C中的至少一种， 可以表示包括从A、 B和C构成的集合中选择的任意一个或多个元素。 0105 另外， 为了更好的说明本公开， 在下文的具体实施方式中给出了众多的具体细节。 本领域技术人员应当理解， 没有某些具体细节， 本公开同样可以实施。 在一些实例中， 对于 本领域技术人员熟知的方法、 手段、 元件和电路未作详细描述， 以便于凸显本公开的主旨。 0106 图1示出根据本公开实施例的轨迹。

29、信息获取方法的流程图， 如图1所示， 所述方法 包括： 0107 在步骤S11中， 根据第一参考图像， 获取第一对象的人脸特征信息和人体特征信 息； 说明书 5/20 页 8 CN 111524160 A 8 0108 在步骤S12中， 根据第一对象的人脸特征信息和人体特征信息， 在待检测视频的多 个视频帧中确定出包括所述第一对象的目标视频帧， 其中， 所述目标视频帧中包括所述第 一对象的人脸区域和人体区域中的至少一个； 0109 在步骤S13中， 根据所述目标视频帧的时间戳和地理位置信息， 确定所述第一对象 的轨迹信息。 0110 根据本公开的实施例的轨迹信息获取方法， 可根据人脸特征信息和。

30、人体特征信息 中， 在待检测视频中确定出包括第一对象的目标视频帧， 并根据目标视频帧的时间戳和地 理位置信息确定第一对象的轨迹。 节省在待检测视频中搜索第一对象以及确定第一对象的 轨迹信息的时间和人力， 提高工作效率。 0111 在一种可能的实现方式中， 所述轨迹信息获取方法可以由终端设备执行， 终端设 备可以为用户设备(User Equipment， UE)、 移动设备、 用户终端、 终端、 蜂窝电话、 无绳电话、 个人数字处理(Personal Digital Assistant， PDA)、 手持设备、 计算设备、 车载设备、 可穿 戴设备等， 所述方法可以通过处理器调用存储器中存储的计。

31、算机可读指令的方式来实现。 或者， 所述图像识别方法通过服务器执行。 0112 在一种可能的实现方式中， 所述待检测视频为分布在多个地理位置的视频获取装 置拍摄到的视频和视频获取装置在预设时间段内的拍摄到的视频中的至少一种。 例如， 视 频获取装置为分布在各区域或各街道中的摄像头， 各摄像头可将拍摄到的视频发送至服务 器， 服务器可对各摄像头拍摄的视频进行汇总， 可获得所述待检测视频。 例如， 预设时间段 可以是一天、 1小时等， 可将某个摄像头获取的预设时间段内的视频作为所述待检测视频。 又例如， 待检测视频为分布在多个地理位置的摄像头拍摄到的预设时间段内的视频， 例如， 待检测视频可以是分。

32、布在多个街道的摄像头在9:00-10:00之间拍摄的视频。 所述待检测视 频中， 可具有包括第一对象的视频帧， 例如， 所述待检测视频为监控视频， 所述第一对象为 犯罪嫌疑人， 可待检测视频中可具有包括犯罪嫌疑人的视频帧， 即， 在待检测视频中可搜索 出犯罪嫌疑人的图像。 进一步地， 待检测视频的各视频帧可具有时间戳， 所述时间戳可表示 获取各视频帧时的时间信息。 待检测视频的各视频帧可具有地理位置信息， 所述地理位置 信息可表示获取各视频帧的视频获取装置(例如， 摄像头)所处的地理位置， 或视频获取装 置拍摄到的区域所处的地理位置。 0113 在一种可能的实现方式中， 所述第一参考图像为包括。

33、所述第一对象的人脸区域和 人体区域中的至少一个的图像或视频帧， 其中， 所述视频帧为所述待检测视频的视频帧。 所 述第一参考图像为包括第一对象(例如， 犯罪嫌疑人)的图像， 例如， 第一对象的照片， 在所 述照片中， 具有第一对象的人脸区域和人体区域的至少一个， 可将该照片上传至服务器。 或 者， 第一参考图像为待检测视频的某个视频帧， 在该视频帧中， 包括第一对象的人脸区域或 人体区域的至少一个。 在示例中， 第一参考图像中的第一对象的人脸区域清晰度可较低， 或 者， 第一参考图像中仅包括第一对象的人体区域， 不包括第一对象的人脸区域。 0114 在一种可能的实现方式中， 第一参考图像中可包。

34、括多个对象， 第一对象为所述多 个对象中的一个， 可从多个对象中选中第一对象， 例如， 可对第一对象的人脸区域和人体区 域中的至少一个进行框选。 0115 在一种可能的实现方式中， 在步骤S11中， 可对第一参考图像中的第一对象进行特 征提取处理， 在示例中， 第一参考图像中的对象仅有第一对象， 例如， 第一参考图像中包括 说明书 6/20 页 9 CN 111524160 A 9 第一对象的人脸区域和人体区域中的至少一个， 可对第一对象的人脸区域和人体区域中的 至少一个进行特征提取处理， 获得第一对象的特征信息， 例如， 对第一对象的人脸区域进行 特征提取处理， 可获得第一对象的人脸特征信息。

35、， 对第一对象的人体区域进行特征提取处 理， 可获得第一对象的人体特征信息。 在示例中， 第一参考图像中可包括多个对象， 可从多 个对象中选中第一对象的人脸区域和人体区域中的至少一个， 例如， 对第一对象的人脸区 域和人体区域中的至少一个进行框选， 并可提取被框选的区域的特征信息， 例如， 被框选区 域为第一对象的人脸区域， 则可提取第一对象的人脸特征信息， 被框选区域为第一对象的 人体区域， 则可提取第一对象的人体特征信息。 0116 在示例中， 人脸特征信息可包括根据人脸关键点确定的特征信息， 例如， 五官的位 置、 形状等， 还可包括肤色等信息。 人体特征信息可包括根据人体关键点确定的特。

36、征信息， 例如， 身高、 体型、 腿长、 臂长等， 还可包括衣物的款式、 颜色等信息。 0117 在一种可能的实现方式中， 在第一参考图像中， 可能仅包括第一对象的人脸区域 或人体区域， 即， 可提取的特征信息不完整。 或者， 第一参考图像清晰度较低， 图像质量较 差。 可根据第一参考图像中第一对象的人脸特征信息和人体特征信息中的至少一个， 从待 检测视频中确定出第二参考图像。 在示例中， 可根据第一对象的人脸特征信息和人体特征 信息中的至少一个， 在待检测视频的多个视频帧中搜索出包括第一对象的人脸区域和人体 区域的第二参考图像。 或者， 还可在其他视频库或图像库中， 根据第一对象的人脸特征信。

37、息 和人体特征信息中的至少一个， 搜索出包括第一对象的人脸区域和人体区域的第二参考图 像。 在第二参考图像中， 可确定第一对象的人脸区域和人体区域之间的关联关系， 即， 第一 对象的人脸区域和人体区域之间是匹配的， 在视频帧或图像中包括所述人脸区域和人体区 域中的任意一个， 均可认为该图像中包括第一对象。 0118 在一种可能的实现方式中， 所述第一参考图像包括所述第一对象的人脸区域或人 体区域， 步骤S11可包括： 对所述第一参考图像进行特征提取处理， 获得所述第一对象的人 脸特征信息或人体特征信息； 根据所述第一对象的人脸特征信息或人体特征信息， 确定出 多个第一图像， 其中， 所述第一图。

38、像中包括第一对象的人脸区域和人体区域； 对第一图像进 行筛选处理， 从所述多个第一图像中确定出第二参考图像； 获取所述第三参考图像中的第 一对象的人脸特征信息和人体特征信息。 0119 在一种可能的实现方式中， 可使用卷积神经网络等神经网络对第一参考图像进行 特征提取处理， 获得所述人脸特征信息或人体特征信息。 本公开对神经网络的类型不作限 制。 0120 在一种可能的实现方式中， 可根据第一参考图像中的第一对象的人脸特征信息或 人体特征信息在待检测视频或其他视频库或图像库中进行搜索， 例如， 可提取待检测视频 的各视频帧中的各对象的特征信息， 或提取其他视频库或图像库的各视频帧或图像中的对 。

39、象的特征信息， 并根据各对象的特征信息与第一参考图像中的第一对象的特征信息之间的 相似度， 来确定各视频帧或图像中是否包括第一对象， 进一步地， 可将同时包括第一对象的 人脸区域和人体区域的视频帧确定为第一图像。 0121 在示例中， 可在待检测视频中确定出第一图像， 特征信息包括第一参考图像中的 第一对象的人脸特征信息， 可提取待检测视频的各视频帧中的各对象的人脸特征信息， 如 果某个视频帧中包括与第一参考图像中的第一对象的人脸特征信息的特征相似度大于或 说明书 7/20 页 10 CN 111524160 A 10 等于人脸相似度阈值的对象， 且在该视频帧中， 还包括该对象的人体区域， 则。

40、可将该视频帧 确定为所述第一图像。 0122 在示例中， 可在待检测视频中确定出第一图像， 特征信息包括第一参考图像中的 第一对象的人体特征信息， 可提取待检测视频的各视频帧中的各对象的人体特征信息， 如 果某个视频帧中包括与第一参考图像中的第一对象的人体特征信息的特征相似度大于或 等于人体相似度阈值的对象， 且在该视频帧中， 还包括该对象的人脸区域， 则可将该视频帧 确定为所述第一图像。 0123 在一种可能的实现方式中， 可对所述第一图像进行筛选处理， 确定出第二参考图 像。 在示例中， 可根据第一图像中第一对象的人脸区域和人体区域的完整度来筛选出第二 参考图像， 例如， 可从多个包括第一。

41、对象的人脸区域和人体区域的第一图像中， 筛选出包括 第一对象的完整的人脸区域和完整的人体区域的第一图像， 作为所述第二参考图像。 在示 例中， 可根据第一图像中人脸区域和人体区域的清晰度来筛选出第二参考图像， 例如， 可从 多个包括第一对象的人脸区域和人体区域的第一图像中， 筛选出第一对象的人脸区域和人 体区域的清晰度最高的第一图像， 作为所述第二参考图像。 本公开对筛选第一图像的方式 不做限制。 0124 在一种可能的实现方式中， 可由用户从多个第一图像中选择出第二参考图像。 其 中， 对第一图像进行筛选处理， 从所述多个第一图像中确定出第二参考图像， 包括： 在接收 到对所述第一图像中的选。

42、择信息的情况下， 将被选中的第一图像确定为所述第二参考图 像。 即， 在确定出多个第一图像后， 用户可从第二图像中选择出第二参考图像。 0125 在一种可能的实现方式中， 可将第二参考图像作为在待检测视频中确定出目标视 频帧的参考图像。 可通过第二参考图像中的第一对象的人脸区域的人脸特征信息和人体区 域的人体特征信息在待检测视频中确定出目标视频帧。 第二参考图像为包括第一对象的人 脸区域和人体区域的图像， 可提取第一对象的人脸特征信息和人体特征信息。 或者， 在根据 第一参考图像的特征信息来确定第一图像时， 已提取了第一图像中各对象的特征信息， 第 二参考图像为第一图像中被选中的图像， 可直接。

43、使用已提取的第一对象的特征信息， 即， 人 脸特征信息和人体特征信息。 0126 在一种可能的实现方式中， 如果从第一参考图像中可提取第一对象的人脸特征信 息和人体特征信息， 即， 所述特征信息包括对第一参考图像中的第一对象的人脸特征信息 和人体特征信息， 但第一参考图像中第一对象的人脸区域和人体区域图像质量较差， 例如， 比较模糊。 则可根据第一参考图像中的第一对象的特征信息， 确定出包括第一对象的人脸 区域和人体区域的第三参考图像， 且第三参考图像的图像质量较高， 例如， 第三参考图像的 第一对象的人脸区域和人体区域的清晰度高于第一参考图像。 步骤S11可包括： 对所述第一 参考图像进行特。

44、征提取处理， 获得所述第一对象的人脸特征信息和人体特征信息； 根据所 述第一对象的人脸特征信息和人体特征信息中的至少一个， 确定出多个第二图像， 其中， 所 述第二图像中包括第一对象的人脸区域和人体区域； 对第二图像进行筛选处理， 从所述多 个第二图像中确定出第三参考图像， 其中， 所述第三参考图像的清晰度高于所述第一参考 图像； 获取所述第三参考图像中的第一对象的人脸特征信息和人体特征信息。 0127 在一种可能的实现方式中， 可使用卷积神经网络等神经网络对第一参考图像进行 特征提取处理， 获得所述人脸特征信息或人体特征信息。 并可根据第一参考图像中的第一 说明书 8/20 页 11 CN 。

45、111524160 A 11 对象的人脸特征信息和人体特征信息中的至少一个在待检测视频或其他视频库或图像库 中进行搜索， 例如， 可提取待检测视频的各视频帧中的各对象的人脸特征信息和人体特征 信息， 或提取其他视频库或图像库的各视频帧或图像中的对象的人脸特征信息和人体特征 信息， 并根据各对象的人脸特征信息和人体特征信息与第一参考图像中的第一对象的人脸 特征信息和人体特征信息之间的相似度， 来确定各视频帧或图像中是否包括第一对象， 进 一步地， 可将同时包括第一对象的人脸区域和人体区域的视频帧确定为第二图像。 0128 在示例中， 可在待检测视频中确定出第二图像， 可提取待检测视频的各视频帧中。

46、 的各对象的人脸特征信息和人体特征信息， 如果某个视频帧中包括与第一参考图像中的第 一对象的人脸特征信息的特征相似度大于或等于人脸相似度阈值， 且与第一对象的人体特 征信息的特征相似度大于或等于人体相似度阈值的对象， 则可将该视频帧确定为所述第二 图像。 0129 在一种可能的实现方式中， 可对所述第二图像进行筛选处理， 确定出第三参考图 像。 在示例中， 可根据第二图像中第一对象的人脸区域和人体区域的完整度来筛选出第三 参考图像， 例如， 可从多个包括第一对象的人脸区域和人体区域的第二图像中， 筛选出包括 第一对象的完整的人脸区域和完整的人体区域的第二图像， 作为所述第三参考图像。 在示 例。

47、中， 可根据第二图像中人脸区域和人体区域的清晰度来筛选出第三参考图像， 例如， 可从 多个包括第一对象的人脸区域和人体区域的第二图像中， 筛选出第一对象的人脸区域和人 体区域的清晰度最高的第二图像， 作为所述第三参考图像。 还可由用户从多个第二图像中 选择出第三参考图像。 本公开对筛选第二图像的方式不做限制。 0130 在一种可能的实现方式中， 第三参考图像为包括第一对象的人脸区域和人体区域 的图像， 可提取第一对象的人脸区域的人脸特征信息。 或者， 在根据第一参考图像的特征信 息来确定第二图像时， 已提取了第二图像中各对象的特征信息， 第三参考图像为第二图像 中被选中的图像， 可直接使用已提。

48、取的第一对象的特征信息， 即， 人脸特征信息和人体特征 信息。 0131 在一种可能的实现方式中， 可根据第二参考图像或第三参考图像中的第一对象的 特征信息， 在待检测视频的多个视频帧中确定出目标视频帧， 步骤S12包括： 获取第一视频 帧的各对象的人脸特征信息和人体特征信息， 其中， 所述第一视频帧为待检测视频的多个 视频帧中的任意一个； 在第一视频帧中存在与第一对象的人脸特征信息的特征相似度大于 或等于人脸相似度阈值， 和/或与第一对象的人体特征信息的特征相似度大于或等于人体 相似度阈值的对象的情况下， 将第一视频帧确定为所述目标视频帧。 0132 在一种可能的实现方式中， 第一视频帧为待。

49、检测视频的视频帧中的任意一个， 可 提取第一视频帧中的各对象的人脸特征信息和人体特征信息。 或者， 在根据第一参考图像 确定第二参考图像或第三参考图像时， 已提取各视频帧中各对象的特征信息， 也可直接使 用已提取的人脸特征信息和人体特征信息。 0133 在一种可能的实现方式中， 可将第一对象的人脸特征信息分别与第一视频帧中各 对象的人脸特征信息进行对比， 以确定所述第一对象的人脸特征信息与所述各对象的人脸 特征信息之间的特征相似度， 并将第一对象的人体特征信息分别与第一视频帧中的各对象 的人体特征信息进行对比， 以确定所述第一对象的人体特征信息与所述各对象的人体特征 信息之间的特征相似度。 如。

50、果第一视频帧中存在某个对象， 该对象的人脸特征信息与第一 说明书 9/20 页 12 CN 111524160 A 12 对象的人脸特征信息之间的特征相似度大于或等于人脸相似度阈值， 且该对象的人体特征 信息与第一对象的人体特征信息之间的特征相似度大于或等于人体相似度阈值， 则该对象 可被确定为第一对象， 第一视频帧可被确定为包括第一对象的视频帧， 即， 第一视频帧可被 确定为目标视频帧。 0134 在一种可能的实现方式中， 可仅根据第一对象的人脸特征信息在待处理图像的各 视频帧中确定目标视频帧， 例如， 如果某个视频帧中存在与第一对象的人脸特征信息的特 征相似度大于或等于人脸相似度阈值的对象。