视频中行人步态识别训练方法、步态识别方法及存储装置.pdf

《视频中行人步态识别训练方法、步态识别方法及存储装置.pdf》由会员分享，可在线阅读，更多相关《视频中行人步态识别训练方法、步态识别方法及存储装置.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010604691.1 (22)申请日 2020.06.28 (71)申请人 浙江大华技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 罗时现张迪潘华东 (74)专利代理机构 深圳市威世博知识产权代理 事务所(普通合伙) 44280 代理人 黎坚怡 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频中行人步态识别训练方法、 。

2、步态识别方 法及存储装置 (57)摘要 本发明公开了一种视频中行人步态识别训 练方法、 步态识别方法及存储装置。 该行人步态 识别训练方法包括： 检测出视频中的行人图片并 提取行人轮廓图； 将行人轮廓图输入神经卷积网 络中， 依次采用空间注意力机制和帧注意力机制 对行人轮廓图进行处理， 获得特征图； 对特征图 在帧维度上进行分块处理， 并计算每一分块特征 图的三元组损失； 优化三元组损失直至收敛得到 行人步态识别结果。 通过上述方式， 本发明能够 对行人轮廓图的不同空间和不同时序进行不同 权重的关注， 针对行人的不同部位进行细粒度学 习且兼顾全局特征学习， 提高步态识别的准确性 和鲁棒性。 权。

3、利要求书2页 说明书6页 附图5页 CN 111814624 A 2020.10.23 CN 111814624 A 1.一种视频中的行人步态识别训练方法， 其特征在于， 包括： 检测出视频中的行人图片并提取行人轮廓图； 将所述行人轮廓图输入神经卷积网络中， 依次采用空间注意力机制和帧注意力机制对 所述行人轮廓图进行处理， 获得特征图； 对所述特征图在帧维度上进行分块处理， 并计算每一分块特征图的三元组损失； 优化所述三元组损失直至收敛得到行人步态识别结果。 2.根据权利要求1所述的行人步态识别训练方法， 其特征在于， 所述将所述行人轮廓图 输入神经卷积网络中， 依次采用空间注意力机制和帧注意。

4、力机制对所述行人轮廓图进行处 理， 获得特征图的步骤包括： 将所述行人轮廓图输入神经卷积网络中， 提取所述行人轮廓图的第一特征图； 采用空间注意力机制对所述第一特征图施加空间注意力， 获得第二特征图； 采用帧注意力机制对所述第二特征图施加时间注意力， 获得第三特征图。 3.根据权利要求2所述的行人步态识别训练方法， 其特征在于， 所述采用空间注意力机 制对所述第一特征图施加空间注意力， 获得第二特征图的步骤包括： 对所述第一特征图在帧维度上进行最大池化得到步态特征图； 对所述步态特征图在通道维度上分别进行最大池化和平均池化， 并将池化结果进行合 并， 得到合并特征图； 对所述合并特征图进行压缩。

5、得到空间权重矩阵； 将所述空间权重矩阵与所述第一特征图进行点乘， 获得所述第二特征图。 4.根据权利要求3所述的行人步态识别训练方法， 其特征在于， 所述采用帧注意力机制 对所述第二特征图施加时间注意力， 获得第三特征图的步骤包括： 对所述第二特征图分别进行3D最大池化和3D平均池化； 对所述池化结果进行压缩和扩张得到帧维度权重矩阵； 将所述帧维度权重矩阵与所述第二特征图进行点乘， 获得所述第三特征图。 5.根据权利要求2所述的行人步态识别训练方法， 其特征在于， 所述将所述行人轮廓图 输入神经卷积网络中， 提取所述行人轮廓图的第一特征图的步骤包括： 采用随机抽样的方式从所述行人轮廓图中选取多。

6、个图片； 对所述图片进行缩放处理后输入所述神经卷积网络中， 提取所述行人轮廓图的第一特 征图。 6.根据权利要求1所述的行人步态识别训练方法， 其特征在于， 所述对所述特征图在帧 维度上进行分块处理， 并计算每一分块特征图的三元组损失的步骤包括： 分别对所述特征图在帧维度上进行最大池化和平均池化， 得到全局特征图和局部分块 特征图； 利用独立的全连接方式分别将对所述全局特征图和所述局部分块特征图的通道数进 行拉伸； 分别计算所述全局特征图和所述局部分块特征图的三元组损失。 7.一种视频中的行人步态识别方法， 其特征在于， 包括： 检测出待测视频中的待测行人图片并提取待测行人轮廓图； 将所述待测。

7、行人轮廓图输入神经卷积网络中， 依次采用空间注意力机制和帧注意力机 权利要求书 1/2 页 2 CN 111814624 A 2 制对所述待测行人轮廓图进行处理， 获得所述待测行人轮廓图的特征向量； 将所述待测行人轮廓图的特征向量与预设搜索底库的行人轮廓图的特征向量做比对， 搜索出相似度最高的目标图片并输出识别匹配结果。 8.根据权利要求7所述的行人步态识别方法， 其特征在于， 所述将所述待测行人轮廓图 的特征向量与预设搜索底库的行人轮廓图的特征向量做比对， 搜索出相似度最高的目标图 片并输出识别匹配结果的步骤包括： 计算所述待测行人轮廓图的特征向量与预设搜索底库的行人轮廓图的特征向量之间 的。

8、余弦距离； 对所述余弦距离进行排序， 输出最小的余弦距离对应预设搜索底库的所述行人轮廓 图。 9.根据权利要求7所述的行人步态识别方法， 其特征在于， 所述行人步态识别方法还包 括： 建立预设搜索底库。 10.一种存储装置， 其特征在于， 存储有能够实现如权利要求7-9中任一项所述的行人 步态识别方法的程序文件。 权利要求书 2/2 页 3 CN 111814624 A 3 视频中行人步态识别训练方法、 步态识别方法及存储装置 技术领域 0001 本申请涉及计算机视觉及机器学习技术领域， 特别是涉及一种视频中行人步态识 别训练方法、 步态识别方法及存储装置。 背景技术 0002 在监控系统中的。

9、步态识别任务， 通常包括行人分割、 特征提取和步态识别三个步 骤， 其中特征提取主要分为基于轮廓序列和基于步态能量图(Gait Energy Image， GEI)的 方法， 而这些方法都依赖于精准的行人分割结果， 较差的行人分割结果直接导致无法实现 后续的步态识别任务。 传统的步态识别方法要求行人背景简单， 而在真实的监控环境中， 背 景条件是动态多变的， 导致步态识别效果不佳。 发明内容 0003 本申请提供一种视频中行人步态识别训练方法、 步态识别方法及存储装置， 能够 提高步态识别的准确性和鲁棒性。 0004 为解决上述技术问题， 本申请采用的一个技术方案是： 提供一种视频中的行人步 。

10、态识别训练方法， 包括： 0005 检测出视频中的行人图片并提取行人轮廓图； 0006 将所述行人轮廓图输入神经卷积网络中， 依次采用空间注意力机制和帧注意力机 制对所述行人轮廓图进行处理， 获得特征图； 0007 对所述特征图在帧维度上进行分块处理， 并计算每一分块特征图的三元组损失； 0008 优化所述三元组损失直至收敛得到行人步态识别结果。 0009 为解决上述技术问题， 本申请采用的另一个技术方案是： 提供一种视频中的行人 步态识别方法， 包括： 0010 检测出待测视频中的待测行人图片并提取待测行人轮廓图； 0011 将所述待测行人轮廓图输入神经卷积网络中， 依次采用空间注意力机制和。

11、帧注意 力机制对所述待测行人轮廓图进行处理， 获得所述待测行人轮廓图的特征向量； 0012 将所述待测行人轮廓图的特征向量与预设搜索底库的行人轮廓图的特征向量做 比对， 搜索出相似度最高的目标图片并输出识别匹配结果。 0013 为解决上述技术问题， 本申请采用的再一个技术方案是： 提供一种存储装置， 存储 有能够实现上述行人步态识别方法的程序文件。 0014 本申请的有益效果是： 通过上述方式能够对行人轮廓图的不同空间和不同时序进 行不同权重的关注， 针对行人的不同部位进行细粒度学习且兼顾全局特征学习， 提高步态 识别的准确性和鲁棒性。 附图说明 0015 图1是本发明实施例的视频中的行人步态。

12、识别训练方法的流程示意图； 说明书 1/6 页 4 CN 111814624 A 4 0016 图2是本发明实施例的视频中的行人步态识别训练方法中获取特征图及特征图分 块的流程示意图； 0017 图3是本发明实施例的视频中的行人步态识别训练方法中步骤S102的流程示意 图； 0018 图4是本发明实施例中空间注意力机制的结构示意图； 0019 图5是本发明实施例中帧注意力机制的结构示意图； 0020 图6是本发明实施例的视频中的行人步态识别方法的流程示意图； 0021 图7是本发明实施例的建立预设搜索底库的流程示意图； 0022 图8是本发明实施例的视频中的行人步态识别训练装置的结构示意图； 。

13、0023 图9是本发明实施例的视频中的行人步态识别装置的结构示意图； 0024 图10是本发明实施例的存储装置的结构示意图。 具体实施方式 0025 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅是本申请的一部分实施例， 而不是全部的实施例。 基于 本申请中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本申请保护的范围。 0026 本申请中的术语 “第一” 、“第二” 、“第三” 仅用于描述目的， 而不能理解为指示或暗 示相对重要性或者隐含指明所指示的技术特征的数量。 由此， 限定有 。

14、“第一” 、“第二” 、“第 三” 的特征可以明示或者隐含地包括至少一个该特征。 本申请的描述中，“多个” 的含义是至 少两个， 例如两个， 三个等， 除非另有明确具体的限定。 本申请实施例中所有方向性指示(诸 如上、 下、 左、 右、 前、 后)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相 对位置关系、 运动情况等， 如果该特定姿态发生改变时， 则该方向性指示也相应地随之改 变。 此外， 术语 “包括” 和 “具有” 以及它们任何变形， 意图在于覆盖不排他的包含。 例如包含 了一系列步骤或单元的过程、 方法、 系统、 产品或设备没有限定于已列出的步骤或单元， 而 是可选地还包括没有。

15、列出的步骤或单元， 或可选地还包括对于这些过程、 方法、 产品或设备 固有的其它步骤或单元。 0027 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结构或特性可以包 含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。 0028 图1是本发明实施例的视频中的行人步态识别训练方法的流程示意图。 需注意的 是， 若有实质上相同的结果， 本发明的方法并不以图1所示的流程顺序为限。 如图1所示， 该 方法包括步。

16、骤： 0029 步骤S101： 检测出视频中的行人图片并提取行人轮廓图。 0030 在步骤S101中， 首先采集监控视频， 然后利用行人检测与行人跟踪方法从监控视 频中提取行人图片， 再将提取到的行人图片制作成行人图片序列， 对行人图片序列标注身 份信息， 最后对所有的行人图片进行前后背景标注以提取行人轮廓图。 本实施例中， 提取行 人轮廓图时， 将行人区域标注为255， 背景区域标注为0， 再进行归一化处理， 得到的结果是 说明书 2/6 页 5 CN 111814624 A 5 行人区域为1， 背景区域为0。 0031 步骤S102： 将行人轮廓图输入神经卷积网络中， 依次采用空间注意力机。

17、制和帧注 意力机制对行人轮廓图进行处理， 获得特征图。 0032 在步骤S102中， 请参见图2， 首先将行人轮廓图21输入神经卷积网络22中， 提取第 一特征图23； 然后将第一特征图23输入空间注意力模块24中， 对第一特征图23施加空间注 意力， 获得第二特征图25； 最后将第二特征图25输入帧注意力模块26中， 对第二特征图25施 加时间注意力， 获得第三特征图27。 0033 具体地， 请参见图3， 步骤S102还包括以下步骤： 0034 步骤S301： 将行人轮廓图输入神经卷积网络中， 提取行人轮廓图的第一特征图。 0035 在步骤S301中， 采用随机抽样的方式从行人轮廓图中选取。

18、多个图片； 对图片进行 缩放处理后输入神经卷积网络中， 提取行人轮廓图的第一特征图。 0036 具体地， 在本实施例中， 采用随机抽样的方式从行人轮廓图中选取24个图片； 对24 个图片分别进行等比例缩放至9664尺寸后， 再输入神经卷积网络中提取24个图片的第一 特征图。 0037 在一实施例中， 采用随机抽样的方式从行人轮廓图中选取24个图片； 将每个图片 平分为24块， 训练采样时， 从每个图片的分块中随机选取一块进行训练， 可以关注行人步态 随时间的变化， 避免冗余。 0038 步骤S302： 采用空间注意力机制对第一特征图施加空间注意力， 获得第二特征图。 0039 在步骤S302中。

19、， 对第一特征图在帧维度上进行最大池化得到步态特征图； 对步态 特征图在通道维度上分别进行最大池化和平均池化， 并将池化结果进行合并， 得到合并特 征图； 对合并特征图进行压缩得到空间权重矩阵； 将空间权重矩阵与第一特征图进行点乘， 获得第二特征图。 0040 具体地， 请参见图4， 将第一特征图作为输入， 第一特征图的尺寸为(t， c， h， w)， 其 中， t为帧数， c为通道数， h为高度， w为宽度。 首先对输入的第一特征图在t维度上进行最大 池化操作， 得到步态特征图(c， h， w)， 然后对步态特征图分别进行最大池化操作和平均池化 操作， 得到两个特征图(1， h， w)， 再。

20、将这两个特征图进行合并， 得到合并特征图(2， h， w)， 利 用卷积核为(3， 3)的卷积层将合并特征图压缩为(1， h， w)的空间权重矩阵， 最后将空间权重 矩阵与24个第一特征图进行点乘， 输出24个第二特征图， 第二特征图的尺寸为(t， c， h， w)。 0041 步骤S303： 采用帧注意力机制对第二特征图施加时间注意力， 获得第三特征图。 0042 在步骤S303中， 对第二特征图分别进行3D最大池化和3D平均池化； 对池化结果进 行压缩和扩张得到帧维度权重矩阵； 将帧维度权重矩阵与第二特征图进行点乘， 获得第三 特征图。 0043 具体地， 请参见图5， 将第二特征图作为输。

21、入， 第二特征图的尺寸为(t， c， h， w)， 其 中， t为帧数， c为通道数， h为高度， w为宽度。 首先对输入的第二特征图在c， h， w维度上分别 进行3D最大池化操作和3D平均池化操作， 然后利用卷积核为(1， 1)的卷积层分别对3D最大 池化结果和3D平均池化结果进行压缩和扩张， 得到t维度权重矩阵， 最后将t维度权重矩阵 与24个第二特征图依次进行点乘， 获得24个第三特征图(t， c， h， w)。 0044 步骤S103： 对特征图在帧维度上进行分块处理， 并计算每一分块特征图的三元组 损失。 说明书 3/6 页 6 CN 111814624 A 6 0045 在步骤S。

22、103中， 分别对特征图在帧维度上进行最大池化和平均池化， 得到全局特 征图和局部分块特征图； 利用独立的全连接方式分别将对全局特征图和局部分块特征图的 通道数进行拉伸； 分别计算全局特征图和局部分块特征图的三元组损失。 0046 具体地， 在一实施例中， 如图2所示， 对24个特征图在帧维度上进行最大池化， 将每 个特征图依次分为1， 8， 16块， 得到局部分块特征图28， 对24个特征图在帧维度上进行平均 池化， 将每个特征图都分为1块， 得到全局特征图29， 利用26个独立的全连接将每一分块的 通道数由128拉伸为256， 并计算这26个分块的三元组损失。 0047 在本实施例中， 局。

23、部分块特征图更加关注行人的局部特征， 全局特征图更加关注 行步态的整体特征。 0048 步骤S104： 优化三元组损失直至收敛得到行人步态识别结果。 0049 在步骤S104中， 利用Adam优化算法优化该损失进行训练， 直至训练收敛得到达到 预设条件的行人步态识别结果。 0050 本发明实施例的视频中的行人步态识别训练方法通过人工标注把行人轮廓图从 环境背景中分割出来， 防止环境背景对识别结果的影响， 同时， 对行人轮廓图的不同空间和 不同时序进行不同权重的关注， 针对行人的不同部位进行细粒度学习且兼顾全局特征学 习， 提高步态识别的准确性和鲁棒性。 0051 图6是本发明实施例的视频中的行。

24、人步态识别方法的流程示意图。 需注意的是， 若 有实质上相同的结果， 本发明的方法并不以图6所示的流程顺序为限。 如图6所示， 该方法包 括步骤： 0052 步骤S601： 检测出待测视频中的待测行人图片并提取待测行人轮廓图。 0053 在步骤S601中， 首先采集监控视频， 然后利用行人检测与行人跟踪方法从监控视 频中提取待测行人图片， 再将提取到的待测行人图片制作成待测行人图片序列， 对待测行 人图片序列标注身份信息， 最后对所有的待测行人图片进行前后背景标注以提取待测行人 轮廓图。 本实施例中， 提取待测行人轮廓图时将行人区域标注为255， 背景区域标注为0， 再 进行归一化处理， 得到。

25、的结果是行人区域为1， 背景区域为0。 0054 步骤S602： 将待测行人轮廓图输入神经卷积网络中， 依次采用空间注意力机制和 帧注意力机制对待测行人轮廓图进行处理， 获得待测行人轮廓图的特征向量。 0055 在本实施例中， 步骤S602与图1的步骤S102相类似， 为简约起见， 在此不再一一赘 述。 0056 步骤S603： 将待测行人轮廓图的特征向量与预设搜索底库的行人轮廓图的特征向 量做比对， 搜索出相似度最高的目标图片并输出识别匹配结果。 0057 在步骤S603中， 计算待测行人轮廓图的特征向量与预设搜索底库的行人轮廓图的 特征向量之间的余弦距离； 对余弦距离进行排序， 输出最小的。

26、余弦距离对应预设搜索底库 的行人轮廓图。 0058 在本实施例中， 行人步态识别方法还包括： 建立预设搜索底库。 如图7所示， 建立预 设搜索底库的步骤包括： 0059 步骤S701： 利用行人检测与行人跟踪方法采集监控视频中的注册行人， 检测并提 取每个注册行人的注册图片， 对每个注册行人形成一段注册行人图片序列， 对注册行人图 片序列中的每个注册图片提取注册行人轮廓图。 说明书 4/6 页 7 CN 111814624 A 7 0060 步骤S702： 为每段注册行人图片序列标注对应的行人身份标签； 0061 步骤S703： 将注册行人轮廓图输入行人步态识别训练模型中， 得到注册行人轮廓 。

27、图的特征向量； 0062 步骤S704： 根据注册行人轮廓图的特征向量建立预设搜索底库。 0063 本发明实施例的视频中的行人步态识别方法对行人轮廓图的不同空间和不同时 序进行不同权重的关注， 针对行人的不同部位进行细粒度学习且兼顾全局特征学习， 提高 步态识别的准确性和鲁棒性。 0064 图8是本发明实施例的视频中的行人步态识别训练装置的结构示意图。 如图8所 示， 该装置80包括图片获取模块81、 特征图获取模块82、 分块及损失计算模块83以及优化模 块84。 0065 图片获取模块81用于检测出视频中的行人图片并提取行人轮廓图。 0066 特征图获取模块82与图片获取模块81耦接， 用。

28、于将行人轮廓图输入神经卷积网络 中， 依次采用空间注意力机制和帧注意力机制对行人轮廓图进行处理， 获得特征图。 0067 可选地， 特征图获取模块82包括提取单元、 空间注意力单元以及帧注意力单元， 提 取单元用于将行人轮廓图输入神经卷积网络中， 提取行人轮廓图的第一特征图， 空间注意 力单元与提取单元耦接， 用于采用空间注意力机制对第一特征图施加空间注意力， 获得第 二特征图， 帧注意力单元与空间注意力单元耦接， 用于采用帧注意力机制对第二特征图施 加时间注意力， 获得第三特征图。 0068 分块及损失计算模块83与特征图获取模块82耦接， 用于对特征图在帧维度上进行 分块处理， 并计算每一。

29、分块特征图的三元组损失。 0069 优化模块84与分块及损失计算模块83耦接， 用于优化该损失直至收敛得到行人步 态识别结果。 0070 图9是本发明实施例的视频中的行人步态识别装置的结构示意图。 如图9所示， 该 装置90包括图片获取模块91、 特征提取模块92以及步态识别模块93。 0071 图片获取模块91用于检测出待测视频中的待测行人图片并提取待测行人轮廓图。 0072 特征提取模块92与图片获取模块91耦接， 用于将待测行人轮廓图输入神经卷积网 络中， 依次采用空间注意力机制和帧注意力机制对待测行人轮廓图进行处理， 获得待测行 人轮廓图的特征向量。 0073 步态识别模块93与特征提。

30、取模块92耦接， 用于将待测行人轮廓图的特征向量与预 设搜索底库的行人轮廓图的特征向量做比对， 搜索出相似度最高的目标图片并输出识别匹 配结果。 0074 参阅图10， 图10为本发明实施例的存储装置的结构示意图。 本发明实施例的存储 装置存储有能够实现上述所有方法的程序文件11， 其中， 该程序文件11可以以软件产品的 形式存储在上述存储装置中， 包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器， 或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部 或部分步骤。 而前述的存储装置包括： U盘、 移动硬盘、 只读存储器(ROM， Read-Only。

31、 Memory)、 随机存取存储器(RAM， Random Access Memory)、 磁碟或者光盘等各种可以存储程 序代码的介质， 或者是计算机、 服务器、 手机、 平板等终端设备。 0075 在本申请所提供的几个实施例中， 应该理解到， 所揭露的系统， 装置和方法， 可以 说明书 5/6 页 8 CN 111814624 A 8 通过其它的方式实现。 例如， 以上所描述的装置实施例仅仅是示意性的， 例如， 单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式， 例如多个单元或组件可以 结合或者可以集成到另一个系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或。

32、讨论 的相互之间的耦合或直接耦合或通信连接可以是通过一些接口， 装置或单元的间接耦合或 通信连接， 可以是电性， 机械或其它的形式。 0076 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以 是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中。 上述集成的单 元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。 0077 以上仅为本申请的实施方式， 并非因此限制本申请的专利范围， 凡是利用本申请 说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运用在其他相关的技术 领域， 均同理包括在本申请的专利保护范围内。 说明书 6/6 页 9 CN 111814624 A 9 图1 图2 说明书附图 1/5 页 10 CN 111814624 A 10 图3 图4 说明书附图 2/5 页 11 CN 111814624 A 11 图5 图6 说明书附图 3/5 页 12 CN 111814624 A 12 图7 图8 说明书附图 4/5 页 13 CN 111814624 A 13 图9 图10 说明书附图 5/5 页 14 CN 111814624 A 14 。