行人重识别模型训练方法、装置及行人重识别方法、装置.pdf

《行人重识别模型训练方法、装置及行人重识别方法、装置.pdf》由会员分享，可在线阅读，更多相关《行人重识别模型训练方法、装置及行人重识别方法、装置.pdf（23页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010464193.1 (22)申请日 2020.05.27 (71)申请人 北京三快在线科技有限公司 地址 100190 北京市海淀区北四环西路9号 2106-030 (72)发明人 赖申其柴振华 (74)专利代理机构 北京市隆安律师事务所 11323 代理人 权鲜枝 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 行人重识别模。

2、型训练方法、 装置及行人重识 别方法、 装置 (57)摘要 本申请公开了一种行人重识别模型训练方 法、 装置及行人重识别方法、 装置， 所述行人重识 别模型训练方法包括： 利用行人重识别模型的卷 积网络对行人图像进行特征提取， 得到行人图像 的原始特征； 利用行人重识别模型的注意力模块 对原始特征进行处理， 得到多个行人局部特征； 利用行人重识别模型的图神经网络， 确定各行人 局部特征之间的相似性矩阵， 并根据相似性矩阵 对各行人局部特征进行调整； 基于调整后的行人 局部特征确定行人识别结果及行人重识别模型 的训练损失， 根据训练损失对模型参数进行优 化。 通过本申请， 在无需引入额外标注信息。

3、的情 况下， 能够自动抽取图像中重要的行人局部特 征， 使得最后的行人局部特征更具有判别力， 模 型识别性能也得到提升。 权利要求书3页 说明书15页 附图4页 CN 111738090 A 2020.10.02 CN 111738090 A 1.一种行人重识别模型训练方法， 其特征在于， 包括： 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的原始 特征； 利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特 征； 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的相似性矩阵， 并 根据所述相似性矩阵对各行人局部特征进行调整； 基于调。

4、整后的行人局部特征确定行人识别结果， 根据所述行人识别结果确定行人重识 别模型的训练损失， 根据所述训练损失对所述行人重识别模型的参数进行优化。 2.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述利用行人重识别 模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特征包括： 利用所述注意力模块对所述原始特征进行处理， 得到多个注意力掩模； 根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。 3.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述注意力模块包括 空间注意力模块和通道注意力模块， 所述利用行人重识别模型的注意力模块对所述原始特 征进。

5、行处理， 得到多个行人局部特征包括： 基于所述空间注意力模块对所述原始特征进行处理， 得到空间注意力掩模； 基于所述通道注意力模块对所述原始特征进行处理， 得到通道注意力掩模； 将所述空间注意力掩模和所述通道注意力掩模进行融合， 得到注意力掩模。 4.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述利用行人重识别 模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特征包括： 基于空间维度， 对所述原始特征进行维度变换和矩阵变换， 得到特征关联强度矩阵， 以 及基于通道维度， 对所述原始特征进行维度变换和矩阵变换， 得到通道关联强度矩阵； 分别对所述特征关联强度矩阵和所述。

6、通道关联强度矩阵进行归一化处理， 得到空间注 意力图和通道注意力图； 根据所述空间注意力图和所述原始特征确定空间注意力掩模， 以及根据所述通道注意 力图和所述原始特征确定通道注意力掩模。 5.根据权利要求2所述的行人重识别模型训练方法， 其特征在于， 所述行人重识别模型 的训练方法还包括： 利用训练辅助模块随机擦除注意力掩模区域； 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部 特征包括： 根据擦除后的注意力掩模得到行人局部特征。 6.根据权利要求2所述的行人重识别模型训练方法， 其特征在于， 所述行人重识别模型 的训练方法还包括： 利用训练辅助模块对多个所述注意。

7、力掩模进行正则化处理， 得到所述注意力掩模之间 的重叠区域， 根据所述注意力掩模之间的重叠区域调整所述注意力掩模； 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部 特征包括： 权利要求书 1/3 页 2 CN 111738090 A 2 根据调整后的注意力掩模得到所述行人局部特征。 7.根据权利要求1所述的行人重识别模型训练方法， 其特征在于， 所述利用所述行人重 识别模型的图神经网络， 确定各行人局部特征之间的相似性矩阵， 并根据所述相似性矩阵 对各行人局部特征进行调整包括： 利用所述行人重识别模型的图神经网络， 计算任意两个行人局部特征之间的相似度， 得到所述。

8、相似性矩阵； 根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。 8.一种行人重识别方法， 其特征在于， 包括： 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的原始 特征； 利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特 征； 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的相似性矩阵， 并 根据所述相似性矩阵对各行人局部特征进行调整； 基于调整后的行人局部特征确定行人识别结果， 所述行人重识别模型是根据权利要求 1至7中任一项所述的行人重识别模型训练方法训练得到的。 9.一种行人重识别模型的训练装置， 其特征在于。

9、， 包括： 第一提取单元， 用于利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到 所述行人图像的原始特征； 第一注意力单元， 用于利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特征； 第一确定单元， 用于利用所述行人重识别模型的图神经网络， 确定各行人局部特征之 间的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 优化单元， 用于基于调整后的行人局部特征确定行人识别结果， 根据所述行人识别结 果确定行人重识别模型的训练损失， 根据所述训练损失对所述行人重识别模型的参数进行 优化。 10.一种行人重识别装置， 其特征在于， 包括： 第二提取单元，。

10、 用于利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到 所述行人图像的原始特征； 第二注意力单元， 用于利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特征； 第二确定单元， 用于利用所述行人重识别模型的图神经网络， 确定各行人局部特征之 间的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 识别单元， 用于基于调整后的行人局部特征确定行人识别结果， 所述行人重识别模型 是根据权利要求9中所述的行人重识别模型的训练装置训练得到的。 11.一种电子设备， 其中， 该电子设备包括： 处理器； 以及被安排成存储计算机可执行指 令的存储器， 所述可执行指令。

11、在被执行时使所述处理器执行如权利要求1至7中任一项所述 的行人重识别模型训练方法， 或者如权利要求8中所述的行人重识别方法。 12.一种计算机可读存储介质， 其中， 所述计算机可读存储介质存储一个或多个程序， 权利要求书 2/3 页 3 CN 111738090 A 3 所述一个或多个程序当被处理器执行时， 实现如权利要求1至7中任一项所述的行人重识别 模型训练方法， 或者如权利要求8中所述的行人重识别方法。 权利要求书 3/3 页 4 CN 111738090 A 4 行人重识别模型训练方法、 装置及行人重识别方法、 装置 技术领域 0001 本申请涉及行人重识别技术领域， 具体涉及一种行人。

12、重识别模型训练方法、 装置 及行人重识别方法、 装置。 背景技术 0002 行人重识别(Person Re-identification)技术是安防和新零售领域的核心技术 之一。 近些年来， 深度学习在该领域取得了较大突破， 为了取得更好的识别性能， 最近的高 性能方案均采用局部特征的方法， 从而捕捉更细粒度的特征用以增强模型判别力。 0003 目前的局部特征方法主要分为两种： 1)手动划分， 直接将图片或者特征图均分成 几个部分， 分别抽取特征， 代表性工作有ECCV(European Conference on Computer Vision， 欧洲计算机视觉国际会议)2018会议上发表的。

13、Beyond Part Models： Person Retrieval with Refined Part Pooling(超越局部模型： 基于精细局部池的人工提取)， ACM国际多媒体会议(ACM International Conference on Multimedia， 简称ACM MM)2018 会议上发表的Multiple Granularities Network(多重粒度网络)， 以及在CVPR(IEEE Conference on Computer Vision and Pattern Recognition， IEEE国际计算机视觉与模 式识别会议)2019中发表的Coa。

14、rse-to-fine Pyramidal Model(粗到细金字塔形模型)。 2) 通过引入额外标注来辅助局部区域划分， 如关键点定位、 语义分割等。 代表性工作有ICCV (IEEE International Conferenceon Computer Vision， 国际计算机视觉大会)2017会议 上发表的Pose-driven Deep Convolutional(人体骨架驱动的深度卷积)， CVPR 2019上发 表的DSA-reID(Densely Semantically Aligned Person Re-identfication， 语义密集对 齐的行人重识别)等。 00。

15、04 然而， 发明人发现， 现有技术中的行人重识别模型仍存在以下问题： 0005 (1)基于手动划分的局部特征方法会导致模型性能下降； 0006 (2)基于额外信息的划分方法会大大影响模型的推断速度。 发明内容 0007 鉴于上述问题， 提出了本申请以便提供一种克服上述问题或者至少部分地解决上 述问题的行人重识别模型训练方法、 装置及行人重识别方法、 装置。 0008 依据本申请的第一方面， 提供了一种行人重识别模型训练方法， 包括： 0009 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的 原始特征； 0010 利用行人重识别模型的注意力模块对所述原始特征进行处理，。

16、 得到多个行人局部 特征； 0011 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的相似性矩 阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 0012 基于调整后的行人局部特征确定行人识别结果， 根据所述行人识别结果确定行人 说明书 1/15 页 5 CN 111738090 A 5 重识别模型的训练损失， 根据所述训练损失对所述行人重识别模型的参数进行优化。 0013 可选地， 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到 多个行人局部特征包括： 0014 利用所述注意力模块对所述原始特征进行处理， 得到多个注意力掩模； 0015 根据多个所述注意力。

17、掩模和所述原始特征确定多个所述行人局部特征。 0016 可选地， 所述注意力模块包括空间注意力模块和通道注意力模块， 所述利用行人 重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部特征包括： 0017 基于所述空间注意力模块对所述原始特征进行处理， 得到空间注意力掩模； 0018 基于所述通道注意力模块对所述原始特征进行处理， 得到通道注意力掩模； 0019 将所述空间注意力掩模和所述通道注意力掩模进行融合， 得到注意力掩模。 0020 可选地， 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到 多个行人局部特征包括： 0021 基于空间维度， 对所述原始特征进。

18、行维度变换和矩阵变换， 得到特征关联强度矩 阵， 以及基于通道维度， 对所述原始特征进行维度变换和矩阵变换， 得到通道关联强度矩 阵； 0022 分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理， 得到空 间注意力图和通道注意力图； 0023 根据所述空间注意力图和所述原始特征确定空间注意力掩模， 以及根据所述通道 注意力图和所述原始特征确定通道注意力掩模。 0024 可选地， 所述行人重识别模型的训练方法还包括： 0025 利用训练辅助模块随机擦除注意力掩模区域； 0026 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人 局部特征包括： 0027 根据。

19、擦除后的注意力掩模得到行人局部特征。 0028 可选地， 所述行人重识别模型的训练方法还包括： 0029 利用训练辅助模块对多个所述注意力掩模进行正则化处理， 得到所述注意力掩模 之间的重叠区域， 根据所述注意力掩模之间的重叠区域调整所述注意力掩模； 0030 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人 局部特征包括： 0031 根据调整后的注意力掩模得到所述行人局部特征。 0032 可选地， 所述利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间 的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整包括： 0033 利用所述行人重识别模型的图神。

20、经网络， 计算任意两个行人局部特征之间的相似 度， 得到所述相似性矩阵； 0034 根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。 0035 依据本申请的第二方面， 提供了一种行人重识别方法， 包括： 0036 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的 原始特征； 0037 利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部 说明书 2/15 页 6 CN 111738090 A 6 特征； 0038 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的相似性矩 阵， 并根据所述相似性矩阵对各行人局部特征进行调整；。

21、 0039 基于调整后的行人局部特征确定行人识别结果， 所述行人重识别模型是根据如前 所述的行人重识别模型训练方法训练得到的。 0040 依据本申请的第三方面， 提供了一种行人重识别模型的训练装置， 包括： 0041 第一提取单元， 用于利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的原始特征； 0042 第一注意力单元， 用于利用行人重识别模型的注意力模块对所述原始特征进行处 理， 得到多个行人局部特征； 0043 第一确定单元， 用于利用所述行人重识别模型的图神经网络， 确定各行人局部特 征之间的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 0044。

22、 优化单元， 用于基于调整后的行人局部特征确定行人识别结果， 根据所述行人识 别结果确定行人重识别模型的训练损失， 根据所述训练损失对所述行人重识别模型的参数 进行优化。 0045 可选地， 所述第一注意力单元还用于： 0046 利用所述注意力模块对所述原始特征进行处理， 得到多个注意力掩模； 0047 根据多个所述注意力掩模和所述原始特征确定多个所述行人局部特征。 0048 可选地， 所述注意力模块包括空间注意力模块和通道注意力模块， 所述第一注意 力单元还用于： 0049 基于所述空间注意力模块对所述原始特征进行处理， 得到空间注意力掩模； 0050 基于所述通道注意力模块对所述原始特征进。

23、行处理， 得到通道注意力掩模； 0051 将所述空间注意力掩模和所述通道注意力掩模进行融合， 得到注意力掩模。 0052 可选地， 所述第一注意力单元还用于： 0053 基于空间维度， 对所述原始特征进行维度变换和矩阵变换， 得到特征关联强度矩 阵， 以及基于通道维度， 对所述原始特征进行维度变换和矩阵变换， 得到通道关联强度矩 阵； 0054 分别对所述特征关联强度矩阵和所述通道关联强度矩阵进行归一化处理， 得到空 间注意力图和通道注意力图； 0055 根据所述空间注意力图和所述原始特征确定空间注意力掩模， 以及根据所述通道 注意力图和所述原始特征确定通道注意力掩模。 0056 可选地， 所。

24、述行人重识别模型的训练装置还包括： 0057 擦除单元， 用于利用训练辅助模块随机擦除注意力掩模区域； 0058 所述第一注意力单元还用于： 0059 根据擦除后的注意力掩模得到行人局部特征。 0060 可选地， 所述行人重识别模型的训练装置还包括： 0061 正则化单元， 用于利用训练辅助模块对多个所述注意力掩模进行正则化处理， 得 到所述注意力掩模之间的重叠区域， 根据所述注意力掩模之间的重叠区域调整所述注意力 掩模； 说明书 3/15 页 7 CN 111738090 A 7 0062 所述第一注意力单元还用于： 0063 根据调整后的注意力掩模得到所述行人局部特征。 0064 可选地，。

25、 所述第一确定单元还用于： 0065 利用所述行人重识别模型的图神经网络， 计算任意两个行人局部特征之间的相似 度， 得到所述相似性矩阵； 0066 根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特征。 0067 依据本申请的第四方面， 提供了一种行人重识别装置， 包括： 0068 第二提取单元， 用于利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述行人图像的原始特征； 0069 第二注意力单元， 用于利用行人重识别模型的注意力模块对所述原始特征进行处 理， 得到多个行人局部特征； 0070 第二确定单元， 用于利用所述行人重识别模型的图神经网络， 确定各行人局部特 征。

26、之间的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 0071 识别单元， 用于基于调整后的行人局部特征确定行人识别结果， 所述行人重识别 模型是根据如前所述的行人重识别模型的训练装置训练得到的。 0072 依据本申请的第五方面， 提供了一种电子设备， 包括： 处理器； 以及被安排成存储 计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器执行如上述任一所 述的行人重识别模型训练方法， 或者如前所述的行人重识别方法。 0073 依据本申请的第六方面， 提供了一种计算机可读存储介质， 其中， 所述计算机可读 存储介质存储一个或多个程序， 所述一个或多个程序当被处理器执行。

27、时， 实现如上述任一 所述的行人重识别模型训练方法， 或者如前所述的行人重识别方法。 0074 由上述可知， 本申请的技术方案， 利用行人重识别模型的卷积网络对行人图像进 行特征提取， 得到所述行人图像的原始特征； 利用行人重识别模型的注意力模块对所述原 始特征进行处理， 得到多个行人局部特征； 利用所述行人重识别模型的图神经网络， 确定各 行人局部特征之间的相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整； 基 于调整后的行人局部特征确定行人识别结果， 根据所述行人识别结果确定行人重识别模型 的训练损失， 根据所述训练损失对所述行人重识别模型的参数进行优化。 通过本申请， 在无 需。

28、引入额外标注信息的情况下， 能够自动抽取图像中重要的行人局部特征， 使得最后的行 人局部特征更具有判别力， 模型识别性能也得到提升。 0075 上述说明仅是本申请技术方案的概述， 为了能够更清楚了解本申请的技术手段， 而可依照说明书的内容予以实施， 并且为了让本申请的上述和其它目的、 特征和优点能够 更明显易懂， 以下特举本申请的具体实施方式。 附图说明 0076 通过阅读下文优选实施方式的详细描述， 各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。 附图仅用于示出优选实施方式的目的， 而并不认为是对本申请 的限制。 而且在整个附图中， 用相同的参考符号表示相同的部件。 在附图中：。

29、 0077 图1示出了根据本申请一个实施例的行人重识别模型训练方法的流程示意图； 0078 图2示出了根据本申请一个实施例的注意力掩模的生成过程示意图； 说明书 4/15 页 8 CN 111738090 A 8 0079 图3示出了根据本申请一个实施例的基于图神经网络的局部特征优化过程示意 图； 0080 图4示出了根据本申请一个实施例的行人重识别模型训练流程示意图； 0081 图5示出了根据本申请一个实施例的行人重识别方法的流程示意图； 0082 图6示出了根据本申请一个实施例的行人重识别模型训练装置的结构示意图； 0083 图7示出了根据本申请一个实施例的行人重识别装置的结构示意图； 0。

30、084 图8示出了根据本申请一个实施例的电子设备的结构示意图； 0085 图9示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。 具体实施方式 0086 下面将参照附图更详细地描述本申请的示例性实施例。 虽然附图中显示了本申请 的示例性实施例， 然而应当理解， 可以以各种形式实现本申请而不应被这里阐述的实施例 所限制。 相反， 提供这些实施例是为了能够更透彻地理解本申请， 并且能够将本申请的范围 完整的传达给本领域的技术人员。 0087 现有技术中的用于行人重识别的局部特征提取方法主要有： (1)基于手动划分的 局部特征提取方法； (2)基于额外信息的划分方法。 0088 对于(1)。

31、基于手动划分的局部特征提取方法： 该方法未考虑到图像内容， 由于图像 依赖于上游的检测模型， 图像之间往往并不对齐， 可能会产生误划分的情形， 例如将行人的 背包切分成两半， 或是将其他一个整体的物体切分到两个不同的局部区域中， 从而导致模 型性能下降。 0089 对于(2)基于额外信息的划分方法： 往往需要额外的数据标注， 数据获取难度高， 且需要额外的网络， 大大影响模型推断速度， 在部分情况中， 获得额外信息的时间甚至会远 大于抽取图像特征的时间。 此外， 有些通用的标注由于分布不一致， 当额外信息预测错误 时， 误差也会影响行人特征抽取的结果。 0090 基于此， 本申请实施例提供了一。

32、种行人重识别模型训练方法， 如图1所示， 所述行 人重识别模型训练方法包括如下的步骤S110至步骤S140： 0091 步骤S110， 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述 行人图像的原始特征。 0092 在对本申请实施例的行人重识别模型进行训练时， 可以先获取一定数量的行人图 像， 之后利用现有技术中的卷积网络对获取到的行人图像进行卷积处理， 提取出行人图像 对应的原始特征。 这里的卷积网络可以采用残差网络ResNet， ResNet主要用于解决深度神 经网络在训练中， 随着网络深度的增加而出现的网络退化的问题， 本申请实施例中主要用 于进行原始特征的提取。 当然本。

33、领域技术人员也可以根据实际需要选取其他类型的卷积网 络进行图像特征的提取， 在此不一一列举。 0093 步骤S120， 利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多 个行人局部特征。 0094 在行人重识别场景下， 图像中的行人区域是我们更想要关注的图像区域， 因此本 申请实施例引入了注意力(attention)模块来作为训练行人重识别模型的基础， 注意力机 制模仿了生物观察行为的内部过程， 是一种将内部经验和外部感觉对齐从而增加部分区域 说明书 5/15 页 9 CN 111738090 A 9 的观察精细度的机制。 注意力机制可以快速提取稀疏数据的重要特征， 因而被广泛用。

34、于自 然语言处理任务和图像处理任务领域。 0095 在得到行人图像的原始特征后， 利用注意力模块对原始特征进一步处理， 提取出 原始特征中对于行人重识别更有益更显著的特征， 作为行人局部特征。 0096 步骤S130， 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的 相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整。 0097 具体实施时， 如前所述， 现有技术中的行人重识别方法由于图像依赖于上游检测 模型， 图像之间往往并不对齐， 进而会产生区域误划分的情形， 因此本申请实施例引入了图 神经网络(Graph Neural Network， 简称GNN)， 利用图神经。

35、网络来挖掘局部特征之间的相似 度， 建立特征之间的图关系， 并以此进行信息交互， 使得各局部区域之间的特征具有更强的 判别力。 0098 具体地， 利用图神经网络计算行人局部特征之间的相似性矩阵， 将该相似性矩阵 作为权重加权至原始的各个行人局部特征中， 进而进一步优化提取到的行人局部特征， 使 得更重要的特征拥有更大的权重， 同时还可以使各局部特征能够表征其与其它局部特征之 间的关系信息。 0099 步骤S140， 基于调整后的行人局部特征确定行人识别结果， 根据所述行人识别结 果确定行人重识别模型的训练损失， 根据所述训练损失对所述行人重识别模型的参数进行 优化。 0100 在得到调整后的。

36、行人局部特征后， 基于该行人局部特征， 利用行人重识别模型中 的分类网络对图像中的行人ID(身份标识)进行分类， 进而得到行人重识别结果及对应的分 类损失。 这里的分类网络可以采用softmax(归一化指数函数)分类器， 对应得到softmax分 类器的行人ID分类损失， 基于该分类损失， 对行人重识别模型的参数进行优化， 最终得到训 练好的行人重识别模型。 0101 在本申请的一个实施例中， 所述利用行人重识别模型的注意力模块对所述原始特 征进行处理， 得到多个行人局部特征包括： 利用所述注意力模块对所述原始特征进行处理， 得到多个注意力掩模； 根据多个所述注意力掩模和所述原始特征确定多个所。

37、述行人局部特 征。 0102 具体实施时， 在利用注意力模块对原始特征进行处理时， 可以得到多个注意力掩 模， 每个掩模对应着图像中的一个局部特征， 将多个注意力掩模分别与原始特征相乘后， 就 可以得到对应的多个行人局部特征。 0103 在图像处理中， 掩模通常为二维矩阵数组， 有时也用多值图像。 图像掩模主要用 于： (1)提取感兴趣区， 用预先制作的感兴趣区掩模与待处理图像相乘， 得到感兴趣区图像， 感兴趣区内图像值保持不变， 而区外图像值都为0。 (2)屏蔽作用， 用掩模对图像上某些区域 作屏蔽， 使其不参加处理或不参加处理参数的计算， 或仅对屏蔽区作处理或统计。 (3)结构 特征提取，。

38、 用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。 (4)特 殊形状图像的制作。 可以看出， 本申请实施例中掩模的作用主要是用于提取图像中的感兴 趣区域即行人局部区域。 0104 在本申请的一个实施例中， 所述注意力模块包括空间注意力模块和通道注意力模 块， 所述利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多个行人局部 说明书 6/15 页 10 CN 111738090 A 10 特征包括： 基于所述空间注意力模块对所述原始特征进行处理， 得到空间注意力掩模； 基于 所述通道注意力模块对所述原始特征进行处理， 得到通道注意力掩模； 将所述空间注意力 掩模和所述。

39、通道注意力掩模进行融合， 得到注意力掩模。 0105 本申请实施例同时采用了空间注意力模块和通道注意力模块对图像中的行人局 部特征进行提取， 空间注意力模块是利用特征之间的空间关系,生成空间注意力掩模， 因此 空间注意力模块关注的是局部特征 “在哪里” 。 而通道注意力模块则是利用特征的通道间关 系,生成通道注意力掩模， 因此通道注意力模块关注的是局部特征 “是什么” 。 为了进一步获 得具有全局依赖关系的特征， 将两个模块的输出结果进行相加求和或者相加之后求平均， 获得最终的注意力掩模， 根据该注意力掩模进而得到行人局部特征。 0106 在本申请的一个实施例中， 所述利用行人重识别模型的注意。

40、力模块对所述原始特 征进行处理， 得到多个行人局部特征包括： 基于空间维度， 对所述原始特征进行维度变换和 矩阵变换， 得到特征关联强度矩阵， 以及基于通道维度， 对所述原始特征进行维度变换和矩 阵变换， 得到通道关联强度矩阵； 分别对所述特征关联强度矩阵和所述通道关联强度矩阵 进行归一化处理， 得到空间注意力图和通道注意力图； 根据所述空间注意力图和所述原始 特征确定空间注意力掩模， 以及根据所述通道注意力图和所述原始特征确定通道注意力掩 模。 0107 在生成注意力掩模时， 本申请实施例分别基于空间维度生成空间注意力掩模， 以 及基于通道维度生成通道注意力掩模。 具体地， 如图2(a)所示。

41、， 在空间维度， 首先计算出任 意两点特征之间的关联强度矩阵， 即原始特征FIn(CxHxW)经过卷积降维获得特征(C/r x (HxW)和特征(HxW)x C/r)， 对特征(C/r x(HxW)进行维度变换(reshape)得到矩阵fiT(C/ r x N)， 对特征(HxW)x C/r)进行维度变换(reshape)和转置(transpose)得到矩阵fj(N x C/r)， 然后对矩阵fiT和矩阵fj进行矩阵乘法运算， 获得任意两点特征(i， j)之间的关联强度 矩阵fij(NxN)。 再利用softmax(归一化指数函数)对关联强度矩阵进行归一化处理， 获得每 个位置对其他位置的空间。

42、注意力图MAtt， 其中越相似的两点特征之间， 其响应值越大。 最后 将空间注意力图中的响应值再进行一次softmax处理后作为加权对原始特征FIn(C/r x N) 进行加权融合， 进而得到了空间注意力掩模FOut。 0108 通道注意力掩模的生成过程与空间注意力掩模相似， 不同的是在获得特征注意力 图时， 如图2(b)所示， 是将任意两个通道特征进行维度变换和矩阵乘法运算， 获得任意两个 通道(n， m)的关联强度矩阵， 然后同样经过softmax操作获得通道注意力图。 最后通过通道 之间的通道注意力图对原始特征进行加权融合， 得到了通道注意力掩模， 使得各个通道之 间能产生全局的关联， 。

43、获得更强的语义响应的特征。 0109 在本申请的一个实施例中， 所述行人重识别模型的训练方法还包括： 利用训练辅 助模块随机擦除注意力掩模区域； 所述利用行人重识别模型的注意力模块对所述原始特征 进行处理， 得到多个行人局部特征包括： 根据擦除后的注意力掩模得到行人局部特征。 0110 为了增强注意力掩模的鲁棒性， 本申请实施例利用训练辅助模块在注意力掩模上 随机擦除一小块区域， 即随机的将注意力掩模上的一部分区域的像素值置为0， 之后根据擦 除后的注意力掩模得到行人局部特征， 从而使得经过擦除处理后的掩模， 能够让模型在训 练过程中关注更重要的区域， 也有利于避免模型过拟合的问题。 0111。

44、 在本申请的一个实施例中， 所述行人重识别模型的训练方法还包括： 利用训练辅 说明书 7/15 页 11 CN 111738090 A 11 助模块对多个所述注意力掩模进行正则化处理， 得到所述注意力掩模之间的重叠区域， 根 据所述注意力掩模之间的重叠区域调整所述注意力掩模； 所述利用行人重识别模型的注意 力模块对所述原始特征进行处理， 得到多个行人局部特征包括： 根据调整后的注意力掩模 得到所述行人局部特征。 0112 为了避免模型在学习过程中对相似注意力特征的重复提取， 本申请实施例还利用 训练辅助模块对多个注意力掩模进行了正则化处理， 以最小化掩模之间的重叠程度。 具体 地， 将不同的注。

45、意力掩模进行点乘并求和， 掩模的值本身是在0到1之间的， 理论上， 当所有 掩模之间都不存在重叠的时候， 值是0， 而所有掩模的所有位置都重叠的时候， 值是1， 模型 训练的目的是希望上述点乘求和后得到的数值尽可能小， 即趋近于0， 以使得不同注意力掩 模之间的差异性尽可能大， 从而减少了掩模之间的冗余性。 因此本申请实施例通过引入正 则化约束， 能够避免模型在学习过程中对相似特征的重复提取， 同时提取更加丰富的判别 性特征， 有效地提高了行人重识别的鲁棒性。 0113 在本申请的一个实施例中， 所述利用所述行人重识别模型的图神经网络， 确定各 行人局部特征之间的相似性矩阵， 并根据所述相似性。

46、矩阵对各行人局部特征进行调整包 括： 利用所述行人重识别模型的图神经网络， 计算任意两个行人局部特征之间的相似度， 得 到所述相似性矩阵； 根据所述相似性矩阵和所述行人局部特征确定调整后的行人局部特 征。 0114 在确定各个局部特征之间的图关系时， 可以先计算任意两个特征之间的相似度， 进而生成相似性矩阵， 如图3所示， 之后将该相似性矩阵与前面得到的行人局部特征进行矩 阵乘法运算， 得到新的行人局部特征F()， 新的行人局部特征意味着对于每个特征节点， 都 整合了它的邻近节点的特征向量， 但是却不包括这个节点本身， 因此可以通过将该新的行 人局部特征F()与矩阵乘法运算前的行人局部特征相加。

47、， 得到最终的行人局部特征。 0115 具体地， 任意两个特征之间的相似度Ai,j可采用如下公式(1)计算： 0116 0117 其中， xi和xj代表第i或j个行人局部特征。 0118最终的行人局部特征可采用如下公式(2)计算： 0119 0120 其中， N为行人局部特征的数量， 为大于0小于1的常数。 0121 如图4所示， 给出了本申请一个实施例的行人重识别模型的训练流程示意图。 首 先， 利用卷积网络对行人图像进行特征提取， 得到行人图像对应的原始特征， 之后对原始特 征进行自适应局部特征的提取。 具体地， 利用注意力模块对原始特征进行处理， 生成注意力 掩模， 为了增强掩模的鲁棒性。

48、， 可以通过掩模丢弃的方式对注意力掩模进行随机擦除处理， 同时利用擦除处理后的掩模对模型进行训练， 使得模型在训练过程中关注更重要区域， 也 有利于避免模型过拟合。 此外， 为了减少掩模之间的冗余性， 还可以对重叠的局部区域进行 正则化约束， 最小化掩模之间的重叠程度， 进而使得不同掩模之间的差异性尽可能大。 之后 将处理后得到的注意力掩模与原始特征相乘， 得到行人局部特征， 作为图神经网络的输入， 说明书 8/15 页 12 CN 111738090 A 12 利用图神经网络挖掘特征之间的图关系， 对局部特征进一步优化， 根据优化后的行人局部 特征， 对行人进行分类， 得到行人分类结果及对应。

49、的分类损失， 根据该分类损失对模型的参 数进行优化， 从而完成整个模型的训练。 0122 本申请实施例提供了一种行人重识别方法， 如图5所示， 所述行人重识别方法包括 如下的步骤S510至步骤S540： 0123 步骤S510， 利用行人重识别模型的卷积网络对行人图像进行特征提取， 得到所述 行人图像的原始特征。 0124 在进行行人重识别时， 可以先获取待识别的行人图像， 之后利用训练好的行人重 识别模型的卷积网络对待识别的行人图像进行卷积处理， 提取出行人图像对应的原始特 征。 0125 步骤S520， 利用行人重识别模型的注意力模块对所述原始特征进行处理， 得到多 个行人局部特征。 01。

50、26 在得到行人图像的原始特征后， 利用行人重识别模型的注意力模块对原始特征进 一步处理， 提取出原始特征中对于行人重识别更有益更显著的特征， 作为行人局部特征。 0127 步骤S530， 利用所述行人重识别模型的图神经网络， 确定各行人局部特征之间的 相似性矩阵， 并根据所述相似性矩阵对各行人局部特征进行调整。 0128 利用图神经网络计算上述得到的行人局部特征之间的相似性矩阵， 将该相似性矩 阵作为权重加权至原始的各个行人局部特征中， 进而进一步优化提取到的行人局部特征， 使得更重要的特征拥有更大的权重， 同时还可以使各局部特征能够表征其与其它局部特征 之间的关系信息。 0129 步骤S5。