基于标签不确定性和人体组件模型的行人再识别方法.pdf

《基于标签不确定性和人体组件模型的行人再识别方法.pdf》由会员分享，可在线阅读，更多相关《基于标签不确定性和人体组件模型的行人再识别方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910072934.9 (22)申请日 2019.01.25 (71)申请人 华南理工大学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 何颖丁长兴王侃 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 李斌 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于标签不确定性和人体组件模型的 行人再识别方法 (57。

2、)摘要 本发明公开了一种基于标签不确定性和人 体组件模型的行人再识别方法， 包括： (1)构建基 于人体组件的深度神经网络模型； (2)对构建的 深度神经网络模型进行初始化， 并根据构建的深 度神经网络结构训练得到另一个模型； (3)对初 始化后的深度神经网络模型进行训练并更新网 络中的参数； (4)采用训练好的深度神经网络对 目标行人图像及行人图像库中的行人图像分别 进行特征提取； (5)对提取得到的特征进行余弦 相似度计算并排序， 得到识别结果。 本发明通过 针对局部组件信息不完全准确以及各个局部组 件的分类置信度差异较大的问题进行了有效地 处理， 能有效的提高行人再识别的正确率和/或 降。

3、低误识率。 权利要求书2页 说明书4页 附图2页 CN 109829414 A 2019.05.31 CN 109829414 A 1.一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 具体步骤 包括： (1)构建基于人体组件的深度神经网络模型； (2)对构建的深度神经网络模型进行初始化， 并根据构建的深度神经网络结构训练得 到另一个模型； (3)对初始化后的深度神经网络模型进行训练并更新网络中的参数； (4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别进行 特征提取； (5)对提取得到的特征进行余弦相似度计算并排序， 得到识别结果。 2.根据权利要求1。

4、所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(1)中， 以ResNet-50网络为基础结构进行修改调整， 构建基于人体组 件的P个分类任务的深度神经网络模型。 3.根据权利要求2所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述深度神经网络构建方法为： 在ResNet-50网络中剔除掉输出维度为1000的 全连接层， 将layer4中降采样率stride2修改为stride1； 在池化层后划分为P个部分， 每个部分均包含N个神经元的全连接层、 批量归一化层和Dropout层， 最后接上分类全连接 层。 4.根据权利要求1所述的一。

5、种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(2)中， 采用在行人再识别的常用数据集Market-1501中预训练后的 分类模型的参数对构建的深度神经网络模型进行初始化。 5.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(2)中， 训练后得到的另一个深度神经网络模型用于提取稠密型向 量， 提取方法为： 各自从一个已训练好的深度神经网络模型的P个对应组件的分类层中提 取， 得到P个稠密型向量。 6.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(3)包括： (3-1。

6、)采用softmax函数对得到的稠密型向量进行归一化处理， 再与行人图像原始one- hot标签进行线性组合后作为待训练模型图像的输入标签； (3-2)针对不同的局部组件， 设置不同权重； (3-3)针对每一个样本设置阈值， 对于损失值小于样本阈值的样本， 忽略其对损失函数 的贡献， 即将损失设置为零； (3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的加权 和求最优解， 从而进行深度神经网络参数的更新。 7.根据权利要求6所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(3-1)中的线性组合公式为： 其中， 表示得到的稠密型向量。

7、， 表示行人图像的原始one-hot标签， alpha表示超参 数。 权利要求书 1/2 页 2 CN 109829414 A 2 8.根据权利要求6所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(3-2)中权重设置为： 偏重于行人图像中间局部组件损失的计算， 将 靠上和靠下的局部组件损失计算的权重逐渐减小。 9.根据权利要求6所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 采用随机梯度下降法计算时， 包含sigmoid函数的交叉熵损失函数的表达式 为： 其中， K表示一个批量中输入行人图像的个数， i表示输入行人图像的编号， yi。

8、表示第i张 行人图像的输入标签， xi表示通过深度神经网络分类的概率结果， 表示sigmoid函数。 10.根据权利要求1所述的一种基于标签不确定性和人体组件模型的行人再识别方法， 其特征在于， 所述步骤(4)中特征提取过程为： 将目标行人图像及行人图像库中的行人图像 输入训练后得到的深度神经网络中， 各自在P个部分中选择输出维度为2048的全连接层， 分 别提取该层的特征向量， 并将每部分的特征进行拼接， 形成最终的特征向量。 权利要求书 2/2 页 3 CN 109829414 A 3 一种基于标签不确定性和人体组件模型的行人再识别方法 技术领域 0001 本发明涉及计算机视觉领域， 尤其。

9、涉及一种基于标签不确定性和人体组件模型的 行人再识别方法。 背景技术 0002 随着深度神经网络与计算机视觉技术的发展与进步， 以及大规模数据存储技术的 飞速发展， 行人视频监控因为既能提高公共安全管理的水平， 也可以保障人民的人身财产 安全， 愈发成为各个国家保障人民生活质量的重要手段。 行人视频监控能够在大规模图像 与视频数据中， 实现智能地搜寻特定的行人。 随着应用需求以及技术的发展与进步， 行人再 识别已经成为计算机视觉领域中具有挑战性与实际研究价值的热点。 0003 行人再识别技术从传统的手工特征设计与度量学习方法， 发展到现今广泛使用的 深度神经网络。 基于经验的手工特征设计存在特。

10、征挖掘不全面、 不完善等特征表达能力弱 的缺点， 而基于手工特征的距离度量方法泛化能力又较差。 近年来流行的卷积神经网络在 计算机视觉领域大放异彩， 能够挖掘出更多更深的特征， 具体地能够发掘图像局部与局部 之间的交叉信息， 以及更高阶的特征交叉。 研究人员也将其应用在行人再识别领域， 借鉴人 脸识别技术的发展， 基于深度学习的行人再识别方法也得到了迅速的发展与进步， 譬如基 于二元组使用Contrastive Loss的Siamese网络， 对比验证是否为同一个行人； 和基于三元 组使用Triplet Loss的网络， 使得相同行人特征更为相似， 而使得不同行人特征差异更大。 0004 但是。

11、， 与人脸识别任务不同的是行人图像之间存在行人对齐、 光照、 姿态、 遮挡、 背 景、 分辨率等差异因素， 使得行人再识别具有更大的挑战性。 现今大多数研究的主流做法都 是通过神经网络抽象得到特征进行表达， 进而进行分类。 进一步， 基于行人人体结构的特 点， 将通过神经网络后学习出的行人图像特征图进行水平划分， 将单一分类任务划分为多 个平等的分类任务， 最后在测试中将多个任务中的水平特征进行拼接， 再进行距离度量， 该 方法可以在一定程度上缓解行人图像中存在的对齐、 遮挡、 姿态等变化因素所带来的识别 难度。 这种方法的有效性得到了验证并且较大幅度提高了相应的识别率， 但也尚有不足之 处，。

12、 包括局部信息不完全准确以及各个局部的分类置信度差异较大的问题。 发明内容 0005 本发明的目的在于克服现有技术的不足， 提供一种基于标签不确定性和人体组件 模型的行人再识别方法。 本发明针对局部信息不完全准确和不同局部的分类置信度差异， 提出一种柔性标签和引入包含sigmoid函数的交叉熵损失函数监督网络的训练。 通过对各 个局部组件损失分别赋予不同权重并采用设置人工阈值的方法， 来规避一些损失值较小的 样本对模型训练带来的干扰。 0006 本发明的目的能够通过以下技术方案实现： 0007 一种基于标签不确定性和人体组件模型的行人再识别方法， 具体步骤包括： 0008 (1)构建基于人体组。

13、件的深度神经网络模型； 说明书 1/4 页 4 CN 109829414 A 4 0009 (2)对构建的深度神经网络模型进行初始化， 并根据构建的深度神经网络结构训 练得到另一个模型； 0010 (3)对初始化后的深度神经网络模型进行训练并更新网络中的参数； 0011 (4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别 进行特征提取； 0012 (5)对提取得到的特征进行余弦相似度计算并排序， 得到识别结果。 0013 具体地， 所述步骤(1)中， 以ResNet-50网络为基础结构， 进行修改调整， 构建基于 人体组件的P个分类任务的深度神经网络模型。 0014 更进。

14、一步地， 所述深度神经网络构建方法为： 在ResNet-50网络中剔除掉输出维度 为1000的全连接层， 将layer4中降采样率stride2修改为stride1； 在池化层后划分为P 个部分， 每个部分均包含N个神经元的全连接层、 批量归一化层和Dropout层， 最后接上分类 全连接层。 0015 具体地， 所述步骤(2)中， 采用在行人再识别的常用数据集Market-1501中预训练 后的分类模型的参数对构建的深度神经网络模型进行初始化。 0016 具体地， 所述步骤(2)中， 训练后得到的另一个深度神经网络模型用于提取稠密型 向量， 提取方法为： 各自从一个已训练好的深度神经网络模型。

15、的P个对应组件的分类层中提 取， 得到P个稠密型向量。 0017 具体地， 所述步骤(3)包括： 0018 (3-1)采用softmax函数对得到的稠密型向量进行归一化处理， 再与行人图像原始 one-hot标签进行线性组合后作为待训练模型图像的输入标签； 0019 (3-2)针对不同的局部组件， 设置不同权重； 0020 (3-3)针对每一个样本设置阈值， 对于损失值小于样本阈值的样本， 忽略其对损失 函数的贡献， 即将损失设置为零； 0021 (3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的 加权和求最优解， 从而进行深度神经网络参数的更新。 0022 更进。

16、一步地， 所述步骤(3-1)中的线性组合公式为： 0023 0024其中， 表示得到的稠密型向量， 表示行人图像的原始one-hot标签， alpha表示 超参数。 0025 更进一步地， 所述步骤(3-2)中权重设置为： 偏重于行人图像中间局部组件损失的 计算， 将靠上和靠下的局部组件损失计算的权重逐渐减小。 0026 更进一步地， 采用随机梯度下降法计算时， 包含sigmoid函数的交叉熵损失函数的 表达式为： 0027 0028 其中， K表示一个批量中输入行人图像的个数， i表示输入行人图像的编号， yi表示 第i张行人图像的输入标签， xi表示通过深度神经网络分类的概率结果， 表示s。

17、igmoid函 说明书 2/4 页 5 CN 109829414 A 5 数。 0029 具体地， 所述步骤(4)中特征提取过程为： 将目标行人图像及行人图像库中的行人 图像输入训练后得到的深度神经网络中， 各自在P个部分中选择输出维度为2048的全连接 层， 分别提取该层的特征向量， 并将每部分的特征进行拼接， 形成最终的特征向量。 0030 本发明相较于现有技术， 具有以下的有益效果： 0031 本发明针对局部信息不完全准确的缺点， 提出了一种柔性标签和引入包含 sigmoid函数的交叉熵损失函数监督网络的训练； 针对不同局部的分类置信度差异， 对各个 局部损失计算给予不同权重； 本发明同。

18、时采用了设置人工阈值的方法来规避一些损失值较 小的样本对模型训练带来的干扰。 本发明能够有效地提高行人再识别的性能， 具有广泛的 应用价值。 附图说明 0032 图1为本发明实施例中一种基于标签不确定性和人体组件模型的行人再识别方法 的流程图。 0033 图2为本发明实施例中行人再识别模型中卷积神经网络的结构示意图。 具体实施方式 0034 下面结合实施例及附图对本发明作进一步详细的描述， 但本发明的实施方式不限 于此。 0035 实施例 0036 如图1所示为一种基于标签不确定性和人体组件模型的行人再识别方法的流程 图， 具体步骤包括： 0037 (1)构建基于人体组件的深度神经网络模型； 。

19、0038 所述步骤(1)中， 以ResNet-50网络为基础结构， 进行修改调整。 0039 在本实施例中， 构建基于人体组件的6个分类任务的深度神经网络模型。 0040 所述深度神经网络构建方法为： 在ResNet-50网络中剔除掉输出维度为1000的全 连接层， 将layer4中降采样率stride2修改为stride1； 在池化层后划分为6个部分， 每 个部分均包含256个神经元的全连接层、 批量归一化层和Dropout层， 最后接上分类全连接 层。 0041 (2)对构建的深度神经网络模型进行初始化， 并根据构建的深度神经网络结构训 练得到另一个模型； 0042 具体地， 所述步骤(2。

20、)中， 采用在行人再识别的常用数据集Market-1501中预训练 后的分类模型的参数对构建的深度神经网络模型进行初始化。 0043 具体地， 所述步骤(2)中， 训练后得到的另一个深度神经网络模型用于提取稠密型 向量， 提取方法为： 各自从一个已训练好的深度神经网络模型的6个对应组件的分类层中提 取， 得到6个稠密型向量。 0044 (3)对初始化后的深度神经网络模型进行训练并更新网络中的参数； 0045 具体地， 所述步骤(3)包括： 0046 (3-1)采用softmax函数对得到的稠密型向量进行归一化处理， 再与行人图像原始 说明书 3/4 页 6 CN 109829414 A 6 o。

21、ne-hot标签进行线性组合后作为待训练模型图像的输入标签； 0047 (3-2)针对6个不同的局部组件， 设置不同权重； 0048 (3-3)针对每一个样本设置阈值0.3， 对于损失值小于样本阈值的样本， 忽略其对 损失函数的贡献， 即将损失设置为零； 0049 (3-4)采用随机梯度下降法对局部组件的包含sigmoid函数的交叉熵损失函数的 加权和求最优解， 从而进行深度神经网络参数的更新。 0050 更进一步地， 所述步骤(3-1)中的线性组合公式为： 0051 0052其中， 表示得到的稠密型向量， 表示行人图像的原始one-hot标签， alpha表示 超参数， 在本实施例中， al。

22、pha设置为0.2。 0053 更进一步地， 所述步骤(3-2)中权重设置为： 偏重于行人图像中间局部组件损失的 计算， 将靠上和靠下的局部组件损失计算的权重逐渐减小。 0054 更进一步地， 采用随机梯度下降法计算时， 包含sigmoid函数的交叉熵损失函数的 表达式为： 0055 0056 其中， K表示一个批量中输入行人图像的个数， i表示输入行人图像的编号， yi表示 第i张行人图像的输入标签， xi表示通过深度神经网络分类的概率结果， 表示sigmoid函 数。 0057 (4)采用训练好的深度神经网络对目标行人图像及行人图像库中的行人图像分别 进行特征提取； 0058 具体地， 所。

23、述步骤(4)中特征提取过程为： 将目标行人图像及行人图像库中的行人 图像输入训练后得到的深度神经网络中， 各自在6个部分中选择输出维度为2048的全连接 层， 分别提取该层的特征向量， 并将每部分的特征进行拼接， 形成最终的特征张量， 维度为 6*204812288。 0059 (5)对提取得到的特征进行余弦相似度计算并排序， 得到识别结果。 0060 上述实施例为本发明较佳的实施方式， 但本发明的实施方式并不受上述实施例的 限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、 替代、 组合、 简化， 均应为等效的置换方式， 都包含在本发明的保护范围之内。 说明书 4/4 页 7 CN 109829414 A 7 图1 说明书附图 1/2 页 8 CN 109829414 A 8 图2 说明书附图 2/2 页 9 CN 109829414 A 9 。