基于元类基学习器的行人重识别集成方法.pdf

《基于元类基学习器的行人重识别集成方法.pdf》由会员分享，可在线阅读，更多相关《基于元类基学习器的行人重识别集成方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911044411.X (22)申请日 2019.10.30 (71)申请人 杭州电子科技大学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 李平赵国潘徐向华 (74)专利代理机构 杭州君度专利代理事务所 (特殊普通合伙) 33240 代理人 杨舟涛 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于元类基学习器的行人重识别集成 方法 (57)摘要 本发明公开了一种基于元类。

2、基学习器的行 人重识别集成方法。 本发明方法首先对行人图像 的深度特征向量聚类以获取元类集合能够使得 元类中的图像在特征空间中语义相似； 通过均匀 划分卷积神经网络的全连接层获取每个元类对 应的基学习器， 解决对应元类的行人重识别子问 题； 同时给出了元类内的正例对和负例对及元类 间负例对的采样过程、 基学习器的训练方案以及 自适应梯度加权的基学习器差异化策略。 本发明 能够有效地处理行人图像数据分布的复杂性， 高 效地利用深度特征的表示空间， 从而获取更优越 的行人识别性能。 权利要求书3页 说明书5页 附图1页 CN 110941994 A 2020.03.31 CN 110941994 。

3、A 1.一种基于元类基学习器的行人重识别集成方法， 其特征在于， 该方法首先获取行人 图像的数据集， 然后进行如下操作： 步骤(1).通过卷积神经网络获取行人图像的深度特征向量并进行聚类， 获得语义相似 的图像元类， 即图像簇； 步骤(2) .均匀划分卷积神经网络的全连接层， 形成多个基学习器与行人图像元类对 应； 步骤(3).训练基学习器， 输入对应元类内的正负样本对及元类间负样本对， 计算样本 对损失及梯度， 并更新基学习器， 采取自适应梯度加权策略更新下一个基学习器； 步骤(4).重复步骤(1)(3)， 直至基学习器收敛， 将测试图库输入基学习器组成的集 成学习器， 得到相同行人的图像集。

4、合。 2.如权利要求1所述一种基于元类基学习器的行人重识别集成方法， 其特征在于步骤 (1)具体方法是： (1-1).对行人图像训练数据集进行预处理， 得到预处理后的训练数据集， 记为 其中表示第i幅行人图像， N为图像数目； 所述的预处理包括缩放、 修剪、 翻转、 旋转操作； (1-2).选用在大型图像数据集上预训练的残差卷积神经网络， 将输入网络， 所述 的残差卷积神经网络中的全连接层将输出深度特征向量其中 (1-3).对深度特征向量进行聚类操作， 通过聚类操作获得C个行人图像元类， 聚类 簇个数C由模型的超参数指定， C48； 通过聚类算法，被组织成元类的集合 Kl表示由语义上相似的行人。

5、图像组成的第l个行人图像元类。 3.如权利要求1所述一种基于元类基学习器的行人重识别集成方法， 其特征在于步骤 (2)具体方法是： (2-1).按照线性顺序均匀地将残差卷积神经网络的全连接层划分为C段， 作为C个基学 习器fl表示第l个基学习器； (2-2).第l个基学习器fl用于学习第l个行人图像元类Kl， 使得基学习器与行人图像元 类对应。 4.如权利要求1所述一种基于元类基学习器的行人重识别集成方法， 其特征在于步骤 (3)具体方法是： (3-1) .设批量样本元组Tl为第l个基学习器fl的训练样本， 则对于每个行人图像元类 Kl， 批量样本元组Tl由一个参考深度特征向量相对的一个元类内。

6、正例特征向 量以及(M-1)个元类内负例特征向量(C-1)个元类间负例特征向量 组成， j1,2,.,C,jl， M为元类内的不同行人的类别数； (3-2).根据批量样本元组Tl计算如下损失函数： 权利要求书 1/3 页 2 CN 110941994 A 2 其中exp()表示指数函数； 得到每个样本元组的损失及梯度， 然后对学习器fl进行参 数更新； (3-3).进行自适应梯度加权操作， 并更新第(l+1)个基学习器fl+1。 5.如权利要求1所述一种基于元类基学习器的行人重识别集成方法， 其特征在于步骤 (4)具体方法是： (4-1).重复步骤(1)(3)， 学习C个基学习器直至基学习器收。

7、敛； (4-2).将测试图库即行人图像测试数据集以1:1的比例划分为查询集和图库集； 同时 将已收敛的C个基学习器依次合并为一个集成学习器f； (4-3).将查询集和图库集中的行人图像分别输入集成学习器f得到对应的深度特征表 示和其中D和S分别为查询集和图库集的大小； (4-4) .根据余弦相似度和欧氏距离， 计算深度特征表示之间的相似度simf和距离 distf：计 算得到查询与图库图像的相似度矩阵和距离矩阵； (4-5).计算相似度矩阵和距离矩阵对应元素的平均值， 据此搜索与查询集中的图像相 似的图库图像， 得到相同行人的图像集合。 6.如权利要求4所述一种基于元类基学习器的行人重识别集成。

8、方法， 其特征在于： 所述的参考深度特征向量通过对第l个元类的样本特征向量进行随机采样获得； 所述的元类内正例特征向量是对第l个元类的所属的行人类别对应的样本特征 向量随机采样获得； 所述的元类内负例特征向量采样过程为： 对第l个元类Kl采样与参考深度特征向量 不同行人类别的样本特征， 每个类别随机采样一个即可获得(M-1)个元类内负例特征向 量； 所述的元类间负例特征向量采样过程为： 对元类集合Kj|j1,2,.,C,jl， 分 别随机采样一个样本， 即可获得(C-1)个元类间负例特征向量 7.如权利要求4所述一种基于元类基学习器的行人重识别集成方法， 其特征在于所述 的自适应梯度加权操作具。

9、体是： 设置初始化的梯度权重其中V为fl的深度特征向量维度； 计算fl的深度特征向量每一维组成的梯度向量Gl， 由更新自适应权 重， (Wv) 为更新后权重， 从而对fl+1进行网络参数更新； z为归一化常数； 表示基学习器fl 权利要求书 2/3 页 3 CN 110941994 A 3 的梯度向量的第v维。 权利要求书 3/3 页 4 CN 110941994 A 4 一种基于元类基学习器的行人重识别集成方法 技术领域 0001 本发明属于计算机技术领域， 具体是计算机视觉中的行人重识别技术领域， 涉及 一种基于元类基学习器的行人重识别集成方法。 背景技术 0002 随着数字化城市的建设，。

10、 视频监控设备被广泛应用于道路、 商业区、 生活区等公共 场所， 如何对采集到的海量视频数据进行智能分析变得尤为重要。 行人重识别(Person Re- identification)是一项重要的应用研究问题， 其目标是在不同的摄像机视图之间匹配同 一身份的行人图像。 它可以广泛应用于智能视频监控、 安保、 刑侦等领域， 例如跨摄像机视 角的行人跟踪、 大型图库中行人搜索、 零售商店中的访客分析等实际场景。 0003 现阶段行人重识别的主流方法基于度量学习， 而以马氏度量学习为主导的传统行 人重识别技术通常利用手工设计的行人图像特征， 并以线性投影方式学习行人图像相似度 (或距离)度量函数； 。

11、而以深度神经网络为主导的深度度量行人重识别方法大多侧重于单一 的度量指标， 通常从给定的行人图像数据分布中学习所有已观测样本的单个相似度度量函 数， 其优化目标是使得相似图像在深度特征空间中相互靠近， 同时使得不相似图像相互远 离。 然而， 视觉数据通常具有复杂的内在结构， 如数据分布的不同区域具有不同的密度。 因 此， 不同区域中的数据点可通过不同的相似性度量指标来刻画(例如形状、 颜色、 语义等)。 现阶段行人重识别的主要挑战在于： 1)较大差异的摄像机视角所引起的行人外观变化； 2) 行人之间的相似度很高给准确挖掘身份识别信息带来挑战。 0004 综上所述， 现有人物重识别方法的不足点主。

12、要表现在以下几方面： 第一， 直接将深 度特征向量的所有维度用作单一度量指标的学习器， 造成特征表示空间使用效率低下、 行 人识别性能不高； 第二， 直接拟合整个数据集的数据分布， 未充分考虑行人图像数据分布的 复杂性， 在实践中通常会导致局部最优和过度拟合； 第三， 由于采用不同度量指标的基学习 器存在差异性， 通常会引起模型收敛缓慢的问题。 因此， 迫切需要设计一种能充分地利用深 度特征， 同时结合多种度量指标并充分挖掘样本信息的行人重识别技术。 发明内容 0005 本发明的目的就是针对现有技术的不足， 提供一种基于元类基学习器的行人重识 别集成方法， 可以有效地处理行人图像数据分布的复杂。

13、性， 高效地利用深度特征的表示空 间。 0006 本发明方法首先获取行人图像的数据集， 然后进行如下操作： 0007 步骤(1).通过卷积神经网络获取行人图像的深度特征向量并进行聚类， 获得语义 相似的图像元类， 即图像簇； 0008 步骤(2).均匀划分卷积神经网络的全连接层， 形成多个基学习器与行人图像元类 对应； 0009 步骤(3).训练基学习器， 输入对应元类内的正负样本对及元类间负样本对， 计算 说明书 1/5 页 5 CN 110941994 A 5 样本对损失及梯度， 并更新基学习器， 采取自适应梯度加权策略更新下一个基学习器； 0010 步骤(4).重复步骤(1)(3)， 直。

14、至基学习器收敛， 将测试图库输入基学习器组成 的集成学习器， 得到相同行人的图像集合。 0011 进一步， 步骤(1)具体方法是： 0012 (1-1) .对行人图像训练数据集进行预处理， 得到预处理后的训练数据集， 记为 其中表示第i幅行人图像， N为图像数目； 所述的预处理包括缩放、 修剪、 翻转、 旋转操作； 0013(1-2).选用在大型图像数据集上预训练的残差卷积神经网络， 将输入网络， 所述的残差卷积神经网络中的全连接层将输出深度特征向量其中 0014(1-3) .对深度特征向量进行聚类操作， 通过聚类操作获得C个行人图像元 类， 聚类簇个数C由模型的超参数指定， C48； 通过聚。

15、类算法，被组织成元类的集合 Kl表示由语义上相似的行人图像组成的第l个行人图像元类。 0015 进一步， 步骤(2)具体方法是： 0016 (2-1).按照线性顺序均匀地将残差卷积神经网络的全连接层划分为C段， 作为C个 基学习器fl表示第l个基学习器； 0017 (2-2).第l个基学习器fl用于学习第l个行人图像元类Kl， 使得基学习器与行人图 像元类对应。 0018 进一步， 步骤(3)具体方法是： 0019 (3-1).设批量样本元组Tl为第l个基学习器fl的训练样本， 则对于每个行人图像元 类Kl， 批量样本元组Tl由一个参考深度特征向量相对的一个元类内正例特征 向量以及(M-1)个。

16、元类内负例特征向量(C-1)个元类间负例特征向量 组成， j1,2,.,C,jl， M为元类内的不同行人的类别数； 0020 (3-2).根据批量样本元组Tl计算如下损失函数： 0021 0022 其中exp()表示指数函数； 得到每个样本元组的损失及梯度， 然后对学习器fl进 行参数更新； 0023 (3-3).进行自适应梯度加权操作， 并更新第(l+1)个基学习器fl+1。 0024 进一步， 步骤(4)具体方法是： 0025(4-1).重复步骤(1)(3)， 学习C个基学习器直至基学习器收敛； 0026 (4-2).将测试图库即行人图像测试数据集以1:1的比例划分为查询集和图库集； 同时。

17、将已收敛的C个基学习器依次合并为一个集成学习器f； 说明书 2/5 页 6 CN 110941994 A 6 0027 (4-3).将查询集和图库集中的行人图像分别输入集成学习器f得到对应的深度特 征表示和其中D和S分别为查询集和图库集的大小； 0028 (4-4).根据余弦相似度和欧氏距离， 计算深度特征表示之间的相似度simf和距离 distf：计 算得到查询与图库图像的相似度矩阵和距离矩阵； 0029 (4-5).计算相似度矩阵和距离矩阵对应元素的平均值， 据此搜索与查询集中的图 像相似的图库图像， 得到相同行人的图像集合。 0030 本发明方法首先对行人图像的深度特征向量聚类以获取元类。

18、(图像簇)集合能够 使得元类中的图像在特征空间中语义相似； 通过均匀划分卷积神经网络的全连接层获取每 个元类对应的基学习器， 可以解决对应元类的行人重识别子问题； 同时给出了元类内的正 例对和负例对及元类间负例对的采样过程、 基学习器的训练方案以及自适应梯度加权的基 学习器差异化策略。 0031 本发明方法充分考虑了行人图像数据分布的复杂性特点， 高效利用了深度特征的 表示空间， 深度挖掘了行人图像数据分布不同区域间的负例样本对， 同时有效缓解了网络 模型收敛缓慢的问题。 本发明能够有效地处理行人图像数据分布的复杂性， 高效地利用深 度特征的表示空间， 从而获取更优越的行人识别性能。 附图说明。

19、 0032 图1是本发明方法的流程图。 具体实施方式 0033 以下结合附图对本发明作进一步说明。 0034 一种基于元类基学习器的行人重识别集成方法， 重点考虑行人图像数据分布的复 杂性特点， 高效利用深度特征的表示空间， 深度挖掘行人图像数据分布不同区域间的负例 样本对， 同时有效缓解网络模型收敛缓慢的问题。 主要思想是对行人图像的深度特征向量 聚类以获取元类(图像簇)集合， 能够使得元类中的图像在特征空间中语义相似； 通过均匀 划分卷积神经网络的全连接层获取每个元类对应的基学习器， 可以解决对应元类的行人重 识别子问题。 通过这种方式， 可以有效地进行行人重识别。 0035 如图1， 该。

20、方法首先获取行人图像的数据集， 然后进行如下操作： 0036 步骤(1).通过卷积神经网络获取行人图像的深度特征向量并进行聚类， 获得语义 相似的图像元类， 即图像簇。 具体方法是： 0037 (1-1) .对行人图像训练数据集进行预处理， 得到预处理后的训练数据集， 记为 其中表示第i幅行人图像， N为图像数目； 预处理为进行缩放、 修剪、 翻 转、 旋转等常见图像数据增强操作； 0038 (1-2) .选用在大型图像数据集上(如ImageNet)预训练的残差卷积神经网络 (ResNet-50)， 将输入网络， 该网络中的全连接层将输出深度特征向量其中 说明书 3/5 页 7 CN 1109。

21、41994 A 7 0039(1-3) .对深度特征向量进行聚类操作， 通过聚类操作获得C个行人图像元 类， 聚类簇个数C由模型的超参数指定， C48； 通过聚类算法，被组织成元类的集合 Kl表示由语义上相似的行人图像组成的第l个行人图像元类。 0040 聚类操作可选用常见的聚类算法， 本实施例采用k-均值聚类或基于密度的聚类算 法(DBSCAN)。 0041 步骤(2).均匀划分卷积神经网络的全连接层， 形成多个基学习器与行人图像元类 对应。 具体方法是： 0042 (2-1).按照线性顺序均匀地将残差网络(ResNet-50)的全连接层划分为C段， 作为 C个基学习器fl表示第l个基学习器。

22、； 0043 (2-2).第l个基学习器fl用于学习第l个行人图像元类Kl， 使得基学习器与行人图 像元类对应。 0044 步骤(3).训练基学习器， 输入对应元类内的正负样本对及元类间负样本对， 计算 样本对损失及梯度， 并更新基学习器， 采取自适应梯度加权策略更新下一个基学习器。 具体 方法是： 0045 (3-1).设批量样本元组Tl为第l个基学习器fl的训练样本， 则对于每个行人图像元 类Kl， 批量样本元组Tl由一个参考深度特征向量相对的一个元类内正例特征 向量以及(M-1)个元类内负例特征向量(C-1)个元类间负例特征向量 组成， j1,2,.,C,jl， M为元类内的不同行人的类。

23、别数； 0046参考深度特征向量通过对第l个元类的样本特征向量进行随机采样获得； 0047元类内正例特征向量是对第l个元类的所属的行人类别对应的样本特征向 量随机采样获得； 0048元类内负例特征向量采样过程为： 对第l个元类Kl采样与参考深度特征向量 不同行人类别的样本特征， 每个类别随机采样一个即可获得(M-1)个元类内负例特征向量； 0049元类间负例特征向量采样过程为： 对元类集合Kj|j1,2,.,C,jl， 分别 随机采样一个样本， 即可获得(C-1)个元类间负例特征向量 0050 (3-2).根据批量样本元组Tl计算如下损失函数： 0051 0052 其中exp()表示指数函数；。

24、 得到每个样本元组的损失及梯度， 然后对学习器fl进 行参数更新； 0053 (3-3).进行自适应梯度加权操作， 并更新第(l+1)个基学习器fl+1， 以进一步增加 基学习器之间的差异性。 说明书 4/5 页 8 CN 110941994 A 8 0054 自适应梯度加权操作具体是： 0055设置初始化的梯度权重其中V为fl的深度特征向量维度； 0056计算fl的深度特征向量的每一维组成的梯度向量Gl， 由更新自 适应权重， (Wv) 为更新后的权重， 从而对fl+1进行网络参数更新； z为归一化常数； 表示基 学习器fl的梯度向量的第v维。 0057 步骤(4).重复步骤(1)(3)， 。

25、直至基学习器收敛， 将测试图库输入基学习器组成 的集成学习器， 得到相同行人的图像集合。 具体方法是： 0058(4-1).重复步骤(1)(3)， 学习C个基学习器直至基学习器收敛； 0059 (4-2).将测试图库即行人图像测试数据集以1:1的比例划分为查询集(query)和 图库集(gallery)； 同时将已收敛的C个基学习器依次合并为一个集成学习器f； 0060 (4-3).将查询集和图库集中的行人图像分别输入集成学习器f得到对应的深度特 征表示和其中D和S分别为查询集和图库集的大小； 0061 (4-4).根据余弦相似度和欧氏距离， 计算深度特征表示之间的相似度simf和距离 distf： 0062 0063 0064 计算得到查询与图库图像的相似度矩阵和距离矩阵； 0065 (4-5).计算相似度矩阵和距离矩阵对应元素的平均值， 据此搜索与查询集中的图 像相似的图库图像， 得到相同行人(指同一身份)的图像集合。 0066 本实施例所述的内容仅仅是对发明构思的实现形式的列举， 本发明的保护范围的 不应当被视为仅限于实施例所陈述的具体形式， 本发明的保护范围也及于本领域技术人员 根据本发明构思所能够想到的等同技术手段。 说明书 5/5 页 9 CN 110941994 A 9 图1 说明书附图 1/1 页 10 CN 110941994 A 10 。