《大范围优先的跨摄像机视觉目标再识别方法.pdf》由会员分享，可在线阅读，更多相关《大范围优先的跨摄像机视觉目标再识别方法.pdf（10页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104094279 A (43)申请公布日 2014.10.08 CN 104094279 A (21)申请号 201480000159.1 (22)申请日 2014.04.30 G06K 9/00(2006.01) (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路 95 号 (72)发明人 黄凯奇 曹黎俊 陈威华 (74)专利代理机构 北京亿腾知识产权代理事务 所 11309 代理人 李楠 (54) 发明名称 大范围优先的跨摄像机视觉目标再识别方法 (57) 摘要 本发明涉及一种大范围优先的跨摄像机视觉 目标再识别方法， 所述方法包。
2、括 ： 步骤 S1. 获得 单场景目标的初始轨迹 ； 步骤 S2. 计算每条轨迹 的分段主颜色谱直方图特征， 得到轨迹特征表达 ； 步骤 S3. 利用最小化不确定度的方法得到任意两 条轨迹间匹配度的计算公式， 从而得到任意两条 轨迹间匹配度 ； 步骤 S4. 对所有轨迹采用最大后 验概率的方法进行全局数据融合得到跨场景的跟 踪结果。本发明目标再试别方法， 识别正确率高。 (85)PCT国际申请进入国家阶段日 2014.05.13 (86)PCT国际申请的申请数据 PCT/CN2014/076640 2014.04.30 (51)Int.Cl. 权利要求书 2 页 说明书 6 页 附图 1 页 。
3、(19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书6页 附图1页 (10)申请公布号 CN 104094279 A CN 104094279 A 1/2 页 2 1. 一种大范围优先的跨摄像机视觉目标再识别方法， 其特征在于， 所述方法包括 ： 步骤 S1， 获得单场景目标的初始轨迹 ； 步骤 S2， 计算每条轨迹的分段主颜色谱直方图特征， 得到轨迹特征表达 ； 步骤 S3， 利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式， 从而得 到任意两条轨迹间匹配度 ； 步骤 S4， 对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结 果。 2。
4、. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 S1 中， 对每一轨迹， 所有帧的置 信度的平均值被用来表示该轨迹的轨迹准确度 ： 其中， 置信度 表示对于每一帧的跟踪结果， 0.2 表示跟踪目标丢失， ts和 te分别 为该轨迹的起始帧和结束帧 ； 最后形成的所有目标轨迹的集合为 L l1,l2,.,lN， N 为轨迹综述， 每一条轨迹 li xi,ci,si,ti,ai， 分别表示轨迹的位置， 准确度， 所属场景， 时间和表观特征。 3. 根据权利要求 2 所述的方法， 其特征在于， 所述步骤 S2 具体包括 ： 计算每帧中目标的颜色直方图， 然后根据其 H 和 S 值， 将颜。
5、色分为 16*2 个颜色， 从中选 取前 n 个颜色值作为该目标该帧的特征 ： h C1,C2,Cn (2) 其中， Ci为前 n 种像素数之和占总像素数比例的 90以上的颜色， 每一条轨迹的总特 征为 ： 其中， mk为轨迹 k 的长度 ； 对总特征 H 中的所有特征 hi， 利用计算相互间的相似度 Sim(hi,hj)， 通过其轨迹 中每帧间的相似度信息找到运动周期， 利用周期对原来轨迹特征 H 进行重新分段， 通过下 式得到总特征 H 中可能存在的周期性信息 p ： 利用周期性信息 p 对将轨迹重新进行均匀分段， 至此得到轨迹的分段主颜色谱直方图 特征 ： H H1,H2,.,Hd (5。
6、) 其中，表示轨迹分段的段数。 4. 根据权利要求 3 所述的方法， 其特征在于， 所述步骤 S3 具体包括 ： 计算两条轨迹间相似度指导轨迹间的匹配， 在最大化相似度的同时最小化不确定度， 由此使得得到的相似度匹配值能反映两轨迹间的真实相似关系， 匹配公式为 ： 权 利 要 求 书 CN 104094279 A 2 2/2 页 3 其中， HA和HB为两段不同轨迹的分段主颜色谱直方图特征，和分别为其中的某 一段， i 1,2,.,dA,j 1,2,.,dB。 5. 根据权利要求 4 所述的方法， 其特征在于， 所述步骤 S4 具体包括 ： 步骤 S4-1， 每一条全局融合后的轨迹为那么总的融。
7、合后的轨迹集合 为 T T1,T2,.,Tm， m 为融合后的轨迹数目 ； 在给定轨迹集合 L 和融合后轨迹间无重叠 的条件下， 集合 T 的最大后验概率为 ： 其中， P(li|T) 为轨迹 li的相似度， P(Tk) 为可能的融合后的轨迹的先验概率， 它可以表 示为一条包含转移概率的马尔科夫链 ； 步骤 S4-2， 建立图结构， 其中每个节点表示一个轨迹片段 li， 其值为 ci， 每条边表示先 验概率P(lilj)， 从整个图中最小的代价函数流得到使得T*最大的集合， 对于每条流的代 价能量 eij用负对数函数表示 ： eij -logP(L|li lj)P(li lj) (8) -lo。
8、g(Pm*Pt*Pa) 其中， Pm和 Pt分别表示轨迹间的运动信息和时间信息的匹配概率， Pa表示轨迹表观特 征间的匹配概率， 匹配相似度公式为 ： 得到每条流的代价能量， 遍历最终得到使后验概率最大的集合 T 即为多场景目标跟踪 和再识别的结果。 权 利 要 求 书 CN 104094279 A 3 1/6 页 4 大范围优先的跨摄像机视觉目标再识别方法 技术领域 0001 本发明涉及视频监控与模式识别领域， 尤其涉及一种大范围优先的跨摄像机视觉 目标再识别方法。 背景技术 0002 随着社会现代化建设的快速发展， 人们对社会安全的关注也越来越高， 特别是对 于一些公共场所， 如学校， 医。
9、院和政府机关等的监控。 如今数以千计的摄像机被用于公共场 所的日常监控， 这些摄像机每天产生着大量的视频数据。 但是， 作为传统的视频监控系统由 于需要人为的监视， 因而存在着很多难以克服的问题。 0003 首先， 现有的视频监控都需要有人在视频前实时监视， 没法实现自动监控报警， 很 容易长时间监视而造成人员的过度疲劳。 同时， 由于监控范围的原因， 通常需要监控人员同 时进行多路监控， 往往会应接不暇。这就需要智能化视频监控。 0004 而智能视频监控的核心技术， 大范围监控场景下的视觉目标再识别技术也一直是 计算机视觉领域的研究热点之一， 基于多场景目标跟踪的视觉目标再识别也是吸引了很多。
10、 学者的研究。 多场景下的目标跟踪不仅能实现对公共场所行人的监控跟踪， 同时， 也为进一 步的高级处理 ( 如行为识别 ) 提供了更有用的价值信息。传统的多场景目标跟踪算法主要 分两步 ： 第一步是先完成单场景下多目标的跟踪， 得到每个单场景下各个目标的完整轨迹 ； 第二步跨场景目标接力， 通过场景间的时空信息实现场景间的轨迹连接， 完成目标接力。 从 这两步可以看出， 跨场景目标接力是以单场景的目标跟踪为基础的， 其输入来源于单场景 跟踪的结果。也就是说， 当单场景跟踪结果达不到一定 标准时， 跨场景接力效果直接会受 到很大的影响。而现今的单场景目标跟踪算法在实际应用中都会长生大量的断裂的零。
11、碎 轨迹和错误的干扰轨迹， 都还没有达到可以用于跨场景接力的标准。这就使得跨场景接力 算法的效果无法得到保证， 最终导致实际场景中的多场景的目标跟踪难以实现。传统的跨 场景接力算法都是假设单场景跟踪效果已经足够理想， 以此作为算法输入， 因而其在实际 应用中接力效果相对较差。那么如何在单场景目标跟踪效果不好的情况下， 提高跨场景接 力准确率， 从而完成基本的多场景目标跟踪以实现目标的再识别成为了一个急需解决的问 题。 发明内容 0005 本发明的目的是针对现有技术的缺陷， 提供一种大范围优先的跨摄像机视觉目标 再识别方法， 解决大范围监控场景下的目标再识别问题， 识别正确率高。 0006 为实。
12、现上述目的， 本发明提供了一种大范围优先的跨摄像机视觉目标再识别方 法， 所述方法包括 ： 0007 步骤 S1， 获得单场景目标的初始轨迹 ； 0008 步骤 S2， 计算每条轨迹的分段主颜色谱直方图特征， 得到轨迹特征表达 ； 0009 步骤 S3， 利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式， 从 说 明 书 CN 104094279 A 4 2/6 页 5 而得到任意两条轨迹间匹配度 ； 0010 步骤 S4， 对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟 踪结果。 0011 进一步的， 所述步骤 S1 中， 对每一轨迹， 所有帧的置信度的平均值被用来。
13、表示该 轨迹的轨迹准确度 ： 0012 0013 其中， 置信度 表示对于每一帧的跟踪结果， 0.2 表示跟踪目标丢失， ts和 te 分别为该轨迹的起始帧和结束帧 ； 0014 最后形成的所有目标轨迹的集合为 L l1,l2,.,lN， N 为轨迹综述， 每一条轨 迹 li xi,ci,si,ti,ai， 分别表示轨迹的位置， 准确度， 所属场景， 时间和表观特征。 0015 进一步的， 所述步骤 S2 具体包括 ： 0016 计算每帧中目标的颜色直方图， 然后根据其 H 和 S 值， 将颜色分为 16*2 个颜色， 从 中选取前 n 个颜色值作为该目标该帧的特征 ： 0017 h C1,C。
14、2,Cn (2) 0018 其中， Ci为前 n 种像素数之和占总像素数比例的 90以上的颜色， 每一条轨迹的 总特征为 ： 0019 0020 其中， mk为轨迹 k 的长度 ； 0021 对总特征 H 中的所有特征 hi， 利用计算相互间的相似度 Sim(hi,hj)， 通过其 轨迹中每帧间的相似度信息找到运动周期， 利用周期对原来轨迹特征 H 进行重新分段， 通 过下式得到总特征 H 中可能存在的周期性信息 p ： 0022 0023 利用周期性信息 p 对将轨迹重新进行均匀分段， 至此得到轨迹的分段主颜色谱直 方图特征 ： 0024 H H1,H2,.,Hd (5) 0025 其中，表。
15、示轨迹分段的段数。 0026 进一步的， 所述步骤 S3 具体包括 ： 0027 计算两条轨迹间相似度指导轨迹间的匹配， 在最大化相似度的同时最小化不确定 度， 由此使得得到的相似度匹配值能反映两轨迹间的真实相似关系， 匹配公式为 ： 0028 0029 其中， HA和 HB为两段不同轨迹的分段主颜色谱直方图特征，和分别为其 中的某一段， i 1,2,.,dA,j 1,2,.,dB。 0030 进一步的， 所述步骤 S4 具体包括 ： 说 明 书 CN 104094279 A 5 3/6 页 6 0031 步骤 S4-1， 每一条全局融合后的轨迹为那么总的融合后的轨迹 集合为 T T1,T2,。
16、.,Tm， m 为融合后的轨迹数目 ； 在给定轨迹集合 L 和融合后轨迹间无 重叠的条件下， 集合 T 的最大后验概率为 ： 0032 0033 0034 其中， P(li|T) 为轨迹 li的相似度， P(Tk) 为可能的融合后的轨迹的先验概率， 它可 以表示为一条包含转移概率的马尔科夫链 ； 0035 步骤 S4-2， 建立图结构， 其中每个节点表示一个轨迹片段 li， 其值为 ci， 每条边表 示先验概率P(lilj)， 从整个图中最小的代价函数流得到使得T*最大的集合， 对于每条流 的代价能量 eij用负对数函数表示 ： 0036 eij -logP(L|li lj)P(li lj) 。
17、(8) 0037 -log(Pm*Pt*Pa) 0038 其中， Pm和 Pt分别表示轨迹间的运动信息和时间信息的匹配概率， Pa表示轨迹表 观特征间的匹配概率， 匹配相似度公式为 ： 0039 0040 得到每条流的代价能量， 遍历最终得到使后验概率最大的集合 T 即为多场景目标 跟踪和再识别的结果。 0041 本发明跨摄像机的视觉目标再试别方法， 识别正确率高。 附图说明 0042 图 1 为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图。 具体实施方式 0043 下面通过附图和实施例， 对本发明的技术方案做进一步的详细描述。 0044 跨场景的目标接力效果很大程度上依赖于单场景跟踪。
18、结果的好坏， 本发明为一种 基于全局轨迹融合的目标跟踪再识别方法， 该方法能在单场景跟踪轨迹不是很好的情况下 得到相对较好的跨场景接力结果。 同时， 本方法提出一个新的轨迹特征表达， 使其能在非重 叠场景下完成多场景的目标跟踪和再识别。 0045 本发明优先解决大范围监控场景下的目标再识别问题。 该方法依靠对多摄像机所 有轨迹的全局优化实现多场景下的视觉目标再识别， 并形成完整的目标轨迹。采用具有周 期性的分段主颜色谱直方图特征作为轨迹特征表达， 利用最小化不确定度的方法实现轨迹 的匹配， 进一步提高目标再识别的准确率。 0046 图 1 为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图。
19、， 如图所示， 本发明具体包括如下步骤 ： 说 明 书 CN 104094279 A 6 4/6 页 7 0047 步骤 101， 获得单场景目标的初始轨迹 ； 0048 具体的， 通过行人检测和单目标的行人跟踪， 得到每个场景下每个行人的初始轨 迹片段。行人检测方法采用基于行人头肩检测， 单目标跟踪算法则利用自适应多特征融合 的方法。用置信度 表示对于每一帧的跟踪结果， 0.2 表示跟踪目标丢失。对每一轨 迹， 其所有帧的 的平均值被用来表示该轨迹的轨迹准确度 ： 0049 0050 其中， ts和 te分别为该轨迹的起始帧和结束帧。 0051 则最后形成的所有目标轨迹的集合为 L l1,l。
20、2,.,lN， N 为轨迹综述。每 一 条轨迹 li xi,ci,si,ti,ai， 分别表示轨迹的位置， 准确度， 所属场景， 时间和表观特征。 0052 步骤 102， 计算每条轨迹的分段主颜色谱直方图特征， 得到轨迹特征表达 ； 0053 对 MCSHR 特征， 首先计算每帧中目标的 HSV 颜色直方图， 然后根据其 H 和 S 值， 将 颜色分为 16*2 个颜色， 从中选取前 n 个颜色值作为该目标该帧的 MCSHR 特征表达 ： 0054 h C1,C2,Cn (2) 0055 其中， Ci为前 n 种像素数之和占总像素数比例的 90以上的颜色， 这样， 针对每条 轨迹， 得到所需。
21、的总得 MCSHR 特征 ： 0056 0057 其中， mk为轨迹 k 的长度。对 H 中的所有 hi， 利用其论文中的方法计算相互间的相 似度 Sim(hi,hj)。由于行人在运动过程中其步伐存在着明显的周期性， 这里的想法是 通过其轨迹中每帧间的相似度信息找到这种运动的周期。利用周期对原来轨迹特征 H 进行 重新分段。即通过如下公式找到 H 中可能存在的周期性信息 p ： 0058 0059 利用 p 对将轨迹重新进行均匀分段， 至此得到轨迹的分段主颜色谱直方图特征 ： 0060 H H1,H2,.,Hd (5) 0061 其中，表示轨迹分段的段数。 0062 步骤 103， 利用最小化。
22、不确定度的方法得到任意两条轨迹间匹配度的计算公式， 从 而得到任意两条轨迹间匹配度 ； 0063 在轨迹匹配的过程中， 两轨迹间相似度的不确定性在一定程度上也是很重要的 ； 通过计算两轨迹间相似度的这种不确定性来指导轨迹间的匹配， 即在最大化相似度的同 时最小化不确定度， 这样使得得到的相似度匹配值更能反映两轨迹间的真实相似关系。具 体的匹配公式为 ： 0064 0065 其中， HA和 HB为两段不同轨迹的分段主颜色谱直方图特征。和分别为其 中的某一段， i 1,2,.,dA,j 1,2,.,dB。 说 明 书 CN 104094279 A 7 5/6 页 8 0066 步骤 104， 对所。
23、有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的 跟踪结果。 0067 在得到所有轨迹的集合 L l1,l2,.,lN 以及其中每条轨迹的各项属性 li xi,ci,si,ti,ai 之后。利用最大后验概率的方法来对所有的轨迹数据进行全局优化。 0068 首先， 可以将每一条全局融合后的轨迹表示为那么总的融合后 的轨迹集合为 T T1,T2,.,Tm， m 为融合后的轨迹数目。目标就是在给定轨迹集合 L 和 融合后轨迹间无重叠的条件下， 求集合 T 的最大后验概率 ： 0069 0070 0071 这里 P(li|T) 为轨迹 li的相似度， 即之前的准确度 ci； P(Tk) 为可能。
24、的融合后的轨 迹的先验概率， 它可以表示为一条包含转移概率的马尔科夫链。 0072 建立一个图结构， 其中每个节点表示一个轨迹片段 li， 其值为 ci， 每条边表示先验 概率 P(li lj)。那么， 通过求整个图中最小的代价函数流可以得到使得 T*最大的集合， 因 此将 (7) 式转化为一个求最小代价函数的问题。对于每条流的代价能量 eij， 用负对数函数 表示 ： 0073 0074 其中， Pm和 Pt分别表示轨迹间的运动信息和时间信息的匹配概率， 具体计算过程 可参考最小流方法 (J.Liu,P.Carr,R.T.Collins,and Y.Liu,“Tracking sports 。
25、players with context-conditioned motion models,” CVPR2013)。Pa表示轨迹表观特征间的匹配 概率， 利用之前求得的分段主颜色谱直方图特征作为轨迹的表观特征表达。 同时， 为了区分 来自于不同场景的轨迹片段， 引入了一个调整因子 ， 这里取 2.5。则具体的匹配相似度公 式为 ： 0075 0076 Dis(HA,HB) 的计算方法如 (6) 式所示。则将 (9) 式代入到 (8) 式中， 即可求得每 条流的代价能量。通过遍历最终得到使后验概率最大的集合 T 即为所求的多场景目标跟踪 和再识别的结果。 0077 本发明延用单场景轨迹数据融合。
26、的思想， 将其扩展到多场景全局的轨迹数据融 合， 区分对待来自于同一场景或者不同场景的轨迹匹配。简化了传统的两步的多目标跟踪 方法， 将其统一在一个统一的数据融合过程中。 采用分段的主颜色谱直方图特征， 并利用最 小化不确定度的方法提高了目标再识别的准确率。 0078 本发明跨摄像机的视觉目标再识别方法在单场景算法效果不理想的情况下， 也能 得到较好的接力效果， 实现多场景下视觉目标再识别。适用于非重叠场景。利用新的特征 说 明 书 CN 104094279 A 8 6/6 页 9 表达及相似度计算方法进一步提高再识别的准确率。 0079 专业人员应该还可以进一步意识到， 结合本文中所公开的实。
27、施例描述的各示例的 单元及算法步骤， 能够以电子硬件、 计算机软件或者二者的结合来实现， 为了清楚地说明硬 件和软件的可互换性， 在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能， 但是这种实 现不应认为超出本发明的范围。 0080 结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、 处理器执行的 软件模块， 或者二者的结合来实施。 软件模块可以置于随机存储器(RAM)、 内存、 只读存储器 (ROM)、 电可编程 ROM、 电可擦除可编程 ROM、 寄存器、 硬盘、 可移动磁盘、 CD-ROM、 或技术领域 内所公知的任意其它形式的存储介质中。 0081 以上所述的具体实施方式， 对本发明的目的、 技术方案和有益效果进行了进一步 详细说明， 所应理解的是， 以上所述仅为本发明的具体实施方式而已， 并不用于限定本发明 的保护范围， 凡在本发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均应包含 在本发明的保护范围之内。 说 明 书 CN 104094279 A 9 1/1 页 10 图 1 说 明 书 附 图 CN 104094279 A 10 。