一种基于在线迭代子空间学习的目标跟踪方法技术领域
本发明属于计算机视觉技术领域，涉及一种目标跟踪方法，更为具体地说，是涉及一种
基于在线迭代子空间学习的目标跟踪方法。
背景技术
视觉跟踪，是指通过摄像机采集图像序列后，利用计算机按照一定算法对图像进行分析
处理，对运动目标进行检测、提取和识别后，获得目标对象的运动参数，包括跟踪目标的位
置、速度、运动轨迹等，通过对这些先验知识的处理与分析，计算机可以估算目标的运动行
为，不断跟踪该目标。视觉跟踪是实际生活中有着十分广泛的应用，例如在有安全保障要求
的公共场所(机场、公路等人流量大的地方)，当需要追踪目标人物时，可以利用计算机视觉
追踪的方法，估计出待跟踪人物的下一步行动，即使出现目标被遮挡、光线变化等情况时也
不至于失去对目标的追踪。经典的目标跟踪方法内存占用空间大，效率较低，尤其是在跟踪
目标场景和形态发生较大变化时，通常跟踪效果不佳。
发明内容
为解决上述问题，本发明公开了一种基于在线迭代子空间学习的目标跟踪方法，能够有
效解决目标被部分遮挡和跟踪目标图像受到光照变化影响等问题，并显著提升了目标跟踪的
效率，减少了对内存的需求量。
为了达到上述目的，本发明提供如下技术方案：
一种基于在线迭代子空间学习的目标跟踪方法，包括如下步骤：
步骤A，序列图像的鲁棒性在线校准
将所跟踪目标的每一张序列图像向量化为n×1的列向量，则整个序列图像集合构成一个
n×N矩阵D，其中D可以分解成一个大小为n×N低秩矩阵L＝UW，一个大小为n×N的稀
疏矩阵E，和一个非线性图像变换τ，序列图像的鲁棒性在线校准公式如下：
由于图像变换D°τ的非线性性质，上式(1)表示如下：
计算公式(2)将目标图像变换成为一个在规范坐标系中精确校准的目标图像，具体包括
如下步骤：
步骤A-1，首先给出第一帧图像中待跟踪物体的若干初始位置参数，对于初始位置参数所框
选的待追踪物体图像I均匀进行m次仿射变换扰动，通过仿射变换得到m个经过扰动的跟踪
物体图像，然后利用这些图像初始化L个子空间采用上式(2)初始化L个子空间
步骤A-2，每次仅考虑一帧图像Ii，固定子空间将公式(2)改写为：
上式中，Ii是第i帧图像，是第k次迭代所估计的变换参数，是第k次迭代针对变
换的雅可比矩阵，w为权重向量，e为稀疏向量，Δτ为增量的变换参数；
公式(3)的增广拉格朗日形式如下：
L ( U t k , w , e , Δ τ , λ ) = | | e | | 1 + λ h ( w , e , Δ τ ) + u 2 | | h ( w , e , Δ τ ) | | 2 2 - - - ( 4 ) ]]>
其中λ∈Rn是拉格朗日乘子向量；
最优参数值(w*,e*,Δτ*,λ*)可由下式ADMM算法求得：
上式中ρ＞1是ADMM的常量系数；
步骤A-3，选择公式(4)作为第k次迭代过程中子空间更新的代价函数更新子空间
首先对(4)关于Uk求导：
d L du k = ( λ * + μ h ( w * , e * , Δτ * ) ) w * T - - - ( 6 ) ]]>
将其投影至格拉斯曼流形G(dk,n),得梯度引入和
Γ = ( I - U t k U t k T ) Γ 1 , ]]>得 Δ L = Γw * T , ]]>ΔL的SVD分解表示为下式：
Δ L = [ Γ | | Γ | | , x 2 , ... , x d ] × d i a g ( σ , 0 , ... , 0 ) × [ w * | | w * | | , y 2 , ... , y d ] T - - - ( 7 ) ]]>
子空间的更新方法如下：
U t + 1 k = U t k + ( c o s ( η σ ) - 1 ) U t k w t * | | w t * | | w t * T | | w t * | | - s i n ( η σ ) Γ | | Γ | | w t * T | | w t * | | - - - ( 8 ) ]]>
步骤B，采用子空间在线更新方法对目标进行跟踪，对子空间集合通过如下步骤进
行在线更新：
对于当前待跟踪的第i帧序列图像Ii，完成L次迭代，完成对子空间集合的更新，
每次迭代时使用公式(5)计算出最优的(w*,e*,Δτ*,λ*)，其中Δτ*即计算出
其中初始的子空间集合为初始的变换参数为
依次处理后续帧序列图像，初始的变换参数采用与第i帧序列图像同样的方式
更新子空间集合直至处理完所有后续帧序列图像；
根据在规范坐标系中校准目标图像的矩形框若干顶点位置常量，经过的变换，得到该
目标在Ii+1图像中的位置参数，其中为的逆变换。
进一步的，在步骤B之前采用下式判断跟踪目标的图像是否发生较大的畸变：
如果稀疏向量e*超过给定阈值则说明跟踪目标的图像发生了较大的畸变，需要重新初始
化跟踪目标的子空间集合使用上一帧校准的跟踪目标和当前帧出现畸变的跟
踪目标分别随机均匀扰动m次，并分别增加子空间集合的秩dk＝dk+1,k＝1,…,L，然
后使用公式(2)初始化得到新的子空间集合
进一步的，所述ρ＝1.5。
进一步的，所述∈＝0.2。
有益效果：
本发明提供的目标跟踪方法，对于监控视频每一帧图像中待跟踪的目标，在完成目标图
像的校准后，只需以在线方式更新子空间，跟踪过程中所维持的子空间集合所占用的存储空
间远远小于经典目标跟踪方法所维持的“字典”所占用的内存空间，减少了对内存的需求量，
提升了目标跟踪方法的效率。在目标被部分遮挡或受到光照变化影响时，依然能有效跟踪目
标；即便遇到跟踪的目标对象发生了较大的姿势变化、受到严重的污染、光照明暗强烈变化
时，本方法仍旧能较好地跟踪目标，具有较强的鲁棒性。
附图说明
图1为本发明步骤流程图。
图2为图像校准示意图。
图3为基于图像校准的目标跟踪示意图。
图4为子空间集合在线更新示意图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方
式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的基于在线迭代子空间学习的目标跟踪方法，对于待校准图像采用基于范
数的鲁棒性回归方法，在完成目标图像的校准后，采用了子空间集合在线迭代更新的方法更
新子空间。具体的说，本发明方法如图1所示，包括以下几个步骤：
步骤A，序列图像的鲁棒性在线校准
将所跟踪目标的每一张序列图像向量化为n×1的列向量(n是图像的像素数)，则整个序
列图像集合构成一个n×N矩阵D(N是序列图像的数量)，则D可以分解成一个大小为n×N
低秩矩阵L＝UW(其中，U是构成低秩矩阵L的列子空间正交矩阵，大小为n×d，d为矩阵
L的秩；W是权重系数矩阵，大小为d×N)，一个大小为n×N的稀疏矩阵E，和一个非线性
图像变换τ。序列图像的鲁棒性在线校准可以数学建模为下式(1)：
n维实空间中所有n×d的正交矩阵构成的集合称为格拉斯曼流形(Grassmannian)，表示
为G(d,n)，即U∈G(d,n)。因此，可以认为完整的序列图像集合经过合适的几何变换后，能
够表示为低秩矩阵UW和稀疏异常矩阵E的叠加。
然而由于图像变换D°τ的非线性性质，公式(1)需要采用线性逐次逼近的方法求解，即
公式(2)：
在第k次迭代时，是当前对图像变换参数的估计，是第i张图像基于图像
旋转变换的雅克比矩阵，{ξi}表示Rn的标准基。由于图像的非线性变换τ的作用，需要用
一族低秩子空间来逼近该非线性变换过程(L为总的迭代次数，非线性越强L设置的
越大，一般可设置为L＝10)。并且在不同的迭代循环中，由于图像对齐的尺度不一致，该低
秩子空间集合具有不同的维度，也就是在不同的迭代阶段Uk将被限制在不同的格拉斯
曼流形G(dk,n)上。
步骤A-1，构建和初始化子空间：
对于进行目标跟踪的视频图像序列，首先给出第一帧图像中待跟踪物体的初始位置参数
(即三点坐标)，图2中左半部分为校准前原图像，其中待跟踪物体用三点坐标框出，根据需
要说明的是，这里的三点坐标仅仅为示例，根据需要可以选择三点或四点坐标甚至更多来框
选目标图像的位置)。对于该三点坐标所框选的待追踪物体图像I均匀进行m次仿射变换扰动，
仿射变换包括缩放、平移和旋转，通过这样的仿射变换得到m个经过扰动的跟踪物体图像，
然后利用此m图像初始化L个子空间此L个子空间的初始化方法基于上式
(2)。
步骤A-2，ADMM求解局部线性问题：
当Uk已知(或者为已知估计值)，公式(2)可利用ADMM(AlternatingDirectionMethodof
Multipliers)算法求解。对于在线校准，每次仅考虑一帧图像Ii，固定子空间公式(2)
可改写为：
这里Ii是第i帧图像，是第k次迭代所估计的变换参数，是第k次迭代针对变换的雅
可比矩阵，目标是优化求解权重向量w，稀疏向量e和增量的变换参数Δτ。
公式(3)的增广拉格朗日形式如下：
L ( U t k , w , e , Δ τ , λ ) = | | e | | 1 + λ h ( w , e , Δ τ ) + u 2 | | h ( w , e , Δ τ ) | | 2 2 - - - ( 4 ) ]]>
其中λ∈Rn是拉格朗日乘子向量。
最优参数值(w*,e*,Δτ*,λ*)可由如下ADMM算法求得：
这里ρ＞1是ADMM的常量系数，取为ρ＝1.5。
步骤A-3，迭代子空间更新：
为了确定公式(2)中第k次迭代中的最优子空间将其视为一个基于格拉斯曼流形
的优化问题。也就是说，本发明希望得到这样一个子空间序列满足
(t→∞)，因此选择用公式(4)作为第k次迭代过程中子空间更新的代价函数。一旦根据
之前的子空间利用(5)求解出其它最优参数(w*,e*,Δτ*,λ*)，则可用公式(4)为代价函
数更新该子空间。
使用梯度下降算法，需要首先对(4)关于Uk求导，即：
d L dU k = ( λ * + μ h ( w * , e * , Δτ * ) ) w * T - - - ( 6 ) ]]>
将其投影至格拉斯曼流形G(dk,n),可得梯度引入
和可得因为Γ是n×1的向量，而是d×1权重向量，则ΔL所
构成的矩阵的秩为1，因此其SVD分解具有唯一的非零奇异值是σ＝||Γ||||w*||，并且相应的左
右特征向量分别为及通过增加相互正交的向量x2,…,xd和y2,…,yd，ΔL的SVD
分解可以写为公式(7)：
Δ L = [ Γ | | Γ | | , x 2 , ... , x d ] × d i a g ( σ , 0 , ... , 0 ) × [ w * | | w * | | , y 2 , ... , y d ] T - - - ( 7 ) ]]>
设定梯度下降的步长为η＝0.001，则子空间更新的方法为下式(8)：
U t + 1 k = U t k + ( c o s ( η σ ) - 1 ) U t k w t * | | w t * | | w t * T | | w t * | | - s i n ( η σ ) Γ | | Γ | | w t * T | | w t * | | - - - ( 8 ) ]]>
步骤B，目标跟踪的实现：
步骤B-1，子空间在线更新的目标跟踪
对于新的一帧图像Ii+1，由于目标的运动，需要估计出该目标在图像Ii+1的位置。首先使
用上一帧所计算出的图像变换参数作为本次迭代的初始变换参数则对应于图
像Ii+1中未校准的目标图像。使用图像在线校准方法，即公式(2)，计算出最佳的变换参数
使得经过变换成为一个精确校准的目标图像(图2中右半部分所示)。对于在规范坐
标系中校准目标图像的矩形框四个顶点位置常量(p1,p2,p3,p4)(为了表示清楚，本步骤中采
用四个顶点，根据需要也可以采用三个顶点或更多数量的顶点)，经过的变换(即的逆
变换)，得到该目标在Ii+1图像中的位置参数(o1,o2,o3,o4)。变换方法如公式(9)所示。
因此，在保持规范坐标系中校准目标图像四个顶点位置常量(p1,p2,p3,p4)不变的条件下，对
于后续的图像Ii+1,…,Ii+m,只要能够准确校准目标图像，计算出相应的变换参数τi+1,…,τi+m，
分别利用公式(8)就能够对目标进行跟踪，跟踪过程如图3所示。
由于在新的一帧图像中，目标会产生光照、形变等变化，因此在完成目标图像校准之后，
需要更新表征目标图像低秩特性的子空间集合以便能够继续估计下一帧图像中跟踪
目标的位置。对于子空间集合其在线更新的流程如图4所示。
在线更新的具体过程如下：
(1)对于当前待跟踪的第i帧序列图像Ii，存在初始的子空间集合和初始的变
换参数第一次迭代，需要更新子空间使用公式(5)计算出最优的
(w*,e*,Δτ*,λ*)，其中Δτ*即计算出然后使用公式(8)更新子空
间至完成第一次迭代。
(2)第二次迭代，更新子空间将第一次迭代计算出的变换参数作为本次迭代初
始的变换参数。使用公式(5)计算出最优的(w*,e*,Δτ*,λ*)，其中Δτ*即计算
出然后使用公式(8)更新子空间至完成第二次迭代。
(3)类似的过程，分别进行第三次、第四次、…、第L次迭代，完成对子空间集合
的更新。
(4)在处理第i+1帧序列图像时，初始的变换参数重复上述(1)—(3)的过程
更新子空间集合
(5)对于后续帧序列图像的处理，与第(4)步相同，直至处理完所有后续帧序列图像。
步骤B-2，目标跟踪过程中的子空间重新训练：
在目标跟踪过程中，由于摄像机变焦、目标形态发生变化等原因，所跟踪目标的图像会
产生较大的变化，从而完全不能由原先子空间近似表示，在这样的条件下，不再适用在线更
新子空间集合为了鉴别跟踪目标图像是否发生较大的畸变，利用公式(5)所估计
的稀疏向量e*，判断e*相对于跟踪目标图像的能量是否超出给定阈值，如果超过给定阈值则
说明跟踪目标的图像发生了较大的畸变，需要重新初始化跟踪目标的子空间集合判
断方法如公式(10)所示：
这里∈是预先定好的判定阈值，设置为∈＝0.2。
为了重新初始化子空间集合以便反映出跟踪目标的变化，本发明选择使用上一
帧校准的跟踪目标和当前帧出现畸变的跟踪目标分别随机均匀扰动m次，并分
别增加子空间集合的秩dk＝dk+1,k＝1,…,L，然后使用公式(2)初始化得到新的子空间集合
这样，即便遇到跟踪的目标对象发生了较大的姿势变化、受到严重的污染、光照明
暗强烈变化时，本方法依旧能较好地跟踪目标，具有较强的鲁棒性。
以下对本发明方法进行实验，首先选择要实验的视频跟踪数据库，并从第一张图像中框
选出待跟踪的目标，可以用三个顶点坐标确定目标位置，称之为“感兴趣范围”。将待追踪物
体图像I均匀进行30次仿射变换扰动，仿射变换包括缩放、平移和旋转，通过这样的仿射变
换得到30个经过扰动的跟踪物体图像，并利用此30个图像基于公式(2)初始化L个子空间
此处L设置为L＝10。图像校准示意图如图1所示，将图像最佳变换得到“正”的图
像，这样数据库中完整的序列图像集合经过合适的几何变换后，能够表示为低秩矩阵和稀疏
异常矩阵的叠加。
对于视频跟踪数据库中的第i帧图像，需要估计出待跟踪目标的位置参数。首先根据
ADMM公式(5)分别通过L次迭代，求解得到对应于子空间集合的最优
(w*,e*,Δτ*,λ*)，并得到该帧图像的最佳变换参数根据公式(10)判断稀疏向量e*的范数与
目标图像范数的比值是否超出给定阈值∈，设置∈＝0.2，如果超出则重新训练子空间集合。如
果未超过给定阈值，则依据公式(8)进行在线迭代更新子空间集合子空间集合在线迭
代更新的示意图由图4所示。在规范坐标系中校准目标图像的矩形框四个顶点位置常量
(p1,p2,p3,p4)，依据公式(9)经过的变换(即的逆变换)，得到该目标在此帧图像中的
位置参数(o1,o2,o3,o4)，从而达到目标跟踪的目的，目标跟踪的原理示意图如图3所示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上
技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在
不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的
保护范围。