一种基于视频图像的鸟类翅膀振动频率测量方法及装置技术领域
本发明属于计算机技术领域，尤其涉及一种基于视频图像的鸟类翅膀振动频率测
量方法及装置。
背景技术
鸟类翅膀振动的频率对其行为有着重要的作用，翅膀振动的频率异常可以用来判
断化学药品和光照等外部环境因素对鸟类的影响。鸟类飞行时翅膀振动的频率的确定对于
了解鸟类肌肉的状态和飞行模式是非常重要的。每一种物种翅膀振动的频率会与其它的物
种翅膀振动的频率重叠，但是每一个物种翅膀振动的平均频率与其它物种明显不同，因此
翅膀振动频率不同是识别不同物种的重要信息。
视频能够捕获所有的自由飞行物体的信息，基于视频对鸟类翅膀振动的研究关键
是能够从视频中提取研究所需要的信息，尽管对鸟类翅膀振动频率的研究已经有很长时间
了，但是基于视频研究的方法还很少。最常用用于鸟类自由飞行检测的方法是雷达，该方法
主要取决于时间模式回波信号的特征变化，这种变化是由于鸟类因飞行而引起身体形状的
改变。然而，观察到的信号变化绝大部分是由于昆虫、蝙蝠或者其它的飞行物体以及天气的
原因导致的，因此，要从属于鸟类信号中区分出鸟类信号是一个比较难以解决的问题。另外
一种用于鸟类自由飞行检测的方法是运用一种拍频振荡器并结合人类的听觉进行分析，这
种方法包含了鸟类在运动中不连接于飞行的那一部分的干扰，比如肺部的呼吸运动。
发明内容
本发明的目的在于提供一种基于视频图像的鸟类翅膀振动频率测量方法及装置，
旨在解决由于现有技术无法提供一种有效的鸟类翅膀振动频率测量方法，导致鸟类种类识
别准确率不高、难以实现鸟类监控的问题。
一方面，本发明提供了一种基于视频图像的鸟类翅膀振动频率测量方法，所述方
法包括下述步骤：
从输入的鸟类飞行视频中提取帧图像，对提取得到的当前帧图像中的鸟类运动目
标进行检测，以获取所述鸟类运动目标的形状和位置；
对检测到的所述鸟类运动目标进行跟踪，以得到所述鸟类运动目标的形状随时间
变化的尺寸变化信号；
对所述尺寸变化信号进行预处理，以得到所述鸟类运动目标的、标准化的尺寸变
化信号；
根据所述标准化的尺寸变化信号，对所述鸟类运动目标的翅膀拍打频率进行分
析，从而得到所述鸟类飞行视频中鸟类的翅膀振动频率。
另一方面，本发明提供了一种基于视频图像的鸟类翅膀振动频率测量装置，所述
装置包括：
目标检测单元，用于从输入的鸟类飞行视频中提取帧图像，对提取得到的当前帧
图像中的鸟类运动目标进行检测，以获取所述鸟类运动目标的形状和位置；
目标跟踪单元，用于对检测到的所述鸟类运动目标进行跟踪，以得到所述鸟类运
动目标的形状随时间变化的尺寸变化信号；
信号预处理单元，用于对所述尺寸变化信号进行预处理，以得到所述鸟类运动目
标的、标准化的尺寸变化信号；以及
频率分析单元，用于根据所述标准化的尺寸变化信号，对所述鸟类运动目标的翅
膀拍打频率进行分析，从而得到所述鸟类飞行视频中鸟类的翅膀振动频率。
本发明从输入的鸟类飞行视频中提取帧图像，对提取得到的当前帧图像中的鸟类
运动目标进行检测，以获取鸟类运动目标的形状和位置，对检测到的鸟类运动目标进行跟
踪，以得到鸟类运动目标的形状随时间变化的尺寸变化信号，对尺寸变化信号进行预处理，
以得到鸟类运动目标的、标准化的尺寸变化信号，根据标准化的尺寸变化信号，对鸟类运动
目标的翅膀拍打频率进行分析，从而得到鸟类飞行视频中鸟类的翅膀振动频率，在简化鸟
类翅膀振动频率的获取过程的同时，保证了鸟类翅膀拍打频率的识别精度。
附图说明
图1是本发明实施例一提供的基于视频图像的鸟类翅膀振动频率测量方法的实现
流程图；
图2是本发明实施例二提供的基于视频图像的鸟类翅膀振动频率测量方法中对检
测到的鸟类运动目标进行跟踪的实现流程图；
图3是本发明实施例三提供的基于视频图像的鸟类翅膀振动频率测量装置的结构
示意图；
图4是本发明实施例三提供的基于视频图像的鸟类翅膀振动频率测量装置的优选
结构示意图；以及
图5是本发明实施例三提供的基于视频图像的鸟类翅膀振动频率测量装置中背景
更新单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的基于视频图像的鸟类翅膀振动频率测量方法的
实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，从输入的鸟类飞行视频中提取帧图像，对提取得到的当前帧图像
中的鸟类运动目标进行检测，以获取鸟类运动目标的形状和位置。
在本发明实施例中，通过设置摄像头拍摄天空中动物飞行视频，得到天空中鸟类
运动图像，优选地，摄像头以90°仰角对准天空拍摄鸟类运动视频，从而减少环境中其它物
体对图像中鸟类运动目标的检测带来影响。
考虑天空中云彩、天气本身变化等对检测带来的影响，优选地，在对提取得到的当
前帧图像中的鸟类运动目标进行检测时，首先获取当前帧图像相对于预设数量的相邻连续
帧图像的变化率，根据变化率对当前帧图像的背景图像进行更新，从当前帧图像减去更新
后的背景图像，以获取前景图像，对前景图像进行二值化，从二值化后的前景图像中计算物
体轮廓，以得到一个或多个鸟类运动目标，从而精确地将背景图像从帧图像分离出来，进而
得到鸟类运动目标。
进一步优选地，在对当前帧图像的背景图像进行更新时，使用公式
获取当前帧图像相对于预设数量的相邻连续帧图像的变化率，w、h分别为当前帧图像的宽
度和高度，Fi,j(t)为t时间的帧图像与预设时间帧图像的像素差
其中，Ii,j(t)表示t时刻的帧图像中位置(i,j)处的像素值，Tf和γ为预设数值，
Ii,j(t-γ)为时刻t之前γ(即(t-γ))时刻的帧图像中位置(i,j)处的像素值。
当变化率v位于第一范围内时，表明背景图像变化不是很大，只需要对当前帧图像
的背景图像进行像素更新即可，从而减少背景更新的计算量。
优选地，当变化率位于第一范围内时，获取与当前帧图像关联的动态矩阵，根据获
取的动态矩阵中每个元素的值，确定当前帧图像(t时刻帧图像)中对应进行像素更新的像
素点，进而使用公式对当前帧图像的背景图像
像素点Bi,j(t)进行更新，其中，为权重参数，Ii,j(t)为t时间的当前帧图像位置(i,j)的像
素值。
具体地，当变化率小于第一阈值时，小于0.5，当变化率等于或大于第一阈
值、且小于第二阈值时，大于0.5。与当前帧图像关联的动态矩阵
其中，λ为预设数值，当
Di,j(t)为0时，则认为像素(i,j)在连续λ帧中的改变较小，此时可确定对背景图像位置(i，
j)的像素值进行更新。
当变化率v位于第二范围内时，将背景图像设置为当前帧图像，即背景图像Bi,j(t)
＝Ii,j(t)。具体地，当变化率等于或大于第二阈值时，可确定像素(i,j)在连续λ帧中的改变
较大，此时直接将当前帧图像设置背景图像位置。
在本发明实施例中，通过对背景图像进行及时更新，可有效减少背景图像变化对
鸟类运动目标检测的影响，提高鸟类运动目标的检测效率。
在步骤S102中，对检测到的鸟类运动目标进行跟踪，以得到鸟类运动目标的形状
随时间变化的尺寸变化信号。
在本发明实施例中，对检测到的鸟类运动目标进行跟踪，以得到鸟类运动目标的
形状随时间变化的尺寸变化信号。优选的跟踪方式可参考实施例二的描述，在此不再赘述。
在步骤S103中，对尺寸变化信号进行预处理，以得到鸟类运动目标的、标准化的尺
寸变化信号。
在本发明实施例中，在得到鸟运动目标形状尺寸随时间的变化信号，对该变化信
息进行平滑处理、均值归零处理以及标准化处理，从而得到标准化的尺寸变化信号。为了方
便后续描述，在这里将鸟运动目标形状尺寸随时间的变化信号称为原始变化信号。
具体地，使用标准化的过滤器对获得的原始变化信号F(n)进行滤波，以得到平滑后
的变化信号GF(n)，从而为后续获得精确的鸟类翅膀振动频率提供基础，其中，F(n)＝[f1,…,
fN]，N是信号的长度。之后，对平滑后的变化信号GF(n)进行均值归零处理，在均值归零处理时
可认为两个连续局部最小值点Pi、Pi+1之间为翅膀拍打的一个周期。对每个拍打周期内的信
号进行均值归零处理，均值归零处理后的信号AF(n)，
其中l＝0,...,L，L表示局部最小值的个数。最后，对均值归零处理后的信号AF(n)进行标准
化处理，得到标准化的信号NF(n)，其中，NF(n)＝AF(n)/Vmax，Vmax是AF(n)(n＝1,...,N)的最
大值。
在步骤S104中，根据标准化的尺寸变化信号，对鸟类运动目标的翅膀拍打频率进
行分析，从而得到鸟类飞行视频中鸟类的翅膀振动频率。
在本发明实施例中，通过以下步骤对鸟类运动目标的翅膀拍打频率进行分析，从
而得到鸟类飞行视频中鸟类的翅膀振动频率：
(1)对标准化的尺寸变化信号进行短时傅里叶变换，得到表示波谱的多个谱矩阵。
在本发明实施例中，通过短时傅里叶变换(STFT)对标准化的尺寸变化信号进行分
析，即利用公式对标准
化的尺寸变化信号进行分析，其中，x(m)是信号，t是时间，k代表频率。w(m)是分析窗口，M是
w(m)的长度，这样，可将标准化的尺寸变化信号的时域分析和频域分析结合起来，对于每个
时间t值，可得到谱矩阵S(k)(k＝0,...,M-1)，而每个谱矩阵表示一个波谱。
(2)根据分析得到的多个谱矩阵计算每个波谱的平均频率。
为了得到定量的局部频率，计算每个波谱的平均频率该平均频率定义为
其中其中f(k)是第k个点频率的值、Fs是取样的
频率。
(3)根据计算得到的平均频率对应的时间点，对平均振动频率进行排序，以到得平
均频率序列将平均频率序列为鸟类飞行视频中鸟类的翅膀振动频率。
在本发明实施例中，通过对鸟类视频中的当前帧图像中的鸟类运动目标进行检
测，以获取鸟类运动目标的形状和位置，对检测到的鸟类运动目标进行跟踪，以得到鸟类运
动目标的形状随时间变化的尺寸变化信号，对尺寸变化信号进行预处理，以得到鸟类运动
目标的、标准化的尺寸变化信号，根据标准化的尺寸变化信号，对鸟类运动目标的翅膀拍打
频率进行分析，从而得到鸟类飞行视频中鸟类的翅膀振动频率，在简化鸟类翅膀振动频率
的获取过程的同时，保证了鸟类翅膀拍打频率的识别精度。
实施例二：
图2示出了本发明实施例一提供的基于视频图像的鸟类翅膀振动频率测量方法中
对检测到的鸟类运动目标进行跟踪的实现流程，为了便于说明，仅示出了与本发明实施例
相关的部分，详述如下：
在步骤S201中，初始化鸟类运动目标的马尔可夫链。
在本发明实施例中，为了便于对检测到的鸟类运动目标进行跟踪，将检测到的每
个鸟类运动目标表示为Xi,t＝(xi,t,yi,t,wi,t,hi,t,ri,t)，也可以称为鸟类运动目标t时刻的
状态，t时刻的马尔可夫链可从t-1时刻的马尔可夫链中随机选择一个抽样来进行初始化。
其中(xi,t,yi,t)是鸟类运动目标的中心、wi,t和hi,t分别是目标区域的宽度和长度、ri,t是目
标相对于拍摄相机的方位，Xi,t表示t时刻帧图像中的第i个鸟类运动目标。
在步骤S202中，根据鸟类运动目标状态的定义和t时刻的马尔可夫链的初始值，抽
样产生t时刻的马尔科夫链。
在本发明实施例中，构建鸟类运动目标t时刻的马尔科夫链时，通过下述方式进行
构建：
(1)通过产生一个在[0,1]之间均匀分布的随机数μ，根据随机数μ的值选择对应的
抽样模式进行抽样，以作为t时刻的马尔科夫链中一个状态；
在本发明实施例中，抽样模式包括交换运动模式和更新运动模式，如果μ<0.5，选
择交换运动模式进行抽样,否则选择更新运动模式进行抽样。
(2)确定t时刻需要更新的鸟类运动目标；
在本发明实施例中，在确定需要更新的鸟类运动目标时，根据鸟类运动目标的提
议选择概率qv(i)(或者qv(i,k))，确定一个鸟类运动目标i*(或两个鸟类运动目标i*,k*)进
行更新。
在更新运动模式中，Nt是t时刻鸟类运动目标的个数，其意义是等概率选
择一个鸟类运动目标i*，在保持其它鸟类运动目标不变的情况下，更新被选择的鸟类运动
目标i*的状态，即产生目标i*的状态抽样。
在交换运动模式中，定义鸟类运动目标的提议选择概率为
其中d(i,k)为目标i、k之间的距离。根据提议选择概率qv(i,k)选择两个鸟类运动目标i*、
k*，在保持其它鸟类运动目标参数不变的情况下，交换已选择鸟类运动目标i*、k*的参数。
(3)在确定需要更新的鸟类运动目标后，确定需要更新的鸟类运动目标的马尔科
夫链组成；
在本发明实施例中，从而得到更新后的马尔科夫链。在确定需要更新的鸟类运动
目标的马尔科夫链组成时，当前或新状态向量Xi,t的每个分量在Xi,t-1的基础上扩散一个符
合均值为零高斯分布的随机步长，更新模型定义为Xi,t/Xi,t-1＝Xi,t-1+[Δx,Δy,Δw,Δh,
Δr]，其中Δx、Δy、Δw、Δh以及Δr服从高斯随机游走，每个高斯游走的标准差决定了相
应参数的扩散范围。为了跟踪窗能及时的覆盖鸟类形状的改变，设置Δw和Δh对应的高斯
随机游走的标准差σw和σh为0.5。
(4)对选择的抽样模式计算抽样的接受率。
在本发明实施例中，根据步骤(1)选择的抽样模式计算抽样状态向量Xi,t的接受
率。
在更新运动模式中，接受率定义为
其中，是在更新
运动模式下对目标i*由步骤(3)中更新模型产生的马尔科夫链组成或提议状态组成，Zt是当
前t时刻的观测信息，为对状态的观测概率，φ(Xi,t,Xj,t)为两个交互
目标i、j间的交互势能，为与目标i*相互交互的目标集合，同时，使用由
即凯文史密斯(Kevin Smith)提出的二进制观
测模型，对目标i和j定义精度p和召回率r。
在交换运动模式中，状态接收率为
(5)根据计算得到抽样的接受率确定是否接收当前抽样Xi,t，以对鸟类运动目标的
马尔科夫链进行更新，以得到t时刻的马尔科夫链。
在本发明实施例中，如果计算机得到的状态接收率a≥1，接收当前抽样，即
如果提议被拒绝，复制前一个抽样作为当前第n个抽样，即
在步骤S203中，根据步骤S202中得到的t时刻的马尔科夫链，估计被跟踪的鸟类运
动目标在t时刻的状态向量。
在本发明实施例中，在贝叶斯多目标跟踪算法中应用马尔科夫链蒙特卡洛(MCMC)
抽样，以产生的N个不加权的粒子，即之后利用最大后验概率方
法估计被跟踪的目标在t时刻的状态向量。
在步骤S204中，对步骤S203中得到的鸟类运动目标在t时刻的状态，进行生死过程
检测，并修改被跟踪鸟类运动目标的个数。
在本发明实施例中，生(birth)过程检测是指如果在当前帧图像中检测出在前一
帧没有与之匹配的目标区域，则认为是有新的目标进入或者是被遮挡或跟丢的目标又重新
出现。对新进入的目标，初始化跟踪，并分配身份标识，对被遮挡或者跟丢的目标，从保存的
被遮挡或跟丢的目标信息中，获得被初始跟踪时的身份标识，重新建立跟踪。死(death)过
程检测是指如果对于某个跟踪框，在超过阈值的时间范围内没有与之匹配的区域块，则认
为目标消失。如果是在一帧图像的边缘消失，认为目标离开场景，删除该目标的跟踪信息，
否则认为目标被遮挡或跟丢，保存目标的跟踪信息，并撤销对该目标的跟踪。
在步骤S205中，对步骤S204中跟踪到的鸟类运动目标的尺寸信号进行记录。
在本发明实施例中，基于对鸟类运动目标的跟踪，记录在每一帧中每个跟踪框覆
盖的二值化前景图像的像素个数。这些像素个数的计数作为鸟类运动目标形状的尺寸信
号，这些尺寸信号随时间的变化即为鸟类运动目标尺寸随时间的变化信号。
本发明实施例在对检测到的鸟类运动目标进行跟踪时，利用视频中提取的连接图
像检测鸟类运动目标，进而得到鸟类运动目标状态的马尔科夫链，进而精确地得到鸟类运
动目标尺寸随时间的变化信号，简化了鸟类运动目标尺寸随时间的变化信号的获取过程，
从而为鸟类运动频率分析提供了较为精确的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以
通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，
所述的存储介质，如ROM/RAM、磁盘、光盘等。
实施例三：
图3示出了本发明实施例三提供的基于视频图像的鸟类翅膀振动频率测量装置的
结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
目标检测单元31，用于从输入的鸟类飞行视频中提取帧图像，对提取得到的当前
帧图像中的鸟类运动目标进行检测，以获取鸟类运动目标的形状和位置；
目标跟踪单元32，用于对检测到的鸟类运动目标进行跟踪，以得到鸟类运动目标
的形状随时间变化的尺寸变化信号；
信号预处理单元33，用于对尺寸变化信号进行预处理，以得到鸟类运动目标的、标
准化的尺寸变化信号；以及
频率分析单元34，用于根据标准化的尺寸变化信号，对鸟类运动目标的翅膀拍打
频率进行分析，从而得到鸟类飞行视频中鸟类的翅膀振动频率。
优选地，如图4所示，目标检测单元31包括：
背景更新单元311，用于获取当前帧图像相对于预设数量的相邻连续帧图像的变
化率，根据变化率对当前帧图像的背景图像进行更新；以及
二值化单元312，用于从当前帧图像减去更新后的背景图像，以获取前景图像，对
前景图像进行二值化，从二值化后的前景图像中计算物体轮廓，以得到鸟类运动目标。
其中，如图5所示，背景更新单元311可包括
变化率获取单元3111，用于使用公式获取当前帧图像相对于预
设数量的相邻连续帧图像的变化率，其中，w、h分别为当前帧图像的宽度和高度，Fi,j(t)为t
时间的帧图像与预设时间帧图像的像素差；
像素更新单元3112，用于当变化率位于第一范围内时，对当前帧图像的背景图像
进行像素更新；以及
图像更新单元3113，用于当变化率位于第二范围内时，将背景图像设置为当前帧
图像。
在本发明实施例中，鸟类翅膀振动频率测量装置的各单元可由相应的硬件或软件
单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以
限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再描述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精
神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。