基于双行视差时空图的公交车客流自动计数方法及其系统.pdf

本发明公开了一种基于双行视差时空图的公交车客流自动计数方法及其系统，它包括左、右摄像机、微处理器、红外LED灯等。该方法步骤包括：平行同步左、右摄像机获得in计数线和out计数线上生成的4幅行灰度时空图；由上述行灰度时空图形成in计数线和out计数线上的2幅运动目标行视差时空图；对行视差时空图中的运动目标进行提取、标记；对运动目标进行分割与合并；对运动目标进行最佳匹配，获得客流运动方向的判断和完成自动计数。该方法及其系统适用在环境复杂的公交车上进行客流计数，系统结构紧凑，鲁棒性高。该方法采用双行计数线和立体视觉技术提高了系统的抗干扰性和实时性，适用于光线变化剧烈的计数场景，能排除阴影对计数结果的干扰。

1、  一种基于双行视差时空图的公交车客流自动计数系统，它包括装在公交车门顶部的平行同步左、右摄像机、微处理器，微处理器包括行灰度时空图生成模块、行视差时空图生成模块、运动目标的提取和串行标记模块、运动目标的分割与合并模块、运动目标匹配及方向判断和计数模块，左、右摄像机分别与微处理器相连。

2、  根据权利要求1所述的基于双行视差时空图的公交车客流自动计数系统，其特征在于，上述微处理器接有红外LED灯。

3、  一种双行视差时空图的公交车客流自动计数方法，其特征在于该计数方法包括如下步骤：(1)、用平行同步左、右摄像机获得左、右二个同步视频图像序列，在与乘客运动方向垂直的方向且保持一定间距的in计数线和out计数线上形成左、右各2幅行灰度时空图；
(2)、由上述行灰度时空图计算出in计数线和out计数线上的运动目标的视差，分别形成双计数线上的2幅运动目标行视差时空图；
(3)、对上述行视差时空图中的运动目标进行提取、标记；
(4)、对上述目标进行分割与合并；
(5)、对运动目标进行最佳匹配，获得客流运动方向的判断和完成自动计数。

4、  根据权利要求3所述的基于双行视差时空图的公交车客流自动计数方法，其特征在于，上述步骤(2)生成行视差时空图，左、右行灰度时空图通过微处理器由行视差时空图生成模块处理，其具体步骤如下：
(2-1)、采用3行行帧差法检测计数线上可能的运动目标候选点，3行是指当前行及上2行，将3行图像两两之间的灰度差绝对值之和作为当前行帧差，判断运动候选目标的阈值为OBJ_TH，若当前行像素点的帧差大于OBJ_TH，则认为该像素是运动区域候选点，否则认为是背景点；
(2-2)、计算当前处理行的视差，如果像素为目标候选点，则计算该像素的视差，否则将其视差当作0处理，将像素的视差做灰度变换，最后获得视差灰度在0~255范围内的行视差；(2-3)、将每帧计数线上得到的行视差数据按时间轴依次展开，并取最近的固定行数形成行视差时空图，对in计数线和out计数线重复上述步骤(2-1)~(2-3)，分别得到in计数线和out计数线上的2幅行视差时空图。

5、  根据权利要求4所述的基于双行视差时空图的公交车客流自动计数方法，其特征在于，上述步骤(3)对上述行视差时空图中的运动目标的提取、标记，上述左、右行视差时空图通过微处理器由运动目标的提取与串行标记模块处理，其具体步骤如下：
(3-1)、采用3×11的形态学平滑算子对当前行的视差进行平滑处理，3行视差是当前行视差及前后各一行视差，所以行视差时空图比行灰度时空图在时间上延迟一帧；
(3-2)、根据运动目标的视差判断当前行是否是存在真正的运动目标，如果像素视差值大于PARA_MIN，则认为是运动目标点，否则就认为是背景点；当检测到当前处理行有目标出现，则更新该目标区域的信息，并判断每个目标连通区域是否结束，如果是新目标区域，则开辟一个新的链表结点存储该新目标区域的信息；
(3-3)、检测到目标连通区域已结束，计算其外接矩形的宽度，如果宽度大于OBJ_WIDTH_min时，则认为该连通区域是目标，将该目标的信息存储到RECT_TAG结构数组中，并标记目标连通域和记录计数线出现目标连通域的个数，如果宽度小于OBJ_WIDTH_min，则认为该连通区域是假目标，对该目标块做丢弃处理，对in计数线和out计数线的行视差重复上述步骤(3-1)~(3-3)，实现运动目标提取与串行标记。

6、  根据权利要求5所述的基于双行视差时空图的公交车客流自动计数方法，其特征在于，上述步骤(4)对上述运动目标的分割与合并，上述运动目标经微处理器由运动目标的合并分割模块处理，其具体步骤如下：
(4-1)、当计数线上已标记目标的个数不为0时，检测RECT_TAG数组中每个目标区域的视差灰度直方图和面积，根据目标区域的面积判断该目标区域是否需要分割，如果其面积大于OBJ_AREA_TH0时，执行步骤(4-2)，否则，执行步骤(4-3)；
(4-2)、根据该目标区域的视差灰度直方图，把视差灰度值动态范围的某个比例作为分割阈值，把低于该阈值的目标区域标记为背景，分割后对该目标的外接矩形区域执行步骤(4-3)；
(4-3)、检测计数线上已标记目标的个数，如果大于1，判断已标记目标中两两目标间是否满足目标合并的条件，如果满足，合并目标，并更新结构数组中目标区域的信息和目标个数，满足下列条件的两个目标需要合并：
(1)  两个目标在时间轴上间断不超过3帧；
(2)  两个目标在水平方向上有交叉，并且要求交叉区域的宽度大于两个目标中宽度较小目标宽度的50％；
(3)  两个目标区域的视差平均值之差小于OBJ_GRAY_DIFmax，对右视图中in计数线和out计数线上的运动目标重复执行步骤(4-1)~(4-3)，分别实现in计数线和out计数线上目标的分割与合并。

7、  根据权利要求6所述的基于双行视差时空图的公交车客流自动计数方法，其特征在于，上述步骤(5)、运动目标的匹配、方向判断和计数，上述经分割、合并后的运动目标通过微处理器处理由运动目标的匹配和计数模块处理，其具体步骤如下：
(5-1)、检测in计数线上已标记目标的个数g_iObjCountIn是否为0，如果不为0，检测每个目标经过的帧数frame_pass，如果frame_pass大于FRAME_END，执行步骤(5-2)，如果frame_pass大于FRAME_START，且小于FRAME_END，执行步骤(5-3)；
(5-2)、上述目标在out计数线的匹配范围内没有得到匹配目标，将该目标区域信息从in计数线的目标结构数组中删除；
(5-3)、在out计数线上出现的目标中，搜索与in计数线上待匹配目标的最佳匹配目标，如果得到最佳匹配目标，根据两个匹配目标的质心在时间轴上位置关系，判断目标运动方向，如果in计数线上目标的质心在时间轴上先于out计数线上目标的质心，则该目标为上车，反之，则为下车，更新上下车计数器，将两个匹配目标的信息分别从in计数线和out计数线的结构数组中删除。

基于双行视差时空图的公交车客流自动计数方法及其系统
技术领域
本发明是一种涉及用于公交客流统计，具体地说是涉及一种基于双行视差时空图的公交车客流自动计数方法及其系统。该方法采用立体视觉技术进行运动目标的检测、匹配和计数，尤其适用于公交车这种复杂场景中的客流计数。
背景技术
随着人口的急剧增长和人们出行的频繁，我国的交通运输系统面临巨大的压力，出现了交通阻塞、资源浪费、环境污染等一系列问题。而实现智能交通系统(ITS)是解决一系列交通问题的关键。在整个交通运输系统中，城市公共交通系统是其重要的组成部分。城市公共交通具有运输量大、集约化经营、节省能源和道路空间、环境污染小等优点。国内外各大城市都相继提出了优先发展城市公交、加快实现公共交通的信息化和智能化的策略。公共交通系统中及时准确地获取公交客流数据，是公交管理部门合理安排公交线路、优化调度公交车辆、提高运营效率的最主要依据，因此对公交客流数据统计方法的研究具有重大的实用价值。
目前已提出的自动客流计数方法主要有基于主动红外感应、被动红外感应、踏板压力传感、视频图像处理等方法。基于主动红外感应的系统，该技术成熟，抗干扰能力强，但无论是采用单束还是多束红外光，都不能解决拥挤客流的计数；被动式红外计数技术通过检测人体发出的热红外进行计数，可区分有生命和无生命的对象，但易受乘客着装、环境温度等的影响，也无法适应拥挤客流的计数。基于踏板压力传感器的计数方法对人的个体差异要求较小，但要求乘客依次上车、不可拥挤，并且无法较好的判别客流的进出方向，压力传感器的故障率也较高。
基于视频图像处理技术的方法目前是最有发展前途的计数方法，分为基于单目和双目摄像两类。前一种方法利用目标的灰度、色度信息进行运动目标的分割，但对计数场景中光线的变化极其敏感，阴影和干扰物对运动目标提取的影响也非常大，难以准确地进行计数；后一种方法利用了运动目标的三维深度信息，该方法可以较好地解决前一种方法存在的光照变化和阴影的问题，但现有的方法计算量大，全局运动目标跟踪困难，系统的实时性和准确性受到了极大的限制。
发明内容
本发明的目的在于针对现有客流计数技术中存在的技术问题，提供一种基于双行视差时空图的公交车客流自动计数方法及其系统，它适合在公交车上的复杂计数场景中进行客流计数，计数算法能够很好地满足系统的实时性和准确性要求。
为了达到上述目的，本发明的技术方案是：
上述基于双行视差时空图的公交车客流自动计数系统，它包括装在公交车门顶部的平行同步左、右摄像机、微处理器，微处理器包括行灰度时空图生成模块、行视差时空图生成模块、运动目标的提取和串行标记模块、运动目标的分割与合并模块、运动目标匹配及方向判断和计数模块，左、右摄像机分别与微处理器相连，并有红外LED灯与微处理器相连。
上述双行视差时空图的公交车客流自动计数方法，其特征在于该计数方法包括如下步骤：(1)、用平行同步左、右摄像机获得左、右二个同步视频图像序列，在与乘客运动方向垂直的方向且保持一定间距的in计数线和out计数线上生成4幅行灰度时空图；(2)、由上述行灰度时空图计算出in计数线和out计数线上的运动目标的视差，分别形成in计数线和out计数线上的2幅运动目标视差时空图；(3)、对上述行视差时空图中的运动目标进行提取、标记；(4)、对上述目标进行分割与合并；(5)、对运动目标进行最佳匹配，获得客流运动方向的判断和完成自动计数。
本发明与现有客流采集技术相比较，具有如下特征和优点：本发明采用双行计数线，仅对计数线上的数据进行处理和目标检测与匹配，能大大减少计算量，并提高系统的抗干扰性；利用行帧差法提取出所有可能的运动目标，再通过视差阈值提取真正的运动目标，与仅利用帧差提取运动目标的方法相比，几乎不受光照变化及阴影的影响。本发明提出的基于双行视差时空图的公交车客流自动计数方法及其系统适用于环境复杂的计数场所，并能够很好地满足计数系统的实时性和准确性要求。
附图说明
图1是基于双行视差时空图的公交车客流自动计数系统的结构框图。
图2是装在公交车门顶部的平行同步左、右摄像机和在与乘客上下车方向垂直的方向上且相隔一定间距设置的in和out两条计数线的示意图。
图3是系统软件实现的处理框图。
图4是基于双行视差时空图的公交车客流自动计数方法的工作流程示意图。
具体实施方式
以下将结合附图对本发明的基于双行视差时空图的公交车客流自动计数方法及其系统作进一步的详细描述。
如图1、2所示，上述基于双行视差时空图的公交车客流自动计数系统，它包括装在公交车门顶部的平行同步左、右摄像机A1、A2、DSP微处理器B、红外LED灯C，DSP微处理器B包括行灰度时空图生成模块B1、行视差时空图生成模块B2、运动目标的提取和串行标记模块B3、运动目标的分割与合并模块B4、运动目标匹配及方向判断和计数模块B5，左、右摄像机A1、A2分别与DSP微处理器B相连。该系统可通过RS 485接口与车载系统实时通信，传送计数结果，并接受其控制；通过100base-T网络接口进行系统参数设置及实时数字视频的输出；配置模拟视频输出接口用于视频图像的监控；配置受微处理器控制的红外LED灯实现夜间照明补光。
如图1~3所示，上述双行视差时空图的公交车客流自动计数方法，其特征在于该计数方法包括如下步骤：(1)、用平行同步左、右摄像机获得左、右二个同步视频图像序列，在与乘客运动方向垂直的方向且保持一定间距的in计数线和out计数线上生成4幅行灰度时空图；(2)、由上述行灰度时空图计算出in计数线和out计数线上的运动目标的视差，分别形成in计数线和out计数线上的2幅运动目标行视差时空图；(3)、对上述行视差时空图中的运动目标进行提取、标记；(4)、对上述目标进行分割与合并；(5)、对运动目标进行最佳匹配，获得客流运动方向的判断和完成自动计数。
上述步骤(1)生成行灰度时空图，装在公交车门顶部的平行同步左、右摄像机从2个位置监视同一场景，在监视场景中垂直乘客上下车的方向上相隔一定间距设置2条计数线(in计数线和out计数线)，获得左、右2个同步图像序列，将其通过微处理器，由行灰度时空图生成模块处理。左、右视频图像中各有2条计数线分别对应同一物理场景中in计数线和out计数线。从每帧视频图像中提取计数线上的图像行灰度数据按时间轴逐行依次展开，并取最近的固定行数形成左右各2幅，共4幅动态行灰度时空图。
上述步骤(2)生成行视差时空图，上述左、右行灰度时空图通过微处理器由行视差时空图生成模块处理，其具体步骤如下。
(2-1)、利用行帧差提取计数线上可能的运动目标：为了减少计算量，同时减少静止背景的影响，采用3行行帧差法在右视图中检测可能的运动目标候选点，3行是指当前行及上2行，将3行图像两两之间的灰度差绝对值之和作为当前行帧差，判断运动候选目标的阈值为OBJ_TH，若当前行像素点的帧差大于OBJ_TH，则认为该点是运动区域候选点，否则认为是背景点。
(2-2)、计算当前处理行的视差，如果像素为目标候选点，则计算该像素的视差，否则将其视差当作0处理，为了对行视差图进行后续图像处理，将像素的视差做灰度变换，最后获得视差灰度在0~255范围内的行视差。像素匹配是视差计算的关键，根据极线约束条件，右视图计数线上像素点的匹配点在左视图的对应计数线上。视差计算方法如下：
首先在右视图的计数线上检测运动候选目标点，然后到左视图的对应计数线上搜索最佳匹配目标点，并采用以目标候选点和待匹配像素点为中心长为2W+1的两个一维窗口的灰度互相关函数作为相似度的测量，根据相关系数的极值寻找最佳匹配像素点。其中，匹配窗口的长度根据窗口内像素灰度的方差作动态调整，方差越小，窗口越大，用于解决灰度平坦区域的视差匹配问题。在匹配过程中，根据匹配准则的唯一性约束、连续性约束条件判断所求视差的合理性并进行调整。
(2-3)、将每帧计数线上得到的行视差灰度数据按时间轴依次展开，并取最近的固定行数形成行视差时空图。
对in计数线和out计数线重复上述步骤(2-1)~(2-3)，分别得到in计数线和out计数线上的2幅行视差时空图。
上述步骤(3)、对上述行视差时空图中的运动目标的提取、标记，上述左、右行视差时空图通过微处理器由运动目标的提取与串行标记模块处理。串行标记是指运动目标的标记只在当前行进行，每帧只处理in和out线上的视差数据，通过时间轴上的串行计算得到行视差时空图中的运动目标。该模块中自定义2个结构体OBJ_TAG和RECT_TAG，用一个OBJ_TAG结构变量记录一个没有完全进入的目标区域信息，以建立动态链表方式记录同时出现多个不连通的目标区域信息，用一个RECT TAG结构变量记录一个已经完全进入的目标区域信息，以该结构数组存储多个完全进入的目标区域信息。
(3-1)、采用3×11的形态学平滑算子对当前行的视差进行平滑处理。3行视差是当前行视差及前后各一行视差，所以行视差时空图比行灰度时空图在时间上延迟一帧。
(3-2)、根据运动目标的视差判断当前行是否是存在真正的运动目标(乘客)，如果像素视差值大于PARA_MIN则认为是运动目标点，否则就认为是由于光照变化等干扰因素所造成的虚假运动目标点，作为背景点对待。当检测到当前处理行有目标出现，判断该目标段是已出现目标区域的部分，还是新目标区域的开始，如果是已有目标区域的部分，则更新该目标区域的信息，并判断每个目标连通区域是否结束。如果是新目标区域，则开辟一个新的链表结点存储该新目标区域的信息。
(3-3)、检测到目标连通区域已结束，计算其外接矩形的宽度，如果宽度大于OBJ_WIDTH_min时，则认为该连通区域是目标，将该目标的信息存储到RECT_TAG结构数组中，并标记目标连通域和记录计数线出现目标连通域的个数，如果宽度小于OBJ_WIDTH_min，则认为该连通区域是假目标，对该目标块做丢弃处理。
对in计数线和out计数线的行视差重复上述步骤(3-1)~(3-3)，实现运动目标提取与串行标记，g_iObjCountIn和g_iObjCountOut分别记录in和out计数线上出现的目标个数。
上述步骤(4)、对上述运动目标的分割与合并：上述运动目标经微处理器由运动目标的分割合并模块处理。由于客流的拥挤和光照变化，有些运动目标容易发生合并，而有些运动目标则发生分裂，需要进行相应的分割和合并。
(4-1)、当计数线上已标记目标的个数不为0时，检测RECT_TAG数组中每个目标区域的视差灰度直方图和面积，根据目标区域的面积判断该目标区域是否需要分割，如果其面积大于OBJ_AREA_TH0时，执行步骤(4-2)，否则，执行步骤(4-3)。
(4-2)、根据该目标区域的视差灰度直方图，把视差灰度值动态范围的某个比例作为分割阈值，把低于该阈值的目标区域标记为背景，分割后对该目标的外接矩形区域执行步骤3，对该矩形区域重新进行平滑和标记。
(4-3)、检测计数线上已标记目标的个数，如果大于1，判断已标记目标中两两目标间是否满足目标合并的条件，如果满足，合并目标，并更新结构数组中目标区域的信息和目标个数。满足下列条件的两个目标需要合并：
(1)两个目标在时间轴上间断不超过3帧。
(2)两个目标在水平方向上有交叉，并且要求交叉区域的宽度大于两个目标中宽度较小目标宽度的50％。
(3)两个目标区域的视差平均值之差小于OBJ_GRAY_DIFmax。
对右视图中in计数线和out计数线上的运动目标重复执行步骤(4-1)~(4-3)、分别实现in计数线和out计数线上目标的分割与合并。
上述步骤(5)、运动目标的匹配、方向判断和计数：上述经合并、分割后的运动目标通过微处理器处理由运动目标的匹配和计数模块处理。
(5-1)、检测in计数线上已标记目标的个数g_iObjCountIn是否为0，如果不为0，检测每个目标经过的帧数frame_pass，如果frame_pass大于FRAME_END，执行步骤(5-2)，如果frame_pass大于FRAME_START，且小于FRAME_END，执行步骤(5-3)。
(5-2)、该目标在out计数线的匹配范围内没有得到匹配目标，将该目标区域信息从in计数线的目标结构数组中删除。
(5-3)、在out计数线上出现的目标中，搜索与in计数线上该目标最佳匹配的目标，如果得到最佳匹配目标，根据两个匹配目标的质心在时间轴上位置关系，判断目标运动方向，更新上下车计数器，如果in计数线上目标的质心在时间轴上先于out计数线上目标的质心，则该目标为上车，反之，则为下车，更新上下车计数器。将两个匹配目标的信息分别从in计数线和out计数线的结构数组中删除。当在out计数线上存在多个待匹配目标时，根据代价函数求出最佳匹配目标，代价函数定义如下：
F(x，y_n)＝aS(x，y_n)+bD_x(x，y_n)+cD_y(x，y_n)
该函数计算in计数线上目标x与out线上待匹配目标y_n的相似度，其中，S(x，y_n)为x和y_n的视差灰度平均值之差的绝对值，D_x(x，y_n)为运动目标间的水平方向距离，D_y(x，y_n)为运动目标间的垂直方向距离，a，b，c是加权值。F(x，y_n)值越小，说明两个目标越匹配，选择使F(x，y_n)值最小的目标y_n为最佳匹配目标。
重复循环执行步骤1到步骤5，完成公交车客流自动计数。