公交车客流量实时统计方法.pdf

《公交车客流量实时统计方法.pdf》由会员分享，可在线阅读，更多相关《公交车客流量实时统计方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910869554.8 (22)申请日 2019.09.16 (71)申请人 天津通卡智能网络科技股份有限公 司 地址 300000 天津市河北区辰纬路3号 (72)发明人 靳展章国泰钟明旸王红广 (74)专利代理机构 天津佳盟知识产权代理有限 公司 12002 代理人 李淑惠 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种公交车客流量实时统计方法 (57)摘要 本发明涉及一种公交车客流量实时统计方。

2、 法。 目的是提供一种对视频图像中的头部进行检 测并跟踪的方法。 所述方法的视频数据是利用摄 像头从公交车前门、 后门的顶部区域所拍摄的客 流视频数据， 统计方法包括以下步骤： 前端数据 采集、 模型训练、 跟踪头部、 客流量计数； 本发明 相对于现有技术的进步在于： 利用深度学习方法 进行头部检测并具有实时性， 同时能够高效精确 地检测出客流量。 权利要求书3页 说明书5页 附图2页 CN 110610159 A 2019.12.24 CN 110610159 A 1.一种公交车客流量实时统计方法， 其特征在于， 统计方法包括以下步骤： 步骤1： 前端数据采集： 步骤1.1： 视频采集： 在。

3、公交车车门正上方垂直安装摄像头， 采集乘客上下车的图像视 频； 步骤1.2： 视频分帧:对视频进行分帧； 分成640*480的RGB三通道图像； 步骤1.3： 图像缩放： 对每帧图像进行缩放， 缩放成224*224的数据； 步骤2： 模型训练： 步骤2.1： 特征计算： 利用3*3的卷积核对图像的特征进行提取； 随后为了减少特征的计 算时间， 将原始的卷积操作更改为深度可分离的卷积操作， 并利用归一化和非线性激活函 数对特征映射进行一系列的数学变换， 利用极大值下采样的方法， 对特征映射的维度进行 成倍地缩小； 利用大小为1*1、 步长为1的卷积对特征映射进行卷积， 随后利用归一化和非线 性激。

4、活函数对特征映射进行数学变换， 保证特征映射的通道数； 步骤2.2： 特征提取： 由于目标尺寸不同， 需要提取不同维度的特征映射； 步骤2.3： 锚框提取： 在维度不同的特征映射上， 以每一个特征点为中心， 选取四种不同 尺度的框， 将所有的框作为目标分类和回归的候选框； 步骤2.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所得到 的候选框对每个类别的预测分数， 并和地面真值进行计较， 计算二者的交叉熵， 得出分类损 失； 利用随机梯度下降的方法对网络的参数进行优化， 直至分类损失达到规定的范围以内； 步骤2.5： 目标回归： 利用深度可分离卷积对特征映射进行卷积。

5、， 并得出步骤2.3所得到 的候选框的中心点及宽高的预测值， 并和地面真值进行计较， 计算二者的线性回归函数， 得 出线性回归损失； 利用随机梯度下降的方法对网络的参数进行优化， 直至线性回归损失达 到规定的范围以内； 步骤3： 头部检测： 步骤3.1： 特征计算： 利用3*3的卷积核对图像的特征进行提取； 随后为了减少特征的计 算时间， 将原始的卷积操作更改为深度可分离的卷积操作， 并利用归一化和非线性激活函 数对特征映射进行一系列的数学变换， 利用极大值下采样的方法， 对特征映射的维度进行 成倍地缩小； 利用大小为1*1、 步长为1的卷积对特征映射进行卷积， 随后利用归一化和非线 性激活函。

6、数对特征映射进行数学变换， 保证特征映射的通道数； 步骤3.2： 特征提取： 由于目标尺寸不同， 需要提取不同维度的特征映射； 步骤3.3： 锚框提取： 在维度不同的特征映射上； 以每一个特征点为中心， 选取四种不同 尺度的框； 将所有的框作为目标分类和回归的候选框； 步骤3.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所得到 的候选框对每个类别的预测分数， 利用和非极大值抑制的方法对候选框进行筛选； 步骤3.5： 目标回归： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所得到 的候选框的中心点及宽高的预测值， 利用和非极大值抑制的方法对候选框进行筛选。

7、 步骤4： 跟踪头部： 用相关的核滤波器方法对所述的检测窗口进行跟踪， 并形成轨迹， 若所述轨迹已越过 指定的界限， 说明该乘客已经完成上车或者下车的动作； 权利要求书 1/3 页 2 CN 110610159 A 2 步骤5： 客流量计数： 如果乘客已经完成上车或者下车的动作， 算法会对客流量进行增加1的数据更新， 否 则， 客流量会保持不变。 2.根据权利要求1所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.1的 具体过程如下： 先利用大小为3*3、 步长为1的卷积核对RGB图像进行， 随后利用归一化和非 线性激活函数对特征映射进行数学变换， 利用极大值下采样的方法， 对特征。

8、映射进行下采 样； 随后， 利用大小为3*3、 步长为1的深度可分离卷积对特征映射进行卷积， 随后利用归一 化和非线性激活函数对特征映射进行数学变换， 利用极大值下采样的方法， 对特征映射进 行下采样； 利用大小为1*1、 步长为1的卷积对特征映射进行卷积， 随后利用归一化和非线性 激活函数对特征映射进行数学变换， 保证特征映射的通道数。 3.根据权利要求1所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.2中 特征映射的选取方法如下： 由于目标的尺寸大小不同， 所有需要选择不同的特征映射； 对于 小目标来说， 需要要选取较大的特征映射进行分类与回归； 对于大目标来说， 需要要选取。

9、较 小的特征映射进行分类与回归。 4.根据权利要求1所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.3中 候选框的选取方法： 在不同维度的特征映射上； 以每一个特征点为中心， 选取四种不同尺度 的框； 这样可以将图像所有区域全部覆盖， 以免有漏检的部分。 5.根据权利要求1所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.4中 交叉熵损失的计算方式如下： yi表示地面真值， 表示预测值,n是候选框的个数。 6.根据权利要求1所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.5中 线性回归损失的计算方式如下： xi， yi， wi， hi表示地面真值，表示预。

10、测值, 是系数， n是候选框的个数。 7.根据权利要求6所述一种公交车客流量实时统计方法， 其特征在于， 所述步骤2.5中 进一步获取总体损失L， L的计算方式如下： LLloc+ Lreg 其中， 是系数； 利用随机梯度下降的方法对网络的参数进行优化， 直至总体损失达到规定的范围以 内。 8.根据权利要求1-7任何一项所述一种公交车客流量实时统计方法， 其特征在于， 在步 骤2和步骤3中， 均在CPU或者GPU上完成端到端的运行。 9.根据权利要求1-7任何一项所述一种公交车客流量实时统计方法， 其特征在于， 在步 骤4中， 相关的核滤波器根据前后帧的信息训练出一个相关滤波器， 并与新输入的。

11、帧进行相 关性计算， 得到的置信图就是预测的跟踪结果； 得分最高的那个点或者块就是跟踪结果。 权利要求书 2/3 页 3 CN 110610159 A 3 10.根据权利要求1-7任何一项所述一种公交车客流量实时统计方法， 其特征在于， 还 包括： 步骤6： 将每帧图像检测到的乘客头部的坐标和宽高保存到检测结果的文件中， 并将每 帧图像进行保存； 当公交车停止运行的时候， 所述方法会将最终的客流量输出。 权利要求书 3/3 页 4 CN 110610159 A 4 一种公交车客流量实时统计方法 技术领域： 0001 本发明涉及模式识别中的图像处理技术领域， 进一步涉及一种公交车客流量实时 统计。

12、方法。 背景技术： 0002 红外线装置和压力传感器的方法是进行客流统计的一种技术， 由于检测误差较 大， 因此， 该方法并没有沿用至今并逐渐地被摒弃。 近几年来， 随着深度学习领域和GPU并行 计算领域的不断发展， 计算机视觉方向得到了迅速发展。 客流统计作为图像处理领域中一 个重要的应用， 也是目前智能视频监控中的一个新的领域和方向。 0003 近几年， 客流统计的方法主要基于三大类： 基于特征点、 基于人体分割与跟踪和基 于深度学习的检测方法。 基于特征点、 基于人体分割与跟踪的检测方法的准确性有待提高。 由于硬件条件不断提升和推广， 基于深度学习的检测方法越来越受到重视与推广。 发明内。

13、容： 0004 本发明目的是提供一种对视频图像中的人头进行检测的方法， 并实现端到端的训 练。 这种方法应该能够高效精确地检测出客流量。 具体技术方案如下： 0005 所述方法的视频数据是利用摄像头从公交车前门、 后门的顶部区域所拍摄的客流 视频数据， 统计方法包括以下步骤： 0006 步骤1： 前端数据采集： 0007 步骤1.1： 视频采集： 在公交车车门正上方垂直安装摄像头， 采集乘客上下车的图 像视频； 0008 步骤1.2： 视频分帧:对视频进行分帧， 分成640*480的RGB三通道图像； 0009 步骤1.3： 图像缩放： 对每帧图像进行缩放， 缩放成224*224的数据； 00。

14、10 步骤2： 模型训练； 0011 步骤2.1： 特征计算： 利用3*3的卷积核对图像的特征进行提取； 随后为了减少特征 的计算时间， 将原始的卷积操作更改为深度可分离的卷积操作， 并利用归一化Batch- Normalization和非线性激活函数Relu对特征映射进行一系列的数学变换， 利用极大值下 采样maxpooling的方法， 对特征映射的维度进行成倍地缩小； 利用大小为1*1、 步长为1的卷 积对特征映射进行卷积， 随后利用归一化Batch-Normalization和非线性激活函数Relu对 特征映射进行数学变换， 保证特征映射的通道数； 0012 步骤2.2： 特征提取： 由。

15、于目标尺寸不同， 需要提取不同维度的特征映射； 0013 步骤2.3： 锚框提取： 在维度不同的特征映射上； 以每一个特征点为中心， 选取四种 不同尺度的框； 将所有的框作为目标分类和回归的候选框； 0014 步骤2.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框对每个类别的预测分数， 并和地面真值进行计较， 计算二者的交叉熵， 得出分 类损失； 利用随机梯度下降的方法对网络的参数进行优化， 直至分类损失达到规定的范围 说明书 1/5 页 5 CN 110610159 A 5 以内； 0015 步骤2.5： 目标回归： 利用深度可分离卷积对特征映射进。

16、行卷积， 并得出步骤2.3所 得到的候选框的中心点及宽高的预测值， 并和地面真值进行计较， 计算二者的线性回归函 数， 得出线性回归损失； 利用随机梯度下降的方法对网络的参数进行优化， 直至线性回归损 失达到规定的范围以内； 0016 步骤3： 头部检测； 0017 步骤3.1： 特征计算： 利用3*3的卷积核对图像的特征进行提取； 随后为了减少特征 的计算时间， 将原始的卷积操作更改为深度可分离的卷积操作， 并利用归一化Batch- Normalization和非线性激活函数Relu对特征映射进行数学变换， 利用极大值下采样 maxpooling的方法， 对特征映射的维度进行成倍地缩小； 利。

17、用大小为1*1、 步长为1的卷积对 特征映射进行卷积， 随后利用归一化Batch-Normalization和非线性激活函数Relu对特征 映射进行数学变换， 保证特征映射的通道数； 0018 步骤3.2： 特征提取： 由于目标尺寸不同， 需要提取不同维度的特征映射； 0019 步骤3.3： 锚框提取： 在维度不同的特征映射上； 以每一个特征点为中心， 选取四种 不同尺度的框； 将所有的框作为目标分类和回归的候选框； 0020 步骤3.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框对每个类别的预测分数， 利用Intersection over Uni。

18、on(Ious)和非极大值 抑制(NMS)的方法对候选框进行筛选； 0021 步骤3.5： 目标回归： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框的中心点及宽高的预测值， 利用Intersection over Union(Ious)和非极大 值抑制(NMS)的方法对候选框进行筛选； 0022 步骤4： 跟踪头部： 核滤波器方法对所述的检测窗口进行跟踪， 并形成轨迹， 若所述 轨迹已越过指定的界限， 说明该乘客已经完成上车或者下车的动作； 0023 跟踪头部阶段： 0024 步骤5： 客流量计数： 如果乘客已经完成上/下车的动作， 算法会对客流量进行增加 1的数据。

19、更新， 否则， 客流量会保持不变； 0025 作为优选方案之一， 所述步骤2.1的具体过程如下： 先利用大小为3*3、 步长为1的 卷积核对RGB图像进行， 随后利用归一化Batch-Normalization和非线性激活函数Relu对特 征映射进行数学变换， 利用极大值下采样maxpooling的方法， 对特征映射进行下采样； 随 后， 利用大小为3*3、 步长为1的深度可分离卷积对特征映射进行卷积， 随后利用归一化 Batch-Normalization和非线性激活函数Relu对特征映射进行数学变换， 利用极大值下采 样maxpooling的方法， 对特征映射进行下采样； 利用大小为1*1。

20、、 步长为1的卷积对特征映射 进行卷积， 随后利用归一化Batch-Normalization和非线性激活函数Relu对特征映射进行 数学变换， 保证特征映射的通道数。 0026 作为优选方案之二， 所述步骤2.2中特征映射的选取方法如下： 由于目标的尺寸大 小不同， 所有需要选择不同的特征映射； 对于小目标来说， 需要要选取较大的特征映射进行 分类与回归； 对于大目标来说， 需要要选取较小的特征映射进行分类与回归。 0027 作为优选方案之三， 在步骤2.3中， 候选框的选取方法： 在不同维度的特征映射上， 以每一个特征点为中心， 选取四种不同尺度的框； 这样可以将图像所有区域全部覆盖， 以。

21、免 说明书 2/5 页 6 CN 110610159 A 6 有漏检的部分。 0028 作为优选方案之四， 在步骤2.4中， 交叉熵损失的计算方式如下： 0029 0030yi表示地面真值， 表示预测值,n是候选框的个数 0031 作为优选方案之五， 还包括步骤2.5， 线性回归损失的计算方式如下： 0032 0033xi， yi， wi， hi表示地面真值，表示预测值, 是系数， 需要根据具 体场景选择合适数值， n是候选框的个数。 0034 作为优选方案之五的进一步优选方案， 所述步骤2.5中进一步获取总体损失L， L的 计算方式如下： 0035 LLloc+ Lreg 0036 其中， 。

22、是系数； 0037 利用随机梯度下降的方法对网络的参数进行优化， 直至总体损失达到规定的范围 以内。 0038 作为优选方案之六， 还包括步骤6： 将每帧图像检测到的乘客头部的坐标和宽高保 存到检测结果的文件中， 并将每帧图像进行保存； 当公交车停止运行的时候， 所述方法会将 最终的客流量输出。 0039 本发明相对于现有技术的进步在于： 0040 (一)本发明检测方法具有实时性， 且能够高效精确地检测出客流量。 0041 (二)深度可分离卷积可以加快特征提取的时间。 0042 (三)在模型训练的过程中， 可以做到端对端的训练， 所有的训练均可在GPU上完 成。 0043 (四)用极大值采样m。

23、axpooling代替步长为2， 可以避免细节信息的丢失， 增加目标 的平滑度。 附图说明： 0044 图1为本发明实施例中的公交车客流量统计方法的流程示意图。 0045 图2为本发明实施例中的卷积模块的流程示意图。 0046 图3为本发明实施例中的深度可分离卷积的流程示意图。 具体实施方式： 0047 实施例： 0048 一种公交车客流量实时统计方法， 所述方法的视频数据是利用摄像头从公交车前 门、 后门的顶部区域所拍摄的客流视频数据， 统计方法包括以下步骤： 0049 所述方法的视频数据是利用摄像头从公交车前门、 后门的顶部区域所拍摄的客流 视频数据， 统计方法包括以下步骤： 说明书 3/。

24、5 页 7 CN 110610159 A 7 0050 步骤1： 前端数据采集： 0051 步骤1.1： 视频采集： 在公交车车门正上方垂直安装摄像头， 采集乘客上下车的图 像视频； 0052 步骤1.2： 视频分帧:对视频进行分帧， 分成640*480的RGB三通道图像； 0053 步骤1.3： 图像缩放： 对每帧图像进行缩放， 缩放成224*224的数据； 0054 步骤2： 在CPU或者GPU上完成模型训练； 0055 步骤2.1： 特征计算： 先利用大小为3*3、 步长为1的卷积核对RGB图像进行， 随后利 用归一化Batch-Normalization和非线性激活函数Relu对特征映。

25、射进行数学变换， 利用极 大值下采样maxpooling的方法， 对特征映射进行下采样； 随后， 利用大小为3*3、 步长为1的 深度可分离卷积对特征映射进行卷积， 随后利用归一化Batch-Normalization和非线性激 活函数Relu对特征映射进行数学变换， 利用极大值下采样maxpooling的方法， 对特征映射 进行下采样； 利用大小为1*1、 步长为1的卷积对特征映射进行卷积， 随后利用归一化Batch- Normalization和非线性激活函数Relu对特征映射进行数学变换， 保证特征映射的通道数； 0056 步骤2.2： 特征提取： 由于目标尺寸不同， 需要提取不同维度的。

26、特征映射； 对于小目 标来说， 需要要选取较大的特征映射进行分类与回归； 对于大目标来说， 需要要选取较小的 特征映射进行分类与回归； 0057 步骤2.3： 锚框提取： 在不同维度的特征映射上， 以每一个特征点为中心， 选取四种 不同尺度的框； 这样可以将图像所有区域全部覆盖， 以免有漏检的部分； 0058 步骤2.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框对每个类别的预测分数， 并和地面真值进行计较， 计算二者的交叉熵， 得出分 类损失； 利用随机梯度下降的方法对网络的参数进行优化， 直至分类损失达到规定的范围 以内； 交叉熵损失计算如下： 。

27、0059 0060yi表示地面真值， 表示预测值,n是候选框的个数； 0061 步骤2.5： 目标回归： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框的中心点及宽高的预测值， 并和地面真值进行计较， 计算二者的线性回归， 得 出线性回归损失； 线性回归损失计算如下： 0062 0063xi， yi， wi， hi表示地面真值，表示预测值, 是系数， 在本场景下 0.5， 其他场景需要根据具体场景选择合适数值， n是候选框的个数； 0064 模型的总体损失函数计算方式如下： 0065 LLloc+ Lreg 0066 其中， 是系数， 在本场景下 0.25， 其他场景。

28、需要根据具体场景选择合适数值； 0067 利用随机梯度下降的方法对网络的参数进行优化， 直至总体损失达到规定的范围 以内； 0068 步骤3： 在CPU或者GPU上完成头部检测； 说明书 4/5 页 8 CN 110610159 A 8 0069 步骤3.1： 特征计算： 利用3*3的卷积核对图像的特征进行提取； 随后为了减少特征 的计算时间， 将原始的卷积操作更改为深度可分离的卷积操作， 并利用归一化Batch- Normalization和非线性激活函数Relu对特征映射进行数学变换， 利用极大值下采样 maxpooling的方法， 对特征映射的维度进行成倍地缩小； 利用大小为1*1、 步。

29、长为1的卷积对 特征映射进行卷积， 随后利用归一化Batch-Normalization和非线性激活函数Relu对特征 映射进行数学变换， 保证特征映射的通道数； 0070 步骤3.2： 特征提取： 由于目标尺寸不同， 需要提取不同维度的特征映射； 0071 步骤3.3： 锚框提取： 在维度不同的特征映射上； 以每一个特征点为中心， 选取四种 不同尺度的框； 将所有的框作为目标分类和回归的候选框； 0072 步骤3.4： 目标分类： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框对每个类别的预测分数， 利用Intersection over Union(Ious)和非。

30、极大值 抑制(NMS)的方法对候选框进行筛选； 0073 步骤3.5： 目标回归： 利用深度可分离卷积对特征映射进行卷积， 并得出步骤2.3所 得到的候选框的中心点及宽高的预测值， 利用Intersection over Union(Ious)和非极大 值抑制(NMS)的方法对候选框进行筛选 0074 步骤4： 跟踪头部： 相关的核滤波器根据前后帧的信息训练出一个相关滤波器， 并 与新输入的帧进行相关性计算， 得到的置信图就是预测的跟踪结果； 得分最高的那个点或 者块就是跟踪结果； 0075 步骤5： 客流量计数： 如果乘客已经完成上/下车的动作， 算法会对客流量进行增加 1的数据更新， 否则， 客流量会保持不变 0076 步骤6： 将每帧图像检测到的乘客头部的坐标和宽高保存到检测结果的文件中， 并 将每帧图像进行保存； 当公交车停止运行的时候， 所述方法会将最终的客流量输出。 说明书 5/5 页 9 CN 110610159 A 9 图1 图2 说明书附图 1/2 页 10 CN 110610159 A 10 图3 说明书附图 2/2 页 11 CN 110610159 A 11 。