基于神经网络和CIM的非机动车逆行监测方法.pdf

《基于神经网络和CIM的非机动车逆行监测方法.pdf》由会员分享，可在线阅读，更多相关《基于神经网络和CIM的非机动车逆行监测方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010924578.1 (22)申请日 2020.09.05 (71)申请人 曹剑 地址 518116 广东省深圳市龙岗区龙岗中 心城工业园特发龙飞工业园D1栋1层 (72)发明人 曹剑王坚 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) (54)发明名称 基于神经网络和CIM的非机动车逆行监测方 法 (57)摘要 本发明提供了一种基于神经网络和CIM的非 机动车逆行监测方法， 该方法。

2、包括： 将摄像头采 集到的非机动车图像送入模型提取网络， 得到非 机动车的模型图， 对非机动车的模型图进行处理 后计算非机动车的骑行角度， 利用聚类算法对多 个非机动车的骑行角度进行分簇统计， 得到标准 角度范围， 根据标准角度范围和骑行角度对非机 动车是否逆行进行判断， 将判断结果存储到道路 区域的CIM中， 并利用Web GIS技术对CIM进行可 视化处理， 实现本发明与城市信息的结合并实现 结果的可视化。 本发明不需提前知道道路方向， 也不需在非机动车上添加用于感知非机动车行 驶方向的物理设备， 适用性强， 成本低， 易被广泛 推广应用。 权利要求书2页 说明书5页 附图1页 CN 11。

3、1967444 A 2020.11.20 CN 111967444 A 1.一种基于神经网络和CIM的非机动车逆行监测方法， 其特征在于， 该方法包括： 步骤一， 构建道路区域的CIM， 对采集到的道路图像进行图像拼接操作， 得到道路全景 图， 将道路全景图投影到CIM中； 步骤二， 采集道路上正在行驶的非机动车的图像； 步骤三， 利用模型提取网络对采集到的非机动车图像进行处理， 得到非机动车的模型 图； 步骤四， 在非机动车的模型图中建立直角坐标系， 根据非机动车的模型图得到非机动 车的行驶方向， 沿顺时针方向计算直角坐标系中X轴与行驶方向之间的夹角， 该夹角定义为 非机动车的骑行角度； 步。

4、骤五， 利用聚类算法对得到的多个非机动车的骑行角度进行分簇统计， 得到多个簇， 从多个簇中选择簇内包括骑行角度个数最多的簇作为判别簇， 根据判别簇中的骑行角度确 定标准角度范围； 结合非机动车的骑行角度和标准角度范围对非机动车是否逆行进行判 断， 具体地， 若非机动车的骑行角度在标准角度范围内， 则非机动车为正常行驶； 若非机动 车的骑行角度不在标准角度范围内， 则非机动车为逆行行驶； 步骤六， 将判断结果存储到CIM中， 并利用Web GIS技术对CIM进行可视化处理。 2.如权利要求1所述的方法， 其特征在于， 道路图像在进行图像拼接操作之前需要先进 行预处理操作。 3.如权利要求1所述的。

5、方法， 其特征在于， 图像拼接的步骤包括： 特征点提取、 特征点匹 配、 图像变形、 图像融合。 4.如权利要求3所述的方法， 其特征在于， 特征点提取的方法包括Harris角点检测算 法、 ORB特征点检测算法、 SIFT关键点检测算法； 特征点匹配的方法包括GMS特征匹配算法、 RANSAC特征点匹配算法； 图像融合的方法包括平均值法、 帽子函数法、 加权平均法、 中值滤波法、 高斯金字塔、 梯 度金字塔。 5.如权利要求1所述的方法， 其特征在于， 模型提取网络包括两个分支， 一个分支用于 得到关键点热图， 一个分支用于得到非机动车关键点之间的关系矢量谱； 其中， 关键点热图 分支包括关。

6、键点检测编码器和关键点检测解码器， 其中， 关键点检测编码器对非机动车图 像进行特征提取， 输出第一特征图， 关键点检测解码器对第一特征图进行上采样与特征提 取， 输出非机动车的关键点热图； 关系矢量谱分支包括关系矢量编码器和关系矢量解码器， 关系矢量编码器对非机动车图像进行特征提取， 输出第二特征图， 关系矢量解码器对第二 特征图进行上采样与特征提取， 输出非机动车关键点之间的关系矢量谱。 6.如权利要求5所述的方法， 其特征在于， 非机动车关键点包括左车把、 右车把、 前车 轮、 后车轮。 7.如权利要求1所述的方法， 其特征在于， 非机动车行驶方向的获取方法为： 左车把关 键点指向右车把。

7、关键点得到第一向量， 第一向量沿逆时针方向旋转90 得到第二向量， 第二 向量所指方向为非机动车的行驶方向。 8.如权利要求1所述的方法， 其特征在于， 聚类算法采用DBSCAN聚类算法， 该算法中最 小邻域点数设为2， 邻域半径设为3。 9.如权利要求1所述的方法， 其特征在于， 标准角度范围的获取方法为： 获取判别簇中 权利要求书 1/2 页 2 CN 111967444 A 2 骑行角度的最小值 1和最大值 2， 根据 1和 2得到标准角度范围 1， 2。 权利要求书 2/2 页 3 CN 111967444 A 3 基于神经网络和CIM的非机动车逆行监测方法 技术领域 0001 本发明。

8、涉及人工智能、 智慧城市领域， 尤其是一种基于神经网络和CIM的非机动车 逆行监测方法。 背景技术 0002 当前道路监控基本采用传统摄像头， 虽然在道路边、 路口处的分布度较广， 但是只 能单一独立的发挥监控路面交通状况的用处， 在发生了违章逆行行为的情况下， 无法做到 及时识别与监管， 而人工监管非机动车是否逆行的方法存在耗时费力、 效率低下等问题。 0003 现有的对车辆进行逆行监测的方法大多数通过计算车辆行驶方向与道路方向之 间的夹角， 判断夹角是否属于设置好的角度范围内， 这些方法往往需要提前知道道路的方 向， 从而导致这些方法不易推广。 发明内容 0004 为了解决上述问题， 本发。

9、明提出一种基于神经网络和CIM的非机动车逆行监测方 法， 该方法包括： 0005 步骤一， 构建道路区域的CIM， 对采集到的道路图像进行图像拼接操作， 得到道路 全景图， 将道路全景图投影到CIM中； 0006 步骤二， 采集道路上正在行驶的非机动车的图像； 0007 步骤三， 利用模型提取网络对采集到的非机动车图像进行处理， 得到非机动车的 模型图； 0008 步骤四， 在非机动车的模型图中建立直角坐标系， 根据非机动车的模型图得到非 机动车的行驶方向， 沿顺时针方向计算直角坐标系中X轴与行驶方向之间的夹角， 该夹角定 义为非机动车的骑行角度； 0009 步骤五， 利用聚类算法对得到的多个。

10、非机动车的骑行角度进行分簇统计， 得到多 个簇， 从多个簇中选择簇内包括骑行角度个数最多的簇作为判别簇， 根据判别簇中的骑行 角度确定标准角度范围； 结合非机动车的骑行角度和标准角度范围对非机动车是否逆行进 行判断， 具体地， 若非机动车的骑行角度在标准角度范围内， 则非机动车为正常行驶； 若非 机动车的骑行角度不在标准角度范围内， 则非机动车为逆行行驶； 0010 步骤六， 将判断结果存储到CIM中， 并利用Web GIS技术对CIM进行可视化处理。 0011 其中， 道路图像在进行图像拼接操作之前需要先进行预处理操作。 图像拼接的步 骤包括： 特征点提取、 特征点匹配、 图像变形、 图像融。

11、合， 具体地， 特征点提取的方法包括 Harris角点检测算法、 ORB特征点检测算法、 SIFT关键点检测算法； 特征点匹配的方法包括 GMS特征匹配算法、 RANSAC特征点匹配算法图像融合的方法包括平均值法、 帽子函数法、 加 权平均法、 中值滤波法、 高斯金字塔、 梯度金字塔。 0012 模型提取网络包括两个分支， 一个分支用于得到关键点热图， 一个分支用于得到 非机动车关键点之间的关系矢量谱； 其中， 关键点热图分支包括关键点检测编码器和关键 说明书 1/5 页 4 CN 111967444 A 4 点检测解码器， 其中， 关键点检测编码器对非机动车图像进行特征提取， 输出第一特征图。

12、， 关键点检测解码器对第一特征图进行上采样与特征提取， 输出非机动车的关键点热图； 关 系矢量谱分支包括关系矢量编码器和关系矢量解码器， 关系矢量编码器对非机动车图像进 行特征提取， 输出第二特征图， 关系矢量解码器对第二特征图进行上采样与特征提取， 输出 非机动车关键点之间的关系矢量谱。 0013 非机动车关键点包括左车把、 右车把、 前车轮、 后车轮。 0014 非机动车行驶方向的获取方法为： 左车把关键点指向右车把关键点得到第一向 量， 第一向量沿逆时针方向旋转90 得到第二向量， 第二向量所指方向为非机动车的行驶方 向。 0015 聚类算法采用DBSCAN聚类算法， 该算法中最小邻域点。

13、数设为2， 邻域半径设为3。 0016 标准角度范围的获取方法为： 获取判别簇中骑行角度的最小值 1和最大值 2， 根 据 1和 2得到标准角度范围 1， 2。 0017 本发明的有益效果在于： 0018 1.本发明不需在非机动车上添加用于感知非机动车行驶方向的物理设备， 也不需 提前知道道路单行道的标准行驶方向， 根据多个非机动车的骑行角度即可对非机动车是否 逆行进行判断， 适用性强， 成本低， 易被广泛推广应用。 0019 2.本发明采用基于关键点检测的方法检测识别非机动车， 样本数据多， 计算量小， 标注训练成本低， 采用关键点的方法可以基于车把邻域进行视觉线索的显式描述， 因此不 但能。

14、精确提取位姿的表征即关键点， 还可以提高训练精准度和成功率。 0020 3.本发明基于CIM和关键点检测技术， 能够实现对以往无警察执勤的时间内全方 位的进行实时监督， 对检测范围内的违章逆行做到零遗漏覆盖。 0021 4.在不知道道路单行道的标准行驶方向时， 本发明可以基于大多数非机动车的骑 行角度得到道路单行道的模糊标准行驶方向。 附图说明 0022 图1为本发明实施流程图。 0023 图2为非机动车骑行角度示意图。 具体实施方式 0024 为了让本领域技术人员更好的理解本发明， 下面结合实施例和附图对本发明进行 详细描述。 0025 本发明的主要目的为实现城市道路上非机动车的逆行监测， 。

15、以此便于相关部门对 非机动车逆行情况进行监督管理， 具体的， 本发明提出一种基于神经网络和CIM的非机动车 逆行监测方法， 其实施流程如图1所示， 首先通过摄像头进行非机动车图像的采集， 非机动 车的左右车把和前后车轮作为非机动车的关键点， 将非机动车图像作为输入， 经过网络的 处理得到非机动车的模型图， 对非机动车进行处理得到非机动车的骑行角度， 根据得到的 多个骑行角度对非机动车是否逆行进行监测； 将监测结果存储到CIM中， 并利用Web GIS技 术对CIM进行可视化处理， 实现本发明与城市信息的结合并实现结果的可视化。 0026 实施例： 说明书 2/5 页 5 CN 11196744。

16、4 A 5 0027 构建道路区域的CIM， 即以城市信息数据为基础建立起的三维城市空间模型和城 市信息的有机综合体， CIM中主要包含获取相机感知信息、 相应的地理位置信息以及当前环 境的信息。 0028 由于道路图像是基于多个摄像头对其相应的监控区域进行图像采集得到的， 每张 道路图像是相机在不同角度下拍摄得到的， 所以每个摄像头采集到的图像并不在同一投影 平面上， 如果对重叠的图像直接进行无缝拼接， 会破坏实际景物的视觉一致性， 因此需要先 对各个区域的摄像头采集到的同一时刻的道路图像进行投影变换， 再进行图像拼接操作。 0029 具体的投影变换过程在此不做详细赘述。 投影的方法有很多，。

17、 比如平面投影、 柱面 投影、 球面投影、 立方体投影等。 0030 图像拼接是直接对RGB图像进行拼接的， 需要对RGB图像做简单的预处理， 图像的 预处理包括图像去噪、 校正等， 是图像拼接的必要过程， 该部分内容是公知的， 在此不做赘 述。 0031 对于预处理后在同一平面内的道路图像， 具体的图像拼接的步骤为： 0032 (a)特征点的提取检测。 由于特征点的方法较容易处理图像之间旋转、 仿射、 透视 等变换关系， 因而经常被使用。 特征点的检测方法有很多， 例如Harris角点检测算法、 ORB特 征点检测算法、 SIFT关键点检测算法等等， 在此不做具体描述。 本发明采用ORB特征。

18、点检测 算法， 一种快速特征点提取和描述的算法。 0033 (b)特征点的匹配。 特征点匹配方法有很多， 比如GMS特征匹配算法、 RANSAC特征点 匹配算法等。 实施者在使用RANSAC特征点匹配算法时要满足两个相机的基线不能过长， 重 叠区域要足够大。 实施例使用RANSAC特征点匹配算法： 随机选取有重叠区域的两张图， 称为 第一张图和第二张图， 在两张图中随机抽取不同的4对特征匹配点并获取特征匹配点的坐 标， 即在第一张图中随机获取4个特征点的坐标， 以及这4个特征点在第二张图中对应匹配 的4个特征点的坐标， 得到4对特征点的坐标， 利用这4对特征点的坐标计算出透视矩阵H1， 将第二。

19、张图中所有特征匹配点根据该透视矩阵H1映射到第一张图的坐标空间后计算与第 一张图中特征点坐标之间的欧氏距离； 之后重复上面内容， 再随机抽取不同的四组特征匹 配坐标， 再计算透视矩阵H2， 再求欧式距离， 如此重复多次， 最后以欧式距离最小的那个透 视矩阵作为最终计算结果， 同时将欧氏距离过大的匹配特征点剔除至此就可以把不正确的 匹配点已经剔除了。 0034 (c)图像的配准。 对第二张图进行透视变换， 通过透视矩阵可以把第二张图映射到 第一张图的坐标空间中， 实现图像的拼接。 0035 (d)图像融合。 图像融合技术主要有平均值法、 帽子函数法、 加权平均法、 中值滤波 法、 高斯金字塔、 。

20、梯度金字塔等。 实施例选用中值滤波法， 主要思想是利用中值滤波去除高 于某个阀值的点， 消除重合部分像素值的突变。 0036 至此， 得到道路全景图。 0037 将道路全景图投影到CIM中， 便于监管人员监测管理。 0038 基于计算机视觉检测技术具有非接触、 高效性和经济性等显著优势， 在各类检测 管理应用方面有着广泛的应用前景。 因此采用CIM和计算机视觉相结合的形式， 能有效的提 高监管效率。 0039 常规的检测方法通常采用滑动窗口结合目标分类器方法进行目标检测， 由于分类 说明书 3/5 页 6 CN 111967444 A 6 器判断总会出现判断失误的情况， 所以在检测中使用常规检。

21、测方法检测非机动车容易遗 漏， 会造成大量误检， 因此， 本发明采用关键点的方法， 基于车把邻域进行视觉线索的显式 描述， 精确提取表征非机动车位姿的关键点。 0040 利用各个区域的摄像头采集道路上正在行驶的非机动车的图像， 其中， 非机动车 包括自行车、 电动车； 利用模型提取网络对采集到的非机动车图像进行处理， 得到非机动车 的模型图； 模型提取网络包括两个分支， 一个分支用于得到关键点热图， 一个分支用于得到 非机动车关键点之间的关系矢量谱； 0041 其中， 关键点热图分支包括关键点检测编码器和关键点检测解码器， 该分支的训 练过程为： 0042 (a)以摄像头采集到的处于行驶状态的。

22、非机动车的图像构建训练数据集。 0043 (b)制作标签， 标签制作过程分为两步， 第一步先对图像内非机动车的左、 右车把 及前、 后车轮进行标注， 即X,Y的坐标； 第二步， 将标注的非机动车的散点图与高斯核卷积形 成非机动车的关键点热图。 0044 (c)将非机动车的图像和标签数据输入关键点热图分支进行训练， 具体地， 关键点 检测编码器对非机动车图像进行特征提取， 输出第一特征图， 关键点检测解码器对第一特 征图上采样与特征提取， 输出4个通道的非机动车的关键点热图。 0045 (d)采用均方误差损失函数进行关键点热图分支的训练。 0046 关系矢量谱分支包括关系矢量编码器和关系矢量解码。

23、器， 具体地， 采用一系列的 2D向量场对图像域中的躯干的位置和方向进行编码， 即属于一个躯干上的每一个像素都对 应一个2D向量， 这个向量表示躯干上一个关键点到另一个关键点的方向； 该分支的训练过 程为： 0047 (a)该分支的训练数据集与关键点热图分支训练时所用的训练数据集相同。 0048 (b)制作标签： 在非机动车车身区域中编码从一个关键点到另一个关键点的方向， 并用单位矢量表示， 数据标注包含关键点位置和方向矢量图。 0049 (c)通过训练数据集与标签数据训练关系矢量谱分支， 即关系矢量编码器对非机 动车图像进行特征提取， 输出第二特征图， 关系矢量解码器对第二特征图进行上采样与。

24、特 征提取， 输出非机动车关键点之间的关系矢量谱。 0050 (d)Loss函数采用均方误差损失函数。 0051 至此， 即可基于关键点及关系矢量谱对每辆非机动车进行实例区分， 得到非机动 车的模型图； 对得到的非机动车的模型图进行后处理， 即可得到非机动车关键点的具体位 置。 0052 在非机动车的模型图中建立直角坐标系， 所述直角坐标系如图2所示， X轴在模型 图的长度方向上， Y轴在模型图的宽度方向上； 黑色点为右车把关键点， 白色点为左车把关 键点。 根据非机动车的模型图获取非机动车的行驶方向， 具体地， 左车把关键点指向右车把 关键点得到第一向量， 第一向量沿逆时针方向旋转90 得到。

25、第二向量， 第二向量所指方向为 非机动车的行驶方向。 沿顺时针方向计算直角坐标系中X轴与行驶方向之间的夹角， 如图2 所示， 该夹角定义为非机动车的骑行角度。 0053 得到多个非机动车的骑行角度后， 利用DBSCAN聚类算法对得到的多个非机动车的 骑行角度进行分簇统计， 得到多个簇。 说明书 4/5 页 7 CN 111967444 A 7 0054 其中， DBSCAN聚类算法共包括3个输入数据： 数据样本集即得到的多个骑行角度、 给定点在邻域内成为核心对象的最小邻域点数MinPts以及邻域半径Eps； 其中Eps和MinPts 需要实施者根据具体应用设定的。 实施例中设置最小邻域点数Mi。

26、nPts2， Eps3。 具体的 聚类过程为： 0055 得到多个非机动车的骑行角度后， 将每个骑行角度看做一个点， DBSCAN通过检查 每点的Eps邻域来搜索簇， 如果点p的Eps邻域中包含的点多于MinPts个， 则创建一个以p为 核心对象的簇， 然后DBSCAN迭代地聚集从这些核心对象直接密度可达的对象， 再将得到的 对象加到与之相近的聚类中， 最终得到多个簇。 该算法利用基于密度聚类的概念， 可将密度 足够大的相邻区域连接， 能有效处理异常数据。 0056 从多个簇中选择簇内包括骑行角度个数最多的簇作为判别簇， 根据判别簇中的骑 行角度确定标准角度范围即获取非机动车正常规范行驶的两个。

27、骑行角度临界值， 两个骑行 角度临界值分别为判别簇中骑行角度的最小值 1和最大值 2， 标准角度范围为 1， 2。 0057 结合非机动车的骑行角度和标准角度范围对非机动车是否逆行进行判断， 具体 地， 若非机动车的骑行角度在标准角度范围内， 则非机动车为正常行驶； 若非机动车的骑行 角度不在标准角度范围内， 则非机动车为逆行行驶。 0058 将监测结果存储到CIM中， 并利用Web GIS技术对CIM进行可视化处理， 当监测到有 非机动车逆行时及时对相关管理人员进行提示， 便于交通管理部门监管人员及时了解道路 上非机动车的骑行情况， 并对逆行的非机动车采取相应的惩罚措施。 0059 以上所述旨在让本领域技术人员更好的理解本发明， 并不用于限制本发明， 凡是 在本发明精神和原则之内做出的修改与变动， 皆在本发明的保护范围内。 说明书 5/5 页 8 CN 111967444 A 8 图1 图2 说明书附图 1/1 页 9 CN 111967444 A 9 。