车道线确定方法及装置技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种车道线确定方法及装
置。
背景技术
随着地图导航技术的飞速发展，地图导航技术成为了人们日常出行必不可
少的工具。而在地图导航中，车导航(包括自驾导航和无人驾驶导航)成为地
图导航中主要的导航部分。而车导航中车道线的定位是决定导航准确率和召回
率的关键因素。
现有车道线定位技术都是基于图像处理和机器学习算法来进行的。主要有
一下两种：第一种是将拍摄图像投影到正视空间中，通过边缘检测、二值化、
噪声滤除以及线条拟合来完成车道线的定位。第二种是直接在拍摄图像中利用
窗口进行扫描，通过机器学习的方法判定属于车道线的像素点，再通过线条拟
合定位车道线。
但是上述两种方法的车道定位的准确度均受限于拍摄场景，即针对于车道
线和路面反差较大、且不考虑遮挡和阴影、曝光正常的场景进行处理，才能获
得较好的车道线定位效果，而上述场景在实际应用中很难得到满足。
发明内容
本发明实施例提供一种车道线定位方法及装置，能够精确定位各种拍摄场
景下拍摄图像中的车道线。
第一方面，本发明实施例提供了一种车道线确定方法，包括：
对拍摄图像进行逆投影变换；
从逆投影变换后的图像数据中提取包含待确定车道线的粗提取图像数据；
将所述粗提取图像数据输入第一卷积神经网络模型进行识别，得到所述待
确定车道线的第一识别结果；
对所述粗提取图像数据进行逆投影反变换，将反变换后的待确定车道线的
图像数据输入第二卷积神经网络模型进行识别，得到所述待确定车道线的第二
识别结果；
根据第一识别结果和第二识别结果将满足第一预设条件的待确定车道线确
定为真实的车道线。
第二方面，本发明实施例还提供一种车道线确定装置，包括：
图像变换模块，用于对拍摄图像进行逆投影变换；
粗提取模块，用于从逆投影变换后的图像数据中提取包含待确定车道线的
粗提取图像数据；
第一识别模块，用于将所述粗提取图像数据输入第一卷积神经网络模型进
行识别，得到所述待确定车道线的第一识别结果；
第二识别模块，用于对所述粗提取图像数据进行逆投影反变换，将反变换
后的待确定车道线的图像数据输入第二卷积神经网络模型进行识别，得到所述
待确定车道线的第二识别结果；
车道线确定模块，用于根据第一识别结果和第二识别结果将满足第一预设
条件的待确定车道线确定为真实的车道线。
本发明实施例通过对拍摄图像进行逆投影变换，从逆投影变换后的图像数
据中提取包含待确定车道线的粗提取图像数据，一方面将所述粗提取图像数据
输入第一卷积神经网络模型进行识别，得到所述待确定车道线的第一识别结果，
另一方面，对所述粗提取图像数据进行逆投影反变换，将反变换后的待确定车
道线的图像数据输入第二卷积神经网络模型进行识别，得到所述待确定车道线
的第二识别结果，最后根据第一识别结果和第二识别结果将满足第一预设条件
的待确定车道线确定为真实的车道线。本发明实施例能够精确定位各种拍摄场
景下拍摄图像中的车道线。
附图说明
图1A为本发明实施例一提供的车道线确定方法的流程示意图；
图1B为本发明实施例一提供的车道线确定方法中第一种车道线截取区域
示意图；
图1C为本发明实施例一提供的第一种车道线提取结果示意图；
图1D为本发明实施例一提供的车道线确定方法中第二种车道线截取区域
示意图；
图1E为本发明实施例一提供的车道线确定方法中的第二种车道线提取结
果示意图；
图1F为本发明实施例一提供的车道线确定方法中的第一种实验结果示意
图；
图1G为本发明实施例一提供的车道线确定方法中的第二种实验结果示意
图；
图2为本发明实施例二提供的车道线确定装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此
处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需
要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结
构。
本发明实施例提供的车道线确定方法的执行主体，可为本发明实施例提供
的车道线确定装置，或者集成了所述车道线确定装置的终端设备(例如，车载
客户端)或服务器，该车道线确定装置可以采用硬件或软件实现。
实施例一
图1A为本发明实施例一提供的车道线确定方法的流程示意图，如图1A所
示，具体包括：
S11、对拍摄图像进行逆投影变换；
具体的，由于车载相机的摆放方式为平行于地面，摄像头沿着车辆前进方
向进行拍摄。在这种拍摄角度下，车道线从近到远呈现宽度越来越窄的形态，
且不互为平行线，无限远处交于消失点处。该种拍摄角度下难以进行车道线定
位，因此，首先需要通过逆投影将相机的视角调整为垂直于地面。
例如，设相机对应的三维空间坐标为(X,Y,Z)，相机的参数为：焦距fx和fy，
光心坐标cx和cy，姿态角为α、β和γ，在相机内成像的所述拍摄图像中的像素
点坐标为(x,y)。那么可采用如下公式完成拍摄图像的逆投影变换：
X / Z Y / Z 1 = c o s γ 0 s i n γ 0 1 0 - sin γ 0 cos γ c o s β s i n β 0 - sin β c o s β 0 0 0 1 1 0 0 0 c o s α s i n α 0 - s i n α c o s α 1 / f x 0 - c x / f x 0 1 / f y - c y / f y 0 0 1 x y 1 ]]>
经过上述逆投影变换后，所有车道线呈现远近宽度一致，且互为平行线，
接近竖直方向。
S12、从逆投影变换后的图像数据中提取包含待确定车道线的粗提取图像数
据；
具体的，可采用图像提取算法从逆投影变换后的图像数据中初步提取出包
含待确定车道线的图像数据。
S13、将所述粗提取图像数据输入第一卷积神经网络模型进行识别，得到所
述待确定车道线的第一识别结果；
其中，所述第一卷积神经网络模型在对粗提取图像数据进行处理的过程中，
可以滤除粗提取图像数据中存在的噪声，例如地面文字、箭头等，从而得到粗
提取图像数据中包含的待确定车道线的第一识别结果。
S14、对所述粗提取图像数据进行逆投影反变换，将反变换后的待确定车道
线的图像数据输入第二卷积神经网络模型进行识别，得到所述待确定车道线的
第二识别结果；
其中，第二卷积神经网络模型在对粗提取图像数据进行处理的过程中，可
以滤除粗反变换后的待确定车道线的图像数据中栏杆、路沿以及汽车金属框的
干扰，从而得到粗提取图像数据中包含的待确定车道线的第二识别结果。
另外，为了提高处理速度，步骤S13和步骤S14可以并行处理。
S15、根据第一识别结果和第二识别结果将满足第一预设条件的待确定车道
线确定为真实的车道线。
其中，第一预设条件可自定义设置。例如，可将所述预设条件设置为某一
阈值。
根据预设条件综合考虑第一识别结果和第二识别结果，从而确定待确定车
道线是否为真实的车道线。
本实施例通过对拍摄图像进行逆投影变换，从逆投影变换后的图像数据中
提取包含待确定车道线的粗提取图像数据，一方面将所述粗提取图像数据输入
第一卷积神经网络模型进行识别，得到所述待确定车道线的第一识别结果，另
一方面，对所述粗提取图像数据进行逆投影反变换，将反变换后的待确定车道
线的图像数据输入第二卷积神经网络模型进行识别，得到所述待确定车道线的
第二识别结果，最后根据第一识别结果和第二识别结果将满足第一预设条件的
待确定车道线确定为真实的车道线。本实施例能够精确定位各种拍摄场景下拍
摄图像中的车道线。
示例性的，在上述实施例的基础上，从逆投影变换后的图像数据中提取包
含待确定车道线的粗提取图像数据具体包括：
利用形态学操作中的顶帽和底帽以逻辑或的方式对逆投影变换后的图像数
据进行滤波；
对滤波后的图像数据进行二值化操作；
对二值化后的图像数据进行随机霍夫变换；
根据随机霍夫变换结果，选择满足第二预设条件的图像数据作为待确定车
道线的粗提取图像数据。
其中，第二预设条件可自定义设置，例如可为粗提取图像数据中待确定车
道线的角度阈值和/或长度阈值。
具体的，首先对逆投影变换后的图像数据进行滤波操作。逆投影变换后的
车道线的形态为亮色窄带，在进行滤波之前，将逆投影变换后的图像数据转化
为灰度图像数据，利用形态学操作中的顶帽和底帽以逻辑或的方式进行过滤，
具体可采用如下公式进行计算：
Idst＝or(tophat(Isrc,kelement),blackhat(Isrc,kelement))
其中，Isrc表示原始图像，Idst表示处理后的图像，而kelement表示运算核的大
小，or表示逻辑或运算，tophat()表示顶帽运算，blackhat表示底帽运算。
经过上述滤波操作后，车道线区域将被强化，其他区域将被弱化。然后再
对滤波后的图像数据进行自适应二值化运算，即可得到车道线的初始化掩码。
最后，对二值化后的图像数据进行随机霍夫变换，将找到的直线作为疑似
的车道线。为了尽可能的抑制虚假车道线对后续操作的影响，也为了降低后续
运算的复杂度，本方法对找到的直线的角度和长度进行阈值限制。也就是仅保
留主方向竖直向上，长度大于阈值的直线作为粗提取的结果，可以滤除随机霍
夫变换结果中一部分虚假的车道线。
示例性的，在上述实施例的基础上，将所述粗提取图像数据输入第一卷积
神经网络模型进行识别之前，还包括：
根据拍摄图像的尺寸和/或拍摄角度确定矩形框的尺寸；
利用所述矩形框截取以所述粗提取图像数据中的待确定车道线为中垂线的
图像区域；
对截取的图像区域进行处理，得到多种色彩空间模型对应的图像数据；
将所述多种色彩空间模型对应的图像数据归一化，形成粗提取的待确定车
道线样本。
具体的，在粗提取的图像数据中，存在较多的噪声，例如地面文字、箭头
等，而从滤波结果中无法对该类噪声予以滤除。本实施例采用矩形框截取待确
定车道线的感兴趣区域。具体以待确定车道线为中垂线，从上到下往左右各延
生若干个像素，将该矩形框作为截取的感兴趣区域。该矩形框根据拍摄图像的
尺寸和/或拍摄角度确定矩形框的尺寸进行设置，如图1B所示，为截取的感兴
趣区域的示例，该矩形框一方面不能太宽，否则截取的车道线区域过于狭窄；
另一方面也不能太窄，否则仅包含车道线区域，丢失了上下文的信息。
对于截取的感兴趣区域的图像数据，将其转换为多种色彩空间模型下的图
像数据，包括RGB、HSV、YCrCb以及LAB等。将这些不同色彩空间的图像
数据合并，再将感兴趣区域统一归一化到一个正方形尺寸下，形成隶属于当前
待确定的车道线的样本，即大小为W×W×C的样本，其中W表示图像长宽大小，
C表示颜色通道数。
最后，将样本送入第一卷积神经网络模型中，即可得到待确定车道线的识
别结果，所述识别结果包含待确定车道线，如图1C所示，为本实施例输出的拍
摄图像中待确定的车道线，图中亮度较高的灰白色的直线为待确定的车道线，
以及各待确定车道线对应的0～1之间的数值，该数值越接近1表示真正为车道
线的可能越大；反之亦然。
示例性的，在上述实施例的基础上，将反变换后的待确定车道线图像数据
输入第二卷积神经网络模型进行识别之前，还包括：
根据拍摄图像的尺寸和/或拍摄角度确定正方形框的尺寸；
利用所述正方形框截取以所述粗提取图像数据中的待确定车道线的中心点
为中心的图像区域；
对截取的图像区域进行处理，得到多种色彩空间模型对应的图像数据；
将所述多种色彩空间模型对应的图像数据归一化，形成粗提取的待确定车
道线样本。
在车道线粗提取的结果中，还会受到栏杆、路沿以及汽车金属框的干扰，
因此，本发明还设计了透视卷积神经网络模型对该类噪声进行滤除。这部分在
透视图像(即原始图像)中完成中进行样本块的采集，并用卷积神经网络进行
识别，主要包括三个步骤。
具体的，本实施例以待确定的车道线的中心点为中心，截取长宽都为W的
正方形框作为感兴趣区域。如图1D所示，为截取的感兴趣区域的示例，其中
方框标出的为待确定的车道线的中心点位置。
对于截取的感兴趣区域的图像数据，同样进行多种色彩空间模型的变换，
包括RGB、HSV、YCrCb以及LAB等。将这些不同色彩空间的通道进行数据
合并，形成隶属于当前待确定的车道线的样本，即大小为W′×W′×C′的样本，其
中W′表示长宽大小，C′表示颜色通道数。
将样本送入透视卷积神经网络模型中，即可的待确定车道线的识别结果。
所述识别结果包含待确定车道线，如图1E所示，为本实施例输出的拍摄图像中
待确定的车道线，图中亮度较高的灰白色的直线为待确定的车道线，以及各待
确定车道线对应的为0～1之间的数值，该数值越接近1表示真正为车道线的可
能越大；反之亦然。
示例性的，在上述实施例的基础上，所述第一识别结果和第二识别结果均
为大于等于0且小于等于1的数值，所述数值表征所述拍摄图像中的待确定车
道线为真正车道线的概率；
相应的，所述根据第一识别结果和第二识别结果将满足第一预设条件的待
确定车道线确定为真实的车道线包括：
计算所述待确定车道线的第一识别结果和第二识别结果的加权和；
若所述加权和大于预设阈值，则确定所述待确定车道线为真正的车道线。
其中，所述预设阈值可优选为0.5。
具体的，经过上述第一卷积神经网络模型和第二卷积神经网络模型，可以
得到待确定车道线的第一识别结果和第二识别结果，该第一识别结果和第二识
别结果可为表征隶属于真实车道线的概率。根据上述第一识别结果和第二识别
结果具体可采用如下公式计算最终属于真实车道线的概率：
p＝θ·pz+(1-θ)·pt
其中，pz和pt分别表示第一卷积神经网络模型输出的概率即第一识别结果
和第二卷积神经网络模型的输出的概率即第二识别结果，θ为平衡系数，可优选
为0.5。根据加权运算后，如果p的概率大于0.5，则认为待确定的车道线为真
实的车道线，反之，则认为待确定的车道线为虚假的车道线。如图1F和1G为
本实施例的实验结果，图中较亮的灰白色的直线为确定的车道线。
上述各实施例同样通过对拍摄图像进行逆投影变换，从逆投影变换后的图
像数据中提取包含待确定车道线的粗提取图像数据，一方面将所述粗提取图像
数据输入第一卷积神经网络模型进行识别，得到所述待确定车道线的第一识别
结果，另一方面，对所述粗提取图像数据进行逆投影反变换，将反变换后的待
确定车道线的图像数据输入第二卷积神经网络模型进行识别，得到所述待确定
车道线的第二识别结果，最后根据第一识别结果和第二识别结果将满足第一预
设条件的待确定车道线确定为真实的车道线。上述各实施例同样能够精确定位
各种拍摄场景下拍摄图像中的车道线。
实施例二
图2为本发明实施例二提供的车道线确定装置的结构示意图，如图2所示，
具体包括：图像变换模块21、粗提取模块22、第一识别模块23、第二识别模
块24和车道线确定模块25；
所述图像变换模块21用于对拍摄图像进行逆投影变换；
所述粗提取模块22用于从逆投影变换后的图像数据中提取包含待确定车
道线的粗提取图像数据；
所述第一识别模块23用于将所述粗提取图像数据输入第一卷积神经网络
模型进行识别，得到所述待确定车道线的第一识别结果；
所述第二识别模块24用于对所述粗提取图像数据进行逆投影反变换，将反
变换后的待确定车道线的图像数据输入第二卷积神经网络模型进行识别，得到
所述待确定车道线的第二识别结果；
所述车道线确定模块25用于根据第一识别结果和第二识别结果将满足第
一预设条件的待确定车道线确定为真实的车道线。
本发明实施例所述的车道线确定装置用于执行上述各实施例所述的车道线
确定方法，其技术原理和产生的技术效果类似，这里不再累述。
示例性的，在上述实施例的基础上，所述粗提取模块22具体用于：
利用形态学操作中的顶帽和底帽以逻辑或的方式对逆投影变换后的图像数
据进行滤波；对滤波后的图像数据进行二值化操作；对二值化后的图像数据进
行随机霍夫变换；根据随机霍夫变换结果，选择满足第二预设条件的图像数据
作为待确定车道线的粗提取图像数据。
示例性的，在上述实施例的基础上，所述粗提取模块22还用于：
在所述第一识别模块23将所述粗提取图像数据输入第一卷积神经网络模
型进行识别之前，根据拍摄图像的尺寸和/或拍摄角度确定矩形框的尺寸；利
用所述矩形框截取以所述粗提取图像数据中的待确定车道线为中垂线的图像区
域；对截取的图像区域进行处理，得到多种色彩空间模型对应的图像数据；将
所述多种色彩空间模型对应的图像数据归一化，形成粗提取的待确定车道线样
本。
示例性的，在上述实施例的基础上，所述粗提取模块22还用于：
在所述第二识别模块24将反变换后的待确定车道线图像数据输入第二卷
积神经网络模型进行识别之前，根据拍摄图像的尺寸和/或拍摄角度确定正方形
框的尺寸；利用所述正方形框截取以所述粗提取图像数据中的待确定车道线的
中心点为中心的图像区域；对截取的图像区域进行处理，得到多种色彩空间模
型对应的图像数据；将所述多种色彩空间模型对应的图像数据归一化，形成粗
提取的待确定车道线样本。
示例性的，在上述实施例的基础上，所述第一识别结果和第二识别结果均
为大于等于0且小于等于1的数值，所述数值表征所述拍摄图像中的待确定车
道线为真正车道线的概率；
相应的，所述车道线确定模块25具体用于：
计算所述待确定车道线的第一识别结果和第二识别结果的加权和；若所述
加权和大于预设阈值，则确定所述待确定车道线为真正的车道线。
上述各实施例所述的车道线确定装置同样用于执行上述各实施例所述的车
道线确定方法，其技术原理和产生的技术效果类似，这里不再累述。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员
会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进
行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽
然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以
上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，
而本发明的范围由所附的权利要求范围决定。