基于双目视觉的沥青路面构造深度检测方法.pdf

《基于双目视觉的沥青路面构造深度检测方法.pdf》由会员分享，可在线阅读，更多相关《基于双目视觉的沥青路面构造深度检测方法.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910053244.9 (22)申请日 2019.01.21 (71)申请人 重庆交通大学 地址 400074 重庆市南岸区学府大道66号 (72)发明人 宋永朝何力梁乃兴杨良浩 祝涛卢笑马晨威 (74)专利代理机构 成都余行专利代理事务所 (普通合伙) 51283 代理人 莫锡金 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/50(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06T 7/90。

2、(2017.01) (54)发明名称 基于双目视觉的沥青路面构造深度检测方 法 (57)摘要 本发明提供一种基于双目视觉的沥青路面 构造深度检测方法， 包括如下步骤： 100.获取左 右两台摄像机的内参和外参； 200.使用左右两台 摄像机分别采集沥青路面的左彩色图像和右彩 色图像； 300.将左彩色图像和右彩色图像分别处 理成左灰度图像和右灰度图像； 400.分别对左灰 度图像和右灰度图像进行畸变校正， 得到第一校 正左灰度图像和第一校正右灰度图像； 500.分别 对第一校正左灰度图像和第一校正右灰度图像 进行立体校正， 得到第二校正左灰度图像和第二 校正右灰度图像； 600.对第二校正左灰。

3、度图像和 第二校正右灰度图像进行立体匹配； 700.消除立 体匹配错误的值； 800.修正拍摄角度误差； 900. 计算沥青路面的构造深度。 本发明具有快速高 效、 不易受干扰、 价格经济和检测结果更加准确 等优点。 权利要求书3页 说明书10页 附图5页 CN 109919856 A 2019.06.21 CN 109919856 A 1.一种基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 包括如下步骤： 100.获取左右两台摄像机的内参和外参； 200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像； 300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像； 。

4、400.根据左右两台摄像机的内参， 分别对左灰度图像和右灰度图像进行畸变校正， 得 到第一校正左灰度图像和第一校正右灰度图像； 500.根据左右两台摄像机的内参和外参， 分别对第一校正左灰度图像和第一校正右灰 度图像进行立体校正， 得到第二校正左灰度图像和第二校正右灰度图像； 600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配， 识别出第二校正左 灰度图像和第二校正右灰度图像上对应的像素点， 计算视差值d， 根据视差值d计算图像上 每个像素点在摄像机坐标系下距离摄像机平面的高度值， 生成一个包含图像上每个像素点 的像素坐标及其对应的高度值信息的模型矩阵M， 恢复出路面的三维模型； 7。

5、00.对模型矩阵中相邻两个像素点之间高度值的差商值设置阈值， 确定出立体匹配错 误值的位置， 利用中值滤波窗口对立体匹配错误的值进行修正， 消除立体匹配错误的值； 800.对模型矩阵M进行平面拟合， 将模型矩阵M和拟合平面相减， 修正采集图像时由于 摄像机光轴与路面不完全垂直带来的拍摄角度误差； 900.计算沥青路面的构造深度。 2.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤300中， 还包括如下步骤： 301.将左彩色图像和右彩色图像分别由红色(R)、 绿色(G)、 蓝色(B)三个通道按下式计 算后， 转换为左单通道灰度图像和右单通道灰度图像； 。

6、f(x， y)R(x， y)0.299+G(x， y)0.587+B(x， y)0.114； 其中， f(x， y)为像素点的灰度值， R(x， y)、 G(x， y)、 B(x， y)分别为像素点的红色、 绿色、 蓝色三个通道的值。 3.根据权利要求2所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤300中， 还包括如下步骤： 302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理， 得到左灰 度图像和右灰度图像。 4.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤400中， 还包括如下步骤： 401.根据摄像。

7、机的内参按照下式确定出畸变系数k1、 k2： 其中， k1、 k2为摄像机的畸变系数， u、 v为无畸变的像素坐标， x、 y 为无畸变的连续像素 坐标， u0、 v0为摄像机主点的像素坐标，为畸变后的像素坐标； 402.利用所得的摄像机畸变系数k1、 k2按下式， 分别对左灰度图像和右灰度图像进行畸 变校正： 权利要求书 1/3 页 2 CN 109919856 A 2 5.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤500中， 还包括如下步骤： 501.确定出左右两台摄像机之间的相对位置关系： 502.利用罗德里格斯变换， 将相对旋转矩阵分解成为。

8、左图像和右图像各自的合成旋转 矩阵rl、 rr； 503.计算左右两幅图像各自的旋转矩阵Rlt、 Rrt， 将左图像根据旋转矩阵Rl旋转， 将右图 像根据旋转矩阵Rr进行旋转， 使两幅图像的极线水平， 且极点在无穷远处， 完成立体校正。 6.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤600中， 还包括如下步骤： 601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后， 识别出第二校正左灰度 图像和第二校正右灰度图像上的同一个像素点， 并计算像素点的视差值d； 其中， xl、 xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的。

9、像 素横轴坐标， zc为比例因子； 602.用下式计算每一个像素点距离摄像机平面的高度值z； 其中， Tx为相对平移向量T在横轴方向上的分量， 单位为mm， 表示左右两台摄像机之间的 水平距离， f为摄像机焦距， 单位为mm， d为视差值， 单位为mm； 603.将所有像素点的高度值组成一个模型矩阵M， 恢复出路面的三维模型， 其中模型矩 阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。 7.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤700中， 还包括如下步骤： 701.按下式计算相邻像素点对应的高度值的一阶差商， 确定立。

10、体匹配错误像素点的位 置； k(zi+1-zi)/(xi+1-xi)； 其中， k为像素点的一阶差商， xi， xi+1为第i和第i+1个像素点的像素横坐标， zi， zi+1为第 i和第i+1个像素点的高度值， 单位为mm； 702.将一阶差商大于1的点定义为匹配错误的点， 利用77的滤波窗口， 把匹配错误的 点放在窗口中心， 将窗口内所有点的高度值从小到大进行排列， 计算出窗口内高度值的中 值， 用中值替换匹配错误的值， 输出替换后的像素点高度值。 8.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤800中， 还包括如下步骤： 801.对模型矩阵M。

11、的像素点高度值做平面拟合， 按下式计算出拟合平面的参数a1， a2， 权利要求书 2/3 页 3 CN 109919856 A 3 a3； 其中， xi， yi为第i个像素点的像素坐标， zi为第i个像素点的高度值， n为矩阵中总的像 素点个数。 9.根据权利要求8所述的基于双目视觉的沥青路面构造深度检测方法， 其特征在于， 在 上述步骤800中， 还包括如下步骤： 802.利用下式计算修正后的各像素点的高度值， 完成拍摄角度误差修正； hizi-a1xi-a2yi-a3； 其中， zi、 hi分别为拍摄角度修正前和修正后的第i个像素点的高度值， 单位为mm。 10.根据权利要求1所述的基于双。

12、目视觉的沥青路面构造深度检测方法， 其特征在于， 在上述步骤900中， 按下式进行计算沥青路面的构造深度Hp， 单位为mm； 其中， hmax为像素点高度值的最大值， 单位为mm， hi为第i个像素点的高度值， 单位为mm， m 和n为模型矩阵M的行数和列数。 权利要求书 3/3 页 4 CN 109919856 A 4 基于双目视觉的沥青路面构造深度检测方法 技术领域 0001 本发明涉及到道路工程建设中沥青路面构造深度的检测技术， 尤其是涉及一种基 于双目视觉的沥青路面构造深度检测方法。 背景技术 0002 沥青路面的抗滑性能对行车安全影响显著， 构造深度是评价沥青路面抗滑性能的 重要指标。

13、。 沥青路面的构造深度是指道路表面凹凸不平的开口孔隙的平均深度， 反映了路 面的粗糙程度。 路面构造深度过小将会降低沥青路面的抗滑性能， 不仅会导致汽车出现打 滑的现象， 并且会增大汽车的刹车距离， 严重影响行车安全。 0003 目前， 沥青路面构造深度的检测方法主要有铺沙法、 激光构造深度仪法和数字图 像法三种。 铺沙法原理简单， 测量方便， 但是极其耗时； 激光构造深度仪法虽然精度较高， 但 是需要专门设备， 价格昂贵； 数字图像法检测快速高效， 但是容易受到外界光照和路面自身 颜色的干扰。 显然， 现有的沥青路面构造深度检测方法存在着耗时较长， 或者价格昂贵和易 受干扰等问题。 0004。

14、 因此， 研究一种快速高效、 不易受干扰、 价格经济的沥青构造深度检测方法具有必 要性。 发明内容 0005 为了克服现有技术存在的不足， 本发明提供一种快速高效、 不易受干扰和价格经 济的沥青路面构造深度检测方法。 0006 本发明的技术方案是： 提供一种基于双目视觉的沥青路面构造深度检测方法， 包 括如下步骤： 0007 100.获取左右两台摄像机的内参和外参； 0008 200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像； 0009 300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像； 0010 400.根据左右两台摄像机的内参， 分别对左灰度图像和右灰度图。

15、像进行畸变校 正， 得到第一校正左灰度图像和第一校正右灰度图像； 0011 500.根据左右两台摄像机的内参和外参， 分别对第一校正左灰度图像和第一校正 右灰度图像进行立体校正， 得到第二校正左灰度图像和第二校正右灰度图像； 0012 600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配， 识别出第二校 正左灰度图像和第二校正右灰度图像上对应的像素点， 计算视差值d， 根据视差值d计算图 像上每个像素点在摄像机坐标系下距离摄像机平面的高度值， 生成一个包含图像上每个像 素点的像素坐标及其对应的高度值信息的模型矩阵M， 恢复出路面的三维模型； 0013 700.对模型矩阵中相邻两个像素点。

16、高度值的差商值设置一个阈值， 确定出立体匹 配错误值的位置， 利用中值滤波窗口对立体匹配错误的值进行修正， 消除立体匹配错误的 值； 说明书 1/10 页 5 CN 109919856 A 5 0014 800.对模型矩阵M进行平面拟合， 将模型矩阵M和拟合平面相减， 修正采集图像时 由于摄像机光轴与路面不垂直带来的拍摄角度误差； 0015 900.计算沥青路面的构造深度。 0016 作为对本发明的改进， 在上述步骤300中， 还包括如下步骤： 0017 301.将左彩色图像和右彩色图像分别由红色(R)、 绿色(G)、 蓝色(B)三个通道按下 式计算后， 转换为的左单通道灰度图像和右单通道灰度。

17、图像； 0018 f(x,y)R(x,y)0.299+G(x,y)0.587+B(x,y)0.114； 0019 其中， f(x， y)为像素点的灰度值， R(x， y)、 G(x， y)、 B(x， y)分别为像素点的红色、 绿 色、 蓝色三个通道的值。 0020 作为对本发明的改进， 在上述步骤300中， 还包括如下步骤： 0021 302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理， 得到 左灰度图像和右灰度图像。 0022 作为对本发明的改进， 在上述步骤400中， 还包括如下步骤： 0023 401.根据摄像机的内参按照下式确定出畸变系数k1、 k2： 0024 0。

18、025 其中， k1、 k2为摄像机的畸变系数， u、 v为无畸变的像素坐标,x、 y为无畸变的连续像 素坐标， u0、 v0为摄像机主点的像素坐标，为畸变后的像素坐标； 0026 402.利用所得的摄像机畸变系数k1、 k2按下式， 分别对左灰度图像和右灰度图像进 行畸变校正： 0027 0028 0029 作为对本发明的改进， 在上述步骤500中， 还包括如下步骤： 0030 501.确定出左右两台摄像机之间的相对位置关系： 0031 502.利用罗德里格斯变换， 将相对旋转矩阵分解成为左图像和右图像各自的合成 旋转矩阵rl、 rr； 0032 503.计算左右两幅图像各自的旋转矩阵Rlt。

19、、 Rrt， 将左图像根据旋转矩阵Rl旋转， 将 右图像根据旋转矩阵Rr进行旋转， 使两幅图像的极线水平， 且极点在无穷远处， 完成立体校 正。 0033 作为对本发明的改进， 在上述步骤600中， 还包括如下步骤： 0034 601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后， 识别出第二校正左 灰度图像和第二校正右灰度图像上的同一个像素点， 并计算像素点的视差值d； 0035 0036 其中， xl、 xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上 的像素横轴坐标， zc为比例因子； 说明书 2/10 页 6 CN 109919856 A 6 0037 602。

20、.用下式计算每一个像素点距离摄像机平面的高度值z； 0038 0039 其中， Tx为相对平移向量T在横轴方向上的分量， 单位为mm， 表示左右两台摄像机 之间的水平距离， f为摄像机焦距， 单位为mm， d为视差值， 单位为mm； 0040 603.将所有像素点的高度值组成一个模型矩阵M， 恢复出路面的三维模型， 其中模 型矩阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。 0041 作为对本发明的改进， 在上述步骤700中， 还包括如下步骤： 0042 701.按下式计算像素点对应的高度值的一阶差商， 确定立体匹配错误像素点的位 置； 0043 k(zi+1-zi。

21、)/(xi+1-xi)； 0044 其中， k为像素点的一阶差商， xi， xi+1为第i和第i+1个像素点的像素横坐标， zi， zi+1 为第i和第i+1个像素点的高度值， 单位为mm。 0045 702.将一阶差商大于1的点定义为匹配错误的点， 利用77的滤波窗口， 把匹配错 误的点放在窗口中心， 将窗口内所有像素点的高度值从小到大进行排列， 计算出窗口内像 素点高度值的中值， 用中值替换匹配错误的值， 输出替换后的像素点高度值。 0046 作为对本发明的改进， 在上述步骤800中， 还包括如下步骤： 0047 801.对模型矩阵M的像素点高度值做平面拟合， 按下式计算出拟合平面的参数a。

22、1， a2， a3； 0048 0049 其中， xi， yi为第i个像素点的像素坐标， zi为第i个像素点的高度值， n为矩阵中总 的像素点个数。 0050 作为对本发明的改进， 在上述步骤800中， 还包括如下步骤： 0051 802.利用下式计算修正后的各像素点的高度值， 完成拍摄角度误差修正； 0052 hizi-a1xi-a2yi-a3； 0053 其中， zi、 hi分别为拍摄角度修正前和修正后的第i个像素点的高度值， 单位为mm。 0054 作为对本发明的改进， 在上述步骤900中， 按下式进行计算沥青路面的构造深度 Hp， 单位为mm； 0055 0056 其中， hmax为像。

23、素点高度值的最大值， 单位为mm， hi为第i个像素点的高度值， 单位 为mm， m和n为模型矩阵M的行数和列数。 0057 本发明由于采用了左右两台摄像机， 通过左右两台摄像机分别采集沥青路面的左 彩色图像和右彩色图像， 依次进行灰度处理、 畸变校正、 立体校正、 恢复出路面的三维模型、 消除立体匹配错误的值、 修正摄像机的拍摄角度误差， 最后计算沥青路面的构造深度； 在检 测过程中所受光照和路面自身颜色的影响较小， 不仅能测量沥青路面构造深度， 同时还能 说明书 3/10 页 7 CN 109919856 A 7 恢复出路面的三维模型， 能够更直观地反映出沥青路面的技术状况信息， 供检测人。

24、员参考； 克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点， 利用一对普通的摄像机镜 头即可完成检测； 克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观影响较 大的缺点， 具有快速高效、 不易受干扰、 价格经济和检测结果更加准确等优点。 附图说明 0058 图1是本发明的流程方框示意图。 0059 图2是本发明标定所用棋盘格。 0060 图3是本发明中左右两台摄像机工作时的平面结构示意图。 0061 图4是本发明中经过灰度处理后的左灰度图像和右灰度图像。 0062 图5是本发明中完成畸变校正和立体校正后的第二校正左灰度图像和第二校正右 灰度图像。 0063 图6是本发明中包含立体。

25、匹配错误值的被测区域路面模型图。 0064 图7是本发明中消除立体匹配错误的值后的被测区域路面模型图。 0065 图8是本发明中修正摄像机拍摄角度误差后的被测区域路面模型图。 具体实施方式 0066 在本发明的描述中， 需要理解的是， 术语中 “中心” 、“上” 、“下” 、“前” 、“后” 、“左” 、 “右” 等指示的方位或位置关系为基于附图所示的方位或位置关系， 仅是为了便于描述本发 明和简化描述， 而不是指示或暗示所指的装置或组件必须具有特定的方位、 以特定的方位 构造和操作， 因此不能理解为对本发明的限制。 此外， 术语 “第一” 、“第二” 仅用于描述目的， 而不能理解为指示或暗示。

26、相对重要性。 0067 在本发明的描述中， 需要说明的是， 除非另有明确的规定和限定， 术语 “安装” 、“连 接” 、“相连” 应做广义理解， 例如， 可以是固定连接， 也可以是拆卸连接， 或一体地连接； 可以 是机械连接， 也可以是电连接； 可以是直接相连， 也可以是通过中间媒介间接相连， 可以是 两个组件内部的连通。 对于本领域的普通技术人员而言， 可以具体情况理解上述术语在本 发明的具体含义。 0068 请参见图1， 图1所揭示的是一种基于双目视觉的沥青路面构造深度检测方法的流 程图， 基于双目视觉的沥青路面构造深度检测方法包括如下步骤： 0069 100.获取左右两台摄像机的内参和外。

27、参； 0070 200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像； 0071 300.将左彩色图像和右彩色图像分别处理成左灰度图像和右灰度图像(请参见图 4)； 0072 400.根据左右两台摄像机的内参， 分别对左灰度图像和右灰度图像进行畸变校 正， 得到第一校正左灰度图像和第一校正右灰度图像； 0073 500.根据左右两台摄像机的内参和外参， 分别对第一校正左灰度图像和第一校正 右灰度图像进行立体校正， 得到第二校正左灰度图像和第二校正右灰度图像(请参见图5)； 0074 600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配(请参见图6)， 识别出第二校正左灰度。

28、图像和第二校正右灰度图像上对应的像素点， 计算像素点的视差值 说明书 4/10 页 8 CN 109919856 A 8 d， 根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的高度值， 生成 一个包含图像上每个像素点的像素坐标及其对应的高度值信息的模型矩阵M， 恢复出路面 的三维模型； 0075 700.对模型矩阵中相邻两个像素点高度值的差商值设置一个阈值， 确定出立体匹 配错误点的位置， 利用中值滤波窗口对立体匹配错误的值进行修正， 消除立体匹配错误的 值(请参见图7)； 0076 800.对模型矩阵M进行平面拟合， 将模型矩阵M和拟合平面相减， 修正采集图像时 由于摄像机光。

29、轴与路面不垂直带来的拍摄角度误差(请参见图8)； 0077 900.计算沥青路面的构造深度。 0078 在本方法的上述步骤100中， 选取左右两台摄像机的规格相同， 成像面平行共面且 行对准， 左右之间相隔一段距离的摄像机作为双目摄像机， 以测量平台为原点构建世界坐 标系， 采用张正友标定法对双目摄像机进行标定， 求解两台摄像机的内参和外参。 需要说明 的是， 摄像机的内参只与摄像机的规格有关， 在摄像机出厂以后就唯一确定， 摄像机外参只 与左右两台摄像机之间的相对位置关系有关。 摄像机内参包含了摄像机焦距f， 比例因子 zc， 摄像机主点位置u0、 v0， 反应了摄像机的内部结构情况。 摄像。

30、机外参包含了摄像机相对于 棋盘格的旋转矩阵R和摄像机相对于棋盘格的平移向量T， 反应了摄像机之间的相对位置关 系。 0079 进一步， 对摄像机进行标定， 采用张正友标定法， 利用摄像机拍摄一组棋盘格图 像， 棋盘格图像如图2所示， 然后利用图像识别技术识别出数字图像上的棋盘格角点， 建立 数字图像中的棋盘格角点与和现实世界中的棋盘格角点之间的对应关系， 求解摄像机的内 参和外参。 包括如下步骤： 0080 101.设世界坐标系下一个点的坐标为P(X， Y， Z)， 其对应的图像上一点的像素坐标 为p(u， v)， 则世界坐标到像素坐标的转换过程按下式进行： 0081 0082 0083 ax。

31、zcJ； 0084 ayzcf； 0085 其中， K为摄像机的内参矩阵,u0、 v0为摄像机主点的像素坐标， ax、 ay为摄像机焦距 参数， R为摄像机相对于棋盘格的33旋转矩阵， T为摄像机相对于棋盘格的31平移向量， zc为比例因子， f为摄像机焦距。 0086 102.假定摄像机坐标系和世界坐标系相互重合， 则世界坐标系位于Z0的平面 上， 可令Z0， 上式转化为： 说明书 5/10 页 9 CN 109919856 A 9 0087 0088 HKr1 r2 T； 0089 式中， H为33的单应性矩阵， r1， r2分别为摄像机旋转矩阵R的第一列和第二列。 0090 单应性矩阵中。

32、包含了全部的摄像机内参和外参， 将单应性矩阵H写做三个列向量 的形式h1 h2 h3， 利用坐标转换中的约束条件， 根据下式求解单应性矩阵； 0091 0092 0093 103.利用双目摄像机拍摄一组棋盘格图像， 然后利用图像识别技术识别出棋盘格 的角点， 将像素坐标系下的角点p(u， v)与世界坐标系下的角点P(X， Y， Z)作为已知值， 计算 单应性矩阵， 求解出全部的摄像机内参和外参。 0094 在本方法的上述步骤200中， 如图3所示， 由于将左右两台摄像机1的规格相同， 成 像面平行共面且行对准， 左右之间相隔一段距离的摄像机1作为一组双目摄像机。 也就是 说， 本发明中的左右两。

33、台摄像机1构成一组双目摄像机， 将双目摄像机以一定高度垂直安装 于沥青路面2上， 通过计算机控制左右两台摄像机1同时拍照， 利用所获得的左右两幅数字 图像对沥青路面2构造深度进行检测， 左右两台摄像机1拍摄区域相互重合的部分即为被测 区域3。 双目摄像机必须选择焦距固定的摄像机， 不能选择带有自动变焦功能的摄像机镜 头。 需要说明的是， 将左右两台摄像机1按一定高度安装在沥青路面2上方， 摄像机1的光轴 与沥青路面2互相垂直， 左右两台摄像机1的拍摄区域相互重合(请参见图3)。 0095 在本方法的上述步骤300中， 还包括如下步骤： 0096 301.将左彩色图像和右彩色图像分别由红色(R)。

34、、 绿色(G)、 蓝色(B)三个通道按下 式计算后， 转换为的左单通道灰度图像和右单通道灰度图像； 0097 f(x,y)R(x,y)0.299+G(x,y)0.587+B(x,y)0.114； 0098 其中， f(x， y)为像素点的灰度值， R(x， y)、 G(x， y)、 B(x， y)分别为像素点的红色、 绿 色、 蓝色三个通道的值。 0099 302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理， 得到 左灰度图像和右灰度图像(请参见图4)。 0100 所述中值滤波去噪是指利用33的正方形二维滑动模板在图像上进行滑动， 将待 处理的灰度值放在窗口的中间， 将窗口内。

35、所有的灰度值从小到大进行排列， 计算出窗口内 灰度值的中值， 当待处理的灰度值等于灰度值的最大值或最小值时， 则判定这个灰度值异 常， 用灰度值的中值替换待处理灰度值， 输出替换后的灰度值； 反之则判定为正常值， 输出 原本的灰度值。 0101 在本方法的上述步骤400中， 还包括如下步骤： 0102 401.根据摄像机的内参按照下式确定出畸变系数k1、 k2： 0103 说明书 6/10 页 10 CN 109919856 A 10 0104 其中， k1、 k2为摄像机的畸变系数， u、 v为无畸变的像素坐标,x、 y为无畸变的连续像 素坐标， u0、 v0为摄像机主点的像素坐标，为畸变后。

36、的像素坐标。 需要说明的是， 畸变 校正是指对图像中可能产生的桶形畸变或枕形畸变进行校正， 校正的依据是摄像机的内 参。 0105 402.利用所得的摄像机畸变系数k1、 k2按下式， 分别对左灰度图像和右灰度图像进 行畸变校正： 0106 0107 0108 在本方法的上述步骤500中， 立体校正是指对左右两个摄像机的相对位置进行校 正， 左右两个摄像机在安装过程中会存在误差， 两个成像平面不可能完全平行共面且行对 准， 因此需要将两幅图像进行立体校正。 利用标定得到的摄像机外参用Bouguet算法对图像 进行校正。 还包括如下步骤： 0109 501.确定出左右两台摄像机之间的相对位置关系。

37、， 公式如下： 0110 RRrRlT； 0111 TTr-RTl； 0112 其中， R为左右两台摄像机之间的33相对旋转矩阵， T为左右两个摄像机之间的3 1相对平移向量， Rl、 Rr分别为左右两台摄像机相对于棋盘格的33旋转矩阵， Tl、 Tr分别 为左右两台摄像机相对于棋盘格的31平移向量； 0113 502.利用罗德里格斯变换， 将相对旋转矩阵分解成为左图像和右图像各自的合成 旋转矩阵rl、 rr； 0114 503.计算左右两幅图像各自的旋转矩阵Rlt、 Rrt， 将左图像根据旋转矩阵Rl旋转， 将 右图像根据旋转矩阵Rr进行旋转， 使两幅图像的极线水平， 且极点在无穷远处， 完。

38、成立体校 正。 公式如下： 0115 RltRr ectrl； 0116 RrtRr ectrr； 0117 Rr ecte1 e2 e3； 0118 0119 0120 e3e1e2； 0121 式中， Rlt、 Rrt为分别左右图像各自的33旋转矩阵， R为左右两个摄像机之间的3 3相对旋转矩阵， T为左右两个摄像机之间的31相对平移向量， rl、 ” rr分别为左右图像的 合成旋转矩阵。 需要说明的是， 矫正后的图像请参见图5。 0122 在本方法的上述步骤600中， 还包括如下步骤： 0123 601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后， 识别出第二校正左 说明书 。

39、7/10 页 11 CN 109919856 A 11 灰度图像和第二校正右灰度图像上的同一个像素点， 并计算像素点的视差值d， 单位为mm； 0124 0125 其中， xl、 xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上 的像素横轴坐标， zc为比例因子； 0126 602.用下式计算每一个像素点距离摄像机平面的高度值z； 0127 0128 其中， Tx为相对平移向量T在横轴方向上的分量， 单位为mm， 表示左右两台摄像机 之间的距离， f为摄像机焦距， 单位为mm， d为视差值， 单位为mm； 可见， 视差值d越大， 则像素 点距离摄像机越近， 视差值d越小， 则像。

40、素点距离摄像机越远。 0129 603.将所有像素点的高度值组成一个模型矩阵M， 恢复出路面的三维模型， 其中模 型矩阵M是一个包含了图像上每一个像素点的像素坐标及其对应的像素点高度值的矩阵。 请参见图6， 图6是立体匹配完成后生成的包含立体匹配错误值的被测区域路面模型图。 0130 在本方法的上述步骤700中， 还包括如下步骤： 0131 701.按下式计算像素点对应的高度值的一阶差商， 确定立体匹配错误像素点的位 置； 0132 k(zi+1-zi)/(xi+1-xi)； 0133 其中， k为像素点的一阶差商， xi， xi+1为第i和第i+1个像素点的像素横坐标， zi， zi+1 为。

41、第i和第i+1个像素点的高度值， 单位为mm。 0134 702.将一阶差商大于1的点定义为匹配错误的点， 利用77的滤波窗口， 把匹配错 误的点放在窗口中心， 将窗口内所有的像素点高度值从小到大进行排列， 计算出窗口内像 素点高度值的中值， 用中值替换匹配错误的值， 输出替换后的像素点高度值， 得到消除立体 匹配错误的值后的路面模型图， 调整模型显示比例后请参见图7所示。 0135 在本方法的上述步骤800中， 还包括如下步骤： 0136 801.对模型矩阵M的像素点高度值做平面拟合， 按下式计算出拟合平面的参数a1， a2， a3； 0137 0138 其中， xi， yi为第i个像素点的。

42、像素坐标， zi为第i个像素点的高度值， 单位为mm， n为 矩阵中总的像素点个数。 0139 802.利用下式计算修正后的各像素点的高度值， 完成拍摄角度误差修正； 0140 hizi-a1xi-a2yi-a3； 0141 其中， zi、 hi分别为拍摄角度修正前和修正后的第i个像素点的高度值， 单位为mm， 得到修正后的路面模型图， 请参见图8所示。 0142 在本方法的上述步骤900中， 按下式进行计算沥青路面的构造深度Hp， 单位为mm； 说明书 8/10 页 12 CN 109919856 A 12 0143 0144 其中， hmax为像素点高度值的最大值， 单位为mm， hi为第。

43、i个像素点的高度值， 单位 为mm， m和n为模型矩阵M的行数和列数。 0145 为验证本发明的有效性， 利用本发明进行沥青路面构造深度检测并对采集的30个 测点图像信息进行分析计算， 将计算结果与手工铺沙法的检测结果进行对比， 结果如表1所 示。 0146 表1： 0147 0148 从表1中可以看出， 30个测点的测试结果最大相对误差为-8.45， 平均相对误差 为3.04， 相关系数为0.933， 本发明的检测方法相比手工铺沙法的检测结果误差较小， 相 关程度较高， 具有良好的检测效果。 0149 本发明由于采用了左右两台摄像机， 通过对左右两台摄像机分别采集沥青路面的 左彩色图像和右彩。

44、色图像， 依次进行灰度处理、 畸变校正、 立体校正、 恢复出路面的三维模 型、 消除立体匹配错误的值、 修正摄像机的拍摄角度误差， 最后计算沥青路面的构造深度； 在检测过程中所受光照和路面自身颜色的影响较小， 不仅能测量沥青路面构造深度， 同时 还能恢复出路面的三维模型， 能够更直观地反映出沥青路面的技术状况信息， 供检测人员 参考； 克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点， 利用一对普通的摄 像机镜头即可完成检测； 克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观 说明书 9/10 页 13 CN 109919856 A 13 影响较大的缺点， 具有快速高效、 不易受。

45、干扰、 价格经济和检测结果更加准确等优点。 0150 需要说明的是， 针对上述各实施方式的详细解释， 其目的仅在于对本发明进行解 释， 以便于能够更好地解释本发明， 但是， 这些描述不能以任何理由解释成是对本发明的限 制， 特别是， 在不同的实施方式中描述的各个特征也可以相互任意组合， 从而组成其他实施 方式， 除了有明确相反的描述， 这些特征应被理解为能够应用于任何一个实施方式中， 而并 不仅局限于所描述的实施方式。 说明书 10/10 页 14 CN 109919856 A 14 图1 说明书附图 1/5 页 15 CN 109919856 A 15 图2 说明书附图 2/5 页 16 CN 109919856 A 16 图3 图4 说明书附图 3/5 页 17 CN 109919856 A 17 图5 图6 说明书附图 4/5 页 18 CN 109919856 A 18 图7 图8 说明书附图 5/5 页 19 CN 109919856 A 19 。