基于向量关系的单线激光雷达和CCD相机标定方法.pdf

《基于向量关系的单线激光雷达和CCD相机标定方法.pdf》由会员分享，可在线阅读，更多相关《基于向量关系的单线激光雷达和CCD相机标定方法.pdf（12页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103837869 A (43)申请公布日 2014.06.04 CN 103837869 A (21)申请号 201410065887.2 (22)申请日 2014.02.26 G01S 7/497(2006.01) G06T 7/00(2006.01) (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园 100 号 (72)发明人 贾松敏 王可 徐涛 李秀智 杨爱林 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 张慧 (54) 发明名称 基于向量关系的单线激光雷达和 CCD 相机标 定方法 (57) 摘要 本发明涉。

2、及基于向量关系的单线激光雷达和 CCD 相机标定方法， 在激光坐标系中提取激光雷 达扫描 V 型靶标的点集信息， 通过直线拟合求得 靶标两个不同平面内的直线的方向向量及交点坐 标 ； 在相机坐标系中利用 CCD 相机捕获图像， 通过 对图像信息处理获取靶标平面方程和过原点与激 光雷达扫描线的平面方程， 建立激光雷达扫描的 直线方程， 进一步得到直线的方向向量及交点坐 标 ； 最后依据不同坐标系对应直线方向向量及交 点间的关系完成标定。本发明不需要移动标定场 景中的任何物体， 一次即可完成所有标定数据的 采集， 标定效率大大提高 ； 本发明直接获取待标 定传感器各自坐标系下激光扫描靶标平面的直线。

3、 方向向量， 在保证标定精度的同时简化了标定算 法。 (51)Int.Cl. 权利要求书 3 页 说明书 6 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书6页 附图2页 (10)申请公布号 CN 103837869 A CN 103837869 A 1/3 页 2 1. 基于向量关系的单线激光雷达和 CCD 相机标定方法， 其特征在于包括以下步骤 ： 步骤 1， 构建标定场景 ； 步骤 1.1， 用平整木板制作两个 B2 尺寸的棋盘格标定板 ； 步骤 1.2， 将两个标定板成 角摆放， 80 150， 构成一个 V 型靶标， 靶标的 左、。

4、 右平面分别用 Fl和 Fr表示 ； 步骤 1.3， 将激光雷达和相机置于靶标前合适位置， 使靶标能够被激光雷达扫描且相机 能够完整捕获标定场景 ； 激光雷达在扫描 V 型靶标时， 其扫描点会在靶标的左、 右平面形成 两条扫描线， 定义为相应坐标系下激光雷达扫描线的左直线和右直线， 且两直线交于一点， 该交点在实际数据中不存在， 是一个虚拟的点 ； 步骤 2， 获取激光雷达坐标系数据 ； 步骤 2.1， 提取激光扫描点云 ； 固定激光雷达位置， 分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集 w 和 W ； 靶标摆放前后， w 和 W 在标定板对应角度上的值会产生比较大的变化， 通过设定。

5、阈值 可提取标定板上的点云 WB， 即 ： 步骤 2.2， 确定 V 型靶标左右平面 Fl和 Fr上的点云 WBl和 WBr； 激光雷达扫描是逆时针进行的， 取点云 WB最左边的点 PBl， 极大值点 PBo和最右边的点 PBr， 则 WBr为 PBl到 PBo间的点云， WBl为 PBr到 PBo间的点云 ； 步骤 2.3， 根据点云数据 WBl和 WBr拟合直线 ； 将激光雷达扫描靶标两个平面Fl和Fr的点云数据WBl和WBr从极坐标转为直角坐标， 利 用线性最小二乘法拟合直线， 激光雷达扫描面为 Z 0， 激光坐标系下激光雷达扫描靶标两 个面的两直线方程分别为 ： 步骤 2.4， 计算两。

6、条直线的方向向量 sLl和 sLr及交点 ML的坐标 (xL,yL,0) ； 步骤 3， 获取 CCD 相机坐标系数据 ； 步骤 3.1， 保持激光雷达位置不变， 调整相机其能够完整捕获标定场景 ； 步骤 3.2， 利用相机保存包含和未包含激光雷达扫描信息的两幅标定场景图像 ； 步骤 3.3， 求相机坐标系下靶标左、 右平面方程 ； 基于张正友标定方法， 提取任意一副标定场景图像中的棋盘格角点信息， 利用图像像 素坐标平面和相机坐标平面之间的约束关系， 求得靶标左、 右平面程为 ： Alx+Bly+Clz+Dl 0 （2） Arx+Bry+Crz+Dr 0 步骤 3.4， 求过原点与激光雷达扫。

7、描线的平面方程 ； 对两幅标定场景图像做畸变校正、 差分以及二值化处理， 获取一幅完整保留并突显激 光信息的图像 ； 对处理后的图像进行 Hough 变换， 提取响应最大的两条直线， 其图像像素坐 标系下点斜式方程为 ： 权 利 要 求 书 CN 103837869 A 2 2/3 页 3 y alx+bl （3） y arx+br 相机坐标系与图像平面的像素点坐标之间的投影关系为 ： 其 中， (u,v) 是 图 像 像 素 坐 标 系 中 坐 标 ； (xc,yc,zc) 是 相 机 坐 标 系 中 坐 标 ； 是 CCD 相机的内参矩阵， 可利用张正友标定法标定 CCD 相机获得， (u。

8、0,v0) 是相机像平面中心坐标， (fu,fv) 是相机的焦距， s 是描述图像平面两个轴之间的畸变系数， 一般取 0 ； 将 （4） 式代入 （3） 式得相机坐标系下过原点与激光雷达扫描线的平面方程 ： AClx+BCly+CClz 0 （5） ACrx+BCry+CCrz 0 其中， ACl fual,BCl -fvl,CCl uoal-vo+bl， ACr fuar,BCr -fvr,CCr uoar-vo+br； 步骤 3.5， 确定激光雷达扫描线的空间直线方程 ； 联立 （5） 式和 （2） 式得 CCD 相机坐标系下激光雷达扫描线在靶标不同平面的两条空间 直线方程 ： 步骤 3.。

9、6， 求两条直线的方向向量 sCl和 sCr及 MC的坐标 (xC,yC,zC) ； 步骤 4， 求标定参数。 2. 根据权利要求 1 所述的基于向量关系的单线激光雷达和 CCD 相机标定方法， 其特征 在于， 所述步骤 2.4 和步骤 3.6 计算两条直线的方向向量及交点坐标的方法如下 ： 由两条直线一般式方程中两平面法向量的叉乘求得它们的方向向量 ； 联立两直线方程求得两直线交点的坐标。 3. 根据权利要求 1 所述的基于向量关系的单线激光雷达和 CCD 相机标定方法， 其特征 在于， 所述步骤 4 求标定参数的方法包括以下步骤 ： 步骤 4.1， 确定待标定参数 ； 激光坐标系与相机坐标。

10、系之间的变换关系为 ： PC RPL+T （7） 其中， PL和 PC分别为同一点在激光坐标系和相机坐标系中的坐标 ； T 为平移向量 ； R 为 33 的正交旋转矩阵， 满足 RRT I， I 为 33 单位方阵 ； 正交旋转矩阵 R 和平移向量 T 即为待标定参数 ； 步骤 4.2， 求旋转矩阵 R ； 前述确定的不同坐标系下靶标不同平面的两条直线的向量满足 ： RsLl sCl （8） 权 利 要 求 书 CN 103837869 A 3 3/3 页 4 RsLr sCr （9） 联立 （8） 、（9） 和 RRT I 可求得 R ； 步骤 4.2， 求平移向量 T ； 将两条直线交点 。

11、ML和 MC的坐标以及 R 带入 （7） 式可求得 T。 权 利 要 求 书 CN 103837869 A 4 1/6 页 5 基于向量关系的单线激光雷达和 CCD 相机标定方法 技术领域 0001 本发明属于计算机视觉领域， 涉及一种激光雷达与相机间标定技术， 尤其涉及一 种基于传感器坐标系间直线方向向量约束关系的标定方法。 背景技术 0002 在计算机视觉研究领域， CCD 相机能获取环境中颜色、 纹理等信息， 便于对目标物 体的识别， 但无法有效建立被观察物准确的几何形状信息。激光雷达可提供被测目标的几 何形状信息， 却缺乏环境颜色、 纹理等描述。因此研究激光雷达和 CCD 相机的标定，。

12、 建立传 感器的融合模型实现环境信息的感知， 具有重要研究意义。 0003 张正友等较早在 “2004IEEE/RSJ International Conference on Intelligent Robots and systems” 上发表的论文 “Extrinsic Calibration of a Camera and Laser Range Finder(improves camera calibration)” 中提出利用激光雷达扫描点在棋盘格标定 板上的约束关系， 完成激光雷达和相机间的标定， 该方法需要至少五次采集棋盘格标定板 的数据， 在标定相机相对于标定板的外部参数时存在。

13、的误差直接影响该方法的标定精度， 最终仿真提供的标定数据存在一定的误差。申请号为 201010223750.7 的专利公开了一种 单线激光雷达和 CCD 相机标定方法， 该方法首先提取激光雷达扫描立方体标定键的距离数 据， 分割标定键两个不同平面上的距离信息， 分别对两个面的数据进行直线拟合， 得到直线 后计算直线交点坐标， 将此交点信息作为激光雷达坐标系的虚拟控制点。然后， 利用 CCD 相机可以直接成像激光雷达扫描点信息的特性， 给 CCD 相机镜头加上红外滤光片滤掉可见 光， 捕获激光雷达扫描点红外光成像图像， 提取图像中标定键两个不同平面上激光雷达扫 描线， 得到扫描线交点坐标， 此交。

14、点坐标即为激光雷达坐标系中虚拟控制点投影到图像中 的坐标。 最后利用图像坐标与相机坐标之间的约束关系， 完成激光雷达与相机间的标定。 该 方法不需要定位激光雷达点的准确位置， 但需要采集至少四组标定数据， 在每次拟合直线 提取对应交点信息时均存在误差， 多次重复数据处理使最终标定结果产生较大误差。 0004 综上所述， 现有标定方法或者需要精确估计激光雷达扫描点位置， 数学算法较为 复杂， 标定精度较低， 或者需要采集多组标定数据以获得足够的对应交点信息， 在获取每组 标定数据时均产生误差， 致使最终标定结果误差较大。 发明内容 0005 针对现有技术中存在的标定过程较为复杂， 标定精度较低的。

15、问题， 本发明提出一 种基于向量关系的单线激光雷达和CCD相机标定方法， 标定场景如附图2所示， 在保证标定 精度的同时， 有效减少了操作的复杂度， 可快速实现整个标定过程。 0006 本发明采用如下的技术方案 ： 0007 在激光坐标系中， 提取激光雷达扫描 V 型靶标的点集信息， 分割出作用于靶标两 个不同平面的点集， 分别做直线拟合， 求得到的两条直线的方向向量及交点坐标 ； 在相机坐 标系中， 利用 CCD 相机捕获图像， 通过对图像信息的处理， 获取靶标平面方程和过原点与激 说 明 书 CN 103837869 A 5 2/6 页 6 光雷达扫描线的平面方程， 根据空间解析几何中直线。

16、由两平面相交确立的表述， 建立激光 雷达扫描的直线方程， 进一步得到直线的方向向量及交点坐标 ； 最后依据传感器坐标系间 对应直线方向向量间及对应点的约束关系完成整个标定。 0008 1. 构建标定场景 0009 为了建立激光坐标系与相机坐标系之间的对应关系， 设计了如附图 2 所示的标定 场景。用平整木板制作两个 B2 尺寸的棋盘格标定板， 成 角摆放 （80 150） ， 构成一个 V 型靶标， 标定板的左、 右两个不同平面分别用 Fl和 Fr表示。标定时将激光雷达 和相机置于靶标前合适位置， 使靶标能够被激光雷达扫描且相机能够完整捕获标定场景， 标定过程在可见光较弱的环境中进行， 以保证。

17、相机能够清晰地捕获激光雷达扫描信息。 0010 在该标定场景中， 激光雷达在扫描 V 型靶标时， 其扫描点会在靶标的左、 右平面分 别形成一条扫描线。本发明将分别求取这两条扫描线在激光雷达坐标系和 CCD 相机坐标系 中的直线方程， 并基于直线方程获得直线的方向向量和交点坐标， 依据传感器坐标系间对 应直线方向向量间及对应点的约束关系完成激光雷达与 CCD 相机间的标定。 0011 2. 获取激光雷达和 CCD 相机坐标系数据 0012 2.1 获取激光雷达坐标系数据 0013 固定激光雷达位置， 分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集 w 和 W。靶标摆放前后， w 和 W 在。

18、标定板对应角度上会产生比较大的变化， 通过设定阈值 可提取标定板上的点云 WB， 取点云 WB最左边的点 PBl， 极大值点 PBo和最右边的点 PBr， 基于激 光雷达为逆时针扫描， 确立 WBr为 PBl到 PBo间的点云， WBl为 PBr到 PBo间的点云。 0014 2.2 获取 CCD 相机坐标系数据 0015 保持激光雷达和靶标位置不变， 将相机摆放在能够获取整个标定场景的位置。保 存包含和未包含激光雷达扫描信息的两幅标定场景图像。 0016 3. 数据处理 0017 3.1 激光雷达坐标系数据处理 0018 将激光雷达扫描靶标两个平面的点云数据 WBl和 WBr从极坐标转为直角。

19、坐标， 利用 线性最小二乘法拟合直线， 激光雷达扫描面内 Z 0， 得激光坐标系下激光雷达扫描靶标两 个面的两直线方程， 计算两直线的方向向量 sLl和 sLr及交点 ML的坐标。 0019 3.2CCD 相机坐标系数据处理 0020 （1） 求取相机坐标系下靶标平面方程 0021 利用任意一副标定场景图像 （两幅图像仅存在是否包含激光雷达扫描信息的区 别， 靶标平面信息一致） ， 基于张正友标定方法， 提取图像中棋盘格角点信息， 利用图像像素 坐标平面和相机坐标平面之间的约束关系， 求靶标左、 右平面的方程。 0022 （2） 求过原点与激光雷达扫描线的平面方程 0023 对两幅标定场景图像。

20、做畸变校正、 差分以及二值化处理， 获取一幅完整保留并突 显激光信息的图像， 对此图像进行 Hough 变换， 提取响应最大的两条直线， 获得其图像像素 坐标系下点斜式方程。 0024 利用相机坐标系与图像平面像素点坐标之间的投影关系， 得相机坐标系下过原点 与激光雷达扫描线平面的方程。 0025 （3） 获取激光雷达扫描线数据 说 明 书 CN 103837869 A 6 3/6 页 7 0026 空间解析几何中可由两相交平面方程联立表述一条空间直线方程， 称为空间直线 的一般式方程。本发明在相机坐标系下， 激光雷达扫描信息同时属于靶标平面和过原点与 激光雷达扫描线平面， 基于此， 将对应靶。

21、标平面方程和过原点与激光雷达扫描线平面方程 联立， 即可获得激光雷达扫描靶标不同平面的两条空间直线方程， 进而可以求得两直线的 方向向量 sCl和 sCr及交点 MC的坐标。 0027 4. 求标定参数 0028 单线激光雷达与 CCD 相机间标定， 实际上就是确定两个传感器坐标系间旋转和平 移参数的问题。旋转关系可以用一个 33 的正交旋转矩阵 R 表述， 平移关系可以用一个 31 的平移向量 T 表述。 0029 利用本发明提出的传感器坐标系间对应直线方向向量约束关系和 R 自身的正交 特性， 计算出旋转矩阵 R。再利用传感器坐标系间对应点的约束关系， 求平移向量 T。完成 本发明的整体标。

22、定过程。 0030 与现有技术相比， 本发明具有以下优势 ： 0031 1. 本发明操作简单， 有效提高了标定效率。 0032 现有标定技术均需改变标定场景， 反复提取多组实验数据才能完成最终的标定， 例如， 张正友等人的标定方法在保持激光雷达 - 相机系统不动的情况下， 需要移动棋盘格 标定板， 采集至少五次棋盘格标定板数据 ； 申请号为 201010223750.7 的专利技术利用墙角 作为立体标定键， 虽然简化了标定键的制作， 但为了获得足够的标定数据， 在墙角不可以移 动的情况下， 需要整体移动激光雷达 - 相机系统， 采集至少四组标定数据。本发明不需要移 动标定场景中的任何物体， 一。

23、次即可完成所有标定数据的采集， 使得标定效率大大提高。 0033 2. 本发明在保证标定精度的同时， 简化了标定算法。 0034 申请号为 201010223750.7 的专利虽然对标定算法进行了简化， 仍然不是直接基 于激光雷达和相机两个待标定的传感器之间建立约束关系， 而是通过图像坐标系与相机坐 标系间的约束关系， 间接建立待标定传感器间的约束关系， 受所采用的算法限制， 需要重复 获取多组标定数据。该专利中已经明确指出， 在获取每组数据时产生的误差是影响其标定 精度的主要原因。本发明提出利用向量关系建立坐标系间的约束关系， 空间向量自身包含 三组对应信息， 可直接建立待标定传感器之间的约。

24、束关系。本发明直接获取待标定传感器 各自坐标系下激光雷达扫描靶标不同平面的直线方向向量， 整个标定过程建立的方程均是 简单的多元一次数学方程， 可直接求解， 且求解精度高， 不需要采用复杂的优化算法对结果 进行二次优化。本发明算法的误差同样来自于直线信息的获取， 但不会因为多次重复获取 数据使误差累积放大， 最终的标定误差小于现有技术。 附图说明 0035 图 1 为本发明所涉及方法的流程图 ； 0036 图 2 为标定场景示意图。 具体实施方式 0037 下面结合附图和实施例对本发明作进一步的详细说明。 0038 基于向量关系的单线激光雷达和 CCD 相机标定方法流程图如附图 1 所示， 具。

25、体包 说 明 书 CN 103837869 A 7 4/6 页 8 括以下几个步骤 ： 0039 步骤 1， 构建标定场景。 0040 本发明需要在如附图 2 所示特定标定场景中提取激光和图像数据， 构建标定场景 的方法造价低廉且易于实现。具体步骤如下 ： 0041 步骤 1.1， 用平整木板制作两个 B2 尺寸的棋盘格标定板， 棋盘的间隔为 44mm。 0042 步骤 1.2， 将两个标定板成 角摆放 （80 150） ， 构成一个 V 型靶标， 靶 标的左、 右平面分别用 Fl和 Fr表示。 0043 步骤 1.3， 将激光雷达和相机置于靶标前合适位置， 使靶标能够被激光雷达扫描且 相机能。

26、够完整捕获标定场景。激光雷达在扫描 V 型靶标时， 其扫描点会在靶标的左、 右平面 形成两条扫描线， 定义为相应坐标系下激光雷达扫描线的左直线和右直线， 且两直线交于 一点， 该交点在实际数据中不存在， 是一个虚拟的点。 0044 步骤 2， 获取激光雷达坐标系数据。 0045 步骤 2.1， 提取激光扫描点云。 0046 固定激光雷达位置， 分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集 w 和 W。靶标摆放前后， w 和 W 在标定板对应角度上的值会产生比较大的变化， 通过设定阈 值 可提取标定板上的点云 WB， 即 ： 0047 0048 步骤 2.2， 确定 V 型靶标左右平面 。

27、Fl和 Fr上的点云 WBl和 WBr。 0049 激光雷达扫描是逆时针进行的， 取点云WB最左边的点PBl， 极大值点PBo和最右边的 点 PBr， 则 WBr为 PBl到 PBo间的点云， WBl为 PBr到 PBo间的点云。 0050 步骤 2.3， 根据点云数据 WBl和 WBr拟合直线。 0051 将激光雷达扫描靶标两个平面 Fl和 Fr的点云数据 WBl和 WBr从极坐标转为直角坐 标， 利用线性最小二乘法拟合直线， 激光雷达扫描面为 Z 0， 激光坐标系下激光雷达扫描 靶标两个面的两直线方程分别为 ： 0052 0053 步骤 2.4， 计算两条直线的方向向量及交点坐标。 005。

28、4 由两条直线一般式方程 （1） 中两平面法向量的叉乘求得它们的方向向量sLl和sLr； 联立两直线方程求得两直线交点 ML的坐标 (xL,yL,0)。 0055 步骤 3， 获取 CCD 相机坐标系数据。 0056 步骤 3.1， 保持激光雷达位置不变， 调整相机其能够完整捕获标定场景。 0057 步骤 3.2， 利用相机保存包含和未包含激光雷达扫描信息的两幅标定场景图像。 0058 步骤 3.3， 求相机坐标系下靶标左、 右平面方程。 0059 基于张正友标定方法， 提取任意一副标定场景图像中的棋盘格角点信息， 利用图 像像素坐标平面和相机坐标平面之间的约束关系， 求得靶标左、 右平面程为。

29、 ： 0060 Alx+Bly+Clz+Dl 0 （2） 0061 Arx+Bry+Crz+Dr 0 说 明 书 CN 103837869 A 8 5/6 页 9 0062 步骤 3.4， 求过原点与激光雷达扫描线的平面方程。 0063 对两幅标定场景图像做畸变校正、 差分以及二值化处理， 获取一幅完整保留并突 显激光信息的图像。对处理后的图像进行 Hough 变换， 提取响应最大的两条直线， 其图像像 素坐标系下点斜式方程为 ： 0064 y alx+bl （3） 0065 y arx+br 0066 相机坐标系与图像平面的像素点坐标之间的投影关系为 ： 0067 0068 其中， (u,v。

30、) 是图像像素坐标系中坐标 ； (xc,yc,zc) 是相机坐标系中坐标 ； 是 CCD 相机的内参矩阵， 可利用张正友标定法标定 CCD 相机获得， (u0,v0) 是相机像平面中心坐标， (fu,fv) 是相机的焦距， s 是描述图像平面两个轴之间的畸变系数， 一般取 0。 0069 将 （4） 式代入 （3） 式得相机坐标系下过原点与激光雷达扫描线的平面方程 ： 0070 AClx+BCly+CClz 0 （5） 0071 ACrx+BCry+CCrz 0 0072 其中， AClfual,BCl-fvl,CCluoal-vo+bl， ACrfuar,BCr-fvr,CCruoar-vo。

31、+br。 0073 步骤 3.5， 确定激光雷达扫描线的空间直线方程。 0074 联立 （5） 式和 （2） 式得 CCD 相机坐标系下激光雷达扫描线在靶标不同平面的两条 空间直线方程 ： 0075 0076 步骤 3.6， 求两条直线的方向向量及交点坐标。 0077 由两条直线一般式方程 （6） 中两平面法向量的叉乘求得它们的方向向量sCl和sCr； 联立两直线方程求得两直线交点 MC的坐标 (xC,yC,zC)。 0078 步骤 4， 求标定参数。 0079 步骤 4.1， 确定待标定参数。 0080 激光坐标系与相机坐标系之间的变换关系为 ： 0081 PC RPL+T （7） 0082。

32、 其中， PL和 PC分别为同一点在激光坐标系和相机坐标系中的坐标 ； T 为平移向量 ； R 为 33 的正交旋转矩阵， 满足 RRT I， I 为 33 单位方阵。 0083 正交旋转矩阵 R 和平移向量 T 即为待标定参数。 0084 步骤 4.2， 求旋转矩阵 R。 0085 前述确定的不同坐标系下靶标不同平面的两条直线的向量满足 ： 0086 RsLl sCl （8） 说 明 书 CN 103837869 A 9 6/6 页 10 0087 RsLr sCr （9） 联立 （8） 、（9） 和 RRT I 可求得 R。 0088 步骤 4.2， 求平移向量 T。 0089 将两条直线交点 ML和 MC的坐标以及 R 带入 （7） 式可求得 T。 说 明 书 CN 103837869 A 10 1/2 页 11 图 1 说 明 书 附 图 CN 103837869 A 11 2/2 页 12 图 2 说 明 书 附 图 CN 103837869 A 12 。