利用红外、深度和双目相机融合构建栅格地图的方法.pdf

《利用红外、深度和双目相机融合构建栅格地图的方法.pdf》由会员分享，可在线阅读，更多相关《利用红外、深度和双目相机融合构建栅格地图的方法.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911146220.4 (22)申请日 2019.11.21 (71)申请人 大连理工大学 地址 116024 辽宁省大连市甘井子区凌工 路2号 (72)发明人 仲维李豪杰陈圣伦王智慧 罗钟铉刘日升樊鑫 (74)专利代理机构 大连理工大学专利中心 21200 代理人 陈玲玉 (51)Int.Cl. G01C 21/00(2006.01) G01C 21/20(2006.01) G01C 21/32(2006.01) (54)发明名称 一种利用红外、 深度和双目相机融合构建栅。

2、 格地图的方法 (57)摘要 本发明公开了一种利用红外、 深度和双目相 机融合构建栅格地图的方法， 属于图像处理和计 算机视觉领域。 利用严谨的配准策略完成传感器 配准， 从硬件的层次提升系统效率。 利用GPU构建 高性能运算平台， 并构建高性能求解算法构建栅 格地图。 系统容易构建， 程序简单， 易于实现； 利 用红外相机， 深度相机和双目相机融合构建地 图， 可以全天候使用， 而且算法鲁棒性强精度高。 权利要求书1页 说明书3页 附图2页 CN 110849352 A 2020.02.28 CN 110849352 A 1.一种利用红外、 深度和双目相机融合构建栅格地图的方法， 其特征在于。

3、， 包括以下步 骤： 1)多传感器配准 首先采用混合材料的标定板进行红外相机和双目相机器位姿标定； 标定的方法采取张 正友标定法， 得到传感器位姿为T； 之后对拍摄标定物后得到的点云Pi和Ps对齐矫正进一步 修正位姿， 要使点对满足且点对的数量达到最大， 得到位姿为 T1； 其次标定深度相机和双目相机的位姿， 在两传感器测距范围内选取8个以上位置， 使用 标定物在两个传感器的公共视野内拍摄8个以上图像； 令深度相机获得点云为Pd， 对应的双 目立体相机获得的点云为Ps， 使用计算T1的方法得位姿T2； 2)深度权值更新 三种传感器生成的深度图分别为Di， Dd和Ds， 精度分别为wi， wd和。

4、ws； 在融合之前使用三 种传感器的原始图像进行场景判别， 根据场景情况调节深度图的精度； 3)筛选视线 由深度图Di， Dd和Ds变换成点云并用位姿T1和T2配准得到点云Pf， 对点云进行筛选； 连接 三维点q与视线起点o为当前视线l， o是相机光心在世界坐标系的位置， 如果q的高度比o大h 则剔去视线， 保留的视线会投影到栅格地图之中为l ； 从O沿着投影线遍历更新栅格的状态 直到到达端点Q， O和Q为o点和q点在栅格地图中的投影； 4)更新栅格状态 栅格已有的状态xt， 如果栅格在O与Q之间说明此时栅格中没有障碍物， 则更新栅格的状 态为xt+1-wq+xt； 如果栅格在Q的位置说明此时。

5、栅格中应该存在障碍物， 则更新栅格的状态 为xt+1wq+xt； 所述步骤1)4)中的 和h为设定的阈值。 2.根据权利要求1所述的利用红外、 深度和双目相机融合构建栅格地图的方法， 其特征 在于， 步骤2)设三种传感器生成的深度图分别为Di， Dd和Ds， 精度为传感器的特性分别为wi， wd和ws； 使用双目场景图像进行场景判别； 首先判断场景的亮度， 如果场景的亮度低于Imin则 用系数因子 i， d， s分别乘以三种传感器精度； 其次判断室内室外， 如果场景为室外则用系 数因子 i， d， s分别乘以三种传感器精度； 系数因子均为大于0且小于1的数； 最后得到精度 wi ， wd 和w。

6、s 。 3.根据权利要求1所述的利用红外相机和深度相机融合构建栅格地图的方法， 其特征 在于， 步骤1)-4)中 和h为设定的值； 为传感器之间的距离， 可由位姿T1分解得出； h可任意 设置为大于0的实数， 实验时设置为栅格的边长。 权利要求书 1/1 页 2 CN 110849352 A 2 一种利用红外、 深度和双目相机融合构建栅格地图的方法 技术领域 0001 本发明属于图像处理和计算机视觉领域。 利用红外， 深度和双目相机的特性， 相互 弥补缺陷， 使得构建栅格地图更精细更准确。 是一种利用多传感器构建栅格地图的方法。 背景技术 0002 近年伴随着人工智能的发展移动机器人和汽车自动。

7、驾驶越来越受到人们的关注， 而其中一个需要解决主要的问题就是地图构建。 栅格地图是在无人导航中最为常见的一种 地图， 因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问 题。 现阶段主流的方法大致利用三种传感器， 双目相机， 深度相机和雷达。 三种传感器由于 自身的特性存在着不可避免的缺点， 双目相机受光照和纹理影响大， 深度相机测距范围有 限。 抗干扰能力差， 激光雷达或毫米波雷达价格昂贵且数据稀疏。 由此可见单一传感器构建 栅格地图不能完整准确的反映出场景的结构。 因此传感器融合成为一种趋势， 现阶段存在 的融合方案有双目相机和雷达， 使用双目相机的稠密数据填充雷达的。

8、稀疏数据， 使用雷达 的精确数据修正双目相机的粗略数据， 最终构建可较好反映场景深度图， 然后可利用生成 的深度图构建栅格地图。 但是这样的方案设备成本高， 算法中数据融合消耗资源多、 实时性 较差， 而且在夜晚中由于双目相机无法使用该方案会失效。 发明内容 0003 为解决现有技术中的问题， 本发明提出使用利用红外、 深度和双目相机融合构建 栅格地图的方法， 红外相机可以感受物体发散的红外线， 在夜晚或大雾时依然可以使用， 深 度相机测距范围有限但是精度高可以弥补双目相机在近处的测量误差， 双目相机测距范围 大获取可以获取远处的信息。 三者结合可以克服无纹理区域、 光照影响等问题。 但是数据。

9、融 合依然影响算法的执行效率， 本发明提出的权值状态更新方法融合数据可以提升算法效 率。 0004 具体技术方案的步骤如下： 0005 1)多传感器配准 0006 多传感器配准旨在标定传感器位姿， 在硬件层次减少软件的计算量提升系统执行 效率。 首先采用混合材料的标定板进行红外相机和双目相机器位姿标定。 标定的方法采取 张正友标定法， 得到传感器位姿为T， 传感器配准之后两种图像会实现理论上的像素级对 准。 之后对拍摄标定物后得到的点云Pi和Ps对齐矫正进一步修正位姿， 要使点对 满足且点对的数量达到最大， 得到位姿为T1。 0007 其次标定深度相机和双目相机的位姿， 在两传感器测距范围内选。

10、取8个以上位置， 使用标定物在两个传感器的公共视野内拍摄8个以上图像。 令深度相机获得点云为Pd， 对应 的双目立体相机获得的点云为Ps， 使用计算T1的方法得位姿T2。 0008 2)深度权值更新 说明书 1/3 页 3 CN 110849352 A 3 0009 三种传感器生成的深度图分别为Di， Dd和Ds， 精度分别为wi， wd和ws。 其中Di在黑夜 或亮度较低的情况下精度wi较高， Dd在室内近处的精度wd较高， Ds在白天或亮度高的室外情 况下精度ws较高。 为了区分这些情况更好的应用传感器特性， 在融合之前使用三种传感器 的原始图像进行场景判别， 根据场景情况适当调节深度图的。

11、精度。 0010 3)筛选视线 0011 由深度图Di， Dd和Ds变换成点云并用位姿T1和T2配准得到点云Pf， 对点云进行筛选。 连接三维点q与视线起点o为当前视线l， o是相机光心在世界坐标系的位置， 如果q的高度比 o大h则剔去视线， 保留的视线会投影到栅格地图之中为l 。 从O沿着投影线遍历更新栅格的 状态直到到达端点Q， O和Q为o点和q点在栅格地图中的投影。 0012 4)更新栅格状态 0013 在遍历投影线的过程中会更新投影线经过的栅格的状态。 在更新栅格状态时， 根 据栅格已有状态以及测量值的权值以贝叶斯推断方式融合更新。 具体指的是在已知栅格已 有的状态和本次测量的栅格状态。

12、， 用贝叶斯推断的方式可得出本次测量后的栅格状态。 栅 格已有的状态xt， 如果栅格在O与Q之间说明此时栅格中没有障碍物， 则更新栅格的状态为 xt+1-wq+xt； 如果栅格在Q的位置说明此时栅格中应该存在障碍物， 则更新栅格的状态为 xt+1wq+xt。 0014 所述步骤1)4)中的 和h为设定的阈值。 0015 进一步地， 所述步骤2)设三种传感器生成的深度图分别为Di， Dd和Ds， 精度为传感 器的特性分别为wi， wd和ws； 使用三种传感器的原始图像进行场景判别； 首先判断场景的亮 度， 如果场景的亮度低于Imin则用系数因子 i， d， s分别乘以三种传感器精度； 其次判断室。

13、 内室外， 如果场景为室内则用系数因子 i， d， s分别乘以三种传感器精度； 系数因子均为大 于0且小于1的数； 最后得到精度wi ， wd 和ws 。 0016 步骤1)-4)中 和h为设定的值； 为传感器之间的距离， 可由位姿T1分解得出； h可 任意设置为大于0的实数， 实验时设置为栅格的边长。 0017 本发明的有益效果是： 0018 本发明设计了一种利用红外， 深度和双目相机融合构建栅格地图的方法。 利用三 种传感器的特性， 相互弥补缺陷， 使得构建栅格地图更精细更准确。 具有以下特点： 0019 1、 程序简单， 易于实现； 0020 2、 算法效率高， 实时性强； 0021 3。

14、、 可以全天候全场景使用， 构建栅格地图更精细更准确。 附图说明 0022 图1是系统架构。 0023 图2是传感器配准的算法流程， 前者为红外相机与双目相机配准， 后者为深度相机 和双目相机配准。 0024 图3是传感器融合构建栅格地图的算法流程。 0025 图4为双目可见光图像。 0026 图5为双目相机深度图。 0027 图6为红外相机深度图。 说明书 2/3 页 4 CN 110849352 A 4 0028 图7为仿真深度相机深度图。 具体实施方式 0029 本发明提出了一种利用红外、 深度和双目相机融合构建栅格地图方法， 结合附图 及实施例详细说明如下： 0030 总体流程如图1，。

15、 首先获得三种传感器的深度图， 如图5、 6和7， 然后在GPU中更新深 度值的权值， 并且融合深度值构建栅格地图， 最后在PC上显示栅格地图。 本发明所述的方法 包括下列步骤： 0031 1)传感器配准 0032 如图2前者， 首先使用混合材料的标定板， 红外相机和双目相相机采集足够的图像 数据， 然后采取张正友标定法得到传感器位姿为T。 然后使用标定物进一步修正T， 使用两种 传感器拍摄标定物后获得深度图， 然后室内相机内参矩阵得到点云Pi和Ps对齐矫位姿， 要使 点对满足且点对的数量达到最大， 得到位姿为T1。 0033 其次标定深度相机和双目相机的位姿， 如图2后者。 在两传感器测距范。

16、围内选取8 个以上位置， 使用规则形状的标定物在两个传感器的公共视野内拍摄8个以上图像。 令深度 相机获得点云为Pd， 对应的双目立体相机获得的点云为Ps， 使用最大一致集算法计算传感器 位姿， 要使点对满足且点对的数量达到最大， 得到位姿为T2。 0034 2)深度权值更新 0035 设三种传感器生成的深度图分别为Di， Dd和Ds， 精度为传感器的特性分别为wi， wd和 ws。 0036 如图3上部， 使用双目场景图像， 如图4进行场景判别； 首先判断场景的亮度， 如果 场景的亮度低于Imin则用系数因子 i， d， s分别乘以三种传感器精度； 其次判断室内室外， 如果场景为室外则用系数。

17、因子 i， d， s分别乘以三种传感器精度； 系数因子均为大于0且小 于1的数； 最后得到精度wi ， wd 和ws ； 0037 3)筛选视线 0038 如图3下部由深度图Di， Dd和Ds变换可得到点云， 经过位姿T1和T2配准融合后得到点 云Pf。 然后再对对点云进行筛选， 连接三维点q与视线起点o为当前视线l， o是相机光心在世 界坐标系的位置， 如果q的高度比o大h则剔去视线， 保留的视线会投影到栅格地图之中为 l 。 从O沿着投影线遍历更新栅格的状态直到到达端点Q， O和Q为o点和q点在栅格地图中的 投影。 0039 4)更新栅格状态 0040 如图3下部在算法最后使用测量值的权值更新栅格状态， 测量值的权值即为精度。 在更新栅格状态时， 根据栅格已有状态以及测量值的权值以贝叶斯推断方式融合更新。 栅 格已有的状态xt， 如果栅格在O与Q之间说明此时栅格中没有障碍物， 则更新栅格的状态为 xt+1-wq+xt。 如果栅格在Q的位置说明此时栅格中应该存在障碍物， 则更新栅格的状态为 xt+1wq+xt， 栅格地图预期可视化效果如图7。 说明书 3/3 页 5 CN 110849352 A 5 图1 图2 图3 图4 说明书附图 1/2 页 6 CN 110849352 A 6 图5 图6 图7 说明书附图 2/2 页 7 CN 110849352 A 7 。