消防机器人局部自主导航方法及系统.pdf

《消防机器人局部自主导航方法及系统.pdf》由会员分享，可在线阅读，更多相关《消防机器人局部自主导航方法及系统.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011037066.X (22)申请日 2020.09.28 (71)申请人 河海大学常州校区 地址 213022 江苏省常州市晋陵北路200号 (72)发明人 刘波奚建东廖华丽 (74)专利代理机构 南京纵横知识产权代理有限 公司 32224 代理人 张赏 (51)Int.Cl. G01C 21/20(2006.01) G01C 11/02(2006.01) G01S 17/931(2020.01) G05D 1/02(2020.01) G05D 1/12(2006.01。

2、) (54)发明名称 一种消防机器人局部自主导航方法及系统 (57)摘要 本发明涉及消防智能技术领域， 具体涉及一 种消防机器人局部自主导航方法及系统， 该方法 包括， 在红外图像中选取火源， 根据红外图像与 点云图像的映射矩阵求取火源的三维坐标； 根据 火源的位置， 在可见光图像中选取目标点， 根据 可见光图像与点云图像的映射矩阵求取目标点 的三维坐标； 根据目标点的三维坐标， 规划消防 机器人运动到目标点的路径， 驱动消防机器人运 动到目标点； 再次选取目标点， 直至消防机器人 的作业半径能够覆盖火源进行灭火作业。 本发明 通过可见光图像与点云图像、 红外图像与点云图 像的数据融合， 提高。

3、了消防机器人对火场环境的 感知能力， 使得消防机器人具备在视距内的局部 自主导航能力， 大幅提高了消防机器人在火场消 防作业中的应用。 权利要求书2页 说明书6页 附图2页 CN 112066994 A 2020.12.11 CN 112066994 A 1.一种消防机器人局部自主导航方法， 其特征在于， 包括， 1） 获取红外相机拍摄的实时图像， 在红外图像中选取火源， 根据红外图像中火源的二 维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标； 2） 获取可见光相机拍摄的实时图像， 根据火源的位置， 在可见光图像中选取目标点， 根 据可见光图像中目标点的二维坐标与点云图像中该点。

4、的三维坐标的映射矩阵求取目标点 的三维坐标； 3） 根据目标点的三维坐标， 规划消防机器人运动到目标点的路径， 驱动消防机器人运 动到目标点； 4） 以目标点作为消防机器人的当前位置， 再次拍摄可见光图像， 选取目标点， 规划消防 机器人的运动路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源， 进行灭火作业。 2.根据权利要求1所述的一种消防机器人局部自主导航方法， 其特征在于， 所述红外相 机和可见光相机均安装在消防机器人底盘上； 所述点云图像通过安装在消防机器人底盘上的三维激光雷达获取。 3.根据权利要求1所述的一种消防机器人局部自主导航方法， 其特征在于， 还包括， 通过外参标定，。

5、 获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵； 以及， 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。 4.根据权利要求1所述的一种消防机器人局部自主导航方法， 其特征在于， 所述在可见 光图像中选取目标点， 包括： 在可见光图像中选取靠近火源的位置或前往火源路径上的点作为目标点； 所述靠近火 源的位置是指， 消防机器人配备的水炮的作业半径能够覆盖火源。 5.根据权利要求1所述的一种消防机器人局部自主导航方法， 其特征在于， 还包括， 在可见光图像上识别门洞或障碍物； 判断消防机器人能否通过规划的路径中的门洞或障碍物； 如果不能通过， 则重新选取 目标点。 。

6、6.根据权利要求5所述的一种消防机器人局部自主导航方法， 其特征在于， 所述判断消 防机器人能否通过规划的路径中的门洞或障碍物， 包括， 在可见光图像中选取门洞或障碍物的轮廓， 根据可见光图像中轮廓上点的二维坐标与 点云图像中该点的三维坐标的映射矩阵求取门洞或障碍物轮廓上点的三维坐标； 根据门洞或障碍物轮廓上点的三维坐标求取门洞的最小宽度和最小高度， 以及障碍物 间的最小宽度； 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 当消防机器人的宽度小 于门洞的最小宽度且当消防机器人的高度小于门洞的最小高度时， 消防机器人能够通过门 洞； 比较障碍物间的最小宽度和消防机器人的宽度， 当消防机。

7、器人的宽度小于障碍物间的 最小宽度时， 消防机器人能够通过障碍物。 7.一种消防机器人局部自主导航系统， 其特征在于， 包括， 三维激光雷达， 可见光相机， 红外相机和数据处理端； 所述三维激光雷达， 可见光相机和红外相机安装在消防机器人底盘上； 权利要求书 1/2 页 2 CN 112066994 A 2 所述可见光相机用于拍摄视距范围内消防机器人前方图像； 所述三维激光雷达用于探 测目标位置获取点云图像； 所述红外图像用于拍摄火源图像； 所述三维激光雷达， 可见光相机和红外相机均与数据处理端通过无线方式连接； 所述数据处理端用于在红外图像中选取火源， 根据红外图像中火源的二维坐标与点云 图。

8、像中相应点的三维坐标的映射矩阵求取火源的三维坐标； 以及， 用于在可见光图像中选 取目标点， 根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵 求取目标点的三维坐标： 以及， 用于根据目标点的三维坐标， 规划消防机器人运动到目标点 的路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源。 8.根据权利要求7所述的一种消防机器人局部自主导航系统， 其特征在于， 所述数据处 理端还用于， 在可见光图像中出现门洞或有障碍物时， 在可见光图像中选取门洞或障碍物的轮廓， 根据可见光图像中该轮廓中点的二维坐标与点云图像中相应点的三维坐标的映射矩阵求 取门洞或障碍物轮廓中点的三维坐标，。

9、 根据门洞或障碍物轮廓的三维坐标求取门洞的最小 宽度和最小高度， 以及障碍物间的最小宽度； 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 判断消防机器人能否通 过门洞； 比较障碍物间的最小宽度和消防机器人的宽度时， 判断消防机器人能否通过障碍物。 9.根据权利要求8所述的一种消防机器人局部自主导航系统， 其特征在于， 所述数据处 理端还用于， 当消防机器人不能通过门洞或障碍物时， 重新在可见光图像中选取目标点， 并规划消 防机器人到达目标点的路径， 直到消防机器人能够顺利到达目标点。 10.根据权利要求7所述的一种消防机器人局部自主导航系统， 其特征在于， 所述数据 处理端还用于， 。

10、通过外参标定， 获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵； 以及， 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。 权利要求书 2/2 页 3 CN 112066994 A 3 一种消防机器人局部自主导航方法及系统 技术领域 0001 本发明涉及消防智能技术领域， 具体涉及一种消防机器人局部自主导航方法及系 统。 背景技术 0002 近年来我国特大火灾事件频发， 随着安全技术装备的不断发展， 越来越多的消防 机器人被投入应用到消防作业中。 然而在现有技术下， 消防机器人存在智能化程度低， 环境 感知能力弱， 不具备自主导航能力等缺点。 操作人员仍采用手柄跟。

11、随机器人的控制方式， 存 在一定危险性， 大大制约了消防机器人在火场消防作业中的应用。 发明内容 0003 为解决现有技术的不足， 本发明提供一种消防机器人局部自主导航方法及系统， 能够提高消防机器人的环境感知能力与智能化程度。 0004 为解决现有技术的不足， 本发明提供的技术方案为： 0005 本发明提供一种消防机器人局部自主导航方法， 包括， 0006 1)获取红外相机拍摄的实时图像， 在红外图像中选取火源， 根据红外图像中火源 的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标； 0007 2)获取可见光相机拍摄的实时图像， 根据火源的位置， 在可见光图像中选取目标 点。

12、， 根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取目 标点的三维坐标； 0008 3)根据目标点的三维坐标， 规划消防机器人运动到目标点的路径， 驱动消防机器 人运动到目标点； 0009 4)以目标点作为消防机器人的当前位置， 再次拍摄可见光图像， 选取目标点， 规划 消防机器人的运动路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源进行灭火作 业。 0010 优选的， 所述红外相机和可见光相机均安装在消防机器人底盘上； 0011 所述点云图像通过安装在消防机器人底盘上的三维激光雷达获取。 0012 优选的， 还包括， 0013 通过外参标定， 获取可见光图像中二。

13、维坐标与点云图像中三维坐标的映射矩阵； 0014 以及， 0015 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。 0016 优选的， 所述在可见光图像中选取目标点， 包括： 0017 在可见光图像中选取靠近火源的位置或前往火源路径上的点作为目标点； 所述靠 近火源的位置是指， 消防机器人配备的水炮的作业半径能够覆盖火源。 0018 优选的， 还包括， 0019 在可见光图像上识别门洞或障碍物； 说明书 1/6 页 4 CN 112066994 A 4 0020 判断消防机器人能否通过规划的路径中的门洞或障碍物； 如果不能通过， 则重新 选取目标点。 0021 优选的，。

14、 所述判断消防机器人能否通过规划的路径中的门洞或障碍物， 包括， 0022 在可见光图像中选取门洞或障碍物的轮廓， 根据可见光图像中轮廓上点的二维坐 标与点云图像中该点的三维坐标的映射矩阵求取门洞或障碍物轮廓上点的三维坐标； 0023 根据门洞或障碍物轮廓上点的三维坐标求取门洞的最小宽度和最小高度， 以及障 碍物间的最小宽度； 0024 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 当消防机器人的宽 度小于门洞的最小宽度且当消防机器人的高度小于门洞的最小高度时， 消防机器人能够通 过门洞； 0025 比较障碍物间的最小宽度和消防机器人的宽度， 当消防机器人的宽度小于障碍物 间的最小宽。

15、度时， 消防机器人能够通过障碍物。 0026 本发明另一方面提供一种消防机器人局部自主导航系统， 包括， 三维激光雷达， 可 见光相机， 红外相机和数据处理端； 0027 所述三维激光雷达， 可见光相机和红外相机安装在消防机器人底盘上； 0028 所述可见光相机用于拍摄视距范围内消防机器人前方图像； 所述三维激光雷达用 于探测目标位置获取点云图像； 所述红外图像用于拍摄火源图像； 0029 所述三维激光雷达， 可见光相机和红外相机均与数据处理端通过无线方式连接； 0030 所述数据处理端用于在红外图像中选取火源， 根据红外图像中火源的二维坐标与 点云图像中相应点的三维坐标的映射矩阵求取火源的三。

16、维坐标； 以及， 用于在可见光图像 中选取目标点， 根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射 矩阵求取目标点的三维坐标： 以及， 用于根据目标点的三维坐标， 规划消防机器人运动到目 标点的路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源。 0031 优选的， 所述数据处理端还用于， 0032 在可见光图像中出现门洞或有障碍物时， 在可见光图像中选取门洞或障碍物的轮 廓， 根据可见光图像中该轮廓中点的二维坐标与点云图像中相应点的三维坐标的映射矩阵 求取门洞或障碍物轮廓中点的三维坐标， 根据门洞或障碍物轮廓的三维坐标求取门洞的最 小宽度和最小高度， 以及障碍物间的最小。

17、宽度； 0033 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 判断消防机器人能 否通过门洞； 0034 比较障碍物间的最小宽度和消防机器人的宽度时， 判断消防机器人能否通过障碍 物。 0035 优选的， 所述数据处理端还用于， 0036 当消防机器人不能通过门洞或障碍物时， 重新在可见光图像中选取目标点， 并规 划消防机器人到达目标点的路径， 直到消防机器人能够顺利到达目标点。 0037 优选的， 所述数据处理端还用于， 0038 通过外参标定， 获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵； 以及， 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。。

18、 0039 本发明的有益效果： 说明书 2/6 页 5 CN 112066994 A 5 0040 通过可见光图像与点云图像、 红外图像与点云图像的数据融合， 提高了消防机器 人对火场环境的感知能力， 使得消防机器人具备在视距内的局部自主导航能力， 操作人员 可通过远程界面控制消防机器人， 无需跟随消防机器人进入火场， 有效降低了原有利用手 柄操作控制消防机器人的难度， 保障了消防操作人员的人身安全， 大幅提高了消防机器人 在火场消防作业中的应用。 附图说明 0041 图1为本发明提供的一种消防机器人局部自主导航方法的流程图； 0042 图2为本发明提供的可见光图像中二维坐标与点云图像中三维坐。

19、标的映射矩阵示 意图。 具体实施方式 0043 下面结合实施方式对本发明作进一步描述。 以下实施方式仅用于更加清楚地说明 本发明的技术方案， 而不能以此来限制本发明的保护范围。 0044 本发明实施例提供一种消防机器人局部自主导航方法， 参见图1， 包括以下步骤： 0045 步骤一： 通过外参标定， 获取可见光图像中二维坐标与点云图像中三维坐标的映 射矩阵； 以及， 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩 阵； 0046 具体的， 通过在消防机器人底盘上安装的三维激光雷达， 可见光相机和红外相机 获取点云图像， 可见光图像和红外图像； 0047 所述可见光相机用于拍。

20、摄视距范围内消防机器人前方图像； 所述三维激光雷达用 于探测目标位置获取点云图像； 所述红外图像用于拍摄火源图像。 0048 参见图2， 设(u， v)为可见光图像或红外图像中某点的坐标， (x， y， z)为与(u， v)对 应的点云图像中的点的坐标。 0049 通过棋盘格矩形标定工具， 则有： 0050 0051 式中， M为内参和外参的合体， 即可见光图像或红外图像中点的二维坐标与点云图 像中对应点三维坐标的映射矩阵； 0052 则有： 0053 0054 即： 说明书 3/6 页 6 CN 112066994 A 6 0055 0056 选取棋盘格的四个角点作为已知点， 分别在可见光或。

21、红外图像和点云图像中找到 四个角点的坐标， 移动棋盘格， 重复多次， 找到6组对应点， 即可求出M。 0057 步骤二： 将红外相机获取的实时图像传到远程操作界面； 在红外图像中选取火源， 根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的 三维坐标。 0058 步骤三： 将可见光相机获取的实时图像传到远程操作界面； 根据火源的位置， 在可 见光图像中选取目标点， 根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐 标的映射矩阵求取目标点的三维坐标； 0059 0060 具体的， 操作人员在可见光图像中选取靠近火源的位置或前往火源路径上的点作 为目标点， 在可见。

22、光相机的视距内实现消防机器人的局部导航。 靠近火源的位置是指， 消防 机器人配备的水炮的作业半径能够覆盖火源。 0061 步骤三： 根据目标点的三维坐标， 规划消防机器人运动到目标点的路径， 驱动消防 机器人运动到目标点； 0062 具体的， 运用成熟的SLAM技术， 在消防机器人移动过程中建图并定位， 自主规划路 径驱动消防机器人运动到目标点； 0063 步骤四： 以目标点作为消防机器人的当前位置， 再次拍摄可见光图像， 选取目标 点， 规划消防机器人的运动路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源进 行灭火作业。 0064 由于火场的复杂性以及可见光相机视距的限制， 在可见光图。

23、像上进行一次选取并 不能直接到达火源位置， 操作人员可能需要根据当前的可见光图像选取一个目标点， 当消 防机器人移动到目标点后再进行下一步的导航， 需要通过多次选取目标点引导消防机器人 说明书 4/6 页 7 CN 112066994 A 7 逐步靠近火源位置。 0065 优选的， 当操作人员发现可见光图像中出现门洞或有障碍物时， 需判断消防机器 人能否通过该门洞或障碍物， 包括： 0066 在可见光图像中选取门洞或障碍物的轮廓， 根据可见光图像中该轮廓中点的二维 坐标与点云图像中相应点的三维坐标的映射矩阵求取门洞或障碍物轮廓中点的三维坐标， 根据门洞或障碍物轮廓的三维坐标求取门洞的最小宽度和。

24、最小高度， 以及障碍物间的最小 宽度； 0067 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 判断消防机器人能 否通过门洞； 0068 比较障碍物间的最小宽度和消防机器人的宽度， 判断消防机器人能否通过障碍 物； 0069 当消防机器人不能通过门洞或障碍物时， 操作人员需重新在可见光图像中选取目 标点， 并规划消防机器人到达目标点的路径， 直到消防机器人能够顺利到达目标点。 0070 具体的， 根据门洞轮廓的三维坐标， 求取门洞的最小宽度以及门洞的最小高度， 当 消防机器人的宽度小于门洞的最小宽度且当消防机器人的高度小于门洞的最小高度时， 消 防机器人能够通过门洞。 0071 具体。

25、的， 根据障碍物轮廓的三维坐标， 求取障碍物之间的最小宽度， 当消防机器人 的宽度小于障碍物之间的最小宽度时， 消防机器人能够通过障碍物。 0072 本发明实施例还提供一种消防机器人局部自主导航系统， 包括， 三维激光雷达， 可 见光相机， 红外相机和数据处理端； 0073 所述三维激光雷达， 可见光相机和红外相机安装在消防机器人底盘上； 0074 所述可见光相机用于拍摄视距范围内消防机器人前方图像； 所述三维激光雷达用 于探测目标位置获取点云图像； 所述红外图像用于拍摄火源图像。 0075 所述三维激光雷达， 可见光相机和红外相机均与数据处理端通过无线方式连接。 0076 所述数据处理端用于。

26、在红外图像中选取火源， 根据红外图像中火源的二维坐标与 点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标； 以及， 用于在可见光图像 中选取目标点， 根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射 矩阵求取目标点的三维坐标： 以及， 用于根据目标点的三维坐标， 规划消防机器人运动到目 标点的路径， 直至消防机器人配备的水炮的作业半径能够覆盖火源。 0077 所述数据处理端还用于， 0078 在可见光图像中出现门洞或有障碍物时， 在可见光图像中选取门洞或障碍物的轮 廓， 根据可见光图像中该轮廓中点的二维坐标与点云图像中相应点的三维坐标的映射矩阵 求取门洞或障碍物轮廓中点的。

27、三维坐标， 根据门洞或障碍物轮廓的三维坐标求取门洞的最 小宽度和最小高度， 以及障碍物间的最小宽度； 0079 比较门洞的最小宽度和最小高度与消防机器人的宽度和高度， 判断消防机器人能 否通过门洞； 0080 比较障碍物间的最小宽度和消防机器人的宽度， 判断消防机器人能否通过障碍 物。 0081 所述数据处理端还用于， 说明书 5/6 页 8 CN 112066994 A 8 0082 当消防机器人不能通过门洞或障碍物时， 重新在可见光图像中选取目标点， 并规 划消防机器人到达目标点的路径， 直到消防机器人能够顺利到达目标点。 0083 所述数据处理端还用于， 0084 通过外参标定， 获取可。

28、见光图像中二维坐标与点云图像中三维坐标的映射矩阵； 以及， 通过外参标定， 获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。 0085 本领域内的技术人员应明白， 本申请的实施例可提供为方法、 系统、 或计算机程序 产品。 因此， 本申请可采用完全硬件实施例、 完全软件实施例、 或结合软件和硬件方面的实 施例的形式。 而且， 本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上实施的计算机程序产 品的形式。 0086 本申请是参照根据本申请实施例的方法、 设备(系统)、 和计算机程序产品的流程 图和/或方框。

29、图来描述的。 应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、 以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序 指令到通用计算机、 专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器， 使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。 0087 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品， 该指令装置实现。

30、在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。 0088 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。 0089 以上结合附图对本发明的实施例进行了描述， 但是本发明并不局限于上述的具体 实施方式， 上述的具体实施方式仅仅是示意性的， 而不是限制性的， 本领域的普通技术人员 在本发明的启示下， 在不脱离本发明宗旨和权利要求所保护的范围情况下， 。

31、还可做出很多 形式， 这些均属于本发明的保护之内。 0090 以上显示和描述了本发明的基本原理和主要特征和本发明的优点。 本行业的技术 人员应该了解， 本发明不受上述实施例的限制， 上述实施例和说明书中描述的只是说明本 发明的原理， 在不脱离本发明精神和范围的前提下， 本发明还会有各种变化和改进， 这些变 化和改进都落入要求保护的本发明范围内。 本发明要求保护范围由所附的权利要求书及其 等效物界定。 说明书 6/6 页 9 CN 112066994 A 9 图1 说明书附图 1/2 页 10 CN 112066994 A 10 图2 说明书附图 2/2 页 11 CN 112066994 A 11 。