基于视觉定位的机器人自动回冲方法及系统.pdf

《基于视觉定位的机器人自动回冲方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于视觉定位的机器人自动回冲方法及系统.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010818063.3 (22)申请日 2020.08.14 (71)申请人 深圳市大象机器人科技有限公司 地址 518055 广东省深圳市南山区桃源街 道留仙大道南山云谷创新产业园二期 7栋2楼208 (72)发明人 宋君毅姜冬辉伍祁林 (74)专利代理机构 西安恒泰知识产权代理事务 所 61216 代理人 王芳 (51)Int.Cl. A47L 11/40(2006.01) A47L 11/24(2006.01) (54)发明名称 一种基于视觉定位的机器人自动回冲方法 。

2、及系统 (57)摘要 本发明属于计算机视觉领域， 公开了一种基 于视觉定位的机器人自动回冲方法及系统。 方法 包括如下步骤： 步骤1： 采集机器人取景框的屏幕 图像， 对屏幕图像进行预处理； 步骤2： 判断预处 理后的屏幕图像或当前的屏幕图像中是否包含 arUco码； 步骤3： 判断步骤2获得的arUco码的中 心坐标点是否处于屏幕中间区域； 步骤4： 识别 arUco码处充电桩的位置， 获得机器人与充电桩 的相对位置得到相对距离， 完成自动回冲。 本发 明借助ArUco进行姿态估计， 从而建立3维空间坐 标系。 然后通过ArUco在屏幕中的位置来不断调 整摄像头的位置从而找到充电桩位置， 然。

3、后通过 不断前进， 找充电桩来逐步逼近充电桩， 到达充 电桩。 相较于现有的回冲算法成本低廉， 实现难 度大大降低。 权利要求书2页 说明书5页 附图6页 CN 112022025 A 2020.12.04 CN 112022025 A 1.一种基于视觉定位的机器人自动回冲方法， 其特征在于， 包括如下步骤： 步骤1： 采集机器人取景框的屏幕图像， 对屏幕图像进行预处理； 步骤2： 判断预处理后的屏幕图像中是否包含arUco码， 若是， 则计算机器人的位姿并获 得arUco码的中心坐标点， 执行步骤3； 若不是， 则根据第一角度范围调整机器人的角度， 然 后返回步骤1重新采集机器人取景框的屏幕。

4、图像； 步骤3： 判断步骤2获得的arUco码的中心坐标点是否处于屏幕中间区域， 若是则执行步 骤4； 若不是， 则根据第二角度范围调整机器人角度， 然后返回步骤1重新采集机器人取景框 的屏幕图像； 所述的屏幕中间区域为屏幕图像中心点左右5pix的条状纵向区域； 步骤4： 识别arUco码处充电桩的位置， 获得机器人与充电桩的相对位置得到相对距离， 若相对距离小于最小距离， 则机器人向前移动至充电桩， 完成自动回冲； 若相对距离大于等于最小距离， 则获得机器人与充电桩之间的夹角角度， 机器人向靠 近充电桩的方向转动夹角角度， 向前移动最小位移， 然后向远离充电桩的方向转动90 ， 然 后返回步。

5、骤1重新采集机器人取景框的屏幕图像。 2.如权利要求1所述的基于视觉定位的机器人自动回冲方法， 其特征在于， 所述第一角 度范围为15,20 ， 所述第二角度范围为4,6 。 3.如权利要求3所述的基于视觉定位的机器人自动回冲方法， 其特征在于， 所述第一角 度为15 ， 最小距离为20cm， 最小位移为10cm。 4.如权利要求1所述的基于视觉定位的机器人自动回冲方法， 其特征在于， arUco码设 置在充电桩的正上方。 5.一种基于视觉定位的机器人自动回冲系统， 其特征在于， 包括屏幕图像采集和预处 理模块、 arUco码识别模块、 距离采集模块、 角度调整模块和距离调整模块； 所述屏幕图。

6、像采集和预处理模块用于采集机器人取景框的屏幕图像， 并对屏幕图像进 行预处理； 所述arUco码识别模块用于判断预处理后的屏幕图像中是否包含arUco码， 计算机器人 的位姿并获得arUco码的中心坐标点； 还用于判断获得的arUco码的中心坐标点是否处于屏 幕中间区域； 所述距离采集模块采用距离传感器用于识别arUco码处充电桩的位置， 获得机器人与 充电桩的相对位置得到相对距离； 所述角度调整模块用于根据第一角度范围、 第二角度范围或机器人与充电桩之间的夹 角角度来调整机器人的角度， 包括： 若arUco码识别模块判断预处理后的屏幕图像中不包含arUco码， 则根据第一角度范围 调整机器人。

7、的角度， 然后调用屏幕图像采集和预处理模块重新采集机器人取景框的屏幕图 像； 若arUco码识别模块判断获得的arUco码的中心坐标点不处于屏幕中间区域， 则根据第 二角度范围调整机器人角度， 直至arUco码的中心坐标点处于屏幕中间区域； 所述的屏幕中 间区域为屏幕图像中心点左右5pix的条状纵向区域； 若arUco码识别模块判断相对距离小于最小距离， 则调用距离调整模块使机器人向前 移动至充电桩， 完成自动回冲； 权利要求书 1/2 页 2 CN 112022025 A 2 若arUco码识别模块判断相对距离大于等于最小距离范围， 则获得机器人与充电桩之 间的夹角角度， 机器人向靠近充电桩。

8、的方向转动夹角角度， 调用距离调整模块向前移动最 小位移， 然后向远离充电桩的方向转动90 ， 调用屏幕图像采集和预处理模块获得机器人取 景框的屏幕图像； 所述距离调整模块用于根据角度调整模块的指令控制机器人移动。 6.如权利要求5所述的基于视觉定位的机器人自动回冲系统， 其特征在于， 所述第一角 度范围为15,20 ， 所述第二角度范围为4,6 。 7.如权利要求6所述的基于视觉定位的机器人自动回冲系统， 其特征在于， 所述第一角 度为15 ， 最小距离为20cm， 最小位移为10cm。 8.如权利要求5所述的基于视觉定位的机器人自动回冲系统， 其特征在于， arUco码设 置在充电桩的正上。

9、方。 权利要求书 2/2 页 3 CN 112022025 A 3 一种基于视觉定位的机器人自动回冲方法及系统 技术领域 0001 本发明属于计算机视觉领域， 具体涉及一种基于视觉定位的机器人自动回冲方法 及系统。 背景技术 0002 自动回冲技术是机器人自己找到充电桩然后回到充电桩进行充电的一种技术。 在 当前阶段， 机器人充电确实比较麻烦经常需要外界帮助， 对于人来说， 需要时刻帮机器人充 电， 增加负担， 而对于机器人来说， 使用过程中突然没电， 不仅影响了使用体验感， 还会给人 一种非智能的感觉， 因此自动回冲技术进入了我们的视野。 目前自动回冲技术有4种实现方 法： 0003 (1)。

10、基于红外线的实现方法， 该方法应用于目前70的扫地机器人， 其优点很明显 定位精度高， 技术比较成熟。 其缺点也很明显， 由于红外线无法穿透物体， 所以扫地机器人 很可能被灰尘碎屑等细小物体阻挡红外线。 0004 (2)基于超声波的实现方法， 该方法主要是模仿蝙蝠通过发送声波以及反射回来 的声波实现三角定位计算当前所在位置。 该方法目前应用较少， 成本偏高。 0005 (3)基于蓝牙技术的实现方法， 基于蓝牙实现的定位系统， 其不受视距影响， 即使 有阻碍物阻挡， 也能实现直线距离内的定位。 其定位时需要搜索多个蓝牙信号才可以定位， 部署起来比较繁琐。 0006 (4)基于摄像头的实现方法， 。

11、是使用摄像头识别充电桩的位置， 使用姿势估计来计 算摄像头相对充电桩的位置和角度， 最后进行路径导航到达其位置。 该算法需要引进神经 网络算法来对充电桩进行识别， 若充电桩位置发生变化， 其背景变化， 识别率就会下降， 稳 定性不足。 发明内容 0007 本发明的目的在于提供一种基于视觉定位的机器人自动回冲方法及系统， 用以克 服现有技术中的回冲方法的缺陷等问题。 0008 为了实现上述任务， 本发明采用以下技术方案： 0009 一种基于视觉定位的机器人自动回冲方法， 包括如下步骤： 0010 步骤1： 采集机器人取景框的屏幕图像， 对屏幕图像进行预处理； 0011 步骤2： 判断预处理后的屏。

12、幕图像中是否包含arUco码， 若是， 则计算机器人的位姿 并获得arUco码的中心坐标点， 执行步骤3； 若不是， 则根据第一角度范围调整机器人的角 度， 然后返回步骤1重新采集机器人取景框的屏幕图像； 0012 步骤3： 判断步骤2获得的arUco码的中心坐标点是否处于屏幕中间区域， 若是则执 行步骤4； 若不是， 则根据第二角度范围调整机器人角度， 然后返回步骤1重新采集机器人取 景框的屏幕图像； 0013 所述的屏幕中间区域为屏幕图像中心点左右5pix的条状纵向区域； 说明书 1/5 页 4 CN 112022025 A 4 0014 步骤4： 识别arUco码处充电桩的位置， 获得机。

13、器人与充电桩的相对位置得到相对 距离， 若相对距离小于最小距离， 则机器人向前移动至充电桩， 完成自动回冲； 0015 若相对距离大于等于最小距离， 则获得机器人与充电桩之间的夹角角度， 机器人 向靠近充电桩的方向转动夹角角度， 向前移动最小位移， 然后向远离充电桩的方向转动 90 ， 然后返回步骤1重新采集机器人取景框的屏幕图像。 0016 进一步的， 所述第一角度范围为15,20 ， 所述第二角度范围为4,6 。 0017 进一步的， 所述第一角度为15 ， 最小距离为20cm， 最小位移为10cm。 0018 进一步的， arUco码设置在充电桩的正上方。 0019 一种基于视觉定位的机。

14、器人自动回冲系统， 包括屏幕图像采集和预处理模块、 arUco码识别模块、 距离采集模块、 角度调整模块和距离调整模块； 0020 所述屏幕图像采集和预处理模块用于采集机器人取景框的屏幕图像， 并对屏幕图 像进行预处理； 0021 所述arUco码识别模块用于判断预处理后的屏幕图像中是否包含arUco 码， 计算 机器人的位姿并获得arUco码的中心坐标点； 还用于判断获得的arUco 码的中心坐标点是 否处于屏幕中间区域； 0022 所述距离采集模块采用距离传感器用于识别arUco码处充电桩的位置， 获得机器 人与充电桩的相对位置得到相对距离； 0023 所述角度调整模块用于根据第一角度范围。

15、、 第二角度范围或机器人与充电桩之间 的夹角角度来调整机器人的角度， 包括： 0024 若arUco码识别模块判断预处理后的屏幕图像中不包含arUco码， 则根据第一角度 范围调整机器人的角度， 然后调用屏幕图像采集和预处理模块重新采集机器人取景框的屏 幕图像； 0025 若arUco码识别模块判断获得的arUco码的中心坐标点不处于屏幕中间区域， 则根 据第二角度范围调整机器人角度， 直至arUco码的中心坐标点处于屏幕中间区域； 所述的屏 幕中间区域为屏幕图像中心点左右5pix的条状纵向区域； 0026 若arUco码识别模块判断相对距离小于最小距离， 则调用距离调整模块使机器人 向前移动。

16、至充电桩， 完成自动回冲； 0027 若arUco码识别模块判断相对距离大于等于最小距离范围， 则获得机器人与充电 桩之间的夹角角度， 机器人向靠近充电桩的方向转动夹角角度， 调用距离调整模块向前移 动最小位移， 然后向远离充电桩的方向转动90 ， 调用屏幕图像采集和预处理模块获得机器 人取景框的屏幕图像； 0028 所述距离调整模块用于根据角度调整模块的指令控制机器人移动。 0029 进一步的， 所述第一角度范围为15,20 ， 所述第二角度范围为4,6 。 0030 进一步的， 所述第一角度为15 ， 最小距离为20cm， 最小位移为10cm。 0031 进一步的， arUco码设置在充电。

17、桩的正上方。 0032 本发明与现有技术相比具有以下技术特点： 0033 (1)本发明借助ArUco进行姿态估计， 从而建立3维空间坐标系。 然后通过ArUco在 屏幕中的位置来不断调整摄像头的位置从而找到充电桩位置， 然后通过不断前进， 找充电 桩来逐步逼近充电桩， 到达充电桩。 相较于现有的回冲算法成本低廉， 实现难度大大降低。 说明书 2/5 页 5 CN 112022025 A 5 0034 (2)使用方式多样性。 本方案使用ArUco码进行定位识别， 通过改变 ArUco码， 来实 现定位不同的产品， 不仅用于充电桩， 还可以用于任何需要标记的点， 例如猫碗。 附图说明 0035 图。

18、1为本发明的方法流程图； 0036 图2为图像收集处理流程图； 0037 图3为搜索arUco码流程图； 0038 图4为微调自身角度流程图； 0039 图5为实施例1中的导航策略图； 0040 图6为机器人摄像头取景框的图像截图； 0041 图7为机器人摄像头捕捉到标志码截图。 具体实施方式 0042 arUco码： arUco码是一个周围是黑色边框， 内部有确定该标记ID的二维矩阵组合 而成的类二维码。 其黑色边框加速标记图像中检测速度， 内部二维编码能唯一标定识别标 识。 在本系统中主要利用其黑色边框的快速检测速度(相比于二维码而言)来检测其四角位 置， 来判断其中心位置， 进而判断其相。

19、对于摄像头的位置状况。 0043 在本实施例中公开了一种基于视觉定位的机器人自动回冲方法， 包括如下步骤： 0044 步骤1： 采集机器人取景框的屏幕图像， 对屏幕图像进行预处理； 0045 步骤2： 判断预处理后的屏幕图像中是否包含arUco码， 若是， 则计算机器人的位姿 并获得arUco码的中心坐标点， 执行步骤3； 若不是， 则根据第一角度范围调整机器人的角 度， 然后返回步骤1重新采集机器人取景框的屏幕图像； 0046 步骤3： 判断步骤2获得的arUco码的中心坐标点是否处于屏幕中间区域， 若是则执 行步骤4； 若不是， 则根据第二角度范围调整机器人角度， 然后返回步骤1重新采集机。

20、器人取 景框的屏幕图像； 0047 所述的屏幕中间区域为屏幕图像中心点左右5pix的条状纵向区域； 0048 步骤4： 识别arUco码处充电桩的位置， 获得机器人与充电桩的相对位置得到相对 距离， 若相对距离小于最小距离， 则机器人向前移动至充电桩， 完成自动回冲； 0049 若相对距离大于等于最小距离， 则获得机器人与充电桩之间的夹角角度， 机器人 向靠近充电桩的方向转动夹角角度， 向前移动最小位移， 然后向远离充电桩的方向转动 90 ， 然后返回步骤1重新采集机器人取景框的屏幕图像。 0050 具体的， 所述机器人取景框的屏幕图像指的是机器人摄像头取景框中的图片。 0051 具体的， 步。

21、骤4中若机器人与充电桩之间的夹角角度过于大(大于40度)， 机器人不 能一次性完成， 则会根据第一角度范围分批转动直至转完。 0052 具体的， 所述屏幕中间区域为该屏幕中心纵向5pix的区域即屏幕中的条状区 域， 由于摄像头的上下位置是由远近距离进行判断， 而距离可以有距离传感器比较精确测 量， 所以在此不讨论远近距离， 只判断左右坐标位置。 0053 具体的， 所述第一角度的范围为15,20 ， 优选的， 第一角度为15 。 0054 具体的， 所述第二角度的范围为4,6 。 说明书 3/5 页 6 CN 112022025 A 6 0055 具体的， arUco码设置在充电桩正上方， 高。

22、度为5cm左右， 具体位置需要根据机器人 站立状态下摄像头正常能看到的高度， arUco码应处于空旷地方， 提供3*3m2的空旷位置进 行位置调整。 0056 一种基于视觉定位的机器人自动回冲系统， 包括屏幕图像采集和预处理模块、 arUco码识别模块、 距离采集模块、 角度调整模块和距离调整模块； 0057 所述屏幕图像采集和预处理模块用于采集机器人取景框的屏幕图像， 并对屏幕图 像进行预处理； 0058 所述arUco码识别模块用于判断预处理后的屏幕图像中是否包含arUco 码， 计算 机器人的位姿并获得arUco码的中心坐标点； 还用于判断获得的arUco 码的中心坐标点是 否处于屏幕中。

23、间区域； 0059 所述距离采集模块采用距离传感器用于识别arUco码处充电桩的位置， 获得机器 人与充电桩的相对位置得到相对距离； 0060 所述角度调整模块用于根据第一角度范围、 第二角度范围或机器人与充电桩之间 的夹角角度来调整机器人的角度， 包括： 0061 若arUco码识别模块判断预处理后的屏幕图像中不包含arUco码， 则根据第一角度 范围调整机器人的角度， 然后调用屏幕图像采集和预处理模块重新采集机器人取景框的屏 幕图像； 0062 若arUco码识别模块判断获得的arUco码的中心坐标点不处于屏幕中间区域， 则根 据第二角度范围调整机器人角度， 直至arUco码的中心坐标点处。

24、于屏幕中间区域； 所述的屏 幕中间区域为屏幕图像中心点左右5pix的条状纵向区域； 0063 若arUco码识别模块判断相对距离小于最小距离， 则调用距离调整模块使机器人 向前移动至充电桩， 完成自动回冲； 0064 若arUco码识别模块判断相对距离大于等于最小距离范围， 则获得机器人与充电 桩之间的夹角角度， 机器人向靠近充电桩的方向转动夹角角度， 调用距离调整模块向前移 动最小位移， 然后向远离充电桩的方向转动90 ， 调用屏幕图像采集和预处理模块获得机器 人取景框的屏幕图像； 0065 所述距离调整模块用于根据角度调整模块的指令控制机器人移动。 0066 实施例1 0067 在本实施例。

25、中公开了一种基于视觉定位的机器人自动回冲方法， 实现环境为 OpenCV， 在OpenCV中识别arUco码的基础为上实现该方法的， arUco码在OpenCV中是一个非 常成熟的库， 借助arUco码进行姿态估计， 从而建立3 维空间坐标系。 然后通过arUco码在屏 幕中的位置来不断调整摄像头的位置从而找到充电桩位置， 然后通过不断前进， 找充电桩 来逐步逼近充电桩， 到达充电桩。 导航策略图如图5所示。 0068 分为四步： 图像收集处理， 数据处理， 规划运动轨迹， 调整运动轨迹。 通过收集图像 即处理了解arUco码的所处位置， 然后通过调整自身角度， 使arUco 码处于屏幕中间位。

26、置， 然后向左转动， 向前10cm左右的距离， 向右转动90 度， 其目的是调整摄像头的偏移距离， 使 摄像头arUco码所在的平面处于垂直状态且垂直点是arUco码。 然后继续收集图像， 寻找 arUco码， 循环如此， 直至摄像头处于arUco码正前方20cm以内的位置， 然后向前移动20cm的 距离。 说明书 4/5 页 7 CN 112022025 A 7 0069 具体的， 在图像收集处理阶段， 主要使用cv2.VideoCapture().read()读取摄像 头图像， 进行图像灰度化处理。 0070 具体的， 步骤2中判断是否包含arUco码是通过获取屏幕图片中arUco的四个角。

27、的 坐标， 通过这四个角的坐标是否为空来判断是否识别到arUco， 若识别到， 则计算姿态数据， 返回姿态数据。 如图2所示。 0071 具体的， 在规划运动轨迹阶段中， 首先获取姿态数据， 通过姿态数据是否为空来判 断是否识别到arUco码， 若识别到arUco码， 则结束本阶段任务， 进入下一阶段， 若没有识别 到， 则不断调整自身角度， 直至识别到arUco码。 如图3所示。 0072 在实现该方案之前， 尝试使用二维码作为定位目标， 由于准确度的原因放弃二维 码方案， 两种方案对比如表格所示： 0073 0074 选取识别目标时， 充电桩的识别效果不太好， 所以尝试找出一个标志物， 该。

28、标志物 易于识别。 测试3种方案， 充电桩， 二维码， arUco码。 经过测试， 二维码识别然后计算， 其得到 数据的周期在0.8s左右， 识别速度较慢， 实时性不能得到保证。 识别充电桩， 只有一个摄像 头很难对于物体进行3D建模， 对于数据的准确性不能保证。 使用arUco码识别速度和准确度 最高。 所以本方法决定采用arUco码识别。 arUco码是二进制方形基准标记， 这些标记可以提 供的对应关系来获取相机姿势且其内部二进制编码健壮， 经常被用于错误检测和纠正技 术。 0075 经过测试， 摄像头的识别范围在85度左右， 即摄像头大概转4到5次就能转动一圈， 捕获周围全部画面。 不过。

29、由于摄像头捕获时间有时延， 所以在本方法中采用大小角度转化 的方法， 基本原理是， 在未识别到arUco码的状态时， 转动4次小角度之后会转动一次大角 度， 小角度不会超过20度， 大角度不会超过60度。 虽然转动次数变多， 但是效率其实并没有 降低， 如果转动次数比较少， 扫描的画面比较模糊， 并不利于捕获arUco码。 当arUco码出现 在屏幕上的时候， 需要微调自身角度， 所以此时转动角度在4， 6之间随机挑选， 这样可以 避免摄像头调整自身位置而arUco码始终不能处于中间位置。 说明书 5/5 页 8 CN 112022025 A 8 图1 说明书附图 1/6 页 9 CN 112022025 A 9 图2 说明书附图 2/6 页 10 CN 112022025 A 10 图3 图4 说明书附图 3/6 页 11 CN 112022025 A 11 图5 说明书附图 4/6 页 12 CN 112022025 A 12 图6 说明书附图 5/6 页 13 CN 112022025 A 13 图7 说明书附图 6/6 页 14 CN 112022025 A 14 。