利用视觉修正冶金接插装配作业机器人误差的方法及系统.pdf

《利用视觉修正冶金接插装配作业机器人误差的方法及系统.pdf》由会员分享，可在线阅读，更多相关《利用视觉修正冶金接插装配作业机器人误差的方法及系统.pdf（20页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010456206.0 (22)申请日 2020.05.26 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 (72)发明人 陈卫东周坤 (74)专利代理机构 上海汉声知识产权代理有限 公司 31236 代理人 胡晶 (51)Int.Cl. B25J 9/16(2006.01) B23P 19/00(2006.01) (54)发明名称 利用视觉修正冶金接插装配作业机器人误 差的方法及系统 (57)摘要 本发明提供了一种利用视觉修正冶金接插 装配。

2、作业机器人误差的方法及系统， 包括： 步骤 M1： 利用视觉获取并记录期望检测工作位机器人 的圆柱杆末端中心点在图像中的位置， 示教获取 所有冶金技术探针所对应的机器人接插工作位 的操作空间位姿和/或机器人对应的关节空间位 姿并记录； 步骤M2： 机器人接插工作位的操作空 间位姿和/或机器人对应的关节空间位置利用机 器人检测工作位与期望检测工作位的平面坐标 偏差进行修正； 步骤M3： 机器人偏差修正后， 完成 轴孔对齐和接插装配工作。 本发明使用视觉修正 机器人回转附加轴所带来的误差， 方法简单高 效， 显著提高了装配作业系统的可靠性和准确 性。 权利要求书4页 说明书13页 附图2页 CN 。

3、111571596 A 2020.08.25 CN 111571596 A 1.一种利用视觉修正冶金接插装配作业机器人误差的方法， 其特征在于， 包括： 步骤M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的 位置， 示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器 人对应的关节空间位置并记录； 步骤M2： 利用机器人检测工作位与期望检测工作位的平面坐标偏差对机器人接插工作 位的操作空间位姿和/或机器人对应的关节空间位置进行修正； 步骤M3： 机器人偏差修正后， 完成轴孔对齐和接插装配工作。 2.根据权利要求1所述的利用视觉修正冶金接插装配作业机。

4、器人误差的方法， 其特征 在于， 所述步骤M1包括： 步骤M1.1： 设置具有预设结构的仓架放置冶金技术探针， 并在仓架中央空隙区域安装 固定相机， 使相机光轴垂直于地面或者仓架所在的水平面； 步骤M1.2： 使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位， 记录当前的机器人圆柱杆末端在基坐标系B的位置pdes和/或机器人对应的关节位置qdes； 调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像， 并记录当前机器人圆柱杆 末端中心点和/或机器人对应的关节在相机图像中的位置； 步骤M1.3： 建立相机坐标系C和工作平面坐标系O， 使用相机标定板放置在机器人 圆柱杆所在的平面。

5、， 对期望检测工作位的工作平面进行标定， 得到齐次变换矩阵然后 使用相机标定板标定相机的内参得到Mcam； 步骤M1.4： 使用示教的方式保持机器人附加轴不再转动， 控制机器人移动到机器人圆 柱杆末端与冶金技术探针轴孔对齐的位置， 记录当前机器人接插工作位在基坐标系B操 作空间位姿ipins和/或机器人的关节位置iqins； 其中， i表示第i个接插工作位； 步骤M1.5： 按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接 插工作位的操作空间位姿1pins,2pins,.,npins和/或机器人对应的关节空间位置1qins, 2qins,.,nqins， 其中n表示共计n个冶金。

6、技术探针所对应的机器人接插工作位。 3.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述步骤M2包括： 步骤M2.1： 控制机器人移动到检测工作位， 通过图像处理的方法提取当前机器人圆柱 杆末端中心点在相机图像中的位置， 并记录中心点在相机图像中的位置； 步骤M2.2： 根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像 中的位置， 使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏 差； 步骤M2.3： 误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位 置与转换数据格式的检测工作位与期望检测工作位的在工作平。

7、面坐标偏差相加得到机器 人修正后的接插工作位操作空间位姿和/或关节空间位置。 4.根据权利要求1所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述步骤M3包括： 将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格式发 送给机器人控制器， 机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工 作位操作空间位姿和/或关节空间位姿完成对齐任务， 从而完成接插装配任务。 权利要求书 1/4 页 2 CN 111571596 A 2 5.根据权利要求3所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述步骤M2.1包括： 步骤M2。

8、.1.1： 控制机器人移动到检测工作位， 采集当前机器人圆柱杆末端中心点在相 机图像中的位置的RGB图像进行灰度变换得到灰度图； 步骤M2.1.2： 对灰度图使用阈值分割的方法， 得到分割后的图像； 步骤M2.1.3： 对分割后的图像进行边缘提取， 得到圆柱杆的轮廓； 步骤M2.1.4： 对轮廓进行直线拟合， 根据一定的约束选取圆柱杆末端直线并得到中心 点。 6.根据权利要求3所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述步骤M2.2包括： 步骤M2.2.1： 提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中 的坐标为(u,v)， 计算机器人圆柱杆末端。

9、中心点在相机归一化平面坐标系的齐次坐标x,y, 1T； 步骤M2.2.2： 设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)， 表达式 如下： 其中， 齐次变换矩阵齐次变换矩阵表示工作平面坐标系到相机坐标系的 齐次变换矩阵， 其中， mij表示矩阵的第i行， 第j列的元素， Mcam表示相机的内参矩阵； 步骤M2.2.3： 根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中 的坐标， 求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)； 步骤M2.2.4： 根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的 坐标， 得到检测工作位与期望检。

10、测工作位的平面坐标偏差向量为d(Xt-X,Yt-Y)。 7.根据权利要求3所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述步骤M2.3包括： 步骤M2.3.1： 将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间 位姿pdelta和/或关节空间位置qdelta数据； 步骤M2.3.2： 根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机器 人的关节空间位置iqins， 与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得 到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect。

11、。 8.一种利用视觉修正冶金接插装配作业机器人误差的系统， 其特征在于， 包括： 模块M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像中的 位置， 示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或机器 人对应的关节空间位置并记录； 模块M2： 利用机器人检测工作位与期望检测工作位的平面坐标偏差对机器人接插工作 位的操作空间位姿和/或机器人对应的关节空间位置进行修正； 权利要求书 2/4 页 3 CN 111571596 A 3 模块M3： 机器人偏差修正后， 完成轴孔对齐和接插装配工作。 9.根据权利要求8所述的利用视觉修正冶金接插装配作业机器人误差的。

12、系统， 其特征 在于， 所述模块M1包括： 模块M1.1： 设置具有预设结构的仓架放置冶金技术探针， 并在仓架中央空隙区域安装 固定相机， 使相机光轴垂直于地面或者仓架所在的水平面； 模块M1.2： 使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作位， 记录当前的机器人圆柱杆末端在基坐标系B的位置pdes和/或机器人对应的关节位置qdes； 调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像， 并记录当前机器人圆柱杆 末端中心点和/或机器人对应的关节在相机图像中的位置； 模块M1.3： 建立相机坐标系C和工作平面坐标系O， 使用相机标定板放置在机器人 圆柱杆所在的平面， 对期望。

13、检测工作位的工作平面进行标定， 得到齐次变换矩阵然后 使用相机标定板标定相机的内参得到Mcam； 模块M1.4： 使用示教的方式保持机器人附加轴不再转动， 控制机器人移动到机器人圆 柱杆末端与冶金技术探针轴孔对齐的位置， 记录当前机器人接插工作位在基坐标系B操 作空间位姿ipins和/或机器人的关节位置iqins； 模块M1.5： 按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器人接 插工作位的操作空间位姿1pins,2pins,.,npins和/或机器人对应的关节空间位置1qins, 2qins,.,nqins， 其中n表示共计n个冶金技术探针所对应的机器人接插工作位； 所述模块。

14、M2包括： 模块M2.1： 控制机器人移动到检测工作位， 通过图像处理的方法提取当前机器人圆柱 杆末端中心点在相机图像中的位置， 并记录中心点在相机图像中的位置； 模块M2.2： 根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机图像 中的位置， 使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标偏 差； 模块M2.3： 误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空间位 置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到机器 人修正后的接插工作位操作空间位姿和/或关节空间位置； 所述模块M3包括： 将机器人修正后的接插工作位操作空间。

15、位姿和/或关节空间位置按照预设通信格式发 送给机器人控制器， 机器人控制器使用相应运动指令来控制机器人移动到修正后的接插工 作位操作空间位姿和/或关节空间位姿完成对齐任务， 从而完成接插装配任务。 10.根据权利要求9所述的利用视觉修正冶金接插装配作业机器人误差的方法， 其特征 在于， 所述模块M2.1包括： 模块M2.1.1： 控制机器人移动到检测工作位， 采集当前机器人圆柱杆末端中心点在相 机图像中的位置的RGB图像进行灰度变换得到灰度图； 模块M2.1.2： 对灰度图使用阈值分割的方法， 得到分割后的图像； 模块M2.1.3： 对分割后的图像进行边缘提取， 得到圆柱杆的轮廓； 模块M2.。

16、1.4： 对轮廓进行直线拟合， 根据一定的约束选取圆柱杆末端直线并得到中心 点； 权利要求书 3/4 页 4 CN 111571596 A 4 所述模块M2.2包括： 模块M2.2.1： 提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标系中 的坐标为(u,v)， 计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标x,y, 1T； 模块M2.2.2： 设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)， 表达式 如下： 其中， 齐次变换矩阵齐次变换矩阵表示工作平面坐标系到相机坐标系的 齐次变换矩阵， 其中， mij表示矩阵的第i行， 第j列的元素， Mcam表示相机的。

17、内参矩阵； 模块M2.2.3： 根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标系中 的坐标， 求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)； 模块M2.2.4： 根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标系的 坐标， 得到检测工作位与期望检测工作位的平面坐标偏差向量为d(Xt-X,Yt-Y)； 所述模块M2.3包括： 模块M2.3.1： 将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作空间 位姿pdelta和/或关节空间位置qdelta数据； 模块M2.3.2： 根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/或机。

18、器 人的关节空间位置iqins， 与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据相加得 到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置iqcorrect。 权利要求书 4/4 页 5 CN 111571596 A 5 利用视觉修正冶金接插装配作业机器人误差的方法及系统 技术领域 0001 本发明涉及涉及冶金机器人接插装配作业领域， 具体地， 涉及一种利用视觉修正 冶金接插装配作业机器人误差的方法及系统。 背景技术 0002 轴孔接插装配任务是工业中很常见的一种任务类型， 它具有重复且繁琐的特性， 非常适合使用自动化设备如机器人来替代人工， 。

19、这样既可以降低生产成本又可以提高效 率。 使用示教的方式依赖于机器人自身的精度， 但往往工业机器人由于作业范围大及制造 误差等原因导致重复定位精度无法满足长期工作要求。 使用力觉或视觉的方法完成精确对 准， 往往耗时较长也依赖于算法的精度。 0003 专利文献CN103348228B公开了一种接触杆到冶金技术的探针中的自动插入方法 及装置， 该方法设计了一种专用仓架放置待接插工件， 借助机械定心装置完成点定位功能， 将工件头部拓展成漏斗形状方便长轴圆柱杆插入， 在后面挡板处挖槽构成止挡件， 借助该 挡件防止探针沿着纵轴方向移动。 但该方法依赖机械装置和较好的机器人重复定位精度， 如果系统误差较。

20、大， 显然这种方式并不适合， 从而降低了整个过程的可靠性。 0004 专利文献CN107186460A公开了一种工业机器人进行轴孔装配的方法及系统， 该方 法要求机器人所有关节均有关节力矩传感器， 通过实时测量接触力向量并与设定值比较计 算误差， 通过阻抗控制的方式实现轴孔装配。 虽然对接触力向量要求严格的任务适应较好， 但整个过程的搜孔及插入过程耗时较长， 且设定的参考力向量未考虑圆柱杆形变带来的误 差， 以及力传感器成本较高， 降低了该系统的可靠性适用性。 0005 专利文献CN109382828A(申请号： 201811275792.8)公开了一种基于示教学习的机 器人轴孔装配系统及方法。

21、， 系统包括机械臂、 六维力/力矩传感器、 被动柔性RCC装置以及PC 上位机， 机械臂为多轴机械臂， 六维力/力矩传感器安装在机械臂末端， 被动柔性RCC装置安 装在六维力/力矩传感器上， 被动柔性RCC装置上安装有用于夹持待装配部件的夹持工具， PC上位机与机械臂和六维力/力矩传感器可进行实时通信。 首先人工示教记录人完成装配 任务数据， 采用学习算法训练装配技能模型， 然后机械臂在PC上位机的控制指令下， 携带销 零件进行轴孔装配， PC上位机搭建的控制系统基于ROS平台。 发明内容 0006 针对现有技术中的缺陷， 本发明的目的是提供一种利用视觉修正冶金接插装配作 业机器人误差的方法及。

22、系统。 0007 根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法， 包 括： 0008 步骤M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像 中的位置， 示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或 机器人对应的关节空间位置并记录； 说明书 1/13 页 6 CN 111571596 A 6 0009 步骤M2： 机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利 用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正； 0010 步骤M3： 机器人偏差修正后， 完成轴孔对齐和接插装配工作。 0011 优选地， 所述。

23、步骤M1包括： 0012 步骤M1.1： 设置具有预设结构的仓架放置冶金技术探针， 并在仓架中央空隙区域 安装固定相机， 使相机光轴垂直于地面或者仓架所在的水平面； 0013 步骤M1.2： 使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作 位， 记录当前的机器人圆柱杆末端在基坐标系B的位置pdes和/或机器人对应的关节位置 qdes； 调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像， 并记录当前机器人圆 柱杆末端中心点和/或机器人对应的关节在相机图像中的位置； 0014 步骤M1.3： 建立相机坐标系C和工作平面坐标系O， 使用相机标定板放置在机 器人圆柱杆所在的平面， 。

24、对期望检测工作位的工作平面进行标定， 得到齐次变换矩阵 然后使用相机标定板标定相机的内参得到Mcam； 0015 步骤M1.4： 使用示教的方式保持机器人附加轴不再转动， 控制机器人移动到机器 人圆柱杆末端与冶金技术探针轴孔对齐的位置， 记录当前机器人接插工作位在基坐标系 B操作空间位姿ipins和/或机器人的关节位置iqins； 0016 步骤M1.5： 按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器 人接插工作位的操作空间位姿1pins,2pins,.,npins和/或机器人对应的关节空间位置 1qins, 2qins,.,nqins。 0017 优选地， 所述步骤M2包括：。

25、 0018 步骤M2.1： 控制机器人移动到检测工作位， 通过图像处理的方法提取当前机器人 圆柱杆末端中心点在相机图像中的位置， 并记录中心点在相机图像中的位置； 0019 步骤M2.2： 根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机 图像中的位置， 使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标 偏差； 0020 步骤M2.3： 误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空 间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到 机器人修正后的接插工作位操作空间位姿和/或关节空间位置。 0021 优选地， 所述步骤M3包。

26、括： 0022 将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格 式发送给机器人控制器， 机器人控制器使用相应运动指令来控制机器人移动到修正后的接 插工作位操作空间位姿和/或关节空间位姿完成对齐任务， 从而完成接插装配任务。 0023 优选地， 所述步骤M2.1包括： 0024 步骤M2.1.1： 控制机器人移动到检测工作位， 采集当前机器人圆柱杆末端中心点 在相机图像中的位置的RGB图像进行灰度变换得到灰度图； 0025 步骤M2.1.2： 对灰度图使用阈值分割的方法， 得到分割后的图像； 0026 步骤M2.1.3： 对分割后的图像进行边缘提取， 得到圆柱杆的轮廓； 。

27、0027 步骤M2.1.4： 对轮廓进行直线拟合， 根据一定的约束选取圆柱杆末端直线并得到 中心点。 说明书 2/13 页 7 CN 111571596 A 7 0028 优选地， 所述步骤M2.2包括： 0029 步骤M2.2.1： 提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标 系中的坐标为(u,v)， 计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标 x,y,1T； 0030 0031 步骤M2.2.2： 设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)， 表 达式如下： 0032 0033其中， 齐次变换矩阵齐次变换矩阵表示工作平面坐标系到相机坐标 系。

28、的齐次变换矩阵， 其中， mij表示矩阵的第i行， 第j列的元素， Mcam表示相机的内参矩阵； 0034 步骤M2.2.3： 根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标 系中的坐标， 求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(Xt,Yt)； 0035 步骤M2.2.4： 根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标 系的坐标， 得到检测工作位与期望检测工作位的平面坐标偏差向量为d(Xt-X,Yt-Y)。 0036 0037 优选地， 所述步骤M2.3包括： 0038 步骤M2.3.1： 将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作 。

29、空间位姿pdelta和/或关节空间位置qdelta数据； 0039 步骤M2.3.2： 根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/ 或机器人的关节空间位置iqins， 与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据 相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置 iqcorrect。 0040 0041 根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的系统， 包 括： 0042 模块M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像 中的位置， 示教获取所有冶金技术探针所对应的机器。

30、人接插工作位的操作空间位姿和/或 机器人对应的关节空间位置并记录； 0043 模块M2： 机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利 用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正； 0044 模块M3： 机器人偏差修正后， 完成轴孔对齐和接插装配工作。 0045 优选地， 所述模块M1包括： 0046 模块M1.1： 设置具有预设结构的仓架放置冶金技术探针， 并在仓架中央空隙区域 安装固定相机， 使相机光轴垂直于地面或者仓架所在的水平面； 0047 模块M1.2： 使用示教的方式控制包含附加轴的机器人移动到预设的期望检测工作 位， 记录当前的机器人圆柱杆末端在基。

31、坐标系B的位置pdes和/或机器人对应的关节位置 qdes； 调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像， 并记录当前机器人圆 说明书 3/13 页 8 CN 111571596 A 8 柱杆末端中心点和/或机器人对应的关节在相机图像中的位置； 0048 模块M1.3： 建立相机坐标系C和工作平面坐标系O， 使用相机标定板放置在机 器人圆柱杆所在的平面， 对期望检测工作位的工作平面进行标定， 得到齐次变换矩阵 然后使用相机标定板标定相机的内参得到Mcam； 0049 模块M1.4： 使用示教的方式保持机器人附加轴不再转动， 控制机器人移动到机器 人圆柱杆末端与冶金技术探针轴孔对齐的。

32、位置， 记录当前机器人接插工作位在基坐标系 B操作空间位姿ipins和/或机器人的关节位置iqins； 0050 模块M1.5： 按照预设排列顺序记录仓架上所有放置的冶金技术探针所对应的机器 人接插工作位的操作空间位姿1pins,2pins,.,npins和/或机器人对应的关节空间位置 1qins, 2qins,.,nqins； 0051 所述模块M2包括： 0052 模块M2.1： 控制机器人移动到检测工作位， 通过图像处理的方法提取当前机器人 圆柱杆末端中心点在相机图像中的位置， 并记录中心点在相机图像中的位置； 0053 模块M2.2： 根据检测工作位与期望检测工作位的机器人圆柱杆末端中。

33、心点的相机 图像中的位置， 使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标 偏差； 0054 模块M2.3： 误差修正算法将示教得到的接插工作位的操作空间位姿和/或关节空 间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到 机器人修正后的接插工作位操作空间位姿和/或关节空间位置； 0055 所述模块M3包括： 0056 将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格 式发送给机器人控制器， 机器人控制器使用相应运动指令来控制机器人移动到修正后的接 插工作位操作空间位姿和/或关节空间位姿完成对齐任务， 从而完成接插装配任务。 0。

34、057 优选地， 所述模块M2.1包括： 0058 模块M2.1.1： 控制机器人移动到检测工作位， 采集当前机器人圆柱杆末端中心点 在相机图像中的位置的RGB图像进行灰度变换得到灰度图； 0059 模块M2.1.2： 对灰度图使用阈值分割的方法， 得到分割后的图像； 0060 模块M2.1.3： 对分割后的图像进行边缘提取， 得到圆柱杆的轮廓； 0061 模块M2.1.4： 对轮廓进行直线拟合， 根据一定的约束选取圆柱杆末端直线并得到 中心点； 0062 所述模块M2.2包括： 0063 模块M2.2.1： 提取机器人位于期望检测工作位圆柱杆末端中心点在相机图像坐标 系中的坐标为(u,v)，。

35、 计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标 x,y,1T； 0064 0065 模块M2.2.2： 设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)， 表 达式如下： 说明书 4/13 页 9 CN 111571596 A 9 0066 0067其中， 齐次变换矩阵齐次变换矩阵表示工作平面坐标系到相机坐标 系的齐次变换矩阵， 其中， mij表示矩阵的第i行， 第j列的元素， Mcam表示相机的内参矩阵； 0068 模块M2.2.3： 根据提取的期望检测工作位状态下的圆柱杆末端中心点在图像坐标 系中的坐标， 求得期望检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(。

36、Xt,Yt)； 0069 模块M2.2.4： 根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标 系的坐标， 得到检测工作位与期望检测工作位的平面坐标偏差向量为d(Xt-X,Yt-Y)； 0070 所述模块M2.3包括： 0071 模块M2.3.1： 将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作 空间位姿pdelta和/或关节空间位置qdelta数据； 0072 模块M2.3.2： 根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/ 或机器人的关节空间位置iqins， 与相应的操作空间位姿pdelta和/或关节空间位置qdelta数据 相加得到机器人实际的接。

37、插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置 iqcorrect。 0073 0074 与现有技术相比， 本发明具有如下的有益效果： 0075 1、 本发明使用视觉与示教结合的方式来修正机器人回转附加轴所带来的误差， 降 低了对附加轴精度的要求； 0076 2、 本发明只使用了视觉和相关算法辅助的手段， 方法简单高效， 系统维护成本和 硬件成本大大降低， 而且有效提高了系统的鲁棒性和适应性。 0077 3、 本发明设计了合理的工作流程， 避免了对所使用圆柱杆、 冶金探针和仓架的结 构依赖， 维持了非自动化工艺流程使用工具的原貌， 大大降低了生产成本； 附图说明 0078 通。

38、过阅读参照以下附图对非限制性实施例所作的详细描述， 本发明的其它特征、 目的和优点将会变得更明显： 0079 图1为包含附加轴的冶金作业机器人示意图； 0080 图2为仓架正面示意图； 0081 图3为机器人使用的圆柱杆示意图； 0082 图4为冶金技术探针示意图； 0083 图5为利用视觉修正冶金接插装配作业机器人误差算法流程图。 说明书 5/13 页 10 CN 111571596 A 10 0084 具体实施方式 0085 下面结合具体实施例对本发明进行详细说明。 以下实施例将有助于本领域的技术 人员进一步理解本发明， 但不以任何形式限制本发明。 应当指出的是， 对本领域的普通技术 人员。

39、来说， 在不脱离本发明构思的前提下， 还可以做出若干变化和改进。 这些都属于本发明 的保护范围。 0086 根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法及系 统， 在示教的基础上使用视觉来修正机器人回转附加轴误差导致的圆柱杆位置与期望位置 的平面坐标偏差， 然后控制机器人修正偏差， 完成轴孔对齐和接插装配工作。 0087 一种利用视觉修正冶金接插装配作业机器人误差的方法及系统所需的装置包括 包含回转附加轴的工业机器人、 用于获取图像的工业相机4、 外部计算机、 标定板、 特定结构 的仓架5、 使用的圆柱杆2和待接插装配的冶金技术探针3。 工业相机采集图像并利用所得图 像计算。

40、圆柱杆的位置偏差， 特定结构的仓架用于放置冶金技术探针， 标定板用于标定相机 内参和圆柱杆的工作平面坐标系相对于相机坐标系的外参， 外部计算机用来执行相关的算 法并作为与机器人控制器通信的主体。 0088 本发明提供了一种利用视觉修正冶金接插装配作业机器人误差的方法及系统， 用 来完成机器人携带的圆柱杆2与仓架5上放置的冶金技术探针3的接插装配任务。 所述工作 位均表示机器人携带的圆柱杆末端到达数字表示区域时的机器人位置， 所述工作平面表示 与机器人回转附加轴旋转所形成平面平行并位于圆柱杆下方的平面， 所述位姿(或位置)表 示操作空间的位姿(或关节空间的关节位置)， 只考虑机器人的回转附加轴1。

41、带来的工作平 面位置误差。 该系统包括离线工作和在线工作部分。 离线工作包括示教携带圆柱杆2的机器 人移动到期望检测工作位， 记录圆柱杆末端中心点在上方相机4中的图像位置， 并标定该工 作位圆柱杆所在工作平面的坐标系相对于相机坐标系的外参和相机4内参， 最后按指定顺 序示教并记录放置在仓架上的所有冶金技术探针接插工作位7的位姿(或位置)。 在线工作 包括首先机器人移动到检测工作位6， 使用视觉测量算法计算检测工作位与期望检测工作 位在工作平面的坐标偏差， 然后误差修正算法将示教得到的接插工作位7的位姿(或位置) 与转换数据格式的工作平面的坐标偏差相加得到机器人修正后的位姿(或位置)， 并将计算。

42、 的结果按照约定的通信格式发送给机器人控制器， 最后控制器使用相应运动指令来控制机 器人移动到接插工作位7。 0089 实施例1 0090 根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的方法， 包 括： 说明书 6/13 页 11 CN 111571596 A 11 0091 步骤M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像 中的位置， 示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或 机器人对应的关节空间位置并记录； 0092 步骤M2： 机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利 用机器人检测工作位与期望检测工。

43、作位的平面坐标偏差进行修正； 0093 步骤M3： 机器人偏差修正后， 完成轴孔对齐和接插装配工作。 0094 具体地， 所述步骤M1包括： 0095 步骤M1.1： 如图2所示， 设置具有预设结构的仓架放置冶金技术探针， 并在仓架中 央空隙区域安装固定相机， 使相机光轴垂直于地面或者仓架所在的水平面； 0096 步骤M1.2： 如图1、 图3所示， 使用示教的方式控制包含附加轴的机器人移动到预设 的期望检测工作位， 记录当前的机器人圆柱杆末端在基坐标系B的位置pdes和/或机器人 对应的关节位置qdes； 调整相机相关参数使得机器人圆柱杆末端在当前位置清晰成像， 并记 录当前机器人圆柱杆末端。

44、中心点和/或机器人对应的关节在相机图像中的位置； 0097 步骤M1.3： 建立相机坐标系C和工作平面坐标系O， 使用相机标定板放置在机 器人圆柱杆所在的平面， 对期望检测工作位的工作平面进行标定， 得到齐次变换矩阵 然后使用标定板标定相机的内参得到Mcam(假设相机是小孔成像模型)； 0098 步骤M1.4： 如图4所示， 使用示教的方式保持机器人附加轴不再转动， 控制机器人 移动到机器人圆柱杆末端与冶金技术探针轴孔对齐的位置， 记录当前机器人接插工作位在 基坐标系B操作空间位姿ipins和/或机器人的关节位置iqins； 0099 步骤M1.5： 按照预设排列顺序记录仓架上所有放置的冶金技。

45、术探针所对应的机器 人接插工作位的操作空间位姿1pins,2pins,.,npins和/或机器人对应的关节空间位置 1qins, 2qins,.,nqins。 0100 具体地， 所述步骤M2包括： 0101 步骤M2.1： 控制机器人移动到检测工作位， 通过图像处理的方法提取当前机器人 圆柱杆末端中心点在相机图像中的位置， 并记录中心点在相机图像中的位置； 0102 步骤M2.2： 根据检测工作位与期望检测工作位的机器人圆柱杆末端中心点的相机 图像中的位置， 使用视觉测量算法计算检测工作位与期望检测工作位的在工作平面的坐标 偏差； 0103 步骤M2.3： 误差修正算法将示教得到的接插工作位。

46、的操作空间位姿和/或关节空 间位置与转换数据格式的检测工作位与期望检测工作位的在工作平面坐标偏差相加得到 机器人修正后的接插工作位操作空间位姿和/或关节空间位置。 0104 具体地， 所述步骤M3包括： 0105 将机器人修正后的接插工作位操作空间位姿和/或关节空间位置按照预设通信格 式发送给机器人控制器， 机器人控制器使用相应运动指令来控制机器人移动到修正后的接 插工作位操作空间位姿和/或关节空间位姿完成对齐任务， 从而完成接插装配任务。 0106 接插步骤： 修正过偏差的机器人此时位于接插工作位， 视觉测量的结果有一定的 误差， 因此此时轴孔并不一定完全对齐， 只要在一定的误差区域范围内，。

47、 就可以控制机器人 完成对齐和接插任务， 重复进行上述整个过程， 直至仓架放置的所有冶金技术探针使用完 毕。 说明书 7/13 页 12 CN 111571596 A 12 0107 具体地， 所述步骤M2.1包括： 0108 步骤M2.1.1： 将采集的RGB图像进行灰度变换得到灰度图； 0109 步骤M2.1.2： 对灰度图使用阈值分割的方法， 得到分割后的图像； 0110 步骤M2.1.3： 对分割后的图像进行边缘提取， 得到圆柱杆的轮廓； 0111 步骤M2.1.4： 对轮廓进行直线拟合， 根据一定的约束选取圆柱杆末端直线并得到 中心点。 0112 具体地， 所述步骤M2.2包括： 0。

48、113 步骤M2.2.1： 提取的机器人圆柱杆末端中心点在相机图像坐标系中的坐标为(u, v)， 计算机器人圆柱杆末端中心点在相机归一化平面坐标系的齐次坐标x,y,1T； 0114 0115 步骤M2.2.2： 设检测位的圆柱杆末端中心点在工作平面坐标系的坐标为(X,Y)， 表 达式如下： 0116 0117其中， 齐次变换矩阵齐次变换矩阵表示工作平面坐标系到相机坐标 系的齐次变换矩阵， 其中， mij表示矩阵的第i行， 第j列的元素， Mcam表示相机的内参矩阵； 0118 步骤M2.2.4： 根据提取的圆柱杆末端中心点在图像坐标系中的坐标， 求得期望检 测位的圆柱杆末端中心点在工作平面坐标。

49、系的坐标为(Xt,Yt)； 0119 步骤M2.2.5： 根据检测工作位与期望检测工作位的末端中心点的在工作平面坐标 系的坐标， 得到检测工作位与期望检测工作位的平面坐标偏差向量为d(Xt-X,Yt-Y)。 0120 0121 具体地， 所述步骤M2.3包括： 0122 步骤M2.3.1： 将视觉测量算法计算得到的平面坐标偏差向量d转化为相应的操作 空间位姿pdelta和/或关节空间位置qdelta数据； 0123 步骤M2.3.2： 根据待接插冶金技术探针接插工作位示教的操作空间位姿ipins和/ 或机器人的关节空间位置iqins， 与相应的操作空间位姿pdelta和/或关节空间位置qdel。

50、ta数据 相加得到机器人实际的接插工作位的操作空间位姿ipcorrect和/或机器人关节空间位置 iqcorrect。 0124 0125 根据本发明提供的一种利用视觉修正冶金接插装配作业机器人误差的系统， 包 括： 0126 模块M1： 利用视觉获取并记录期望检测工作位机器人的圆柱杆末端中心点在图像 中的位置， 示教获取所有冶金技术探针所对应的机器人接插工作位的操作空间位姿和/或 机器人对应的关节空间位置并记录； 0127 模块M2： 机器人接插工作位的操作空间位姿和/或机器人对应的关节空间位置利 用机器人检测工作位与期望检测工作位的平面坐标偏差进行修正； 0128 模块M3： 机器人偏差修。