基于激光的人机交互方法.pdf

《基于激光的人机交互方法.pdf》由会员分享，可在线阅读，更多相关《基于激光的人机交互方法.pdf（24页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910628594.3 (22)申请日 2019.07.12 (71)申请人 哈尔滨工业大学 （威海） 地址 264200 山东省威海市环翠区文化西 路2号 申请人 威海市机器人与智能装备产业研究 院 (72)发明人 刘亚欣钟鸣姚玉峰王思瑶 (74)专利代理机构 威海科星专利事务所 37202 代理人 孙小栋 (51)Int.Cl. G06F 3/0354(2013.01) G06F 3/038(2013.01) G06K 9/00(2006.01) G06K 9/32(2。

2、006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于激光的人机交互方法 (57)摘要 本发明涉及一种基于激光的人机交互方法， 其解决了现有载臂轮椅式助老助残机器人靠手 柄来操作， 存在的操作不方便、 负担重、 精度差、 效率低； 人机交互不够友好， 用户体验差的技术 问题， 其包括以下步骤： 获取物体的图像； 识别出 图像中存在的激光光斑； 据激光光斑识别目标物 体。 本发明广泛用于人机交互技术领域。 权利要求书3页 说明书14页 附图6页 CN 110347273 A 2019.10.18 CN 110347273 A 1.一种基。

3、于激光的人机交互方法， 其特征在于， 包括以下步骤： 步骤1， 获取物体的图像； 步骤2， 识别出图像中存在的激光光斑； 步骤3， 依据激光光斑识别目标物体。 2.根据权利要求1所述的基于激光的人机交互方法， 其特征在于， 所述步骤3的过程是： 计算激光光斑在图像中的位置信息； 依据位置信息识别目标物体。 3.根据权利要求2所述的基于激光的人机交互方法， 其特征在于： 所述步骤1中， 图像包括深度图像和彩色图像； 所述步骤2的过程是， 识别出彩色图像中存在的激光光斑； 所述步骤3的过程是： (1)计算激光光斑在彩色图像中的二维像素坐标(u， v)， 将光斑的二维像素坐标(u， v) 转换到相机。

4、坐标系下的坐标(X/Z， Y/Z)； (2)首先对深度图像进行滤波处理， 其次进行距离分割处理获得每一个物体的点云， 再 其次计算每个物体在相机坐标系下的形心坐标(Xi， Yi， Zi)， 然后将各个物体的形心坐标 (Xi， Yi， Zi)与光斑坐标(X/Z， Y/Z)进行距离比较， 如果某物体与光斑之间的距离小于设定阈 值， 则确定该物体为目标物体。 4.根据权利要求3所述的基于激光的人机交互方法， 其特征在于， 通过以下公式(1-1) 判断物体与光斑之间的距离小于设定阈值： 公式(1-1)中， T表示阈值。 5.根据权利要求4所述的基于激光的人机交互方法， 其特征在于： 所述步骤2识别出彩。

5、色图像中存在的激光光斑的过程是： (1)将获得的彩色图像进行图像预处理； (2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑， 具体过 程是： 将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练， 训练的过程能够得出 彩色图像的真实框； YOLOv3卷积神经网络函数对图像数据进行分析判断， 在网络的最后一层， 会将卷积网 络处理后的图像分成等边的单元格， 使用锚预测方法对每个单元格进行预测判断； 针对每一个划分的小单元格， 如果预测出目标边界框， YOLOv3卷积神经网络函数使用 逻辑回归对预测边界框打分； 根据预测框和真实框的重合程度设定置信度， 该置信度作。

6、为阈值使用， 当边界框得分 大于置信度， 则确定该边界框可能为激光光斑所在图像区域， 如果最后剩余一个边界框,则 该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区 域,确定识别出激光光斑。 6.根据权利要求1或2所述的基于激光的人机交互方法， 其特征在于： 权利要求书 1/3 页 2 CN 110347273 A 2 所述步骤1中， 图像包括彩色图像； 所述步骤2的过程是： (1)将获得的彩色图像进行图像预处理； (2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑， 具体过 程是： 将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训。

7、练， 训练的过程能够得出 彩色图像的真实框； YOLOv3卷积神经网络函数对图像数据进行分析判断， 在网络的最后一层， 会将卷积网 络处理后的图像分成等边的单元格， 使用锚预测方法对每个单元格进行预测判断； 针对每一个划分的小单元格， 如果预测出目标边界框， YOLOv3卷积神经网络函数使用 逻辑回归对预测边界框打分； 根据预测框和真实框的重合程度设定置信度， 该置信度作为阈值使用， 当边界框得分 大于置信度， 则确定该边界框可能为激光光斑所在图像区域， 如果最后剩余一个边界框,则 该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区 域,确定识别出激光光斑。 7.一。

8、种基于激光的人机交互方法， 其特征在于， 包括以下步骤： 步骤1， 获取物体的图像； 步骤2， 识别出图像中存在的第一次激光光斑； 步骤3， 计算出第一次激光光斑的位置信息； 步骤4， 根据第一次激光光斑识别第一目标物体； 步骤5， 当图像中的第一次激光光斑消失后， 又识别出图像中存在的第二次激光光斑， 计算从第一次激光光斑消失后到出现第二次激光光斑之间的间隔时间； 步骤6， 计算出第二次激光光斑识的位置信息； 步骤7， 根据第二次激光光斑识别第二目标物体； 步骤8， 当图像中的第二次激光光斑消失， 将第一次激光光斑的位置信息和第二次激光 光斑的位置进行比较， 如果第二次激光光斑和第一次激光光。

9、斑的位置不同， 则判断第一目 标物体和第二目标物体是两个不同的物体。 8.根据权利要求7所述的基于激光的人机交互方法， 其特征在于： 所述步骤3的过程是， 计算第一次激光光斑在彩色图像中的二维像素坐标(u， v)， 将光 斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X1/Z， Y1/Z)； 所述步骤6的过程是， 计算第二次激光光斑在彩色图像中的二维像素坐标(u， v)， 将第 二次激光光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X2/Z， Y2/Z)并进行存储； 所述步骤8中将第一次激光光斑的位置信息和第二次激光光斑的位置进行比较的过程 是， 将第二次激光光斑的坐标(X2。

10、/Z， Y2/Z)和第一次激光光斑的坐标(X1/Z， Y1/Z)比对， 计算 两个坐标之间的距离L， 如果距离L大于设定的阈值S， 则认为第二次激光光斑和第一次激光 光斑的位置不同。 9.一种基于激光的人机交互方法， 其特征在于， 包括以下步骤： 步骤1， 应用载臂轮椅式助老助残机器人， 所述载臂轮椅式助老助残机器人包括控制系 统、 电动轮椅、 机械臂和RGB-D摄像头， 所述机械臂与电动轮椅连接， 所述RGB-D摄像头与电 权利要求书 2/3 页 3 CN 110347273 A 3 动轮椅连接； 所述控制系统包括主控制器、 GPU模块、 RGB-D摄像头、 激光笔、 机械臂控制器和 轮椅控。

11、制器， 所述机械臂控制器与主控制器连接， GPU模块与主控制器连接， RGB-D摄像头与 GPU模块连接； 步骤2， 通过RGB-D摄像头对桌子上的物体所在区域进行摄像， 获取视频， 并将视频信息 发送给主控制器； 步骤3， 主控制器按照一定周期对视频信息进行采样处理， 获取深度图像和彩色图像； 步骤4， 人坐在电动轮椅上， 手握激光笔， 按压激光笔的开关发射出激光照射在某一个 物体上， 主控制器中别出图像中存在的激光光斑； 步骤5： (1)计算激光光斑在彩色图像中的二维像素坐标(u， v)， 将光斑的二维像素坐标(u， v) 转换到相机坐标系下的坐标(X/Z， Y/Z)； (2)首先对深度图。

12、像进行滤波处理， 其次进行距离分割处理获得每一个物体的点云， 再 其次计算每个物体在相机坐标系下的形心坐标(Xi， Yi， Zi)， 然后将各个物体的形心坐标 (Xi， Yi， Zi)与光斑坐标(X/Z， Y/Z)进行距离比较， 通过以下公式(1-1)判断物体与光斑之间 的距离小于设定阈值： 公式中， T表示阈值， 如果某物体与光斑之间的距离小于设定阈值T， 则确定该物体为目 标物体。 权利要求书 3/3 页 4 CN 110347273 A 4 基于激光的人机交互方法 技术领域 0001 本发明涉及助老助残机器人技术领域， 具体而言， 涉及一种基于激光的人机交互 方法。 背景技术 0002 。

13、众所周知， 中国正处在老龄化社会迅速发展的阶段， 社会上需要护理的老年人以 及残疾人的数量日益增多， 这就对助老助残机器人的刚性需求巨增。 0003 参考申请公布号为CN109048918A的中国发明专利申请、 申请公布号为 CN109262632A的中国发明专利申请以及申请公布号为CN107595505A的中国发明专利申请， 载臂轮椅式助老助残机器人兼具载运和抓取、 移动物体功能， 这类机器人的人机交互主要 靠手柄来操作， 然而手柄操作方式存在操作不方便、 负担重、 精度差、 效率低以及对熟练度 要求较高的技术缺陷， 无法满足用户的要求； 人机交互不够友好， 用户体验不理想， 不符合 目前物。

14、联网技术的发展需求。 发明内容 0004 本发明就是为了解决现有载臂轮椅式助老助残机器人靠手柄来操作， 存在的操作 不方便、 负担重、 精度差、 效率低； 人机交互不够友好， 用户体验差的技术问题， 提供了一种 操作更加方便、 负担轻、 精度高、 效率高； 人机交互更加友好， 用户体验更好的基于激光的人 机交互方法。 0005 本发明提供一种基于激光的人机交互方法， 包括以下步骤： 0006 步骤1， 获取物体的图像； 0007 步骤2， 识别出图像中存在的激光光斑； 0008 步骤3， 依据激光光斑识别目标物体。 0009 优选地， 步骤3的过程是： 0010 计算激光光斑在图像中的位置信息。

15、； 0011 依据位置信息识别目标物体。 0012 优选地， 步骤1中， 图像包括深度图像和彩色图像； 步骤2的过程是， 识别出彩色图 像中存在的激光光斑； 步骤3的过程是： 0013 (1)计算激光光斑在彩色图像中的二维像素坐标(u， v)， 将光斑的二维像素坐标 (u， v)转换到相机坐标系下的坐标(X/Z， Y/Z)； 0014 (2)首先对深度图像进行滤波处理， 其次进行距离分割处理获得每一个物体的点 云， 再其次计算每个物体在相机坐标系下的形心坐标(Xi， Yi， Zi)， 然后将各个物体的形心坐 标(Xi， Yi， Zi)与光斑坐标(X/Z， Y/Z)进行距离比较， 如果某物体与光。

16、斑之间的距离小于设定 阈值， 则确定该物体为目标物体。 0015 优选地， 通过以下公式(1-1)判断物体与光斑之间的距离小于设定阈值： 说明书 1/14 页 5 CN 110347273 A 5 0016 0017 公式(1-1)中， T表示阈值。 0018 优选地， 步骤2识别出彩色图像中存在的激光光斑的过程是： 0019 (1)将获得的彩色图像进行图像预处理； 0020 (2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑， 具 体过程是： 0021 将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练， 训练的过程能够 得出彩色图像的真实框； 0022 Y。

17、OLOv3卷积神经网络函数对图像数据进行分析判断， 在网络的最后一层， 会将卷 积网络处理后的图像分成等边的单元格， 使用锚预测方法对每个单元格进行预测判断； 0023 针对每一个划分的小单元格， 如果预测出目标边界框， YOLOv3卷积神经网络函数 使用逻辑回归对预测边界框打分； 0024 根据预测框和真实框的重合程度设定置信度， 该置信度作为阈值使用， 当边界框 得分大于置信度， 则确定该边界框可能为激光光斑所在图像区域， 如果最后剩余一个边界 框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界 框区域,确定识别出激光光斑。 0025 优选地， 步骤1中， 图。

18、像包括彩色图像； 0026 所述步骤2的过程是： 0027 (1)将获得的彩色图像进行图像预处理； 0028 (2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑， 具 体过程是： 0029 将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练， 训练的过程能够 得出彩色图像的真实框； 0030 YOLOv3卷积神经网络函数对图像数据进行分析判断， 在网络的最后一层， 会将卷 积网络处理后的图像分成等边的单元格， 使用锚预测方法对每个单元格进行预测判断； 0031 针对每一个划分的小单元格， 如果预测出目标边界框， YOLOv3卷积神经网络函数 使用逻辑回归对预测。

19、边界框打分； 0032 根据预测框和真实框的重合程度设定置信度， 该置信度作为阈值使用， 当边界框 得分大于置信度， 则确定该边界框可能为激光光斑所在图像区域， 如果最后剩余一个边界 框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界 框区域,确定识别出激光光斑。 0033 本发明还提供一种基于激光的人机交互方法， 包括以下步骤： 0034 步骤1， 获取物体的图像； 0035 步骤2， 识别出图像中存在的第一次激光光斑； 0036 步骤3， 计算出第一次激光光斑的位置信息； 0037 步骤4， 根据第一次激光光斑识别第一目标物体； 0038 步骤5， 当图像中的。

20、第一次激光光斑消失后， 又识别出图像中存在的第二次激光光 说明书 2/14 页 6 CN 110347273 A 6 斑， 计算从第一次激光光斑消失后到出现第二次激光光斑之间的间隔时间； 0039 步骤6， 计算出第二次激光光斑识的位置信息； 0040 步骤7， 根据第二次激光光斑识别第二目标物体； 0041 步骤8， 当图像中的第二次激光光斑消失， 将第一次激光光斑的位置信息和第二次 激光光斑的位置进行比较， 如果第二次激光光斑和第一次激光光斑的位置不同， 则判断第 一目标物体和第二目标物体是两个不同的物体。 0042 优选地， 步骤3的过程是， 计算第一次激光光斑在彩色图像中的二维像素坐标。

21、(u， v)， 将光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X1/Z， Y1/Z)； 0043 步骤6的过程是， 计算第二次激光光斑在彩色图像中的二维像素坐标(u， v)， 将第 二次激光光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X2/Z， Y2/Z)并进行存储； 0044 步骤8中将第一次激光光斑的位置信息和第二次激光光斑的位置进行比较的过程 是， 将第二次激光光斑的坐标(X2/Z， Y2/Z)和第一次激光光斑的坐标(X1/Z， Y1/Z)比对， 计算 两个坐标之间的距离L， 如果距离L大于设定的阈值S， 则认为第二次激光光斑和第一次激光 光斑的位置不同。 004。

22、5 本发明还提供一种基于激光的人机交互方法， 包括以下步骤： 0046 步骤1， 应用载臂轮椅式助老助残机器人， 所述载臂轮椅式助老助残机器人包括控 制系统、 电动轮椅、 机械臂和RGB-D摄像头， 所述机械臂与电动轮椅连接， 所述RGB-D摄像头 与电动轮椅连接； 所述控制系统包括主控制器、 GPU模块、 RGB-D摄像头、 激光笔、 机械臂控制 器和轮椅控制器， 所述机械臂控制器与主控制器连接， GPU模块与主控制器连接， RGB-D摄像 头与GPU模块连接； 0047 步骤2， 通过RGB-D摄像头对桌子上的物体所在区域进行摄像， 获取视频， 并将视频 信息发送给主控制器； 0048 步。

23、骤3， 主控制器按照一定周期对视频信息进行采样处理， 获取深度图像和彩色图 像； 0049 步骤4， 人坐在电动轮椅上， 手握激光笔， 按压激光笔的开关发射出激光照射在某 一个物体上， 主控制器中别出图像中存在的激光光斑； 0050 步骤5： 0051 (1)计算激光光斑在彩色图像中的二维像素坐标(u， v)， 将光斑的二维像素坐标 (u， v)转换到相机坐标系下的坐标(X/Z， Y/Z)； 0052 (2)首先对深度图像进行滤波处理， 其次进行距离分割处理获得每一个物体的点 云， 再其次计算每个物体在相机坐标系下的形心坐标(Xi， Yi， Zi)， 然后将各个物体的形心坐 标(Xi， Yi，。

24、 Zi)与光斑坐标(X/Z， Y/Z)进行距离比较， 通过以下公式(1-1)判断物体与光斑之 间的距离小于设定阈值： 0053 0054 公式中， T表示阈值， 如果某物体与光斑之间的距离小于设定阈值T， 则确定该物体 为目标物体。 0055 本发明的有益效果是： 说明书 3/14 页 7 CN 110347273 A 7 0056 (1)交互方式新颖， 相比通过手柄进行简单的任务动作与关节控制， 用户只需考虑 目标物不必关注过程控制， 操作起来更方便， 操作负担小， 提高用户的使用易用性， 用户感 受好。 0057 (2)本发明适用于老龄及残障人士。 对于严重体弱、 严重活动不便、 视力弱的。

25、人群， 使用激光笔进行操作更加合适。 0058 (3)基于卷积神经网络进行微小激光点及其点取物品的精准识别， 克服了现实家 居环境下的光照、 距离、 背景等多种因素影响， 实现现实世界背景下普通激光笔发射激光点 的实时精准检测， 有利于提高基于激光点的直觉交互的准确性。 0059 (4)实现基于点云信息的点取物品自主抓取， 无需提前存储物体模型， 仅依靠RGB- D深度摄像头采集的点云信息， 实现未知物品抓取位姿快速生成。 实现家居非结构环境下任 意照射物品进而准确地自主抓取。 0060 本发明进一步的特征和方面， 将在以下参考附图的具体实施方式的描述中， 得以 清楚地记载。 附图说明 006。

26、1 图1是载臂轮椅式助老助残机器人的结构示意图； 0062 图2是控制系统的原理框图； 0063 图3是主控制器的原理框图； 0064 图4是本发明运行过程的示意图； 0065 图5是实施例1的控制方法流程图； 0066 图6是图5所示流程中识别出图片中激光光斑的方法流程图； 0067 图7是实施例2的控制方法流程图； 0068 图8是实施例3的控制方法流程图。 0069 图中符号说明： 0070 10.电动轮椅， 11.轮椅控制器； 20.机械臂， 21.机械臂控制器； 30.RGB-D摄像头， 40.GPU模块， 50.主控制器， 51.激光光斑识别模块， 52.位置获取模块， 53.激光。

27、光斑计时模 块， 60.激光笔。 具体实施方式 0071 以下参照附图， 以具体实施例对本发明作进一步详细说明。 0072 如图1所示， 本发明的载臂轮椅式助老助残机器人包括电动轮椅10、 机械臂20、 RGB-D摄像头30， 机械臂20安装在电动轮椅10上， RGB-D摄像头30通过支架安装在电动轮椅 10的侧面， RGB-D摄像头30用于提供操作视觉辅助。 机械臂20采用加拿大Kinova公司的JACO 机械臂， JACO机械臂由6个独立驱动旋转关节和3个独立控制的手指组成， 每个关节均配有 独立的力矩、 温度、 电流、 加速度传感器保证数据信息的实时反馈， 整重5.3kg。 控制方式除 。

28、手柄控制外， 提供USB接口以及API函数进行控制开发。 电动轮椅10采用卫美恒公司 (N.V.Vermeiren N.V.)生产的电动轮椅。 RGB-D摄像头30可采用华硕Xtion摄像头。 0073 如图2和3所示， 本发明的控制系统包括主控制器50、 GPU模块40、 RGB-D摄像头30、 激光笔60、 机械臂控制器21、 轮椅控制器11， 电动轮椅10的轮椅控制器11与主控制器50连 说明书 4/14 页 8 CN 110347273 A 8 接， 机械臂20的机械臂控制器21与主控制器50连接， GPU模块40与主控制器50连接， RGB-D摄 像头30与GPU模块40连接。 00。

29、74 激光笔60用于发射激光照射在目标物体上， 在目标物体上形成激光光斑。 激光光 斑作为人机交互介质， 能够起到注意力吸引与目标指示作用。 0075 主控制器50包括激光光斑识别模块51、 位置获取模块52、 激光光斑计时模块53、 间 隔时间计时模块54、 目标物体识别模块55、 位姿获取模块56、 图像采集模块57、 机械臂运动 逆解算模块58， 激光光斑识别模块51可以被配置为用于识别出图像中存在的激光光斑， 位 置获取模块52可以被配置为用于计算激光光斑在图像中的位置信息， 间隔时间计时模块54 可以被配置为用于计算从第一次激光光斑消失后到出现第二次激光光斑时之间的时间， 激 光光斑。

30、计时模块53可以被配置为用于计算某物体上存在激光光斑的持续时间。 目标物体识 别模块55可以被配置为用于根据位置获取模块52输出的位置信息识别目标物体。 图像采集 模块57用于接收GPU模块40发送的视频并按照一定周期对视频信息进行采样处理， 获取深 度图像和彩色图像。 位姿获取模块56用于计算目标物体的抓取位姿。 机械臂运动逆解算模 块58用于将位姿获取模块56输出的抓取位姿进行逆解运算， 计算出机械臂各关节的运动位 移和速度， 并将机械臂各关节的运动位移和速度发送给机械臂。 0076 本发明在Linux系统Ubuntu14.04环境下， 基于ROS(Robot Operating Syst。

31、em)机 器人操作系统对所有模块进行控制与集成。 0077 实施例1 0078 参考图4， 在桌子上放置多个物体(比如： 杯子、 勺子、 水瓶等)， RGB-D摄像头30实时 对桌子上的物体进行拍摄， 老年人坐在电动轮椅10上， 手握激光笔60， 按压激光笔60的开关 发射出激光并照射在目标物体(比如杯子)上， 在目标物体上就会形成激光光斑。 本实施例 主要是以激光光斑作为人机交互介质， 系统根据物体上的激光光斑， 识别目标物体， 实现机 械臂20自动抓取目标物体(即抓住桌子上的物体并移动到某一固定空间位置)， 实现激光点 取物体的功能， 如图5所示， 具体控制方法如下： 0079 步骤S10。

32、1， 通过RGB-D摄像头30对桌子上的物体所在区域进行摄像， 获取视频， 并 将视频信息发送给主控制器50。 0080 步骤S102， 主控制器50按照一定周期对视频信息进行采样处理， 获取深度图像和 彩色图像。 0081 步骤S103， 激光笔60发射出的激光照射在某一个物体上， 主控制器50中的激光光 斑识别模块51识别出图像中存在的激光光斑。 0082 步骤S104， 主控制器50中的位置获取模块52计算激光光斑在彩色图像中的二维像 素坐标(u， v)， 将光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X/Z， Y/Z)并进行 存储。 0083 步骤S105， 目标物体识别模。

33、块55识别目标物体， 首先对深度图像进行滤波处理(具 体滤波方法可采用直通滤波、 统计滤波或体素滤波)， 其次进行平面分割处理剔除桌面， 进 行距离分割处理获得每一个物体的点云， 再其次计算每个物体在相机坐标系下的形心坐标 (Xi， Yi， Zi)， 然后将各个物体的形心坐标(Xi， Yi， Zi)与光斑坐标(X/Z， Y/Z)进行距离比较， 如 果某物体与光斑之间的距离小于设定阈值， 则确定该物体为待抓取的目标物体， 具体计算 通过如下公式(1-1)： 说明书 5/14 页 9 CN 110347273 A 9 0084 0085 公式(1-1)中， T表示阈值。 0086 步骤S106， 。

34、位姿获取模块56计算目标物体上的多种可能抓取候选位姿(位置和姿 态)， 具体过程是: 0087 根据目标物体的点云信息和表面曲率， 主控制器50计算生成多种抓取假设。 例如， 其中一种执行方案为， 表面上每个点的位置平移一定距离(一般为手爪虎口到抓握中心的 距离)， 作为该点抓取假设的位置。 根据该点的表面曲率， 将该点表面处的法线方向作为抓 取方向， 从而推算出抓取候选位姿。 0088 步骤S107， 位姿获取模块56基于卷积神经网络评估抓取候选位姿， 将评分最高者 作为目标物体的抓取位姿， 具体过程是： 0089 将上述步骤S106计算的这些抓取假设， 也就是每一种抓取位姿所对应的抓取向量。

35、 (x， y， z， tx， ty， tz)输入到训练好的深度卷积神经网络； 基于卷积神经网络原理， 对这些抓 取假设数据进行识别与评估排序； 然后， 选择评分最高的抓取方式作为目标物体的抓取位 置和姿态， 输出并存储。 0090 步骤S108， 当激光笔关闭时， 主控制器50中的激光光斑识别模块51确定图像中没 有激光光斑， 经过一定时间tc后， 激光光斑识别模块51依然没有识别出激光光斑， 则判断目 标物体上的激光光斑消失， 执行步骤S109。 0091 需要说明的是， 可以通过激光光斑计时模块53记录激光光斑从出现到消失之间的 持续时间。 0092 步骤S109， 主控制器50将步骤s1。

36、07计算得出的物体抓取位置(即手爪在手臂坐标 系下的笛卡尔坐标(x， y， z)和抓取姿态(即机械臂末端手爪的旋转坐标(tx， ty， tz)， 发送给 机械臂控制器21， 则机械臂控制器的内部轨迹规划程序自动进行逆解运算， 计算出机械臂 各关节的运动位移和速度， 发送给机械臂20并控制机械臂按照解算的轨迹运动， 控制手爪 移动到抓取位置并保持抓取姿态(tx， ty， tz)。 0093 当手爪移动到抓取位置后， 主控制器50发送命令给机械臂控制器21， 控制机械臂 末端的3指弹性手爪关闭一定行程， 将物体抓握在手爪的掌心中。 0094 步骤S110， 主控制器50控制机械臂动作将目标物体(比。

37、如杯子)移动至老年人嘴边 附近(相当于某一固定位置， 这个固定位置坐标可以事先输入到主控制器的任务库)。 0095 如图6所示， 上述步骤S103中图像中激光光斑识别的具体过程可以采用基于卷积 神经网络的目标识别方法进行， 具体方法如下： 0096 步骤S301， 将获得的彩色图像进行图像预处理。 0097 图像预处理的目的是去除彩色图像中的噪声信息， 提高物体和背景的对比度， 增 加目标的检测成功率。 预处理的过程是， 首先使用中值滤波排除椒盐噪声影响， 然后在像素 级别对激光点进行处理， 从而排除图像中的反射区域对激光点检测的干扰， 具体操作为： 首 先将彩色图像转换到HSV色彩空间， 因。

38、为在RGB色彩空间中反射区域和激光点难以区分。 在 HSV色彩空间中， 对于那些在HSV色彩空间中S、 V值不同时为0的值， 当HSV中的S值小于40的 区域， 对它的S值加上50。 经过这种操作后图像的饱和度提高， 再次将它转换回RGB色彩空 说明书 6/14 页 10 CN 110347273 A 10 间。 0098 步骤S302， 通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光 斑。 具体过程是： 0099 (1)首先将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练， 训练的 过程能够得出彩色图像的真实框； 0100 (2)YOLOv3卷积神经网络函数对。

39、图像数据进行分析判断， 在网络的最后一层， 会将 卷积网络处理后的图像分成等边的单元格(例如会将一幅大图像分成13x13个小单元)， 使 用锚预测方法对每个单元格进行预测判断； 0101 (3)针对每一个划分的小单元格， 如果预测出目标边界框(如果该单元没有预测出 目标,也可能没有边界框出现)， YOLOv3卷积神经网络函数使用逻辑回归对预测边界框打分 (通常会出现多个得分)； 0102 (4)根据预测框和真实框(真实框是训练时获得的， 已经标记过的目标物体边界 框)的重合程度设定置信度， 该置信度作为阈值使用， 当边界框得分大于置信度， 则确定该 边界框可能为激光光斑所在图像区域， 如果最后。

40、剩余一个边界框,则该边界框区域为激光 光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区域,确定识别出激光光 斑。 0103 需要说明的是， 在卷积网络训练时， 除了针对具有激光光斑的图像进行训练， 也可 以同时将常用的物品加入训练集进行训练， 这样， 在识别激光光斑同时， 网络也可以识别物 品并报告相关图像坐标， 可以提前知道该物品的名称和相关信息。 进一步在识别出激光光 斑之后， 计算出激光光斑所在图像区域对应的边界框的中心坐标作为激光光斑本身的二维 坐标， 将识别出的物体坐标与激光点光斑坐标对比， 相近的则为目标物体， 并输出目标物体 坐标。 0104 基于YOLOv3卷积神经。

41、网络的激光点检测算法检测成功率高， 实时性好， 用在激光 点交互中可以达到很好的实时检测效果。 0105 实施例2 0106 参考图4， 在桌子上放置多个物体(比如： 杯子、 勺子、 水瓶等)， RGB-D摄像头30实时 对桌子上的物体进行拍摄， 老年人坐在电动轮椅10上， 手握激光笔60， 按压激光笔60的开关 发射出激光并照射在第一目标物体水瓶上， 在水瓶上就会形成激光光斑， 停留一段时间t1 后， 操作激光笔60输出的激光照射在第二目标物体桌面上某一点并停留一段时间t2。 本实 施例主要根据不同目标物体上出现的两次激光光斑， 识别两个目标物体， 实现机械臂20自 动抓取第一目标物体移动到。

42、第二目标物体上面某一固定位置(即物体移动到桌面上另一固 定空间位置)， 如图7所示， 具体控制方法如下： 0107 步骤S201， 通过RGB-D摄像头30对桌子上的物体所在区域进行摄像， 获取视频， 并 将视频信息发送给主控制器50。 0108 步骤S202， 主控制器50按照一定周期对视频信息进行采样处理， 获取深度图像和 彩色图像。 0109 步骤S203， 激光笔60发射出的激光照射在第一目标物体水瓶上， 主控制器50中的 激光光斑识别模块51识别出图像中存在的激光光斑， 此时确定的激光光斑为第一次激光光 斑。 说明书 7/14 页 11 CN 110347273 A 11 0110 。

43、步骤S204， 主控制器50中的激光光斑计时模块53开始计时。 0111 步骤S205， 主控制器50中的位置获取模块52计算第一次激光光斑在彩色图像中的 二维像素坐标(u， v)， 将光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X1/Z， Y1/Z) 并进行存储。 0112 步骤S206， 目标物体识别模块55识别第一目标物体， 首先对深度图像进行滤波处 理(具体滤波方法可采用直通滤波、 统计滤波或体素滤波)， 其次进行平面分割处理剔除桌 面， 进行距离分割处理获得每一个物体的点云， 再其次计算每个物体在相机坐标系下的形 心坐标(Xi， Yi， Zi)， 然后将各个物体的形心坐标。

44、(Xi， Yi， Zi)与光斑坐标(X/Z， Y/Z)进行距离 比较， 如果某物体与光斑之间的距离小于设定阈值， 则确定该物体为待抓取的目标物体(此 时确定的目标物体是第一目标物体)， 具体计算通过如下公式(2-1)： 0113 0114 公式(2-1)中， T表示阈值。 0115 步骤S207， 位姿获取模块56计算第一目标物体上的多种可能抓取候选位姿， 具体 过程是： 0116 根据第一目标物体的点云信息和表面曲率， 主控制器50计算生成多种抓取假设。 例如， 其中一种执行方案为， 表面上每个点的位置平移一定距离(一般为手爪虎口到抓握中 心的距离)， 作为该点抓取假设的位置。 根据该点的表。

45、面曲率， 将该点表面处的法线方向作 为抓取方向， 从而推算出抓取候选位姿。 0117 步骤S208， 位姿获取模块56基于卷积神经网络评估抓取候选位姿， 将评分最高者 作为目标物体的抓取位姿， 具体过程是： 0118 将上述步骤S207计算的这些抓取假设， 也就是每一种抓取位姿所对应的抓取向量 (x， y， z， tx， ty， tz)输入到训练好的深度卷积神经网络； 基于卷积神经网络原理， 对这些抓 取假设数据进行识别与评估排序； 然后， 选择评分最高的抓取方式作为目标物体的抓取位 置和姿态， 输出并存储。 0119 步骤S209， 当激光笔关闭时或者激光笔输出的激光从第一目标物体上离开时，。

46、 主 控制器50中的激光光斑识别模块51确定图像中没有激光光斑， 执行步骤S210。 0120 步骤S210， 激光光斑计时模块53停止计时并得出第一次激光光斑的持续时间t1。 0121 步骤S211， 主控制器50中的间隔时间计时模块54开始计时。 0122 步骤S212， 主控制器50中的激光光斑识别模块51识别出图像中存在的激光光斑， 此时确定的激光光斑为第二次激光光斑。 0123 步骤S213， 间隔时间计时模块54停止计时并得出间隔时间tc(此间隔时间tc是从 第一次激光光斑消失后到出现第二次激光光斑之间的时间)。 0124 步骤S214， 控制器50中的激光光斑计时模块53开始计时。

47、。 0125 步骤S215， 主控制器50中的位置获取模块52计算第二次激光光斑在彩色图像中的 二维像素坐标(u， v)， 将光斑的二维像素坐标(u， v)转换到相机坐标系下的坐标(X2/Z， Y2/Z) 并进行存储。 0126 步骤S216， 目标物体识别模块55识别第二目标物体， 首先对深度图像进行滤波处 说明书 8/14 页 12 CN 110347273 A 12 理(具体滤波方法可采用直通滤波、 统计滤波或体素滤波)， 其次进行平面分割处理剔除桌 面， 进行距离分割处理获得每一个物体的点云， 再其次计算每个物体在相机坐标系下的形 心坐标(Xi， Yi， Zi)， 然后将激光光斑坐标与。

48、各物体形心坐标比对， 当每一个物体离光斑距离 均大于设定阈值m,则确定激光没有照射任何物品， 再然后将桌面点云中的各点坐标与激光 斑点坐标比对,当存在距离小于设定阈值n的桌面点(xti,yti,zti)， 则确定桌面上有激光光 斑(即确定第二目标物体桌子)。 0127 步骤S217， 步骤S216中那些距离小于设定阈值n的桌面点(xti,yti,zti)为激光照射 的范围， 将它们的坐标平均值作为桌面放置目标点坐标(xT,yT,zT)并存储在系统中， 然后结 合机械臂手爪和水瓶的尺寸(或者结合实际需要)， 将桌面放置目标点坐标的z向上平移一 定距离d， 从而获得机械臂手爪目标位置坐标(xT,y。

49、T,zT+d)并存储。 0128 步骤S218， 当激光笔关闭时或者激光笔输出的激光从第二目标物体桌子上离开 时， 主控制器50中的激光光斑识别模块51确定图像中没有激光光斑， 第二次激光光斑消失， 执行步骤S219。 0129 步骤S219， 激光光斑计时模块53停止计时并得出第二次激光光斑的持续时间t2。 0130 步骤S220， 将步骤S215计算出的第二次激光光斑的坐标(X2/Z， Y2/Z)和步骤S205计 算出的第一次激光光斑的坐标(X1/Z， Y1/Z)比对， 计算两个坐标之间的距离L， 如果距离L大 于设定的阈值S， 则认为第二次激光光斑和第一次激光光斑的位置不同， 位置不同执。

50、行步骤 S221。 0131 步骤S221， 设定时间阈值A、 B、 C， 当第一次激光光斑的持续时间t1A， 且间隔时间 tcB， 且第二次激光光斑的持续时间t2C， 执行步骤S222。 0132 步骤S222， 主控制器50将步骤s208计算得出的物体抓取位置(即手爪在手臂坐标 系下的笛卡尔坐标(x， y， z)和抓取姿态(即机械臂末端手爪的旋转坐标(tx， ty， tz)， 发送 给机械臂控制器21， 则机械臂控制器的内部轨迹规划程序自动进行逆解运算， 计算出机械 臂各关节的运动位移和速度， 发送给机械臂20并控制机械臂按照解算的轨迹运动， 控制手 爪移动到抓取位置并保持抓取姿态(tx，。