基于Kinect的手势与轨迹远程控制机器人系统.pdf

《基于Kinect的手势与轨迹远程控制机器人系统.pdf》由会员分享，可在线阅读，更多相关《基于Kinect的手势与轨迹远程控制机器人系统.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010447471.2 (22)申请日 2020.05.25 (71)申请人 电子科技大学 地址 611731 四川省成都市高新区 （西区） 西源大道2006号 (72)发明人 于鸿洋王敏旭王昭婧 (74)专利代理机构 电子科技大学专利中心 51203 代理人 周刘英 (51)Int.Cl. G06F 3/01(2006.01) G06K 9/00(2006.01) G06K 9/46(2006.01) B25J 9/16(2006.01) (54)发明名称 基于Kinec。

2、t的手势与轨迹远程控制机器人 系统 (57)摘要 本发明公开了一种基于Kinect的手势与轨 迹远程控制机器人系统， 属于机器人控制技术领 域。 本发明通过Kinect深度摄像头实时采集目标 人员的深度图与彩色图来感知目标人员动作， 在 彩色图中使用KinectSDK识别出目标人员的人 体骨骼模型， 并据此分割出右手手掌， 在深度图 中利用手部二维坐标信息得到手掌深度信息， 从 而生成手部三维坐标， 输出三维偏移量。 此外， 对 于分割出来的手掌进行轮廓提取， 使用凸包算法 求出凸包集， 连结凸包集生成多边形拟合曲线， 再通过与原手部轮廓的对比生成凹陷集， 根据几 何方法， 判断识别手势， 得。

3、到对应指令。 将三维偏 移量坐标与手势控制指令通过TCP通信传递给机 器人， 控制机器人完成相应指令， 与目标人员手 势轨迹同步。 权利要求书1页 说明书8页 附图4页 CN 111694428 A 2020.09.22 CN 111694428 A 1.基于Kinect的手势与轨迹远程控制机器人系统， 其特征在于， 包括主控系统、 图像采 集模块和机器人控制模块： 其中， 图像采集模块， 通过TCP与主控系统实时通信， 通过Kinect深度摄像头实时采集 目标人员的彩色图以及深度图， 并将采集到的图像数据实时传输给主控系统； 主控系统包括人机交互模块， 手势识别模块和轨迹检测模块； 所述人机。

4、交互模块包括主控系统工作状态的实时显示， 机器人工作状态的实时显示和 机器人控制模块与主控的TCP通信； 所述手势识别模块基于图像采集模块传输的图像数据， 进行手势控制指令的识别处 理； 所述轨迹检测模块用于人体骨骼模型的实时显示， 手部二维坐标信息以及对应得到的 三维坐标信息和本次轨迹偏移量信息的计算处理； 机器人控制模块， 包括机械臂， 并通过TCP与主控系统实时通信； 主控系统将三维深度偏移坐标转换为机器人工具坐标， 以及手势识别的指令结果一并 通过TCP传递给机器人控制模块， 用于控制机械臂同步目标人员的动作以及执行相关自定 义指令。 2.如权利要求1所述的系统， 其特征在于， 主控系。

5、统存储最近T次采集的目标人员手势 的三维坐标信息， 其中T为预设值。 3.如权利要求1所述的系统， 其特征在于， 机器人若碰到障碍物保护性停止， 则机器人 控制模块通过TCP通信向主控系统传回意外停止信息， 从而使得主控系统获取上一次的起 点位置信息， 使得机器人回复到本段运动轨迹的起点位置。 权利要求书 1/1 页 2 CN 111694428 A 2 基于Kinect的手势与轨迹远程控制机器人系统 技术领域 0001 本发明属于机器人控制方法， 具体涉及一种基于Kinect的手势与轨迹远程控制技 术。 背景技术 0002 随着工业机器人的普及， 某些特定场景下机器人操作的安全性、 实时性以。

6、及简易 性成为了需要解决的新问题。 传统的机器人一般通过有线设备控制， 而物理接线的长度有 限且不易变更， 操作人员在例如： 加热炉边， 高楼边等场景下使用机器人进行工作， 便会产 生安全隐患， 增加公司的安全成本。 此外， 操作人员通常需要随时携带控制设备端才能操控 机器人， 且机器人功能操作界面通常繁琐复杂， 不利于人机实时交流： 例如机器人动作的临 时变更、 细微调节等。 0003 伴随着计算机设备己经深入涉及到社会生活中的各个方面， 其利用计算机进行视 觉和数字图像处理技术也日趋成熟， 在各个尖端的技术邻域中早己展露锋芒。 计算机视觉 的目的是分析、 研究让计算机智能化的达到类似人类的。

7、双眼 “看” 的一门研究科学。 计算机 视觉技术就是利用了摄像机以及电脑替代人眼使得计算机拥有人类的双眼所具有的分割、 分类、 识别、 跟踪、 判别决策等功能。 计算机视觉系统就是创建了能够在的平面图像或者的 三维立体图像的数据中， 以获取所需要的 “信息” 的一个完整的人工智能系统。 0004 计算机视觉技术(CV)是一门包括了计算机科学与工程、 神经生理学、 物理学、 信号 处理、 认知科学、 应用数学与统计等多门科学学科的综合性科学技术。 由于计算视觉技术系 统在基于高性能的计算机的基础上， 其能够快速的获取大量的数据信息并且基于智能算法 能够快速的进行处理信息， 也易于同设计信息和加工。

8、控制信息集成。 0005 Kinect摄像头并不是仅仅局限于图像信息的传输以及显示， 而是完完全全的展现 了人机互动的理念， 它的实质是一款的体感摄影机， 其导入了即时动态捕捉、 影像辨识、 等 多种功能展现了智能性， 可以通过分析所获得的图像信息， 就能得到对于空间， 视觉上非常 有用的信息： 从而可以给人们带来除了平面的中上下、 左右的信息以外还可以得到前后的 透视信息， 从而得到的场景和物体的信息， 对于计算机视觉技术和人工智能都会有很大的 帮助： 简而言之， Kinect的本质是三维空间中能够捕捉到人们的运动状态的智能摄像头。 0006 Kinect的具体工作过程就是， 借助了Prim。

9、eSense软件以及摄像头去侦测， 然后捕 捉到视频图像中的手势动作， 接着将其和获得的影像信息和本身内部所事先存储的人体模 型的信息进行比较对照， 在一定比例上， 符合内部的人体模型的视频中的物体就被识别成 人体的相关骨路的模型， 并告知系统的控制端， 由模拟的物体识别成计算机系统可识别的 数字模型转换成某个虚拟的角色， 当识别到人体骨路模型的关键部位从而进行动作的触 发。 由于在图像识别和智能控制系统的帮助下， 从而制造出的虚拟骨路模型， 这样就可以帮 助系统识别出人体的关键部位。 说明书 1/8 页 3 CN 111694428 A 3 发明内容 0007 本发明的发明目的在于： 针对上。

10、述存在的问题， 提供一种基于Kinect的手势与轨 迹远程控制机器人系统， 实现对机器人的远程控制， 简化机器人操作以及保障在特定场景 下机器人工作的安全性。 0008 本发明的基于Kinect的手势与轨迹远程控制机器人系统， 包括主控系统、 图像采 集模块和机器人控制模块： 0009 其中， 主控系统， 用于协调控制所有工作(根据图像采集模块的输入图像数据进行 手势指令的识别， 计算出三维偏移量信息， 再进一步通过机器人控制模块控制机械臂的运 动轨迹、 运动状态等)， 优选为搭载性能较好GPU的PC机； 0010 图像采集模块， 通过TCP与主控系统实时通信， 通过Kinect2.0深度摄像。

11、头实时采 集目标人员的彩色图以及深度图， 并将采集到的图像数据实时传输给主控系统； 0011 机器人控制模块， 包括机械臂， 并通过TCP与主控系统实时通信； 0012 主控系统将三维深度偏移坐标转换为机器人工具坐标， 手势识别的指令结果， 一 并通过TCP传递给机器人控制模块， 用于控制机械臂同步目标人员的动作以及执行相关自 定义指令； 0013 即， 本发明的主控系统包括人机交互模块， 手势识别模块和轨迹检测模块； 0014 其中， 人机交互模块包括主控系统工作状态的实时显示， 机器人工作状态的实时 显示和机器人控制模块与主控的TCP通信； 0015 手势识别模块基于图像采集模块传输的图像。

12、数据， 进行手部轮廓的提取， 多边形 拟合曲线的生成， 以及当前手势控制指令的判别； 0016 轨迹检测模块用于人体骨骼模型的实时显示， 手部二维坐标信息以及对应得到的 三维坐标信息和本次轨迹偏移量信息的计算处理。 0017 进一步的， 由于本系统人体识别和手势识别需要清晰且遮挡目标较少的图像， 所 以Kinect摄像头应当位于光线良好， 无大型遮挡目标人员上半身以及较多下半身障碍物的 区域。 0018 进一步的， 由于本系统目的是远程控制机器人与目标人员手势轨迹同步， 所以机 器人应位于大于机械臂最大可达范围高度的座台之上， 周围无障碍物， 避免在同步过程中 因障碍物而保护性停止。 0019。

13、 进一步的， 手势识别模块根据多边形拟合曲线和手部轮廓比较得出凹陷集， 并查 找手势的几何特征， 进而完成手势识别； 0020 其中， 多边形拟合曲线由凸包集合连结而成： 0021 (1)找到所有点中纵坐标y最小的点； 0022 (2)计算其余点与该点的连线与x轴之间夹角的余弦值， 将这些点按其对于最低点 的余弦值从大到小排序； 0023 (3)根据三点向量是否是逆时针转动原则依次遍历所有点， 将符合逆时针转动原 则的点按顺序放入集合； 0024 (4)顺次连结集合中的点得到多边形拟合曲线。 0025 其中， 凹陷集通过对比凸包集和手掌轮廓得出， 包含所有轮廓的凸型缺陷， 一个凸 型缺陷结构体。

14、包括4个元素， 缺陷起点坐标， 缺陷终点坐标， 缺陷中离凸包线距离最远的点 说明书 2/8 页 4 CN 111694428 A 4 的坐标， 以及此时最远的距离。 0026 其中， 手势识别所使采用的几何算法为： 0027 (1)在手部定位出2个中心点坐标， 其中一个中心点是利用Kinect跟踪得到的手部 骨骼点位置， 2个中心点坐标之间的距离阈值为预设值； 0028 (2)根据这2个中心点的坐标， 分别计算出在这2个中心点坐标上的凸凹点的个数； 0029 (3)利用上面求出的4种点的个数进行初步手势判别； 0030 (4)根据凹凸点个数决定是否进一步计算部分凹凸点连结成的直线斜率关系。 0。

15、031 为了避免手势之间的相互干扰， 以此提高系统的准确性和实时， 需严格地根据设 定的几何关系设计指令手势， 尽量使手指朝上且无粘连。 0032 因为Kinect照相机坐标系范围大于机器人工具坐标系范围， 为了避免手部三维坐 标直接转化为机器人工具坐标落到机器人可达范围之外， 本系统通过计算三维坐标偏移量 来确定机器人同步轨迹， 同时会对偏移量进行逻辑判断： 若在机器人可达范围之外， 则以最 大可达偏移量作为传输数据。 0033 为了避免机器人在同步过程中由于外力， 碰到障碍物， 角度等不可控因素保护性 停止， 同时为了方便回溯机器人运动轨迹， 主控系统存储最近T次采集的目标人员手势的三 维。

16、坐标信息， 以便于回溯处理， 其中T为预设值。 0034 机器人若碰到障碍物保护性停止， 将通过TCP通信传回意外停止信息， 帮助主控系 统获取上一次的起点位置信息， 以便于使得机器人回复到本段运动轨迹的起点位置。 0035 综上所述， 由于采用了上述技术方案， 本发明的有益效果是： 0036 1、 本发明通过将Kinect深度摄像头和手势识别应用于机器人远程实时控制， 解决 了在危险的建筑施工环境下， 操作人员人身安全的保障为题； 0037 2、 本发明既可以让机器人与操作人员手部轨迹同步， 人为进行机器人运动的精准 控制， 同时也可以根据手势指令实时切换到不同工作状态， 提高机器人工作效率。

17、。 0038 3、 本发明相比传统的机器学习手势识别方法， 通过检测凸包集及凹陷集， 并根据 二者几何关系判别手势， 可以节省大量时间， 对硬件的计算能力要求也相对较低。 0039 4、 本发明利用Kinect深度摄像头装载的红外线摄像头， 能获取更加准确的深度变 化信息， 从而更为精准的控制机器人的移动。 附图说明 0040 图1是本发明基于Kinect的手势与轨迹远程控制机器人系统的总体架构图。 0041 图2是本发明基于Kinect的手势与轨迹远程控制机器人系统的流程图。 0042 图3是本发明的系统基本构造。 0043 图4是本发明使用的凸包算法的结果示例图。 0044 图5是本发明使。

18、用的凸包算法的三点向量逆时针转动的数学原理图。 0045 图6是本发明的凹陷集结果示例图。 0046 图7是具体实施方式中的手势示意图。 具体实施方式 0047 为使本发明的目的、 技术方案和优点更加清楚， 下面结合实施方式和附图， 对本发 说明书 3/8 页 5 CN 111694428 A 5 明作进一步地详细描述。 0048 本发明提供了一种基于Kinect的手势与轨迹远程控制机器人系统。 该系统利用 Kinect摄像头实时采集图像来感知目标人员动作， 在彩色图中使用Kinect SDK(Software Development Kit)的人体模型识别出目标人员， 分割出右手手掌， 在深。

19、度图中利用手掌二 维坐标信息获取手掌三维坐标信息， 同时提取手掌轮廓使用多边形拟合曲线的方式确定手 势， 完成机器人的远程控制。 简化了机器人操作以及在特定场景下机器人工作的安全性。 0049 参见图1， 本发明的基于Kinect的手势与轨迹远程控制机器人系统包括： 人机交互 模块， 手势识别模块， 轨迹检测模块和机器人控制模块。 0050 其中， 人机交互模块包括主控工作状态的实时显示， 机器人工作状态的实时显示 和机器人与主控的TCP通信。 0051 手势识别模块包括图像采集(基于Kinect深度摄像头实时采集到的目标人员彩色 图以及深度图)， 手部轮廓的提取， 多边形拟合曲线的生成， 以。

20、及当前手势控制指令的判别。 0052 轨迹检测模块包括人体骨骼模型的实时显示， 手部二维坐标信息以及对应得到的 三维坐标信息， 本次轨迹偏移量信息。 0053 机器人控制模块包括机器人工具坐标系下的轨迹偏移量以及手势控制指令。 0054 参考图2， 本发明的基于Kinect的手势与轨迹远程控制机器人系统的控制处理过 程为： 主控是搭载了高性能GPU的PC端。 通过外接的Kinect深度摄像头实时采集目标人员的 彩色图和深度图， 使用Kinect SDK通过比对预先存储好的人体模型， 生成相应的人体骨骼 模型， 获取手部二维坐标， 转换成深度坐标后再据此在深度图中获取深度信息， 生成手部三 维坐。

21、标信息， 并计算出三维的手部轨迹偏移量。 此外， 进一步分割出手掌掩膜区域后， 利用 凸包算法生成多边形拟合曲线， 再求出凹陷集， 利用凸包集和凹陷集的几何关系进行手势 识别。 然后主控系统将三维深度偏移坐标转换为机器人工具坐标， 手势识别的指令结果， 一 并通过TCP传递给机器人进行交互， 用于控制机械臂同步目标人员的动作以及执行相关自 定义指令。 0055 参考图3， 本发明的基于Kinect的手势与轨迹远程控制机器人系统的基本构造包 含主控系统(主控装置)， 图像采集装置和机器人控制端。 0056 所述主控系统用来协调控制所有工作， 本具体实施方式中， 其运行环境为 Windows10操。

22、作系统， 开发语言为C+， 编译器为Visual Studio2017， 使用的第三方依赖框 架为OpenCV2.4.9， OpenNI， Kinect SDK等。 0057 图像采集装置的硬件部分包括Kinect2.0深度摄像头。 0058 机器人控制端包括UR10机械臂及其控制箱。 0059 其中， Kinect摄像头应放置于光线良好， 无大型障碍物的区域， 不应遮挡目标人员 上半身以及较多下半身， 以消除环境对识别人体， 生成人体骨骼模型的影响， 同时也可以较 好地获取到目标人员的彩色图以及深度图， 便于后续进行手势分割以及轮廓提取。 此外图 像采集装置还会将相机坐标， 深度坐标， rg。

23、b坐标进行相互转换， 以获取对应所需深度信息。 0060 机器人控制端的UR10机械臂位于大于机械臂最大可达范围高度的座台之上， 周围 无障碍物， 并通过TCP和主控系统实时通信。 本具体实施方式中， 通过路由器与主控系统相 连。 0061 主控系统会根据手势指令识别和计算出的三维偏移量信息， 控制机械臂的运动轨 说明书 4/8 页 6 CN 111694428 A 6 迹、 运动状态等。 在具体实现时， 应谨慎严格地根据设定的几何关系设计指令手势， 避免手 势之间的相互干扰， 以此提高系统的准确性和实时性。 0062 本发明的基于Kinect的手势与轨迹远程控制机器人系统的具体实现过程如下：。

24、 0063 S1、 搭建系统， 该系统包括UR10(Universal Robots 10)机械臂， 座台以及控制箱， 将搭载GPU的PC机作为主控系统， 图像采集装置为Kinect2.0摄像头。 0064 S2、 设置一个图像采集装置， 主要是利用Kinect摄像头采集目标人员的彩色图和 深度图像， 作为系统的感知输入， 为后续识别人体模型， 分割手掌并获取三维坐标信息， 提 取手掌轮廓进行手势识别做准备。 0065 其中， 步骤S2的具体实现可以设置为： 0066 首先， 实时显示所述环境的信息， 以及机器人在环境中的工作状态。 并且可以通过 远程终端实时监控。 其中， 远程终端可以是PC。

25、， 移动设备， VR设备等。 0067 其次， 可以将Kinect摄像头位于干扰相对较少的环境中， 以便于快速实时识别人 体模型， 减少反应时间。 0068 S3、 对采集的图像信息(即系统的感知输入)进行轨迹检测处理， 本具体实施方式 中， 在主控装置中设置轨迹检测模块， 其主要包括人体的检测以及手掌的分割。 0069 其中， 人体的检测由Kinect SDK(由OpenNI编写)通过比对预先存储好的人体模型 来完成。 定义一定数量(例如25个)的关键部位颜色并在彩色图上实时绘制出来， 便于监控 目标人员状态， 再获取右手手掌位置的二维相机坐标(x,y)， 转换成深度坐标(x1,y1)在深 。

26、度图中获取深度信息z1， 最终得到手掌的三维坐标信息(x1,y1,z1)， 与上一次获取的三维 坐标(x0,y0,z0)取差值， 将偏移量(x1-x0,y1-y0,z1-z0)转换为机器人工具坐标控制机器 人移动。 0070 更进一步地， 所述S3方法还包括： 0071 S3.1、 实时生成目标人员当前的人体模型， 根据模型分割手掌。 0072 S3.2、 主控通过通信模块实时将偏移量和工作状态同步给机器人， 主控机器人统 一协调工作任务。 0073 S3.3、 保存最近一定数量的手掌三维信息便于回溯(例如最近10次的)。 此外， 预防 机器人因意外情况保护性停止， 需重新回到上一次起点位置。。

27、 0074 S4、 主控装置还包括手势识别模块， 该模块主要包括手掌轮廓的提取， 多边形拟合 曲线的生成以及手势识别。 0075 其中， 手势定位和提取功能的实现主要是依靠OpenCV(open source computer vision)和OpenNI(Open Natural Interaction)， 定位部分是根据OpenNI的人体骨架跟 踪功能， 手部提取依靠获取的深度图。 画出手部轮廓后， 求出凸包集的顶点， 并根据此信息 画出轮廓的多边形拟合曲线以及凹陷点， 利用凸包点以及凹陷点和手部中心点的几何关 系， 做出逻辑判别， 识别手势。 0076 更进一步的， 所述S4方法还包括：。

28、 0077 S4.1、 手部提取的具体方法是： 在手的附近利用深度信息阈值化出手的区域(定位 轮廓中与手部有关的点， 在该点的周围提取出满足预设要求的区域)。 0078 S4.2、 使用中值滤波法消除孤立的噪声点， 获取最终手部轮廓区域。 0079 S4.3、 多边形拟合曲线通过连结凸包集合来生成， 凸包集合可以用来检测其轮廓 说明书 5/8 页 7 CN 111694428 A 7 的凸型缺陷。 其目的是， 找出一个由其中某些点作为顶点组成的凸多边形， 恰好能围住所有 的N个点。 点排序时间复杂度O(nlogn)， 检查每个点O(n)， 综合时间复杂度O(nlogn)。 具体处 理过程为： 。

29、0080 S4.3.1、 找到所有点中纵坐标y最小的点， 也就是这些点中最下面的点， 记为A(ax, ay)， 即点A。 0081 S4.3.2、 然后计算其余点与该点的连线与x轴之间夹角的余弦值， 将这些点按其对 于最低点(点A)的余弦值从大到小排序， 排序好的点记为B(bx,by),C(cx,cy),D(dx,dy),如 图4所示。 0082 S4.3.3、 将最低点A和排序好的点中的第一个点B压入栈中， 然后从C开始计算， 计 算栈顶两个点与该点三点向量是否是逆时针转动(逆时针转动原则)， 若是， 则将该点压入 栈中， 否则将栈顶元素推出。 参考图5， 具体数学计算公式如下： 0083 。

30、area(bx-ax)*(cy-ay)-(by-ay)*(cx-ax)。 0084 area0， A-B-C逆时针旋转； 0085 area0， A-B-C顺时针旋转； 0086 area0， A-B-C在一条直线上。 0087 S4.3.4、 最后栈里面元素就是所有的凸包外围的点。 0088 S4.4、 凹陷集则通过对比凸包集和手掌轮廓得出， 包含所有轮廓的凸型缺陷， 如图 6。 一个凸型缺陷结构体包括4个元素， 缺陷起点坐标， 缺陷终点坐标， 缺陷中离凸包线距离 最远的点的坐标， 以及此时最远的距离。 0089 S4.5、 手势识别所使用的几何算法详细为： 0090 S4.5.1、 先在手。

31、部定位出2个中心点坐标， 这2个中心点坐标之间的距离阈值为预 设值， 其中一个中心点是利用Kinect跟踪得到的手部骨骼点位置， 另一个是另一个是凸包 重心点， 直接根据凸包集合点的平均值得到。 0091 S4.5.2、 根据这2个中心点的坐标， 分别计算出在这2个中心点坐标上的凸凹点的 个数。 0092 S4.5.3、 利用上面求出的4种点： 凹陷集， 凸包集， 手部中心点和凸包重心点的几何 关系进行初步手势判别。 几何关系根据自定义手势的特征(例如手势包括的手指数)来设 置， 但都与两个中心点上方凸点和凹点的数量(即与所限定的手势所包括的手指数相匹配， 其中凸点和凹点为成对的关系， 例如当。

32、前手势包括的手指数为2， 则对应的凸点和凹点对的 数量为2)， 以及阈值内凸点的数量有关。 其中阈值动态变化， 根据Kinect中心点与上方凹陷 集的距离来计算， 即由于Kinect中心点与凸包重心点阈值外的凸点个数与手势特征成正 比， 从而利用阈值内凸点个数与阈值外凸点个数的差值确定具体手势。 例如图7所给出的手 势1-5的判定为： 0093 手势1： 0094 (1-1)手部中心点上方存在大于等于一个凹点； 0095 (1-2)手部中心点上方， 阈值外仅存在一个凸点； 0096 (1-3)手部中心点上方最多存在不超过两个凸点； 0097 (1-4)凸包重心点上方存在至少两个凸点； 0098。

33、 (1-5)凸包重心点上方， 阈值外仅存在一个凸点。 说明书 6/8 页 8 CN 111694428 A 8 0099 当满足以上全部条件时， 则判定手势为手势1。 0100 手势2： 0101 (2-1)手部中心点上方存在大于等于两个凹点； 0102 (2-2)手部中心点上方， 阈值外存在两个凸点； 0103 (2-3)手部中心点上方最多存在不超过三个凸点； 0104 (2-4)凸包重心点上方存在至少三个凸点； 0105 (2-5)凸包重心点上方， 阈值外存在两个凸点。 0106 当满足以上全部条件时， 则可判定为手势2。 0107 手势3： 0108 (3-1)手部中心点上方存在大于等于。

34、三个凹点； 0109 (3-1)手部中心点上方， 阈值外存在三个凸点； 0110 (3-1)手部中心点上方最多存在不超过四个凸点； 0111 (3-1)凸包重心点上方存在至少三个凸点； 0112 (3-1)凸包重心点上方， 阈值外存在三个凸点。 0113 当满足以上全部条件时， 则可判定为手势3。 0114 手势4： 0115 (4-1)手部中心点上方存在大于等于四个凹点； 0116 (4-2)手部中心点上方， 阈值外仅存在四个凸点； 0117 (4-3)手部中心点上方最多存在不超过五个凸点； 0118 (4-4)凸包重心点上方存在至少四个凸点； 0119 (4-5)凸包重心点上方， 阈值外存。

35、在四个凸点。 0120 当满足以上全部条件时， 则可判定为手势4。 0121 手势5： 0122 (5-1)手部中心点上方存在大于等于五个凹点； 0123 (5-2)手部中心点上方， 阈值外存在五个凸点； 0124 (5-3)手部中心点上方最多存在不超过六个凸点； 0125 (5-4)凸包重心点上方存在至少五个凸点； 0126 (5-5)凸包重心点上方， 阈值外存在五个凸点。 0127 当满足以上全部条件时， 则可判定为手势5。 0128 S4.5.4、 由于设置的手势可能包含摇摆， 旋转， 俯仰这类角度变化， 因此当4种点几 何关系相同时先判断为同一个手势。 对于摇摆和俯仰手势而言， 下一步。

36、判断依据是Kinect 手部中心点和纵坐标最小的凸包点连线的斜率： 当连线长度不变， 在XY坐标系上斜率为正， 则手掌向右倾斜， 反之则向左； 当连线缩短， 在YZ坐标系上斜率为正则手掌后仰， 反之前俯。 对于旋转手势而言， 判断依据是横坐标最小的凸包点与最大的凸包点的连线斜率， 在XZ坐 标轴上斜率为正则手掌顺时针旋转， 反之则逆时针旋转。 0129 S5、 UR10机械臂控制子系统， 采用TCP协议与总控终端进行通信， 通信内容包括： (1)手势控制指令， (2)机械臂的实时路径坐标偏移量。 0130 更进一步地， 所述S5方法还包括： 0131 S5.1、 根据主控的输出的三维坐标偏移量。

37、， 编程实现机械臂的路径规划并执行。 整 说明书 7/8 页 9 CN 111694428 A 9 个过程中实时通过TCP与主控终端利用手势控制指令进行交互， 可以实时中断或更改机械 臂的任务。 0132 S5.2、 手势控制指令包括开始， 结束， 2倍速， 0.5倍速， 归于原点。 0133 S6、 由于本系统所使用的几何算法原因， 选定的手势需手指方向朝上， 此外， 为了 系统结果的准确可靠性， 应尽量使不同手势在手指位置形态上差异较大， 减少它们的相互 干扰。 0134 以上所述， 仅为本发明的具体实施方式， 本说明书中所公开的任一特征， 除非特别 叙述， 均可被其他等效或具有类似目的的替代特征加以替换； 所公开的所有特征、 或所有方 法或过程中的步骤， 除了互相排斥的特征和/或步骤以外， 均可以任何方式组合。 说明书 8/8 页 10 CN 111694428 A 10 图1 说明书附图 1/4 页 11 CN 111694428 A 11 图2 说明书附图 2/4 页 12 CN 111694428 A 12 图3 图4 图5 说明书附图 3/4 页 13 CN 111694428 A 13 图6 图7 说明书附图 4/4 页 14 CN 111694428 A 14 。