基于LeapMotion手势识别的屏幕控制系统及方法.pdf

《基于LeapMotion手势识别的屏幕控制系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于LeapMotion手势识别的屏幕控制系统及方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010684056.9 (22)申请日 2020.07.16 (71)申请人 上海大学 地址 200444 上海市宝山区上大路99号 申请人 赛尔网络有限公司 (72)发明人 张尧杰卞敏捷黄宇喆韩俊俊 (74)专利代理机构 上海科盛知识产权代理有限 公司 31225 代理人 叶敏华 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06T 7/215(2017.01) G06T 7/80(2017.01) G06F 3/0。

2、1(2006.01) (54)发明名称 一种基于LeapMotion手势识别的屏幕控制 系统及方法 (57)摘要 本发明涉及一种基于LeapMotion手势识别 的屏幕控制系统及方法， 该系统包括依次连接的 双目摄像头、 LeapMotion设备、 手势识别计算机 和服务器， 其中， 服务器连接至屏幕计算机， 屏幕 计算机连接至屏幕显示器， 双目摄像头用于采集 用户的手部动作图像； LeapMotion设备根据手部 动作图像， 生成对应的3D模型； 手势识别计算机 用于对3D模型进行手势识别， 并输出手势动作信 号指令； 服务器根据手势动作信号指令， 输出对 应的屏幕数据画面跳转指令给屏幕计算。

3、机； 屏幕 计算机根据屏幕数据画面跳转指令， 控制屏幕显 示器上数据画面的切换。 与现有技术相比， 本发 明能够快速、 准确地对用户手部运动进行手势动 作识别， 实现无接触屏幕控制的目的。 权利要求书2页 说明书4页 附图2页 CN 112069873 A 2020.12.11 CN 112069873 A 1.一种基于LeapMotion手势识别的屏幕控制系统， 其特征在于， 包括依次连接的双目 摄像头(1)、 LeapMotion设备(2)、 手势识别计算机(3)和服务器(4)， 所述服务器(4)连接至 屏幕计算机(5)， 所述屏幕计算机(5)连接至屏幕显示器(6)， 所述双目摄像头(1)。

4、用于采集 用户的手部动作图像； 所述LeapMotion设备(2)根据手部动作图像， 生成对应的3D模型； 所述手势识别计算机(3)用于对3D模型进行手势识别， 并输出手势动作信号指令； 所述服务器(4)根据手势动作信号指令， 输出对应的屏幕数据画面跳转指令给屏幕计 算机(5)； 所述屏幕计算机(5)根据屏幕数据画面跳转指令， 控制屏幕显示器(6)上数据画面的切 换。 2.根据权利要求1所述的一种基于LeapMotion手势识别的屏幕控制系统， 其特征在于， 所述手势识别计算机(3)包括依次连接的手势分割单元(301)、 手势分析跟踪单元(302)和 手势识别单元(303)， 所述手势分割单元。

5、(301)用于分割出手部的起始位置与结束位置； 所述手势分析跟踪单元(302)从手部起始位置开始对手部运动进行跟踪； 所述手势识别单元(303)根据手部运动跟踪结果， 识别得到对应的手势动作信号。 3.根据权利要求1所述的一种基于LeapMotion手势识别的屏幕控制系统， 其特征在于， 所述服务器(4)具体为Web服务器。 4.根据权利要求3所述的一种基于LeapMotion手势识别的屏幕控制系统， 其特征在于， 所述LeapMotion设备(2)通过基于WebRTC的P2P信号传输通道连接至手势识别计算机(3)。 5.根据权利要求3所述的一种基于LeapMotion手势识别的屏幕控制系统，。

6、 其特征在于， 所述手势识别计算机(3)通过WebSocket通信协议通道连接至服务器(4)。 6.一种应用权利要求1所述屏幕控制系统的屏幕控制方法， 其特征在于， 包括以下步 骤： S1、 双目摄像头(1)采集用户的手部动作图像， 并将该手部动作图像传输给LeapMotion 设备(2)； S2、 LeapMotion设备(2)对手部动作图像进行实时演算， 生成对应的手部3D模型， 并将 该手部3D模型传输给手势识别计算机(3)； S3、 手势识别计算机(3)对手部3D模型进行手势识别， 输出对应的手势动作信号指令给 服务器(4)； S4、 服务器(4)根据接收的手势动作信号指令， 输出对应。

7、的屏幕数据画面跳转指令给屏 幕计算机(5)； S5、 屏幕计算机(5)根据接收的屏幕数据画面跳转指令， 对应控制屏幕显示器(6)上数 据画面的切换。 7.根据权利要求6所述的一种屏幕控制方法， 其特征在于， 所述步骤S1具体是由双目摄 像头(1)从左右两个角度同时获取用户的两幅手部动作图像。 8.根据权利要求7所述的一种屏幕控制方法， 其特征在于， 所述步骤S2具体是对用户的 两幅手部动作图像进行立体标定， 得到校准后的立体图像； 之后对立体图像进行立体匹配， 得到视差图像； 最后利用双目摄像头(1)的内参数和外参数进行三角计算， 得到深度图像， 即为手部3D 权利要求书 1/2 页 2 CN。

8、 112069873 A 2 模型， 该手部3D模型中包含手部关节信息。 9.根据权利要求8所述的一种屏幕控制方法， 其特征在于， 所述双目摄像头(1)的内参 数包括摄像头的投影变换矩阵和透镜畸变参数， 所述双目摄像头(1)的外参数包括相对于 世界坐标系的旋转矩阵和平移向量。 10.根据权利要求6所述的一种屏幕控制方法， 其特征在于， 所述步骤S3具体包括以下 步骤： S31、 对手部3D模型进行手势分割， 得到手部初始位置和结束位置； S32、 将手部初始位置作为手势跟踪算法的起始位置， 利用手势跟踪算法对手部运动进 行跟踪， 直至跟踪至手部结束位置， 得到手部运动跟踪结果， 若跟踪过程中跟。

9、踪目标消失， 则返回步骤S31， 否则执行步骤S33； S33、 根据手部运动跟踪结果， 结合手部关节信息， 利用分类识别算法， 得到对应的手势 动作结果， 并输出手势动作信号指令。 权利要求书 2/2 页 3 CN 112069873 A 3 一种基于LeapMotion手势识别的屏幕控制系统及方法 技术领域 0001 本发明涉及屏幕无接触控制技术领域， 尤其是涉及一种基于LeapMotion手势识别 的屏幕控制系统及方法。 背景技术 0002 商场导购机、 银行查询机、 医院自助服务机、 旅游景区导览机等设备大多采用接触 式人机交互屏幕， 即 “触控屏” ， 用户手部接触屏幕后， 利用触摸。

10、屏幕作为物理媒介， 通过捕 捉用户手势动作以及手势识别， 即可控制屏幕上数据画面的切换， 然而为防止传染病毒通 过触控屏进行传播， 需要采用无接触的方式对屏幕进行控制。 0003 目前的无接触手势识别主要借助数据手套以及肌电信号分析的方式， 其中， 数据 手套的准确率较高， CyberGlove是一种使用光纤传感器的数据传感器， 它可精确测量多达 22个关节角度， 官方保证3度之内的误差， 但是缺点也很明显， 价格太过昂贵， 两只手套售价 三十万， 如果预算少， 同样使用光纤传感器的国内品牌有WiseGlove， 或者荷兰的Manes还有 5DT， 价格大概五万一只， 其精度则会差一些， 此外。

11、， 国内还有几千块的数据手套， 使用的是 弯曲传感器或电阻式传感器， 其精度则难以保证； 肌电信号分析是基于生理信号， 通过测量 肌肉收缩时肌肉两端产生的电压信号， 并采用深度学习方法以识别手势动作意图， 但这种 机电信号分析方式还处于实验研究阶段， 其实际应用效果未知。 发明内容 0004 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种无接触的屏幕 控制系统及方法， 基于LeapMotion手势识别， 以实现低成本、 准确控制屏幕上数据画面切换 的目的。 0005 本发明的目的可以通过以下技术方案来实现： 一种基于LeapMotion手势识别的屏 幕控制系统， 包括依次连接的双目摄。

12、像头、 LeapMotion设备、 手势识别计算机和服务器， 所 述服务器连接至屏幕计算机， 所述屏幕计算机连接至屏幕显示器， 所述双目摄像头用于采 集用户的手部动作图像； 0006 所述LeapMotion设备根据手部动作图像， 生成对应的3D模型； 0007 所述手势识别计算机用于对3D模型进行手势识别， 并输出手势动作信号指令； 0008 所述服务器根据手势动作信号指令， 输出对应的屏幕数据画面跳转指令给屏幕计 算机； 0009 所述屏幕计算机根据屏幕数据画面跳转指令， 控制屏幕显示器上数据画面的切 换。 0010 进一步地， 所述手势识别计算机包括依次连接的手势分割单元、 手势分析跟踪。

13、单 元和手势识别单元， 所述手势分割单元用于分割出手部的起始位置与结束位置； 0011 所述手势分析跟踪单元从手部起始位置开始对手部运动进行跟踪； 0012 所述手势识别单元根据手部运动跟踪结果， 识别得到对应的手势动作信号。 说明书 1/4 页 4 CN 112069873 A 4 0013 进一步地， 所述服务器具体为Web服务器。 0014 进一步地， 所述LeapMotion设备通过基于WebRTC的P2P(端对端)信号传输通道连 接至手势识别计算机。 0015 进一步地， 所述手势识别计算机通过WebSocket通信协议通道连接至服务器。 0016 一种基于LeapMotion手势识。

14、别的屏幕控制方法， 包括以下步骤： 0017 S1、 双目摄像头采集用户的手部动作图像 ， 并将该手部动作图像传输给 LeapMotion设备； 0018 S2、 LeapMotion设备对手部动作图像进行实时演算， 生成对应的手部3D模型， 并将 该手部3D模型传输给手势识别计算机； 0019 S3、 手势识别计算机对手部3D模型进行手势识别， 输出对应的手势动作信号指令 给服务器； 0020 S4、 服务器根据接收的手势动作信号指令， 输出对应的屏幕数据画面跳转指令给 屏幕计算机； 0021 S5、 屏幕计算机根据接收的屏幕数据画面跳转指令， 对应控制屏幕显示器上数据 画面的切换。 002。

15、2 进一步地， 所述步骤S1具体是由双目摄像头从左右两个角度同时获取用户的两幅 手部动作图像。 0023 进一步地， 所述步骤S2具体是对用户的两幅手部动作图像进行立体标定， 得到校 准后的立体图像； 0024 之后对立体图像进行立体匹配， 得到视差图像； 0025 最后利用双目摄像头的内参数和外参数进行三角计算， 得到深度图像， 即为手部 3D模型， 该手部3D模型中包含手部关节信息。 0026 进一步地， 所述双目摄像头的内参数包括摄像头的投影变换矩阵和透镜畸变参 数， 所述双目摄像头的外参数包括相对于世界坐标系的旋转矩阵和平移向量。 0027 进一步地， 所述步骤S3具体包括以下步骤： 。

16、0028 S31、 对手部3D模型进行手势分割， 得到手部初始位置和结束位置； 0029 S32、 将手部初始位置作为手势跟踪算法的起始位置， 利用手势跟踪算法对手部运 动进行跟踪， 直至跟踪至手部结束位置， 得到手部运动跟踪结果， 若跟踪过程中跟踪目标消 失， 则返回步骤S31， 否则执行步骤S33； 0030 S33、 根据手部运动跟踪结果， 结合手部关节信息， 利用分类识别算法， 得到对应的 手势动作结果， 并输出手势动作信号指令。 0031 与现有技术相比， 本发明具有以下优点： 0032 一、 本发明基于双目摄像头、 LeapMotion设备、 手势识别计算机和服务器， 利用双 目摄。

17、像头采集用户手部运动图像、 利用LeapMotion设备和手势识别计算机分析得到用户手 势动作信号、 通过服务器传输对应的屏幕数据画面跳转指令给屏幕显示器， 不仅能够实现 无接触控制屏幕数据画面切换的目的， 且具有成本低、 手势识别准确度高的优点。 0033 二、 本发明基于WebRTC和WebSocket技术， 搭建全双工通信通道， 能够可靠地接收 和推送数据信息， 采用浏览器/服务器(B/S)模式， 可以实现后台手势采集识别与前端屏幕 控制平台之间的有效连接， 从而保证用户手势动作能够被准确快速地识别出， 以及时准确 说明书 2/4 页 5 CN 112069873 A 5 控制屏幕上数据。

18、画面的切换。 附图说明 0034 图1为本发明的系统连接示意图； 0035 图2为本发明的方法流程示意图； 0036 图3为实施例中手部3D模型示意图； 0037 图4为实施例中手势识别过程示意图； 0038 图中标记说明： 1、 双目摄像头， 2、 LeapMotion设备， 3、 手势识别计算机， 301、 手势 分割单元， 302、 手势分析跟踪单元， 303、 手势识别单元， 4、 服务器， 5、 屏幕计算机， 6、 屏幕显 示器。 具体实施方式 0039 下面结合附图和具体实施例对本发明进行详细说明。 0040 实施例 0041 如图1所示， 一种基于LeapMotion手势识别的屏。

19、幕控制系统， 包括依次连接的双目 摄像头1、 LeapMotion设备2、 手势识别计算机3和服务器4， 服务器4通过屏幕计算机5机连接 至屏幕显示器6， 其中， 手势识别计算机3包括依次连接的手势分割单元301、 手势分析跟踪 单元302和手势识别单元303， 在实际工作过程总， 双目摄像头1用于采集用户的手部动作图 像； LeapMotion设备2根据手部动作图像， 生成对应的3D模型； 手势识别计算机3用于对3D模 型进行手势识别， 并输出手势动作信号指令； 服务器4根据手势动作信号指令， 输出对应的 屏幕数据画面跳转指令给屏幕计算机5； 屏幕计算机5根据屏幕数据画面跳转指令， 控制屏 。

20、幕显示器6上数据画面的切换。 0042 本实施例中， LeapMotion设备2通过基于WebRTC的P2P(端对端)信号传输通道连接 至手势识别计算机3， 手势识别计算机3则通过WebSocket通信协议通道连接至服务器4， 服 务器4采用Web服务器。 0043 首先借助WebRTC(网页实时通信)技术， 在现场展示的LeapMotion设备2和展示大 屏的电脑或平板设备间建立P2P(端对端)的信号传输通道， 保证LeapMotion设备2能够实时 对捕捉的手势动作画面进行3D实时模型演算， 通过对用户手部的3D模型进行手势判断， 根 据不同的手势动作发出不同的信号指令， 然后借助基于We。

21、bSocket协议搭建的通道将虚拟 协作信息同步推送至服务器4， 服务器4根据手势信号做出不同的画面切换。 大屏数据可视 化技术将数据库中的数据化抽象为具体， 变成可视化的图表， 方便用户进行数据分析。 0044 上述系统的具体工作方法流程如图2所示， 包括： 0045 S1、 双目摄像头采集用户的手部动作图像 ， 并将该手部动作图像传输给 LeapMotion设备； 0046 S2、 LeapMotion设备对手部动作图像进行实时演算， 生成对应的手部3D模型， 并将 该手部3D模型传输给手势识别计算机； 0047 S3、 手势识别计算机对手部3D模型进行手势识别， 输出对应的手势动作信号指。

22、令 给服务器； 0048 S4、 服务器根据接收的手势动作信号指令， 输出对应的屏幕数据画面跳转指令给 说明书 3/4 页 6 CN 112069873 A 6 屏幕计算机； 0049 S5、 屏幕计算机根据接收的屏幕数据画面跳转指令， 对应控制屏幕显示器上数据 画面的切换。 0050 将本发明应用于实际， 主要操作过程为： 0051 (1)启动服务器， 使屏幕显示器调整到数据展示页面双方使用的平台都是基 于web的应用， 具有较好的设备兼容性； 0052 (2)将LeapMotion设备与手势识别计算机连接， 并建立LeapMotion设备与服务器 之间的网络连接； 0053 (3)用户在双。

23、目摄像头面前进行手势操作采用双目摄像机进行手势捕捉， 用 户需在特定的区域进行手势操作； 0054 (4)LeapMotion设备根据双目摄像头画面进行实时演算生成手的3D模型； 0055 (5)手势识别计算机根据3D模型， 进行手势动作信号判断， 将手势动作信号指令发 送给服务器使用WebRTC、 Node.js和WebSocket技术， 搭建的是全双工通信通道， 可以进 行数据信息的接收和推送； 0056 (6)服务器根据收到的信号指令， 控制屏幕显示器进行数据画面切换。 0057 双目摄像机使用2个摄像头， 它们之间的相互关系是已知的， 基于此， 3D图像也可 以通过这2个摄像头被模拟出。

24、来， 双目摄像头的内部间距固定， 因此可以基于视差原理， 由 两幅图像获取物体三维几何信息的方法。 在机器视觉系统中， 双目视觉一般由双摄像机从 不同角度同时获取周围景物的两幅数字图像并基于视差原理即可恢复出物体三维几何信 息， 重建周围景物的三维形状与位置， 这种技术被称之为双目立体视觉。 0058 双目立体视觉由双目立体视觉技术可以生成手的3D模型， 如图3所示， 图中的球体 代表人的手部关节信息， LeapMotion设备将关节信息参数传给手势识别计算机， 以此进行 不同手势的动作分类。 0059 图4所示为具体的手势识别过程： 首先从双目摄像头采集操作者手势动作的左右 视觉图像， 通过。

25、立体视觉算法生成深度图像经过立体标定后获取经过校准的立体图像 对后， 进行立体匹配， 获得视差图像， 再利用摄像机的内参数及外参数进行三角计算获取深 度图像； 0060 然后对左(或右)视觉图像使用手势分割算法处理， 分割出手部所在的初始位置和 结束位置， 并将手部初始位置作为手势跟踪算法的起始位置， 再使用手势跟踪算法对手部 运动进行跟踪； 0061 最后根据跟踪得到的结果进行手势的识别， 需要说明的是， 如果跟踪目标消失， 则 重新进行手势分割， 再重复上述步骤。 0062 综上所述， 本发明基于LeapMotion实现， 可以有效提升现场用户在大屏数据展示 的真实感和操作感， 实现了手势操作和大屏可视化的完美融合， 可以实现无接触控制屏幕 的目的； 0063 此外， 本发明采用较为成熟的器件， 例如LeapMotion设备、 台式电脑(作为手势识 别计算机、 服务器以及屏幕计算机)、 平板或可视化大屏(作为屏幕显示器)， 因此可靠性高 和可维护性好， 并且通过浏览器/服务器(B/S)模式， 能够实现跨平台， 因此具有良好的扩展 性。 说明书 4/4 页 7 CN 112069873 A 7 图1 图2 说明书附图 1/2 页 8 CN 112069873 A 8 图3 图4 说明书附图 2/2 页 9 CN 112069873 A 9 。