基于双目立体数据动态认知的手势识别方法及系统.pdf

《基于双目立体数据动态认知的手势识别方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于双目立体数据动态认知的手势识别方法及系统.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910033845.3 (22)申请日 2019.01.15 (71)申请人 北京伟景智能科技有限公司 地址 100094 北京市海淀区北清路81号一 区3号楼6层603 (72)发明人 董霄剑曾洪庆 (51)Int.Cl. G06K 9/00(2006.01) G06T 7/13(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于双目立体数据动态认知的手势识 别方法及系统 (57)摘要 一种基于双目立体数据动态认知的手势识 别方法及系统， 。

2、包括图像采集模块、 轮廓数据处 理模块、 手势数据处理模块、 手势识别模块。 针对 目前手势识别技术在复杂环境下识别率低的问 题， 通过双目可见光的立体智能认知方法可对目 标手势进行精确识别， 可增加红外线补光灯， 对 于纹理很弱、 边界模糊的手势也能有较好的识别 效果， 使得烟雾、 高温、 黑暗等特殊环境下也能很 好地工作； 根据逻辑分段特征及色彩特征获取手 部轮廓， 手部轮廓获取更准确； 采用深度学习技 术对手势进行识别训练， 使得手势识别成功率更 高。 权利要求书2页 说明书3页 附图1页 CN 111435429 A 2020.07.21 CN 111435429 A 1.一种基于双目。

3、立体数据动态认知的手势识别方法， 其特征在于， 具体包括以下步骤： (1)设置双目摄像头， 对双目摄像头进行立体标定； (2)左右摄像头分别摄取左右图像； (3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓； (4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓； (5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量； (6)取相机所摄连续多帧图片提取的三维特征向量， 作为手势识别深度学习模型的输 入， 对手势特征识别进行训练； (7)利用训练好的手势识别深度学习模型进行手势特征识别， 判读手势含义。 2.根据权利要求1所述的方法， 其特征在于， 对双目摄。

4、像头进行立体标定是指： 双目立 体视觉根据光学三角法获取物体的三维信息， 其关键是精确标定双目系统获得内外参数， 匹配空间点分别在两个相机成像面上的像素坐标， 根据视差原理计算深度信息， 为了获取 被测物到两个相机图像平面的成像关系和两个相机之间的位置关系， 需要在测量前对系统 进行标定。 3.根据权利要求1所述的方法， 其特征在于， 对双目摄像头进行立体标定的方法包括： 对双目相机的左右摄像机分别标定， 获得两个摄像机内参矩阵A， 外参矩阵R T； 旋转 矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数， 平移向量T是世界坐标系原点到 摄像机平面原点位置偏差； 再根据下式得出两相机之间的旋。

5、转矩阵R和平移向量T： 其中， Rr为左相机的旋转矩阵， R1为右相机的旋转矩阵， T1为左相机的平移向量， Tr为右 相机的平移向量。 4.根据权利要求1所述的方法， 其特征在于， 计算得出图像中所有物体的轮廓所用方法 包括： 使用双目摄像头拍摄得到物体左右图像， 利用边缘检测算法计算出所有图像中物体 的轮廓。 5.根据权利要求4所述的边缘检测算法， 其特征在于， 所用边缘检测算法可以是Sobel 边缘检测算法， 可以是Canny边缘检测算法， 也可以是基于支持向量机(SVM)的边缘检测算 法。 6.根据权利要求1所述的方法， 其特征在于， 分离出手部轮廓的方法包括： 首先根据手部色彩特征，。

6、 在HSV彩色空间中进行肤色检验， 将所摄图像转换至HSV格式， 并将其分离至HSV三个通道， 根据色度和饱和度分割图像， 将符合手部色彩特征的图像分割 出来； 由于背景中存在类肤色信息， 利用该方法分割得到的手部候选区域较多， 为了进一步 确定手部轮廓， 利用逻辑分段特征对手部轮廓进行确定， 即： 在经上述步骤后得到的轮廓中 利用线段的直线特性和弧线特性进行分段， 将轮廓线分段为直线段与弧线段， 其中手部轮 廓在分段时指尖及指缝分段为弧线段， 指侧沿分段为直线段， 利用分类器对完成逻辑分段 的轮廓线段进行分类筛选， 筛选出符合手部轮廓的弧线段及直线段， 同时根据手部色彩特 征， 最终分离出手。

7、部轮廓。 权利要求书 1/2 页 2 CN 111435429 A 2 7.根据权利要求6所述的分类器， 其特征在于， 所述分类器可以是基于支持向量机 (SVM)的分类器， 也可以是基于深度学习的分类模型。 8.根据权利要求1所述的方法， 其特征在于， 得到三维特征向量的方法包括： 手部轮廓 经逻辑分段及分类器的分类筛选后， 得到符合手部轮廓特征的弧线段及直线段， 提取弧线 段及直线段的特征向量得到手部轮廓的指尖、 指侧沿、 指缝的特征向量， 经左右匹配后得到 三维特征向量。 9.根据权利要求1所述的方法， 其特征在于， 对手势特征识别进行训练包括： 从相机所 摄连续多帧图片中分别提取出手部轮。

8、廓的三维特征向量， 将得到的特征向量输入到手势识 别深度学习模型， 建立特征向量的变化与手势的对应关系， 对模型进行手势特征识别训练。 10.一种实施上述方法的系统， 其特征在于， 包括： (1)用于采集图像信息的图像采集模块， 包括双目摄像模组及相应的电路； (2)轮廓数据处理模块， 用于对左右摄像头所摄的图像进行边缘计算并得到所有物体 的轮廓， 包括边缘检测算法模型； (3)手势数据处理模块， 用于提取手部轮廓数据、 对提取的手部轮廓数据进行逻辑分段 以及分析得到三维特征向量， 包括图像分割算法模型、 分类器模型； (4)手势识别模块， 用于接收已处理的手势特征向量数据并分析判定手势动作，。

9、 包括手 势识别深度学习模型。 11.根据权利要求10所述的系统， 其特征在于， 所述轮廓数据处理模块、 手势数据处理 模块、 手势识别模块安装在计算机内运行。 12.根据权利要求10所述的系统， 其特征在于， 可以增加红外线补光灯进行红外补光， 以使获取物体轮廓的效果更好。 权利要求书 2/2 页 3 CN 111435429 A 3 一种基于双目立体数据动态认知的手势识别方法及系统 技术领域 0001 本发明属于手势识别技术领域， 具体而言是一种基于双目立体数据动态认知的手 势识别方法及系统。 背景技术 0002 手势控制技术是当前比较新颖的操控技术， 因其具有更简单、 更自然的操作方式 。

10、而备受青睐， 成为操控技术的发展趋势。 手势识别分两种， 一种是静态的手势识别， 即在摄 像头下检测到某个手势时就给出命令； 另一种是动态手势识别， 即能够识别手做的一些动 作。 由于静态手势识别技术应用的局限性较大， 不够灵活， 已日渐淘汰。 动态手势识别技术 具有实用性， 但识别难度比静态手势识别大很多， 目前大多数研究方案着眼于手势的最终 识别， 通常将手势背景简化， 并在单一背景下利用所研究的算法将手势进行分割， 然后采用 常用的识别方法将手势表达的含义通过系统分析出来。 在现实应用中， 一方面由于目前的 机器视觉识别系统本身有缺陷， 导致识别速度慢、 误差率高； 另一方面， 当手势处。

11、于复杂环 境下， 例如光线过亮或过暗、 较多手势存在、 手势与采集设备距离不同时， 往往导致识别系 统失灵而无法稳定工作。 因此， 让手势识别系统即使在复杂环境下也能准确识别手势， 成为 当前手势识别技术领域亟需解决的问题。 发明内容 0003 针对目前手势识别技术在复杂环境下识别率低的问题， 本发明提供一种基于双目 立体数据动态认知的手势识别方法及系统。 0004 本发明所指的基于双目立体数据动态认知的手势识别方法具体包括以下步骤： 0005 (1)设置双目摄像头， 对双目摄像头进行立体标定； 0006 (2)左右摄像头分别摄取左右图像； 0007 (3)利用左右摄像头所摄取的图像进行边缘计。

12、算得出图像中所有物体的轮廓； 0008 (4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓； 0009 (5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量； 0010 (6)取相机所摄连续多帧图片提取的三维特征向量， 作为手势识别深度学习模型 的输入， 对手势特征识别进行训练； 0011 (7)利用训练好的手势识别深度学习模型进行手势特征识别， 判读手势含义。 0012 本发明还包括实施上述方法的系统， 其特征在于， 包括： 0013 (1)用于采集图像信息的图像采集模块， 包括双目摄像模组及相应的电路； 0014 (2)轮廓数据处理模块， 用于对左右摄像头所摄的图像进。

13、行边缘计算并得到所有 物体的轮廓， 包括边缘检测算法模型； 0015 (3)手势数据处理模块， 用于提取手部轮廓数据、 对提取的手部轮廓数据进行逻辑 分段以及分析得到三维特征向量， 包括图像分割算法模型、 分类器模型； 0016 (4)手势识别模块， 用于接收已处理的手势特征向量数据并分析判定手势动作， 包 说明书 1/3 页 4 CN 111435429 A 4 括手势识别深度学习模型。 0017 上述轮廓数据处理模块、 手势数据处理模块、 手势识别模块安装在计算机内运行。 0018 可选地， 本发明在一些可能导致手势纹理弱、 边界模糊的特殊使用场景下使用时， 可以增加红外线补光灯进行红外补。

14、光， 以使获取物体轮廓的效果更好。 0019 本发明的有益效果是： 针对目前手势识别技术在复杂环境下识别率低的问题， 通 过双目可见光的立体智能认知方法可对目标手势进行精确识别， 可增加红外线补光灯， 对 于纹理很弱、 边界模糊的手势也能有较好的识别效果， 使得烟雾、 高温、 黑暗等特殊环境下 也能很好地工作； 根据逻辑分段特征及色彩特征获取手部轮廓， 手部轮廓获取更准确； 采用 深度学习技术对手势进行识别训练， 使得手势识别成功率更高。 附图说明 0020 图1为使用本发明的一个实施例应用场景示意图； 0021 图2为经逻辑分段后得到的特征向量示意图。 0022 图中： 1.图像采集模块； 。

15、2.双目摄像头； 3.红外线补光灯。 具体实施方式 0023 参见图1-2， 本发明提供一种基于双目立体数据动态认知的手势识别方法及系统， 基本思路是通过双目可见光的立体智能认知方法， 利用边缘识别算法计算得到双摄图像中 所有物体的轮廓， 再根据分段特征及色彩特征准确分离出手势轮廓， 左右匹配后得到三维 特征向量， 然后经深度学习技术将三维特征向量的变化与手势特征进行对应， 判读手势含 义， 使得手势识别成功率更高。 0024 本发明的一个实施例的具体实施方法包括以下步骤： 0025 (1)设置双目摄像头， 对双目摄像头进行立体标定； 0026 (2)左右摄像头分别摄取左右图像； 0027 (。

16、3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓； 0028 (4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓； 0029 (5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量； 0030 (6)取相机所摄连续多帧图片提取的三维特征向量， 作为手势识别深度学习模型 的输入， 对手势特征识别进行训练； 0031 (7)利用训练好的手势识别深度学习模型进行手势特征识别， 判读手势含义。 0032 上述步骤(1)中对双目摄像头进行立体标定是指： 0033 双目立体视觉根据光学三角法获取物体的三维信息， 其关键是精确标定双目系统 获得内外参数， 匹配空间点分别。

17、在两个相机成像面上的像素坐标， 根据视差原理计算深度 信息。 为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系， 需要 在测量前对系统进行标定。 0034 立体标定的方法包括： 0035 对双目相机的左右摄像机分别标定， 获得两个摄像机内参矩阵A， 外参矩阵R T； 旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数， 平移向量T是世界坐标系原 点到摄像机平面原点位置偏差； 再根据下式得出两相机之间的旋转矩阵R和平移向量T： 说明书 2/3 页 5 CN 111435429 A 5 0036 0037 其中， Rr为左相机的旋转矩阵， R1为右相机的旋转矩阵， T1为左相。

18、机的平移向量， Tr 为右相机的平移向量。 0038 上述步骤(3)中计算出所有图像中物体轮廓所用方法包括： 使用双目摄像头拍摄 得到物体左右图像， 利用边缘检测算法计算出所有图像中物体的轮廓。 所用边缘检测算法 可以是Sobel边缘检测算法， 可以是Canny边缘检测算法， 也可以是基于支持向量机(SVM)的 边缘检测算法。 0039 上述步骤(4)中分离出手部轮廓的方法包括： 0040 首先根据手部色彩特征， 在HSV彩色空间中进行肤色检验， 将所摄图像转换至HSV 格式， 并将其分离至HSV三个通道， 根据色度和饱和度分割图像， 将符合手部色彩特征的图 像分割出来。 0041 由于背景中。

19、存在类肤色信息， 利用该方法分割得到的手部候选区域较多。 为了进 一步确定手部轮廓， 利用逻辑分段特征对手部轮廓进行确定。 0042 所述逻辑分段是指在经上述步骤后得到的轮廓中利用线段的直线特性和弧线特 性进行分段， 将轮廓线分段为直线段与弧线段， 其中手部轮廓在分段时指尖及指缝分段为 弧线段， 指侧沿分段为直线段。 利用分类器对完成逻辑分段的轮廓线段进行分类筛选， 筛选 出符合手部轮廓的弧线段及直线段， 同时根据手部色彩特征， 最终分离出手部轮廓。 0043 所述分类器可以是基于支持向量机(SVM)的分类器， 也可以是基于深度学习的分 类模型。 0044 上述步骤(5)中得到手部轮廓三维特征。

20、向量的方法包括： 0045 手部轮廓经上述逻辑分段及分类器的分类筛选后， 得到符合手部轮廓特征的弧线 段及直线段， 提取弧线段及直线段的特征向量得到手部轮廓的指尖、 指侧沿、 指缝的特征向 量， 经左右匹配后得到三维特征向量。 0046 上述步骤(6)中对手势特征识别进行训练包括： 取相机所摄连续多帧图片按照上 述方法分别提取出手部轮廓的三维特征向量， 将得到的特征向量输入到手势识别深度学习 模型， 建立特征向量的变化与手势的对应关系， 对模型进行手势特征识别训练。 说明书 3/3 页 6 CN 111435429 A 6 图1 图2 说明书附图 1/1 页 7 CN 111435429 A 7 。