手势识别方法、交互控制方法、装置、介质与电子设备.pdf

《手势识别方法、交互控制方法、装置、介质与电子设备.pdf》由会员分享，可在线阅读，更多相关《手势识别方法、交互控制方法、装置、介质与电子设备.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910435353.7 (22)申请日 2019.05.23 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞市长安镇乌沙海 滨路18号 (72)发明人 黄锋华 (74)专利代理机构 深圳市隆天联鼎知识产权代 理有限公司 44232 代理人 刘抗美 (51)Int.Cl. G06F 3/01(2006.01) G06K 9/00(2006.01) G06K 9/20(2006.01) (54)发明名称 手势识别方法、 交互控制方法、 装置、 介质。

2、与 电子设备 (57)摘要 本公开提供了一种手势识别方法及装置、 人 机交互方法及装置、 计算机可读存储介质与电子 设备， 属于人机交互技术领域。 该手势识别方法 应用于电子设备， 该电子设备包括第一摄像头与 第二摄像头， 设于该电子设备的同一侧， 该方法 包括： 通过第一摄像头采集第一手势图像， 以及 通过第二摄像头采集第二手势图像， 其中， 第一 手势图像为深度图像， 第二手势图像为平面图 像； 当检测第一手势图像未达到预设质量标准 时， 对第二手势图像进行处理， 以识别第二手势 图像中的手势； 当检测第一手势图像达到预设质 量标准时， 对第一手势图像进行处理， 以识别第 一手势图像中的手。

3、势。 本公开可以在现有的硬件 条件下， 实现鲁棒性较高的手势识别算法， 提高 手势识别的准确性。 权利要求书3页 说明书13页 附图5页 CN 110209273 A 2019.09.06 CN 110209273 A 1.一种手势识别方法， 应用于电子设备， 其特征在于， 所述电子设备包括第一摄像头与 第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧， 所述方法包 括： 通过所述第一摄像头采集第一手势图像， 以及通过所述第二摄像头采集第二手势图 像， 其中， 所述第一手势图像为深度图像， 所述第二手势图像为平面图像； 当检测所述第一手势图像未达到预设质量标准时， 对所述第。

4、二手势图像进行处理， 以 识别所述第二手势图像中的手势； 当检测所述第一手势图像达到所述预设质量标准时， 对所述第一手势图像进行处理， 以识别所述第一手势图像中的手势。 2.根据权利要求1所述的方法， 其特征在于， 所述第一手势图像是否达到预设质量标准 通过以下方法检测： 检测所述第一手势图像中各像素点的深度值是否无效； 统计深度值无效的像素点占所述第一手势图像的比例； 判断所述比例是否小于预设比例阈值， 若小于， 则所述第一手势图像达到所述预设质 量标准。 3.根据权利要求1所述的方法， 其特征在于， 所述第一手势图像是否达到预设质量标准 通过以下方法检测： 将所述第一手势图像转换为平面图像。

5、， 并检测所述第一手势图像与所述第二手势图像 的相似度是否达到预设相似度阈值， 若达到， 则所述第一手势图像达到所述预设质量标准。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述第一手势图像进行处理， 以识 别所述第一手势图像中的手势之前， 所述方法还包括： 对所述第一手势图像与所述第二手势图像进行配准； 利用配准后的所述第二手势图像对配准后的所述第一手势图像进行优化处理， 其中， 所述优化处理包括以下任意一种或多种： 边缘滤波、 补洞与畸变校正。 5.根据权利要求1所述的方法， 其特征在于， 所述第一摄像头为基于红外光的飞行时间 摄像头， 所述第一手势图像为飞行时间图像； 所述方法。

6、还包括： 通过所述第一摄像头采集红外图像； 利用所述红外图像对所述飞行时间图像进行预处理， 其中， 所述预处理包括以下任意 一种或多种： 截图、 去除噪声与基于深度值置信度的像素点过滤。 6.根据权利要求1所述的方法， 其特征在于， 所述第一手势图像中的手势包括手部骨骼 点的信息和/或手部姿态的信息； 所述对所述第一手势图像进行处理， 以识别所述第一手势图像中的手势， 包括： 利用预先训练的第一神经网络模型识别所述第一手势图像， 以得到所述手部骨骼点的 信息； 及/或 利用预先训练的第二神经网络模型识别所述第一手势图像， 以得到所述手部姿态的信 息。 7.根据权利要求6所述的方法， 其特征在于。

7、， 在利用所述第一神经网络模型或所述第二 神经网络模型识别所述第一手势图像之前， 所述方法还包括： 对所述第一手势图像进行背景减除， 得到仅包含手部前景图像的第一手势图像。 权利要求书 1/3 页 2 CN 110209273 A 2 8.一种交互控制方法， 应用于电子设备， 其特征在于， 所述电子设备包括第一摄像头与 第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧， 所述方法包 括： 通过权利要求17任一项所述的手势识别方法识别手势； 根据所述手势执行控制指令。 9.根据权利要求8所述的方法， 其特征在于， 所述手势包括手部骨骼点的信息和/或手 部姿态的信息； 所述根据。

8、所述手势执行控制指令， 包括： 执行所述手部姿态对应的控制指令； 及/或 根据所述手部骨骼点在所述电子设备的图形用户界面中的映射点， 触发执行所述映射 点所在的控制选项。 10.一种手势识别装置， 应用于电子设备， 其特征在于， 所述电子设备包括第一摄像头 与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧， 所述装置 包括： 图像采集模块， 用于通过所述第一摄像头采集第一手势图像， 以及通过所述第二摄像 头采集第二手势图像， 其中， 所述第一手势图像为深度图像， 所述第二手势图像为平面图 像； 第一识别模块， 用于当检测所述第一手势图像未达到预设质量标准时， 对所述第二手。

9、 势图像进行处理， 以识别所述第二手势图像中的手势； 第二识别模块， 用于当检测所述第一手势图像达到所述预设质量标准时， 对所述第一 手势图像进行处理， 以识别所述第一手势图像中的手势。 11.一种交互控制装置， 应用于电子设备， 其特征在于， 所述电子设备包括第一摄像头 与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧， 所述装置 包括： 图像采集模块， 用于通过所述第一摄像头采集第一手势图像， 以及通过所述第二摄像 头采集第二手势图像， 其中， 所述第一手势图像为深度图像， 所述第二手势图像为平面图 像； 第一识别模块， 用于当检测所述第一手势图像未达到预设质量标准时。

10、， 对所述第二手 势图像进行处理， 以识别所述第二手势图像中的手势； 第二识别模块， 用于当检测所述第一手势图像达到所述预设质量标准时， 对所述第一 手势图像进行处理， 以识别所述第一手势图像中的手势； 指令执行模块， 用于根据所述手势执行控制指令。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求17任一项所述的手势识别方法或权利要求89任一项所 述的交互控制方法。 13.一种电子设备， 其特征在于， 包括： 第一摄像头， 用于采集第一手势图像， 所述第一手势图像为深度图像； 第二摄像头， 用于采集第二手势图像， 所述第二手势图。

11、像为平面图像； 处理器； 以及 权利要求书 2/3 页 3 CN 110209273 A 3 存储器， 用于存储所述处理器的可执行指令； 其中， 所述第一摄像头与所述第二摄像头设于所述电子设备的同一侧； 所述处理器配置为经由执行所述可执行指令来执行： 权利要求17任一项所述的手势识别方法， 以识别所述第一手势图像或第二手势图像 中的手势； 或者 权利要求89任一项所述的交互控制方法， 以识别所述第一手势图像或第二手势图像 中的手势， 并根据所述手势执行控制指令。 权利要求书 3/3 页 4 CN 110209273 A 4 手势识别方法、 交互控制方法、 装置、 介质与电子设备 技术领域 00。

12、01 本公开涉及人机交互技术领域， 尤其涉及一种手势识别方法、 交互控制方法、 手势 识别装置、 交互控制装置、 计算机可读存储介质与电子设备。 背景技术 0002 基于手势的人机交互是指在不接触设备的情况下， 利用计算机视觉、 图形学等技 术来识别人的操作手势， 并转化为对设备的控制指令。 手势交互是继鼠标、 键盘和触控屏之 后新的交互方式， 其能够摆脱传统交互方式对于输入设备的依赖， 在虚拟现实、 增强现实等 领域已经有了广泛的应用。 0003 在智能手机、 平板电脑等移动终端上， 手势交互也有了一定的发展， 目前已经出现 了配置TOF(Time of Flight， 飞行时间)相机的手机。

13、， 其通过拍摄深度图像， 识别其中的手 势， 以进行交互控制。 然而， 现有手机上TOF相机的能力有限， 无法准确检测距离相机过近或 者过远的物体的深度信息， 且对于黑色材质或高反光材质的物体、 光照变化较大的场景等 处理能力较差， 导致手势识别的算法鲁棒性较低， 影响正常的交互。 0004 因此， 如何在现有的硬件条件下， 提高手势识别的准确性， 实现鲁棒性较高的算 法， 保证交互的正常进行， 是现有技术亟待解决的问题。 0005 需要说明的是， 在上述背景技术部分公开的信息仅用于加强对本公开的背景的理 解， 因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。 发明内容 0006 。

14、本公开提供了一种手势识别方法、 交互控制方法、 手势识别装置、 交互控制装置、 计算机可读存储介质与电子设备， 进而至少在一定程度上克服现有技术无法准确识别手势 的问题。 0007 本公开的其他特性和优点将通过下面的详细描述变得显然， 或部分地通过本公开 的实践而习得。 0008 根据本公开的第一方面， 提供一种手势识别方法， 应用于电子设备， 所述电子设备 包括第一摄像头与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同 一侧， 所述方法包括： 通过所述第一摄像头采集第一手势图像， 以及通过所述第二摄像头采 集第二手势图像， 其中， 所述第一手势图像为深度图像， 所述第二手势。

15、图像为平面图像； 当 检测所述第一手势图像未达到预设质量标准时， 对所述第二手势图像进行处理， 以识别所 述第二手势图像中的手势； 当检测所述第一手势图像达到所述预设质量标准时， 对所述第 一手势图像进行处理， 以识别所述第一手势图像中的手势。 0009 在本公开的一种示例性实施例中， 所述第一手势图像是否达到预设质量标准通过 以下方法检测： 检测所述第一手势图像中各像素点的深度值是否无效； 统计深度值无效的 像素点占所述第一手势图像的比例； 判断所述比例是否小于预设比例阈值， 若小于， 则所述 第一手势图像达到预设质量标准。 说明书 1/13 页 5 CN 110209273 A 5 001。

16、0 在本公开的一种示例性实施例中， 所述第一手势图像是否达到预设质量标准通过 以下方法检测： 将所述第一手势图像转换为平面图像， 并检测所述第一手势图像与所述第 二手势图像的相似度是否达到预设相似度阈值， 若达到， 则所述第一手势图像达到预设质 量标准。 0011 在本公开的一种示例性实施例中， 所述对所述第一手势图像进行处理， 以识别所 述第一手势图像中的手势之前， 所述方法还包括： 对所述第一手势图像与所述第二手势图 像进行配准； 利用配准后的所述第二手势图像对配准后的所述第一手势图像进行优化处 理， 其中， 所述优化处理包括以下任意一种或多种： 边缘滤波、 补洞与畸变校正。 0012 在。

17、本公开的一种示例性实施例中， 所述第一摄像头为基于红外光的TOF摄像头， 所 述第一手势图像为TOF图像； 所述方法还包括： 通过所述第一摄像头采集红外图像； 利用所 述红外图像对所述TOF图像进行预处理， 其中， 所述预处理包括以下任意一种或多种： 截图、 去除噪声与基于深度值置信度的像素点过滤。 0013 在本公开的一种示例性实施例中， 所述第一手势图像中的手势包括手部骨骼点的 信息和/或手部姿态的信息； 所述对所述第一手势图像进行处理， 以识别所述第一手势图像 中的手势， 包括： 利用预先训练的第一神经网络模型识别所述第一手势图像， 以得到所述手 部骨骼点的信息； 及/或利用预先训练的第。

18、二神经网络模型识别所述第一手势图像， 以得到 所述手部姿态的信息。 0014 在本公开的一种示例性实施例中， 在利用所述第一神经网络模型或所述第二神经 网络模型识别所述第一手势图像之前， 所述方法还包括： 对所述第一手势图像进行背景减 除， 得到仅包含手部前景图像的第一手势图像。 0015 根据本公开的第二方面， 提供一种交互控制方法， 应用于电子设备， 所述电子设备 包括第一摄像头与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同 一侧， 所述方法包括： 通过上述任意一项所述的手势识别方法识别手势； 根据所述手势执行 控制指令。 0016 在本公开的一种示例性实施例中， 所述。

19、手势包括手部骨骼点的信息和/或手部姿 态的信息； 所述根据所述手势执行控制指令， 包括： 执行所述手部姿态对应的控制指令； 及/ 或根据所述手部骨骼点在所述电子设备的图形用户界面中的映射点， 触发执行所述映射点 所在的控制选项。 0017 根据本公开的第三方面， 提供一种手势识别装置， 应用于电子设备， 所述电子设备 包括第一摄像头与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同 一侧， 所述装置包括： 图像采集模块， 用于通过所述第一摄像头采集第一手势图像， 以及通 过所述第二摄像头采集第二手势图像， 其中， 所述第一手势图像为深度图像， 所述第二手势 图像为平面图像； 第。

20、一识别模块， 用于当检测所述第一手势图像未达到预设质量标准时， 对 所述第二手势图像进行处理， 以识别所述第二手势图像中的手势； 第二识别模块， 用于当检 测所述第一手势图像达到所述预设质量标准时， 对所述第一手势图像进行处理， 以识别所 述第一手势图像中的手势。 0018 在本公开的一种示例性实施例中， 所述手势识别装置还包括： 质量检测模块； 所述 质量检测模块又包括： 深度值检测单元， 用于检测所述第一手势图像中各像素点的深度值 是否无效； 无效比例统计单元， 用于统计深度值无效的像素点占所述第一手势图像的比例； 说明书 2/13 页 6 CN 110209273 A 6 质量标准判断单。

21、元， 用于判断所述比例是否小于预设比例阈值， 若小于， 则所述第一手势图 像达到所述预设质量标准。 0019 在本公开的一种示例性实施例中， 所述手势识别装置还包括： 质量检测模块， 用于 将所述第一手势图像转换为平面图像， 并检测所述第一手势图像与所述第二手势图像的相 似度是否达到预设相似度阈值， 若达到， 则所述第一手势图像达到所述预设质量标准。 0020 在本公开的一种示例性实施例中， 所述第二识别模块在对所述第一手势图像进行 处理， 以识别所述第一手势图像中的手势之前， 还用于对所述第一手势图像与所述第二手 势图像进行配准， 并利用配准后的所述第二手势图像对配准后的所述第一手势图像进行。

22、优 化处理， 其中， 所述优化处理包括以下任意一种或多种： 边缘滤波、 补洞与畸变校正。 0021 在本公开的一种示例性实施例中， 所述第一摄像头为基于红外光的TOF相机， 所述 第一手势图像为TOF图像； 所述图像采集模块在采集所述TOF图像与所述第二手势图像的同 时， 还用于通过所述第一摄像头采集红外图像； 所述手势识别装置还包括： 预处理模块， 用 于利用所述红外图像对所述TOF图像进行预处理， 其中， 所述预处理包括以下任意一种或多 种： 截图、 去除噪声与基于深度值置信度的像素点过滤。 0022 在本公开的一种示例性实施例中， 所述第一手势图像中的手势包括手部骨骼点的 信息和/或手部。

23、姿态的信息； 所述第二识别模块包括骨骼点识别单元和/或姿态识别单元； 其中， 所述骨骼点识别单元用于利用预先训练的第一神经网络模型识别所述第一手势图 像， 以得到所述手部骨骼点的信息， 所述姿态识别单元用于利用预先训练的第二神经网络 模型识别所述第一手势图像， 以得到所述手部姿态的信息。 0023 在本公开的一种示例性实施例中， 所述第二识别模块还包括： 背景减除单元， 用于 在所述骨骼点识别单元或所述姿态识别单元识别所述第一手势图像之前， 对所述第一手势 图像进行背景减除， 以得到仅包含手部前景图像的第一手势图像。 0024 根据本公开的第四方面， 提供一种交互控制装置， 应用于电子设备， 。

24、所述电子设备 包括第一摄像头与第二摄像头， 所述第一摄像头与所述第二摄像头设于所述电子设备的同 一侧， 所述装置包括： 图像采集模块， 用于通过所述第一摄像头采集第一手势图像， 以及通 过所述第二摄像头采集第二手势图像； 第一识别模块， 用于当检测所述第一手势图像未达 到预设质量标准时， 对所述第二手势图像进行处理， 以识别所述第二手势图像中的手势； 第 二识别模块， 用于当检测所述第一手势图像达到所述预设质量标准时， 对所述第一手势图 像进行处理， 以识别所述第一手势图像中的手势； 指令执行模块， 用于根据所述手势执行控 制指令。 0025 在本公开的一种示例性实施例中， 所述交互控制装置包。

25、括上述任一种手势识别装 置所包括的全部模块/单元， 以及所述指令执行模块。 0026 在本公开的一种示例性实施例中， 所述手势包括所述手部骨骼点的信息和/或所 述手部姿态的信息； 所述指令执行模块包括第一执行单元和/或第二执行单元； 其中， 所述 第一执行单元用于执行所述手部姿态对应的控制指令， 所述第二执行单元用于根据所述手 部骨骼点在所述电子设备的图形用户界面中的映射点， 触发执行所述映射点所在的控制选 项。 0027 根据本公开的第五方面， 提供一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行时实现上述任意一项所述的手势识别方法或上述任意一项 说明书 3/13。

26、 页 7 CN 110209273 A 7 所述的交互控制方法。 0028 根据本公开的第六方面， 提供一种电子设备， 包括： 第一摄像头， 用于采集第一手 势图像， 所述第一手势图像为深度图像； 第二摄像头， 用于采集第二手势图像， 所述第二手 势图像为平面图像； 处理器； 以及存储器， 用于存储所述处理器的可执行指令； 其中， 所述第 一摄像头与所述第二摄像头设于所述电子设备的同一侧； 所述处理器配置为经由执行所述 可执行指令来执行： 上述任意一项所述的手势识别方法， 以识别所述第一手势图像或第二 手势图像中的手势； 或者上述任意一项所述的交互控制方法， 以识别所述第一手势图像或 第二手势。

27、图像中的手势， 并根据所述手势执行控制指令。 0029 本公开的示例性实施例具有以下有益效果： 0030 通过电子设备的第一摄像头与第二摄像头分别采集具有深度信息的第一手势图 像与平面的第二手势图像， 在第一手势图像质量较高时， 通过第一手势图像的处理以识别 手势， 在第一手势图像质量较低时， 通过第二手势图像的处理以识别手势。 从而在现有的硬 件条件下， 实现了鲁棒性较高的手势识别算法， 克服了深度摄像头的缺陷对识别结果所造 成的影响， 提高了手势识别的准确性。 并且， 本示例性实施例从移动终端等应用场景出发， 图像采集以及图像处理的过程简单， 手势识别算法涉及的运算量较低， 因此具有较高的。

28、适 用性。 0031 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本公开。 附图说明 0032 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本公开的实施 例， 并与说明书一起用于解释本公开的原理。 显而易见地， 下面描述中的附图仅仅是本公开 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 这些附图获得其他的附图。 0033 图1示出本示例性实施例中一种手势识别方法的流程图； 0034 图2示出本示例性实施例中一种手势识别方法的子流程图； 0035 图3示出本示例性实施例中一种交互控制方法的流程图； 0。

29、036 图4示出本示例性实施例中一种手势识别装置的结构框图； 0037 图5示出本示例性实施例中一种交互控制装置的结构框图； 0038 图6示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质； 0039 图7示出本示例性实施例中一种用于实现上述方法的电子设备的结构框图； 0040 图8示出本示例性实施例中另一种用于实现上述方法的电子设备的结构框图。 具体实施方式 0041 现在将参考附图更全面地描述示例实施方式。 然而， 示例实施方式能够以多种形 式实施， 且不应被理解为限于在此阐述的范例； 相反， 提供这些实施方式使得本公开将更加 全面和完整， 并将示例实施方式的构思全面地传达给本。

30、领域的技术人员。 所描述的特征、 结 构或特性可以以任何合适的方式结合在一个或更多实施方式中。 0042 本公开的示例性实施例首先提供了一种手势识别方法， 可以应用于电子设备， 该 说明书 4/13 页 8 CN 110209273 A 8 电子设备包括第一摄像头与第二摄像头， 其可以是两个功能不同的摄像头或摄像模组。 第 一摄像头与第二摄像头设于电子设备的同一侧， 通常同时设于电子设备的正面或背面， 用 于采集电子设备同一侧的图像。 本示例性实施例的执行主体可以是手机、 平板电脑或配置 了双摄像头的智能电视、 个人电脑等， 以手机为例， 第一摄像头与第二摄像头可以是两个前 置摄像头或两个后置。

31、摄像头， 或者第一摄像头是嵌入手机正面的前置摄像头， 第二摄像头 是升降式的前置摄像头等， 本公开对此不做限定。 0043 图1示出了本示例性实施例的方法流程， 包括步骤S110S130： 0044 步骤S110， 通过第一摄像头采集第一手势图像， 以及通过第二摄像头采集第二手 势图像。 0045 其中， 第一摄像头可以是深度摄像头， 例如TOF摄像头、 结构光摄像头等， 其拍摄的 图像中包含物体的深度信息， 例如可以是TOF图像、 结构光三维图像等； 第二摄像头是普通 的平面成像摄像头， 其拍摄的平面图像可以是RGB图像、 灰度图像等。 本示例性实施例中， 用 户可以开启手机上的手势识别功能。

32、， 以启动第一摄像头与第二摄像头， 然后用户在手机前 方区域内进行手势操作， 手机前置的第一摄像头与第二摄像头分别拍摄关于该手势的深度 图像与平面图像， 分别为第一手势图像与第二手势图像。 需要说明的是， 第一手势图像与第 二手势图像为同时采集的图像， 例如第一摄像头与第二摄像头同步拍摄， 两图像为同一帧 图像等， 两图像所记录的手势为同一手势。 0046 步骤S120， 当检测第一手势图像未达到预设质量标准时， 对第二手势图像进行处 理， 以识别第二手势图像中的手势； 0047 步骤S130， 当检测第一手势图像达到预设质量标准时， 对第一手势图像进行处理， 以识别第一手势图像中的手势。 0。

33、048 本示例性实施例中， 考虑到电子设备上的深度摄像头能力有限， 无法准确检测距 离摄像头过近或者过远的物体的深度信息， 且对于黑色材质或高反光材质的物体、 光照变 化较大的场景等处理能力较差， 因此， 在第一手势图像质量较差的情况下， 其图像内容的准 确度较低， 难以作为手势识别的依据。 本示例性实施例的预设质量标准即用于判断第一手 势图像的质量是否达标， 确定该图像是否可用， 如果不可用， 则从第二手势图像中识别手 势， 如果可用， 则从第一手势图像中识别手势。 无论是从第一手势图像还是第二手势图像中 识别手势， 都是为了正确识别用户的操作手势， 如果第一手势图像质量较高， 由于其包含深。

34、 度信息， 信息的丰富性高于平面的第二手势图像， 从第一手势图像中识别手势的准确度更 高， 优先执行步骤S130， 反之则执行步骤S120。 0049 在进行图像处理时， 可以采用深度学习的模型， 例如预先训练卷积神经网络模型， 将待识别图像输入该模型， 以得到手势识别的结果。 需要说明的是， 由于第一手势图像与第 二手势图像的维度或通道数通常不同， 可以针对两类图像分别训练模型， 例如用于第一手 势图像(RGB-D图像)识别的模型为4通道输入的模型， 用于第二手势图像(RGB图像)识别的 模型为3通道输入的模型。 也可以采用手势比对的方式进行图像处理， 例如预先确定多个标 准手势， 将待识别。

35、图像中的手势部分提取出来， 判断其与哪个标准手势最为接近， 则识别为 该手势。 通常手势识别是个连续的过程， 第一摄像头与第二摄像头采集连续帧的深度图像 与平面图像， 因此还可以结合上一帧图像中的手势判断当前帧图像中的手势， 例如检测上 一帧图像与当前帧图像的重合度， 如果重合度较高， 则认为用户手势不变， 以上一帧的手势 说明书 5/13 页 9 CN 110209273 A 9 识别结果作为当前帧的手势识别结果， 或者在采集连续多帧的深度图像与平面图像后， 启 动步骤S120与S130， 如果连续多帧的深度图像中全部或超过一定比例的图像达到预设质量 标准， 则通过连续多帧的深度图像中手部的。

36、变化识别手势， 反之则通过连续多帧的平面图 像中手部的变化识别手势。 本公开对于图像处理的具体方式不做限定。 0050 基于上述说明， 本示例性实施例通过电子设备的第一摄像头与第二摄像头分别采 集具有深度信息的第一手势图像与平面的第二手势图像， 在第一手势图像质量较高时， 通 过第一手势图像的处理以识别手势， 在第一手势图像质量较低时， 通过第二手势图像的处 理以识别手势。 从而在现有的硬件条件下， 实现了鲁棒性较高的手势识别算法， 克服了深度 摄像头的缺陷对识别结果所造成的影响， 提高了手势识别的准确性。 并且， 本示例性实施例 从移动终端等应用场景出发， 图像采集以及图像处理的过程简单， 。

37、手势识别算法涉及的运 算量较低， 因此具有较高的适用性。 0051 检测第一手势图像的质量时， 主要检测图像中的深度信息能否准确反映实际拍摄 的手部情况， 基于该思想原理， 对于不同类型的深度图像， 图像信息类型不同的深度图像， 应用场景不同的深度图像， 所采用的方法与标准可以因情况而异， 本公开对此不做限定， 以 下提供几个具体的检测方法示例。 0052 (1)在一示例性实施例中， 如图2所示， 检测第一手势图像是否达到预设质量标准 可以通过以下步骤S201S203实现： 0053 步骤S201， 检测第一手势图像中各像素点的深度值是否无效； 0054 步骤S202， 统计深度值无效的像素点。

38、占第一手势图像的比例； 0055 步骤S203， 判断上述比例是否小于预设比例阈值， 若小于， 则第一手势图像达到预 设质量标准。 0056 其中， 第一摄像头在拍摄第一手势图像时， 如果物体或物体的一部分与摄像头的 距离超出检测范围， 或者场景内存在异常的光照条件， 例如光照过强导致手部图像曝光过 度， 摄像头无法准确检测相应部分深度值， 通常将其对应的像素点深度值输出为无效值或 异常值， 例如TOF摄像头拍摄手部图像， 如果手部距离较远， 导致TOF摄像头感应到的TOF超 出上限， 则可以将手部像素点的深度值记为上限值或其他异常值， 因此这些像素点的深度 值不可信。 如果这些像素点占据整个。

39、第一手势图像的比例过高， 则说明整个第一手势图像 的质量较低， 本示例性实施例中， 可以根据经验、 场景需求以及第一摄像头特性等将预设比 例阈值设为20或30等， 当深度值无效的像素点比例低于该值时， 表示第一手势图像达 到预设质量标准。 0057 (2)在一示例性实施例中， 也可以通过以下方法检测第一手势图像是否达到预设 质量标准： 0058 将第一手势图像转换为平面图像， 并检测第一手势图像与第二手势图像的相似度 是否达到预设相似度阈值， 若达到， 则第一手势图像达到预设质量标准。 0059 其中， 在检测相似度时， 主要检测两个图像所呈现的内容信息是否相似， 即第一手 势图像与第二手势图。

40、像所拍摄的是否为同一物体， 这是考虑到第二手势图像的成像质量通 常较高， 其图像内容较为清楚准确， 而第一手势图像在检测深度信息异常时， 其所呈现的图 像内容也可能存在异常， 从而与第二手势图像存在较大差别。 在检测相似度之前， 可以将两 类图像进行一定的一致化处理， 通常将第一手势图像转换为平面图像， 以便于与第二手势 说明书 6/13 页 10 CN 110209273 A 10 图像比较。 此外， 还可以将第一手势图像与第二手势图像都转换为颜色模式相同的平面图 像(例如都转换为RGB图像、 HSL图像或灰度图像等)； 如果第一摄像头与第二摄像头的位置 或拍摄角度差别较大， 还可以先将第一。

41、手势图像与第二手势图像进行配准， 然后再检测相 似度。 检测相似度的具体方式可以包括： 检测两图像的重合度， 或者通过图像识别模型检测 两图像中手部为相同手部的概率， 等等。 预设相似度阈值是预设的衡量其相似度是否达标 的标准， 其值根据实际情况或者经验进行设定， 如果相似度达到该阈值， 说明第一手势图像 与第二手势图像所呈现的图像内容相同， 第一手势图像达到预设质量标准。 0060 (3)在一示例性实施例中， 还可以通过以下方法检测第一手势图像是否达到预设 质量标准： 0061 确定关于手部厚度的阈值； 0062 统计第一手势图像的深度值跨度(即最大深度值-最小深度值)， 如果不超过上述 阈。

42、值， 则第一手势图像达到预设质量标准。 0063 其中， 手部厚度的阈值是考虑各种手势下手部的最大厚度， 即手部在垂直于摄像 头平面方向上(深度方向)的尺寸， 在确定该阈值时， 应当结合应用场景， 考虑摄像头的参 数、 用户手势习惯、 电子设备屏幕尺寸等因素。 正常情况下， 第一手势图像的深度值跨度应 当不超过手部厚度的阈值， 如果超过， 说明第一手势图像中可能存在其他干扰物体， 或者深 度值准确度较低， 从而确定第一手势图像的质量较低。 为了提高上述检测方法的准确度， 可 以先对第一手势图像进行背景减除， 以去除手部以外的背景部分图像， 提取出主要包含手 部的前景图像， 统计该前景图像中的深。

43、度值跨度， 则可以更加准确地表示出第一手势图像 所检测的手部厚度。 另外， 也可以考虑手部的最小厚度， 确定关于手部厚度的范围， 如果深 度值跨度处于该范围内， 说明第一手势图像达到预设质量标准。 0064 应当理解， 本示例性实施例在检测第一手势图像的质量时， 可以采用上述任何一 种方法， 或采用多种方法的结合， 例如同时采用上述方法(1)和(2)， 需要同时满足比例小于 预设比例阈值且相似度达到预设相似度阈值时， 确定第一手势图像达到预设质量标准， 还 可以采用其他任意类似的方法。 0065 考虑到第一手势图像与第二手势图像具有不同方面的优势与劣势， 可以将二者进 行结合。 在一示例性实施。

44、例中， 如果第一手势图像达到预设质量标准， 在对第一手势图像进 行处理， 以识别第一手势图像中的手势之前， 手势识别方法还可以包括以下步骤： 0066 对第一手势图像与第二手势图像进行配准； 0067 利用配准后的第二手势图像对配准后的第一手势图像进行优化处理。 0068 其中， 配准是指将第一手势图像与第二手势图像在空间上进行一致化处理， 使二 者能够进行直接的比对。 例如可以预先标定第一摄像头与第二摄像头各自的内参以及二者 之间的外参， 基于内外参的变换得到图像配准的参数， 包括平移、 旋转、 缩放等参数， 也可以 在第一手势图像与第二手势图像中分别提取一定的特征点， 基于特征点在两图像之。

45、间的对 应关系得到图像配准的参数。 本示例性实施例可以基于第二手势图像对第一手势图像进行 配准， 也可以基于第一手势图像对第二手势图像进行配准， 还可以预先确定标准坐标系， 然 后将第一手势图像与第二手势图像分别配准到该坐标系中， 因此配准后可以只有一幅图像 发生改变， 也可以两幅图像都发生改变。 0069 由于第二手势图像的成像质量通常较高， 可以在配准后， 利用第二手势图像对第 说明书 7/13 页 11 CN 110209273 A 11 一手势图像进行优化处理， 优化处理可以包括以下任意一种或多种： 边缘滤波、 补洞与畸变 校正。 其中， 边缘滤波是指参照第二手势图像中图形边缘的特征，。

46、 对第一手势图像中图形边 缘的特征做滤波， 包括平滑化、 去除毛刺、 局部微调等； 补洞是指参照第二手势图像， 对第一 手势图像中的孔洞进行填充， 消除图像中的孔洞缺陷， 得到完整的图形； 畸变校正是指参照 第二手势图像， 对第一手势图像中的径向畸变、 切向畸变等进行校正， 以消除其中的图形形 变， 得到更加 “平面化” 的图像。 应当理解， 本示例性实施例还可以采用上述以外的优化处理 方式。 通过优化处理， 可以提高第一手势图像的质量， 有利于进行更准确的手势识别。 0070 在一示例性实施例中， 第一摄像头为基于红外光的TOF摄像头， 第一手势图像为 TOF图像。 手势识别方法还可以包括以。

47、下步骤： 0071 在采集TOF图像(即第一手势图像)与第二手势图像的同时， 通过第一摄像头采集 红外图像； 0072 利用红外图像对TOF图像进行预处理。 0073 其中， 红外图像可以是利用TOF摄像头中的红外模组进行成像处理得到的图像， 其 可以包含TOF图像中各像素点的深度值置信度信息， 也可以包含热力、 辐射等信息。 预处理 可以包括以下任意一种或多种： 截图、 去除噪声与基于深度值置信度的像素点过滤。 其中， 截图是指参照红外图像中的热力信息， 将TOF图像主要包含手部的局部图像截取出来， 以去 除无关于手势识别的图像内容； 去除噪声是指参照红外图像的成像效果， 去除TOF图像成像。

48、 过程中的干扰信息、 噪点等； 基于深度值置信度的像素点过滤是指将TOF图像中深度值置信 度较低的像素点去除， 提高深度信息的质量。 应当理解， 本示例性实施例还可以采用上述以 外的预处理方式。 通过预处理， 也可以提高第一手势图像的质量， 有利于减少后续手势识别 的运算量， 提高识别准确度。 0074 需要补充的是， 上述利用第二手势图像对第一手势图像进行优化处理， 与利用红 外图像对第一手势图像(TOF图像)进行预处理， 两个步骤可以分别执行， 也可以合并执行， 本公开对此不做限定。 例如可以在采集到TOF图像、 第二手势图像与红外图像后， 利用红外 图像对TOF图像做预处理， 并利用第二。

49、手势图像对TOF图像做优化处理， 则可以实现质量较 高的TOF图像， 然后再执行后续的步骤S120或S130， 有利于进一步提高手势识别的准确度。 0075 在一示例性实施例中， 手势可以包括手部骨骼点的信息和/或手部姿态的信息； 相 应的， 上述对第一手势图像进行处理， 以识别第一手势图像中的手势的步骤可以具体通过 以下步骤实现： 0076 利用预先训练的第一神经网络模型识别第一手势图像， 以得到手部骨骼点的信 息； 及/或 0077 利用预先训练的第二神经网络模型识别第一手势图像， 以得到手部姿态的信息。 0078 其中， 根据场景需求以及图像质量情况， 可以预先确定手部特定的特征点为骨骼。

50、 点， 例如可以包含21个骨骼点： 每个手指4个关节特征点与手心特征点， 也可以包含一部分 骨骼点， 例如在进行食指手势识别时， 可以仅将食指的关节特征点作为手部骨骼点。 本示例 性实施例中， 可以预先由人工在大量手部深度图像中标注骨骼点， 作为样本数据以训练上 述第一神经网络模型， 在模型的应用阶段， 将第一手势图像输入后， 可以得到手部骨骼点的 坐标。 0079 手部姿态的信息可以是手势分类的结果， 本示例性实施例可以预先确定多种手势 说明书 8/13 页 12 CN 110209273 A 12 并为其编号， 例如竖大拇指为1， 竖食指为2等， 再由人工在大量手部深度图像中标注手势分 类。