三维人手关键点定位方法及装置.pdf

《三维人手关键点定位方法及装置.pdf》由会员分享，可在线阅读，更多相关《三维人手关键点定位方法及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010034582.0 (22)申请日 2020.01.14 (71)申请人 长沙小钴科技有限公司 地址 410000 湖南省长沙市长沙高新技术 开发区尖山路39号长沙中电软件园一 期9栋7楼A7224室 (72)发明人 陈俊逸 (74)专利代理机构 长沙德恒三权知识产权代理 事务所(普通合伙) 43229 代理人 徐仰贵 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/34(2006.01) G06K 9/46(2006.01) G06N 3/。

2、04(2006.01) (54)发明名称 一种三维人手关键点定位方法及装置 (57)摘要 本发明实施例提供了一种三维人手关键点 定位方法及装置， 所述方法包括： 获取实际场景 的深度图像； 通过第一神经网络对所述深度图像 进行手掌区域分割， 得到分割后的手掌区域； 对 所述手掌区域进行归一化处理及尺寸变换， 得到 归一化后的手掌区域的深度图； 通过第二神经网 络判断所述归一化后的手掌区域的深度图对应 的实际场景中是否包含真人手掌； 若包含， 则通 过第三神经网络预测所述归一化后的手掌区域 的深度图的关键点坐标， 并通过预测的所述归一 化后的手掌区域的深度图的关键点坐标确定所 述实际场景的深度图。

3、像中的手掌的关键点坐标， 从而可提高人手关键点三维定位的实用性和可 靠性。 权利要求书3页 说明书8页 附图4页 CN 110852311 A 2020.02.28 CN 110852311 A 1.一种三维人手关键点定位方法， 其特征在于， 包括： 获取实际场景的深度图像； 通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的手掌区域； 对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的手掌区域的深度图； 通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包 含真人手掌； 若包含， 则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过。

4、预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度 图像中的手掌的关键点坐标。 2.根据权利要求1所述的三维人手关键点定位方法， 其特征在于， 所述第一神经网络为 卷积神经网络， 所述通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的 手掌区域， 包括： 对所述深度图像进行尺寸变换， 得到固定尺寸的深度图像； 将所述固定尺寸的深度图像输入到第一神经网络， 使用所述第一神经网络对所述固定 尺寸的深度图像进行手掌区域分割； 对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理， 得到分割后的手掌 区域。 3.根据权利要求2所述的三维人手关键点定位方法， 其特征在。

5、于， 所述对进行手掌区域 分割后的所述固定尺寸的深度图像进行去噪处理， 得到分割后的手掌区域， 包括： 在分割后的所述固定尺寸的深度图像中选择第一起始点， 从该起始点开始把附近与该 起始点连通的像素点提取出来， 保存到第一列表中， 同时标记这些像素点为已处理； 其中， 该起始点的像素值与连通于该起始点的像素点的分割值相等； 在分割后的所述固定尺寸的深度图像中的未处理的像素点中不断寻找与所述第一列 表中的点邻接且分割值相同的点， 加入到所述第一列表中， 直到所有与所述第一起始点连 通的像素点均被找到和标记为已处理， 且加入到所述第一列表中； 在分割后的所述固定尺寸的深度图像中的未处理的像素点中选。

6、择第二起始点， 并找到 和标记所有与所述第二起始点连通的像素点， 且加入第二列表中； 在分割后的所述固定尺寸的深度图像中的未处理的像素点中选择除所述第一起始点 和第二起始点外的其它起始点， 并找到和标记所有与所述其它起始点连通的像素点， 直至 分割后的所述固定尺寸的深度图像中所有点均被标记为已处理， 并得到多个列表， 每个列 表维护1个连通区域对应的所有像素点； 找到所有列表中像素点值为1且像素点数量最多的一个列表， 并确定所述像素点值为1 且像素点数量最多的一个列表对应的为手掌区域。 4.根据权利要求2所述的三维人手关键点定位方法， 其特征在于， 所述对所述手掌区域 进行归一化处理及尺寸变换。

7、， 得到归一化后的手掌区域的深度图， 包括： 选取所述手掌区域中所有像素点相对所述固定尺寸的深度图像所对应的坐标系的横 纵坐标中的最大值和最小值， 得到， 并由所述横纵坐标的最大值和最小 值得到包含人手的矩形框的对角线位置坐标； 其中， 左上角位置坐标为()， 右下角 权利要求书 1/3 页 2 CN 110852311 A 2 位置坐标为()； 通过所述矩形框对所述深度图像进行裁剪， 获取所述手掌区域的深度图， 将所述手掌 区域的深度值归一化， 并将所述手掌区域进行尺寸变换， 得到归一化后的固定大小的手掌 区域的深度图。 5.根据权利要求1所述的三维人手关键点定位方法， 其特征在于， 所述第。

8、二神经网络为 用于判断获取的所述深度图像是否属于恶意攻击的防伪卷积神经网络， 所述通过第二神经 网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌， 包括： 将所述归一化后的手掌区域的深度图送入第二神经网络中； 通过所述第二神经网络得到判断值， 并通过所述判断值判断所述归一化后的手掌区域 的深度图对应的实际场景中是否包含真人手掌； 其中， 所述第二神经网络包括5个卷积层和 3个全连接层， 卷积层的卷积核大小均为3*3， 输出特征图的数目分别为32,64,128,256, 512,前三个卷积层后接降采样层， 降采样窗口为3*3， 所有卷积层后接线性整流函数ReLU， 全连接层。

9、的节点数目分别为4096,1024,3， 全连接层的前两个全连接层后接Dropout函数， Dropout函数用于将输出以预先设定概率随机置零， 以防止过拟合， 全连接层的最后一层的 3个节点表示3个类别， 分别代表真人手掌、 图片攻击、 视频攻击。 6.根据权利要求4所述的三维人手关键点定位方法， 其特征在于， 所述第三神经网络为 卷积神经网络， 所述通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐 标， 并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深 度图像中的手掌的关键点坐标， 包括： 将所述归一化后的手掌区域的深度图送入第三神经网络中， 由所述第。

10、三神经网络输出 归一化后的手掌区域的关键点的预测坐标值， 所述预测坐标值的数量为m*3个， m表示手掌 关键点的数目， 每个所述坐标值表示横坐标、 纵坐标或深度值； 将所述预测坐标值转换为未做尺寸变换前的手掌区域中的坐标值； 其中， 转换公式为： （1） 其中， 和分别为尺寸变换过程中宽和高伸缩因子，（xi , yi） 分别为所述关键点的 预测的坐标值中的横坐标和纵坐标，（xi ,yi ） 分别为未做尺寸变换前的手掌区域中的关 键点的坐标值中的横坐标和纵坐标， m为关键点的数量； 将所述未做尺寸变换前的手掌区域中的关键点的坐标值中的横纵坐标值分别加上未 做尺寸变换前的手掌区域中所有像素点相对所。

11、述固定尺寸的深度图像所对应的坐标系的 横纵坐标中的最小值()， 得到所述固定尺寸的深度图像中的手掌的关键点坐标。 7.一种三维人手关键点定位装置， 其特征在于， 包括： 获取模块， 用于获取实际场景的深度图像； 分割模块， 用于通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的 手掌区域； 归一模块， 用于对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的手掌区 域的深度图； 权利要求书 2/3 页 3 CN 110852311 A 3 防伪模块， 用于通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际 场景中是否包含真人手掌； 定位模块， 用于在所述防伪模块检测到。

12、深度图对应的实际场景中包含真人手掌时， 通 过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预测的所述 归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关 键点坐标。 8.根据权利要求7所述的三维人手关键点定位装置， 其特征在于， 所述分割模块包括： 变换单元， 用于对所述深度图像进行尺寸变换， 得到固定尺寸的深度图像； 分割单元， 用于将所述固定尺寸的深度图像输入到第一神经网络， 使用所述第一神经 网络对所述固定尺寸的深度图像进行手掌区域分割； 去噪单元， 用于对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理， 得 到分割后的手掌区域。。

13、 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1-6中 任一项所述方法的步骤。 10.一种计算机可读介质， 所述计算机可读介质存储有计算机程序， 其特征在于， 所述 计算机程序被处理执行时实现如权利要求1-6中任一项所述方法的步骤。 权利要求书 3/3 页 4 CN 110852311 A 4 一种三维人手关键点定位方法及装置 技术领域 0001 本发明属于人工智能技术领域， 具体是涉及到一种三维人手关键点定位方法、 装 置、 终端设备及计算机可读介质。 背景技术 0002 掌纹。

14、、 掌脉等生物特征识别技术以及手势识别技术均需要对图像进行手掌检测和 关键点定位。 掌纹识别中， 快速准确识别手掌区域是关键， 会影响到掌纹识别的性能。 手势 识别过程中， 如果能够获得人手指、 手掌的关节点的坐标位置， 就可以通过手指和手掌的相 对位置关系判断手势。 因此， 手掌区域定位和手掌关键点定位非常重要。 已有的手掌关键点 检测主要基于二维RGB图像或者近红外图像进行检测， 主要技术包括三类。 第一类是利用手 掌的颜色信息进行手掌与背景的分割， 并根据手掌的轮廓信息进行关键点位置推断； 第二 类是直接使用轮廓提取算法对图像中的手掌进行轮廓提取， 获得包含手指、 手掌、 手腕等部 位的。

15、轮廓信息， 并依据此信息进行进一步的关键点推断； 第三类是利用深度学习技术， 对图 像使用物体检测的深度神经网络， 直接得到包含手掌的矩形框， 然后定位手指指节纹线线 段， 进而获得手指、 手掌的关节点位置， 即关键点位置。 0003 与本发明最相近的专利为CN 108427942 A， 该专利包括以下步骤： S1、 采集训练样 本； S2、 构建网络模型： 构建CNN （卷积神经网络） 特征提取网络、 RPN （区域生成网络） 候选区 域提取网络和判别网络； S3、 训练网络模型： 初始化CNN特征提取网络、 RPN候选区域提取网 络和判别网络； S4、 构建检测模型； S5： 手掌检测和关。

16、键点定位。 该专利提出的技术使用了当 时性能最高的物体检测框架Faster R-CNN进行手掌区域快速定位， 并使用关键点定位网络 模型对待检测的手掌图像进行手掌轮廓检测与关键点定位。 该专利使用近红外图像作为物 体检测框架和关键点定位网络模型的输入， 与RGB图像相比， 受光线影响相对较小， 但光线 依然会造成影响， 同时无法防伪， 如果使用打印好的静态二维手掌图片， 也能够直接识别， 这使得后续的生物特征识别和手势识别不可靠。 此外， 该专利使用二维近红外图像做关键 点定位， 无法定位关键点的三维信息， 当手掌存在角度偏转时， 二维图片的手势识别会受到 严重影响。 发明内容 0004 有鉴。

17、于此， 本发明实施例提供一种三维人手关键点定位方法、 装置、 终端设备及计 算机可读介质， 能够提高人手关键点三维定位的实用性和可靠性。 0005 本发明实施例的第一方面提供了一种三维人手关键点定位方法， 包括： 获取实际场景的深度图像； 通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的手掌区域； 对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的手掌区域的深度图； 通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包 含真人手掌； 说明书 1/8 页 5 CN 110852311 A 5 若包含， 则通过第三神经网络预测所述归一化后的手掌区域的深度图的。

18、关键点坐标， 并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度 图像中的手掌的关键点坐标。 0006 本发明实施例的第二方面提供了一种三维人手关键点定位装置， 包括： 获取模块， 用于获取实际场景的深度图像； 分割模块， 用于通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的 手掌区域； 归一模块， 用于对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的手掌区 域的深度图； 防伪模块， 用于通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际 场景中是否包含真人手掌； 定位模块， 用于在所述防伪模块检测到深度图对应的实际场景中包含真人手掌时。

19、， 通 过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预测的所述 归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关 键点坐标。 0007 本发明实施例的第三方面提供了一种终端设备， 包括存储器、 处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时 实现上述三维人手关键点定位方法的步骤。 0008 本发明实施例的第四方面提供了一种计算机可读介质， 所述计算机可读介质存储 有计算机程序， 所述计算机程序被处理执行时实现上述三维人手关键点定位方法的步骤。 0009 本发明实施例提供的三维人手关键点定位。

20、方法， 可获取实际场景的深度图像， 通 过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的手掌区域， 对所述手掌 区域进行归一化处理及尺寸变换， 得到归一化后的手掌区域的深度图， 并通过第二神经网 络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌， 若包含， 则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预测的 所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌 的关键点坐标， 从而可提高人手关键点三维定位的实用性和可靠性。 附图说明 0010 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例或现有技。

21、术描述 中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些 附图获得其他的附图。 0011 图1是本发明实施例提供的一种三维人手关键点定位方法的流程图； 图2本发明实施例提供的一种三维人手关键点定位装置的结构示意图； 图3是图2中的分割模块的细化结构示意图； 图4是图2中的防伪模块的细化结构示意图； 图5是本发明实施例提供的终端设备的示意图。 说明书 2/8 页 6 CN 110852311 A 6 具体实施方式 0012 以下描述中， 为了说明而不是为了限定， 提出了诸如特。

22、定系统结构、 技术之类的具 体细节， 以便透彻理解本发明实施例。 然而， 本领域的技术人员应当清楚， 在没有这些具体 细节的其它实施例中也可以实现本发明。 在其它情况中， 省略对众所周知的系统、 装置、 电 路以及方法的详细说明， 以免不必要的细节妨碍本发明的描述。 0013 为了说明本发明所述的技术方案， 下面通过具体实施例来进行说明。 0014 请参阅图1， 图1是本发明实施例提供的一种三维人手关键点定位方法。 如图1所 示， 本实施例的三维人手关键点定位方法包括以下步骤： S101： 获取实际场景的深度图像。 0015 在本发明实施例中， 在实际场景下， 可通过深度摄像头设备获取待识别的。

23、深度 （depth） 图像。 深度图像中的每个像素点的值表示该像素点上的物体距离深度摄像头的距 离值。 0016 S102： 通过第一神经网络对所述深度图像进行手掌区域分割， 得到分割后的手掌 区域。 0017 在本发明实施例中， 可对所述深度图像进行尺寸变换， 得到固定尺寸的深度图像； 再可将所述固定尺寸的深度图像输入到第一神经网络， 使用所述第一神经网络对所述固定 尺寸的深度图像进行手掌区域分割； 最后可对进行手掌区域分割后的所述固定尺寸的深度 图像进行去噪处理， 得到分割后的手掌区域。 更具体地， 所述第一神经网络为卷积神经网 络， 该卷积神经网络包括一个编码器和一个解码器。 编码器中包。

24、含四个8层卷积层， 每个卷 积层后连接一个激活函数层， 激活函数优选为线性整流函数， 即ReLU。 前面6个卷积层后接 降采样层， 降采样窗口大小为2*2， 后面2个卷积层后不接降采样层。 8个卷积层的卷积核大 小均为3*3， 输出特征图的数目分别为64 , 64 , 128 , 128 , 256 , 256 , 512 , 512。 解码器与编码器连接， 解码器的输入为编码器的输出， 解码器包含9个卷积层， 前面8个卷积 层后接激活函数ReLU， 最后1个卷积层接激活函数Sigmoid。 解码器的前面6个卷积层+激活 函数层之后接升采样层， 升采样窗口为2*2， 解码器的后面3个卷积层+激。

25、活函数层后不接升 采样层。 解码器的前面8个卷积层的卷积核大小均为3*3， 输出特征图的数目分别为256 , 256 , 128 , 128 , 64 , 64 , 32 , 32。 解码器的最后1个卷积层的卷积核大小为1*1， 输 出特征图的数目为1。 解码器输出的大小与卷积神经网络的输入大小一致， 表示每个像素点 是否属于手掌区域， 若属于则该点值为1， 若不属于， 则该点值为0。 进一步地， 由第一神经网 络输出的分割后的手掌区域， 往往包含噪声， 例如一些非手掌的连通区域被误判为手掌区 域， 因此需要对第一神经网络输出的分割后的手掌区域进行去噪处理， 得由第一神经网络 输出的分割后的手。

26、掌区域中仅包含一个有手掌的连通区域 （即手掌区域） ， 其他连通区域均 消除。 去噪的具体方法可以为： 1） 在分割后的所述固定尺寸的深度图像中选择第一起始点， 从该起始点开始把附近与该起始点连通的像素点提取出来， 保存到第一列表中， 同时标记 这些像素点为已处理； 其中， 该起始点的像素值与连通于该起始点的像素点的分割值相等； 2） 在分割后的所述固定尺寸的深度图像中的未处理的像素点中不断寻找与所述第一列表 中的点邻接且分割值相同的点， 加入到所述第一列表中， 直到所有与所述第一起始点连通 的像素点均被找到和标记为已处理， 且加入到所述第一列表中； 3） 在分割后的所述固定尺 寸的深度图像中。

27、的未处理的像素点中选择第二起始点， 并找到和标记所有与所述第二起始 说明书 3/8 页 7 CN 110852311 A 7 点连通的像素点， 且加入所述第二列表中； 4） 在分割后的所述固定尺寸的深度图像中的未 处理的像素点中选择处所述第一起始点和第二起始点外的其它起始点， 并找到和标记所有 与所述其它起始点连通的像素点， 直至分割后的所述固定尺寸的深度图像中所有点均被标 记为已处理， 并得到多个列表， 每个列表维护1个连通区域对应的所有像素点； 5） 找到所有 列表中像素点值为1且像素点数量最多的一个列表， 并确定所述像素点值为1且像素点数量 最多的一个列表对应的为手掌区域。 0018 S。

28、103： 对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的手掌区域的 深度图。 0019 在本发明实施例中， 选取所述手掌区域中所有像素点相对S102中的所述固定尺寸 的深度图像所对应的坐标系的横纵坐标中的最大值和最小值， 得到， 并由所述横纵坐标的最大值和最小值得到包含人手的矩形框的对角线位置坐标； 其中， 左 上角位置坐标为()， 右下角位置坐标为()； 再可通过所述矩形框对所述 深度图像进行裁剪， 获取所述手掌区域的深度图， 将所述手掌区域的深度值归一化， 并将所 述手掌区域进行尺寸变换， 得到归一化后的固定大小的手掌区域的深度图。 0020 S104： 通过第二神经网络判断所述。

29、归一化后的手掌区域的深度图对应的实际场景 中是否包含真人手掌。 0021 在本发明实施例中， 将所述归一化后的手掌区域的深度图送入第二神经网络中； 再可通过所述第二神经网络得到判断值， 并通过所述判断值判断所述归一化后的手掌区域 的深度图对应的实际场景中是否包含真人手掌； 其中， 所述第二神经网络包括5个卷积层和 3个全连接层， 卷积层的卷积核大小均为3*3， 输出特征图的数目分别为32 , 64 , 128 , 256 , 512 ,前三个卷积层后接降采样层， 降采样窗口为3*3， 所有卷积层后接ReLU激活函 数， 全连接层的节点数目分别为4096 , 1024 , 3， 全连接层的前两个。

30、全连接层后接 Dropout函数， Dropout函数用于将输出以一定概率随机置零， 以防止过拟合， 全连接层的最 后一层的3个节点表示3个类别， 分别代表真人手掌、 图片攻击、 视频攻击。 若判断出所述归 一化后的手掌区域的深度图对应的实际场景中包含真人手掌， 则本流程转至S105； 若判断 出所述归一化后的手掌区域的深度图对应的实际场景中不包含真人手掌 （例如， 包含的是 图片或视频） ， 则本流程回到S101重新获取实际场景的深度图像。 0022 S105： 通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实。

31、际场景的深度 图像中的手掌的关键点坐标。 在本发明实施例中， 将所述归一化后的手掌区域的深度图送入第三神经网络中， 由所 述第三神经网络输出归一化后的手掌区域的关键点的预测坐标值， 所述预测坐标值的数量 为m*3个， m表示手掌关键点的数目， 每个所述坐标值表示横坐标、 纵坐标或深度值， 例如， 总 共m个关键点， 第一个关键点的坐标值为 （x1 , y1 , d1） ,第二个关键点的坐标值为 （x2 , y2 , d2） 第m个关键点的坐标值为 （xm , ym , dm） ； 然后可将所述预测坐标值转换为 未做尺寸变换前的手掌区域 （S102中的手掌区域） 中的坐标值； 其中， 转换公式为。

32、： （1） 说明书 4/8 页 8 CN 110852311 A 8 其中，和分别为尺寸变换过程中宽和高伸缩因子，（xi , yi） 分别为所述关键点 的预测的坐标值中的横坐标和纵坐标，（xi ,yi ） 分别为未做尺寸变换前的手掌区域中的 关键点的坐标值中的横坐标和纵坐标， m为关键点的数量； 最后可将将所述未做尺寸变换前 的手掌区域中的关键点的坐标值中的横纵坐标值分别加上未做尺寸变换前的手掌区域中 所有像素点相对所述固定尺寸的深度图像所对应的坐标系的横纵坐标中的最小值( )， 得到S102中的所述固定尺寸的深度图像中的手掌的关键点坐标， 再结合所述固 定尺寸的深度图像中各个关键的深度值， 。

33、即可得到关键点在三维空间的坐标。 优选地， 所述 第三神经网络为卷积神经网络， 该卷积神经网络采用如下结构： 共包含8个卷积层和3个全 连接层， 卷积层的卷积核大小均为3*3， 卷积层输出的特征图数量分别为32 , 32 , 64 , 64 , 128, 128 , 256 , 256， 每个卷积层后均接一个ReLU激活函数层， 前4个卷积层和激 活函数层之后均接一个降采样层， 降采样窗口大小为2*2， 全连接层的节点数目分别为 4096,2048,m*3， 前两个全连接层后接ReLU激活函数， 再接Dropout函数， Dropout可以将输 出以一定概率随机置零。 0023 在图1提供的三。

34、维人手定位方法中， 由于深度信息 （深度图像） 作为输入， 对光照不 敏感， 极端光线条件下仍然可以进行人手的定位工作， 实用性更高。 再者， 本发明实施例提 供的三维防伪算法能够有效防止图片、 视频的恶意攻击， 提高人手定位的可靠性。 此外， 本 发明实施例可以直接得到关键点在三维空间的坐标， 当手掌存在偏转时， 可以在三维空间 进行角度变换， 得到正面手掌， 因此在后续手势识别算法受到的负面影响更小。 0024 请参阅图2， 图2是本发明实施例提供的一种三维人手关键点定位装置的结构框 图。 如图2所示， 本实施例的三维人手关键点定位装置2包括获取模块21、 分割模块22、 归一 模块23、。

35、 防伪模块24和定位模块25。 获取模块21、 分割模块22、 归一模块23、 防伪模块24和定 位模块25分别用于执行图1中的S101、 S102、 S103、 S104和S105中的具体方法， 详情可参见图 1的相关介绍， 在此仅作简单描述： 获取模块21， 用于获取实际场景的深度图像。 0025 分割模块22， 用于通过第一神经网络对所述深度图像进行手掌区域分割， 得到分 割后的手掌区域。 0026 归一模块23， 用于对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的 手掌区域的深度图。 0027 防伪模块24， 用于通过第二神经网络判断所述归一化后的手掌区域的深度图对应 的实际。

36、场景中是否包含真人手掌。 0028 定位模块25， 用于在所述防伪模块24检测到深度图对应的实际场景中包含真人手 掌时， 通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预 测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的 手掌的关键点坐标。 0029 进一步地， 可参见图3， 分割模块22可具体包括变换单元221、 分割单元222和去噪 单元223： 变换单元221， 用于对所述深度图像进行尺寸变换， 得到固定尺寸的深度图像。 0030 分割单元222， 用于将所述固定尺寸的深度图像输入到第一神经网络， 使用所述第 说明书 5/8 页 9 。

37、CN 110852311 A 9 一神经网络对所述固定尺寸的深度图像进行手掌区域分割。 0031 去噪单元223， 用于对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪 处理， 得到分割后的手掌区域。 0032 进一步地， 可参见图4， 防伪模块24可具体包括输入单元241和判断单元242： 输入单元241， 用于将所述归一化后的手掌区域的深度图送入第二神经网络中。 0033 判断单元242， 用于通过所述第二神经网络得到判断值， 并通过所述判断值判断所 述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌； 其中， 所述第二神 经网络为卷积神经网络， 其包括5个卷积层和3个全连接。

38、层， 卷积层的卷积核大小均为3*3， 输出特征图的数目分别为32,64,128,256,512,前三个卷积层后接降采样层， 降采样窗口为 3*3， 所有卷积层后接线性整流函数ReLU， 全连接层的节点数目分别为4096,1024,3， 全连接 层的前两个全连接层后接Dropout函数， Dropout函数用于将输出以一定概率随机置零， 以 防止过拟合， 全连接层的最后一层的3个节点表示3个类别， 分别代表真人手掌、 图片攻击、 视频攻击。 0034 图2提供的三维人手定位装置， 可通过将深度信息 （深度图像） 作为输入， 对光照不 敏感， 因此在极端光线条件下仍然可以进行人手的定位工作， 实用。

39、性更高。 再者， 该三维人 手定位装置所采用的三维防伪算法能够有效防止图片、 视频的恶意攻击， 提高人手定位的 可靠性。 此外， 该三维人手定位装置可以直接得到关键点在三维空间的坐标， 当手掌存在偏 转时， 可以在三维空间进行角度变换， 得到正面手掌， 因此在后续手势识别算法受到的负面 影响更小。 0035 图5是本发明一实施例提供的终端设备的示意图。 如图5所示， 该实施例的终端设 备5包括： 处理器50、 存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计 算机程序52， 例如进行三维人手关键点定位方法的程序。 所述处理器50执行所述计算机程 序52时实现上述方法实施例中的。

40、步骤， 例如， 图1所示的S101至S105。 或者， 所述处理器50执 行所述计算机程序52时实现上述各系统实施例中各模块/单元的功能， 例如图2所示模块21 至25的功能。 0036 示例性的， 所述计算机程序52可以被分割成一个或多个模块/单元， 所述一个或者 多个模块/单元被存储在所述存储器51中， 并由所述处理器50执行， 以完成本发明。 所述一 个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于 描述所述计算机程序52在终端设备5中的执行过程。 例如， 所述计算机程序52可以被分割成 获取模块21、 分割模块22、 归一模块23、 防伪模块24和定位模。

41、块25。（虚拟系统中的模块） ， 各 模块具体功能如下： 获取模块21， 用于获取实际场景的深度图像。 0037 分割模块22， 用于通过第一神经网络对所述深度图像进行手掌区域分割， 得到分 割后的手掌区域。 0038 归一模块23， 用于对所述手掌区域进行归一化处理及尺寸变换， 得到归一化后的 手掌区域的深度图。 0039 防伪模块24， 用于通过第二神经网络判断所述归一化后的手掌区域的深度图对应 的实际场景中是否包含真人手掌。 0040 定位模块25， 用于在所述防伪模块24检测到深度图对应的实际场景中包含真人手 说明书 6/8 页 10 CN 110852311 A 10 掌时， 通过第。

42、三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标， 并通过预 测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的 手掌的关键点坐标。 0041 所述终端设备5可以是桌上型计算机、 笔记本、 掌上电脑及云端服务器等计算设 备。 终端设备5可包括， 但不仅限于， 处理器50、 存储器51。 本领域技术人员可以理解， 图5仅 仅是终端设备5的示例， 并不构成对终端设备5的限定， 可以包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部件， 例如所述终端设备还可以包括输入输出设备、 网络接 入设备、 总线等。 0042 所述处理器50可以是中央处理单元(Ce。

43、ntral Processing Unit， CPU)， 还可以是 其他通用处理器、 数字信号处理器 (Digital Signal Processor， DSP)、 专用集成电路 (Application Specific Integrated Circuit， ASIC)、 现成可编程门阵列 (Field- Programmable Gate Array， FPGA) 或者其他可编程逻辑器件、 分立门或者晶体管逻辑器 件、 分立硬件组件等。 通用处理器可以是微处理器或者该处理器也可以是任何常规的处理 器等。 0043 所述存储器51可以是终端设备5的内部存储单元， 例如终端设备5的硬盘或内。

44、存。 所述存储器51也可以是终端设备5的外部存储设备， 例如所述终端设备5上配备的插接式硬 盘， 智能存储卡 （Smart Media Card, SMC） ， 安全数字 （Secure Digital, SD） 卡， 闪存卡 （Flash Card） 等。 进一步地， 所述存储器51还可以既包括终端设备5的内部存储单元也包括 外部存储设备。 所述存储器51用于存储所述计算机程序以及终端设备5所需的其他程序和 数据。 所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。 0044 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各功 能单元、 子单元、 模块的划。

45、分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配 由不同的功能单元、 子单元、 模块完成， 即将所述系统的内部结构划分成不同的功能单元、 子单元或模块， 以完成以上描述的全部或者部分功能。 实施例中的各功能单元、 子单元、 模 块可以集成在一个处理单元中， 也可以是各个单元单独物理存在， 也可以两个或两个以上 单元集成在一个单元中， 上述集成的单元或子单元等既可以采用硬件的形式实现， 也可以 采用软件功能单元的形式实现。 另外， 各功能单元、 子单元、 模块的具体名称也只是为了便 于相互区分， 并不用于限制本申请的保护范围。 上述系统中单元、 子单元、 模块的具体工作 过程， 可以。

46、参考前述方法实施例中的对应过程， 在此不再赘述。 0045 在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述或记 载的部分， 可以参见其它实施例的相关描述。 0046 本领域普通技术人员可以意识到， 结合本文中所公开的实施例描述的各示例的单 元及算法步骤， 能够以电子硬件、 或者计算机软件和电子硬件的结合来实现。 这些功能究竟 以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人员 可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超出 本发明的范围。 0047 在本发明所提供的实施例中， 应该理解到， 所揭露的系统/。

47、终端设备和方法， 可以 通过其它的方式实现。 例如， 以上所描述的系统/终端设备实施例仅仅是示意性的， 例如， 所 述模块、 单元或子单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方 说明书 7/8 页 11 CN 110852311 A 11 式， 例如多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略， 或不 执行。 另一点， 所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接 口， 装置或单元的间接耦合或通讯连接， 可以是电性， 机械或其它的形式。 0048 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显 示的。

48、部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个 网络单元上。 可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。 0049 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以 是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中。 上述集成的单 元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。 0050 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明实现上述实施 例方法中的全部或部分流程，。

49、 也可以通过计算机程序来指令相关的硬件来完成， 所述的计 算机程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时， 可实现上 述各个方法实施例的步骤。 其中， 所述计算机程序包括计算机程序代码， 所述计算机程序代 码可以为源代码形式、 对象代码形式、 可执行文件或某些中间形式等。 所述计算机可读介质 可以包括： 能够携带所述计算机程序代码的任何实体或装置、 记录介质、 U盘、 移动硬盘、 磁 碟、 光盘、 计算机存储器、 只读存储器 （ROM， Read-Only Memory） 、 随机存取存储器 （RAM， Random Access Memory） 、 电载波信号、 电信。

50、信号以及软件分发介质等。 需要说明的是， 所述 计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增 减， 例如在某些司法管辖区， 根据立法和专利实践， 计算机可读介质不包括电载波信号和电 信信号。 0051 以上所述实施例仅用以说明本发明的技术方案， 而非对其限制； 尽管参照前述实 施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 其依然可以对前述各 实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换； 而这些修改 或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围， 均应 包含在本发明的保护范围之内。 说明书 。