脚印预测方法、脚印预测装置及人形机器人.pdf

《脚印预测方法、脚印预测装置及人形机器人.pdf》由会员分享，可在线阅读，更多相关《脚印预测方法、脚印预测装置及人形机器人.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010772561.9 (22)申请日 2020.08.04 (71)申请人 深圳市优必选科技股份有限公司 地址 518000 广东省深圳市南山区学苑大 道1001号南山智园C1栋16、 22楼 (72)发明人 罗志平刘翔程骏庞建新 熊友军 (74)专利代理机构 深圳中一联合知识产权代理 有限公司 44414 代理人 肖遥 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06T 17/05(2011.01) G06T 1。

2、7/20(2006.01) G05D 1/02(2020.01) (54)发明名称 一种脚印预测方法、 脚印预测装置及人形机 器人 (57)摘要 本申请适用于机器人领域， 公开了一种脚印 预测方法、 脚印预测装置、 人形机器人及计算机 可读存储介质。 其中， 该方法包括： 获取人形机器 人在移动方向上的环境深度图； 基于所述环境深 度图构建环境三维模型； 在所述环境三维模型中 筛选出平坦区域； 将所述平坦区域确定为目标脚 印， 其中， 所述目标脚印为所述人形机器人的足 部的未来落脚点。 通过本申请方案， 可基于视觉 对人形机器人进行脚印预测， 实现复杂地形下的 自主路径规划。 权利要求书2页 。

3、说明书9页 附图5页 CN 112084853 A 2020.12.15 CN 112084853 A 1.一种脚印预测方法， 其特征在于， 包括： 获取人形机器人在移动方向上的环境深度图； 基于所述环境深度图构建环境三维模型； 在所述环境三维模型中筛选出平坦区域； 将所述平坦区域确定为目标脚印， 其中， 所述目标脚印为所述人形机器人的足部的未 来落脚点。 2.如权利要求1所述的脚印预测方法， 其特征在于， 所述环境三维模型由三角形网格表 示， 所述在所述环境三维模型中筛选出平坦区域， 包括： 计算所述环境三维模型中各个三角形网格的法线及曲率； 基于各个三角形网格的法线及曲率进行聚类， 得到至。

4、少一个平坦区域。 3.如权利要求2所述的脚印预测方法， 其特征在于， 所述计算所述环境三维模型中各个 三角形网格的法线及曲率， 包括： 针对每个三角形网格， 计算所述三角形网格中各个顶点的法线及曲率； 基于所述三角形网格中各个顶点的法线及曲率， 计算所述三角形网格中顶点的法线均 值及曲率均值； 将所述法线均值确定为所述三角形网格的法线， 并将所述曲率均值确定为所述三角形 网格的曲率。 4.如权利要求2所述的脚印预测方法， 其特征在于， 所述基于各个三角形网格的法线及 曲率进行聚类， 得到至少一个平坦区域， 包括： 将曲率最小的三角形网格确定为初始的种子网格； 检测所述种子网格的邻域网格的法线是。

5、否满足预设的法线条件， 并检测所述种子网格 的邻域网格的曲率是否满足预设的曲率条件； 若所述邻域网格的法线满足所述法线条件， 则将所述邻域网格加入至初始的种子网格 所在的当前区域， 以实现所述当前区域的更新； 若所述邻域网格的曲率满足所述曲率条件， 则将所述邻域网格确定为新的种子网格， 并返回执行所述检测所述种子网格的邻域网格的法线是否满足预设的法线条件， 并检测所 述种子网格的邻域网格的曲率是否满足预设的曲率条件的步骤及后续步骤， 直至无法产生 新的种子网格为止； 将更新后的所述当前区域确定为一个平坦区域。 5.如权利要求4所述的脚印预测方法， 其特征在于， 所述检测所述种子网格的邻域网格 。

6、的法线是否满足预设的法线条件， 包括： 计算所述邻域网格的法线与所述种子网格的法线之间的夹角； 检测所述夹角是否小于预设的夹角阈值； 若所述夹角小于所述夹角阈值， 则确定所述邻域网格的法线满足所述法线条件。 6.如权利要求4所述的脚印预测方法， 其特征在于， 所述检测所述种子网格的邻域网格 的曲率是否满足预设的曲率条件， 包括： 检测所述邻域网格的曲率是否小于预设的曲率阈值； 若所述邻域网格的曲率小于所述曲率阈值， 则确定所述邻域网格的曲率满足所述曲率 条件。 权利要求书 1/2 页 2 CN 112084853 A 2 7.如权利要求1所述的脚印预测方法， 其特征在于， 若存在至少两个平坦区。

7、域， 则所述 将所述平坦区域确定为目标脚印， 包括： 针对每个平坦区域， 获取所述平坦区域的最小矩形包围框； 检测所述最小矩形包围框的尺寸是否满足预设的尺寸条件， 其中， 所述尺寸条件与所 述人形机器人的足部的尺寸相关； 若所述最小矩形包围框的尺寸满足所述尺寸条件， 则将所述平坦区域确定为目标脚 印。 8.一种脚印预测装置， 其特征在于， 包括： 获取单元， 用于获取人形机器人在移动方向上的环境深度图； 构建单元， 用于基于所述环境深度图构建环境三维模型； 筛选单元， 用于在所述环境三维模型中筛选出平坦区域； 确定单元， 用于将所述平坦区域确定为目标脚印， 其中， 所述目标脚印为所述人形机器 。

8、人的足部的未来落脚点。 9.一种人形机器人， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至 7任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。 权利要求书 2/2 页 3 CN 112084853 A 3 一种脚印预测方法、 脚印预测装置及人形机器人 技术领域 0001 本申请属于机器人技术领域， 尤其涉及一种脚印预测方法、 脚印预测装置、 人形机 器人及计算机可读存储。

9、介质。 背景技术 0002 机器人在完成指定任务时， 需要规划其在空间中的期望运动路径， 才能对空间中 的障碍物进行规避。 而人形机器人相较于其他移动机器人来说， 不仅仅需要规划出路线， 还 需要预测双足的下一步脚印， 这给人形机器人的移动控制带来一定难度。 发明内容 0003 本申请提供了一种脚印预测方法、 脚印预测装置、 人形机器人及计算机可读存储 介质， 可基于视觉对人形机器人进行脚印预测， 实现复杂地形下的自主路径规划。 0004 第一方面， 本申请提供了一种脚印预测方法， 包括： 0005 获取人形机器人在移动方向上的环境深度图； 0006 基于上述环境深度图构建环境三维模型； 00。

10、07 在上述环境三维模型中筛选出平坦区域； 0008 将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述人形机器人的足部 的未来落脚点。 0009 第二方面， 本申请提供了一种脚印预测装置， 包括： 0010 获取单元， 用于获取人形机器人在移动方向上的环境深度图； 0011 构建单元， 用于基于上述环境深度图构建环境三维模型； 0012 筛选单元， 用于在上述环境三维模型中筛选出平坦区域； 0013 确定单元， 用于将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述人形 机器人的足部的未来落脚点。 0014 第三方面， 本申请提供了一种人形机器人， 上述人形机器人包括存储器、。

11、 处理器以 及存储在上述存储器中并可在上述处理器上运行的计算机程序， 上述处理器执行上述计算 机程序时实现如上述第一方面的方法的步骤。 0015 第四方面， 本申请提供了一种计算机可读存储介质， 上述计算机可读存储介质存 储有计算机程序， 上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。 0016 第五方面， 本申请提供了一种计算机程序产品， 上述计算机程序产品包括计算机 程序， 上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。 0017 由上可见， 通过本申请方案， 首先获取人形机器人在移动方向上的环境深度图， 然 后基于上述环境深度图构建环境三维模型， 并。

12、在上述环境三维模型中筛选出平坦区域， 最 后将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述人形机器人的足部的未来 落脚点。 上述过程中， 采用环境深度图构建环境三维模型， 并在该三维模型中筛选出可以落 足的平坦区域， 不再基于距离传感器检测障碍物进行脚印预测， 而是基于视觉进行脚印预 说明书 1/9 页 4 CN 112084853 A 4 测， 可实现复杂地形下的自主路径规划。 可以理解的是， 上述第二方面至第五方面的有益效 果可以参见上述第一方面中的相关描述， 在此不再赘述。 附图说明 0018 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例或现有技术描述 中所需要。

13、使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附 图获得其他的附图。 0019 图1是本申请实施例提供的搭载有深度相机的人形机器人的示例图； 0020 图2是本申请实施例提供的脚印预测方法的实现流程示意图； 0021 图3是本申请实施例提供的环境三维模型的示例图； 0022 图4是本申请实施例提供的脚印预测方法中步骤203的具体实现流程示意图； 0023 图5是本申请实施例提供的脚印预测方法中步骤2032的具体实现流程示意图； 0024 图6是本申请实施例提供的最小矩形包围框的示例。

14、图； 0025 图7是本申请实施例提供的目标脚印的示例图； 0026 图8是本申请实施例提供的脚印预测装置的结构框图； 0027 图9是本申请实施例提供的人形机器人的结构示意图。 具体实施方式 0028 以下描述中， 为了说明而不是为了限定， 提出了诸如特定系统结构、 技术之类的具 体细节， 以便透彻理解本申请实施例。 然而， 本领域的技术人员应当清楚， 在没有这些具体 细节的其它实施例中也可以实现本申请。 在其它情况中， 省略对众所周知的系统、 装置、 电 路以及方法的详细说明， 以免不必要的细节妨碍本申请的描述。 0029 为便于理解本申请实施例所提供的脚印预测方法， 下面先对人形机器人作。

15、出介 绍。 请参阅图1， 在该人形机器人中的头部、 腰部或其它部位预先搭载有深度相机， 其中， 该 深度相机可以是ToF(Time of Flight)相机， 也可以是RGB-D相机， 此处不对该深度相机的 具体类型作出限定。 该深度相机的拍摄视角为前下方。 本申请实施例不对该深度相机的水 平场视角、 竖直场视角及所输出的深度图像的帧率作出限定。 仅作为示例， 可以将深度相机 的水平场视角设置为60度， 将竖直场视角设置为45度， 将深度相机所输出的深度图像的帧 率设置为不低于30fps(Frames Per Second)。 基于所设定的竖直场视角， 深度相机可以采 集得到前方地面区域一定距。

16、离内(例如2米内)的深度图像。 0030 下面对本申请实施例提供的一种脚印预测方法进行描述。 请参阅图2， 本申请实施 例中的脚印预测方法包括： 0031 步骤201， 获取人形机器人在移动方向上的环境深度图； 0032 在本申请实施例中， 人形机器人通常情况可通过控制双足向前移动。 在向前移动 时， 可通过前文所述的搭载于人形机器人身上的深度相机拍摄获得该人形机器人在移动方 向上的环境深度图。 考虑到该深度相机为朝向前下方拍摄， 因而， 该环境深度图主要用于表 示地面的深度信息。 0033 步骤202， 基于上述环境深度图构建环境三维模型； 说明书 2/9 页 5 CN 112084853 。

17、A 5 0034 在本申请实施例中， 该人形机器人可以继续对环境深度图进行网格化处理， 以实 现环境三维模型的构建， 其中， 该环境三维模型可以由三角形网格表示。 该环境三维模型的 构建过程如下： 人形机器人定义前方地面空间为一个立方体网格， 并将环境深度图转换为 三维空间点云； 根据当前该深度相机的相机姿态及相机内参， 即可将环境深度图映射至已 定义的立方体网格中进行网格化处理， 得到与该环境深度图相对应的环境三维模型。 其中， 上述网格化处理， 指的是将立方体网格中有效距离场(Signed Distance Field， SDF)的值 为0的位置连接起来， 再通过预设的算法(例如march。

18、ing cube算法)构建出三角形网格的顶 点。 需要注意的是， 该环境三维模型会跟随人形机器人的移动而不断发生更新， 此处不再赘 述该环境三维模型的更新过程。 请参阅图3， 图3给出了一环境三维模型的示例。 0035 在一些实施例中， 可以是人形机器人在获取得到了若干帧(例如10帧)环境深度图 之后， 将该若干帧环境深度图进行融合， 再基于融合后的环境深度图构建得到环境三维模 型。 0036 步骤203， 在上述环境三维模型中筛选出平坦区域； 0037 在本申请实施例中， 可以将所得到的环境三维模型视为三维地形图。 因而， 人形机 器人可将环境三维模型作为基础， 从该环境三维模型中筛选出平坦。

19、区域。 请参阅图4， 人形 机器人可以根据三角形网格的法线及曲率筛选出平坦区域， 则该步骤203可以包括： 0038 步骤2031， 计算上述环境三维模型中各个三角形网格的法线及曲率； 0039 考虑到人形机器人可通过同样的处理流程得到每个三角形网格的法线及曲率， 因 而， 此处以任意一个三角形网格为例， 对三角形网格的法线及曲率的计算过程作出解释及 说明： 0040 人形机器人先计算出三角形网格中各个顶点的法线及曲率， 然后基于各个顶点的 法线及曲率， 计算出该三角形网格的法线均值及曲率均值， 该法线均值即为该三角形网格 的法线； 同样地， 该曲率均值即为该三角形网格的曲率。 其中， 三角形。

20、网格的顶点的法线为 以该顶点作为起点的两条边向量的叉积， 该法线同时与以该顶点作为起点的两条边向量相 垂直。 0041 步骤2032， 基于各个三角形网格的法线及曲率进行聚类， 得到至少一个平坦区域。 0042 通过三角形网格的法线及曲率， 可以对三角形网格进行聚类， 使得处于相同平面 的三角形网格可以被划分至一起， 以此得到至少一个平坦区域。 请参阅图5， 上述聚类过程 可以包括： 0043 A1、 将曲率最小的三角形网格确定为初始的种子网格； 0044 其中， 人形机器人可遍历给定范围内所有的三角形网格的曲率， 从中查找出曲率 最小的三角形网格， 并将该三角形网格确定为初始的种子网格。 可。

21、以认为， 曲率最小的三角 形网格为最平滑的区域， 可将其作为一平坦区域的起始状态， 逐步向外查找， 以实现平坦区 域的探索。 并且， 从最平滑的区域开始向外查找， 可以减少分割片段的总数， 以此提高对平 坦区域进行查找的效率。 0045 A2、 检测上述种子网格的邻域网格的法线是否满足预设的法线条件， 并检测上述 种子网格的邻域网格的曲率是否满足预设的曲率条件； 0046 其中， 对于一种子网格来说， 该种子网格的邻域网格的法线是否满足预设的法线 条件可通过如下过程实现： 先计算该邻域网格的法线与该种子网格的法线之间的夹角， 接 说明书 3/9 页 6 CN 112084853 A 6 着再检。

22、测该夹角是否小于预设的夹角阈值， 若所该夹角小于该夹角阈值， 则确定该邻域网 格的法线满足该法线条件。 反之， 若该夹角大于或等于该夹角阈值， 则确定该邻域网格的法 线不满足该法线条件。 0047 其中， 对于一种子网格来说， 该种子网格的邻域网格的曲率是否满足预设的曲率 条件可通过如下过程实现： 检测该邻域网格的曲率是否小于预设的曲率阈值， 若该邻域网 格的曲率小于上述曲率阈值， 则确定该邻域网格的曲率满足上述曲率条件。 反之， 若该邻域 网格的曲率大于或等于该曲率阈值， 则确定该邻域网格的曲率不满足该曲率条件。 0048 A3、 若上述邻域网格的法线满足上述法线条件， 则将上述邻域网格加入。

23、至初始的 种子网格所在的当前区域， 以实现上述当前区域的更新； 0049 其中， 检测邻域网格的法线是否满足法线条件是为了对初始的种子网格所在的当 前区域进行更新。 也即， 人形机器人以初始的种子网格所在的当前区域作为平坦区域的起 始状态， 判断是否可以将种子网格的领域网格加入至该平坦区域中： 只有在邻域网格的法 线满足法线条件时， 才将该邻域网格加入至初始的种子网格所在的当前区域(也即平坦区 域)中， 以实现上述当前区域的更新。 0050 A4、 若上述邻域网格的曲率满足上述曲率条件， 则将上述邻域网格确定为新的种 子网格， 并返回执行A2； 0051 其中， 检测邻域网格的曲率是否满足曲率。

24、条件是为了对种子网格进行更新。 也即， 当有一个种子网格的邻域网格的曲率满足该曲率条件时， 即可将该邻域网格作为新的种子 网格， 并返回执行A2及后续步骤， 帮助继续对平坦区域进行查找及更新。 0052 A5、 在无法产生新的种子网格时， 将此时所得到的更新后的上述当前区域确定为 一个平坦区域。 0053 其中， 当以一个初始的种子网格为起点， 无法再产生新的种子网格(也即， 当前的 所有种子网格的邻域网格的曲率均不满足曲率条件)时， 结束本次基于该初始的种子网格 为起点的平坦区域的查找及更新。 人形机器人可以将此时所得到的更新后的当前区域确定 为一个平坦区域。 0054 在一些实施例中， 可。

25、以在开始查找平坦区域时， 创建一空的种子网格序列(也即， 种子网格序列在初始状态下为空)。 每次新产生的种子网格可以存放于该种子网格序列中； 每次对一种子网格的所有邻域网格进行了法线及曲率的检测后， 可以将该种子网格从该种 子网格序列中删除。 通过该种子网格序列， 实现对种子网格的管理。 在这种情况下， 一旦该 种子网格序列在非初始状态下已为空， 即可认为已无法产生新的种子网格。 0055 在一些实施例中， 人形机器人可以先将环境三维模型划分为若干个三维区域， 并 在每个三维区域中执行上述步骤A1至A5的操作， 以查找出各个三维区域中的平坦区域。 例 如， 将环境三维模型划分为4*4个三维区域。

26、， 并在每个三维区域中进行平坦区域的查找。 0056 在一些实施例中， 人形机器人也可以是先将曲率最小的三角形网格确定为初始的 种子网格后， 执行上述步骤A2至A5， 查找得到多个平坦区域； 随后， 在已查找到的平坦区域 之外， 获取三角形网格的曲率最小值， 并检测该曲率最小值是否小于一预设的曲率下限值； 若是， 则可将已查找到的平坦区域之外的曲率最小的三角形网格作为初始的种子网格， 并 执行步骤A2至A5的操作； 以此类推， 直至在已查找到的平坦区域之外， 三角形网格的曲率最 小值不小于上述曲率下限值为止。 说明书 4/9 页 7 CN 112084853 A 7 0057 通过上述过程， 。

27、人形机器人可以从环境三维模型中分割得到各个平坦区域。 需要 注意的是， 该平坦区域并非一定为地面。 如果实际环境中， 在地面上放置有一表面平坦且面 积较大的区域， 例如板凳， 则该板凳所在区域也可被人形机器人确定为一平坦区域。 0058 步骤204， 将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述人形机器 人的足部的未来落脚点。 0059 在本申请实施例中， 通过步骤203很可能会查找出两个以上的平坦区域。 这些平坦 区域的面积有大有小， 为了避免人形机器人因中心不稳而跌倒， 可以基于面积对查找到的 平坦区域进行筛选， 则上述步骤104可具体表现为： 针对每个平坦区域， 先获取该平。

28、坦区域 的最小矩形包围框； 随后， 检测该最小矩形包围框的尺寸是否满足预设的尺寸条件， 其中， 该尺寸条件与人形机器人的足部的尺寸相关； 若该最小矩形包围框的尺寸满足尺寸条件， 则将该平坦区域确定为目标脚印。 请参阅图6， 图6给出了基于一平坦区域构建最小矩形包 围框的示例。 需要注意的是， 人形机器人可以根据平坦区域距离自身的距离， 对该最小矩形 包围框的尺寸进行补偿。 通过上述过程， 可以过滤掉尺寸过小的平坦区域， 筛选出可供人形 机器人的足部进行踩踏的平坦区域。 0060 在一些实施例中， 在得到目标脚印后， 人形机器人还可结合双足运动控制提供的 运动范围对目标脚印进行约束； 也即， 人。

29、形机器人可以根据足部能够踏出的距离， 进一步从 目标脚印中筛选出候选脚印， 该候选脚印为可供人形机器人进行选择的下一落脚点。 请参 阅附图7， 图7中共示出了10个满足尺寸条件的目标脚印， 分别为脚印1、 2、 3、 4、 5、 6、 7、 8、 9及 10； 其中， 脚印1、 2、 3、 7、 9及10与人形机器人的距离过远； 因而， 只有脚印4、 5、 6及8可以被确 定为候选脚印； 人形机器人可以选择下一步在脚印4、 5、 6或8处落脚。 0061 由上可见， 通过本申请实施例， 人形机器人可基于自身所搭载的深度相机获取得 到环境深度图， 并基于该环境深度图进行三维重建， 获得环境三维模。

30、型； 通过对该环境三维 模型进行分析， 筛选出可供人形机器人落脚的平坦区域作为目标脚印， 方便人形机器人进 行路径规划， 减少出现人形机器人因踩上障碍物而跌倒的情况。 0062 应理解， 上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程 的执行顺序应以其功能和内在逻辑确定， 而不应对本申请实施例的实施过程构成任何限 定。 0063 对应于上文所提供的脚印预测方法， 本申请实施例还提供了一种脚印预测装置， 上述脚印预测装置可集成于人形机器人中， 参见图8， 本申请实施例中的脚印预测装置800 包括： 0064 获取单元801， 用于获取人形机器人在移动方向上的环境深度图； 006。

31、5 构建单元802， 用于基于上述环境深度图构建环境三维模型； 0066 筛选单元803， 用于在上述环境三维模型中筛选出平坦区域； 0067 确定单元804， 用于将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述 人形机器人的足部的未来落脚点。 0068 可选地， 上述环境三维模型由三角形网格表示， 上述筛选单元803， 包括： 0069 计算子单元， 用于计算上述环境三维模型中各个三角形网格的法线及曲率； 0070 聚类子单元， 用于基于各个三角形网格的法线及曲率进行聚类， 得到至少一个平 坦区域。 说明书 5/9 页 8 CN 112084853 A 8 0071 可选地， 上。

32、述计算子单元， 包括： 0072 第一计算子单元， 用于针对每个三角形网格， 计算上述三角形网格中各个顶点的 法线及曲率； 0073 第二计算子单元， 用于基于上述三角形网格中各个顶点的法线及曲率， 计算上述 三角形网格中顶点的法线均值及曲率均值； 0074 第一确定子单元， 用于将上述法线均值确定为上述三角形网格的法线， 并将上述 曲率均值确定为上述三角形网格的曲率。 0075 可选地， 上述聚类子单元， 包括： 0076 种子网格初始化子单元， 用于将曲率最小的三角形网格确定为初始的种子网格； 0077 网格检测子单元， 用于检测上述种子网格的邻域网格的法线是否满足预设的法线 条件， 并检。

33、测上述种子网格的邻域网格的曲率是否满足预设的曲率条件； 0078 区域更新子单元， 用于若上述邻域网格的法线满足上述法线条件， 则将上述邻域 网格加入至初始的种子网格所在的当前区域， 以实现上述当前区域的更新； 0079 种子网格更新子单元， 用于若上述邻域网格的曲率满足上述曲率条件， 则将上述 邻域网格确定为新的种子网格， 并触发运行上述网格检测子单元， 直至无法产生新的种子 网格为止； 0080 平坦区域确定子单元， 用于将更新后的上述当前区域确定为一个平坦区域。 0081 可选地， 上述网格检测子单元， 包括： 0082 夹角计算子单元， 用于计算上述邻域网格的法线与上述种子网格的法线之。

34、间的夹 角； 0083 夹角检测子单元， 用于检测上述夹角是否小于预设的夹角阈值； 0084 第二确定子单元， 用于若上述夹角小于预设的夹角阈值， 则确定上述邻域网格的 法线满足上述法线条件。 0085 可选地， 上述网格检测子单元， 包括： 0086 曲率检测子单元， 用于检测上述邻域网格的曲率是否小于预设的曲率阈值； 0087 第三确定子单元， 用于若上述邻域网格的曲率小于上述曲率阈值， 则确定上述邻 域网格的曲率满足上述曲率条件。 0088 可选地， 若存在至少两个平坦区域， 则上述确定单元804， 包括： 0089 包围框获取子单元， 用于针对每个平坦区域， 获取上述平坦区域的最小矩形。

35、包围 框； 0090 尺寸检测子单元， 用于检测上述最小矩形包围框的尺寸是否满足预设的尺寸条 件， 其中， 上述尺寸条件与上述人形机器人的足部的尺寸相关； 0091 目标脚印确定子单元， 用于若上述最小矩形包围框的尺寸满足上述尺寸条件， 则 将上述平坦区域确定为目标脚印。 0092 由上可见， 通过本申请实施例， 脚印预测装置可基于深度相机获取得到环境深度 图， 并基于该环境深度图进行三维重建， 获得环境三维模型； 通过对该环境三维模型进行分 析， 筛选出可供人形机器人落脚的平坦区域作为目标脚印， 方便人形机器人进行路径规划， 减少出现人形机器人因踩上障碍物而跌倒的情况。 0093 对应于上文。

36、所提供的脚印预测方法， 本申请实施例还提供了一种人形机器人， 参 说明书 6/9 页 9 CN 112084853 A 9 见图9， 本申请实施例中的人形机器人9包括： 存储器901， 一个或多个处理器902(图9中仅示 出一个)及存储在存储器901上并可在处理器上运行的计算机程序。 其中： 存储器901用于存 储软件程序以及模块， 处理器902通过运行存储在存储器901的软件程序以及单元， 从而执 行各种功能应用以及数据处理， 以获取上述预设事件对应的资源。 具体地， 处理器902通过 运行存储在存储器901的上述计算机程序时实现以下步骤： 0094 获取人形机器人在移动方向上的环境深度图；。

37、 0095 基于上述环境深度图构建环境三维模型； 0096 在上述环境三维模型中筛选出平坦区域； 0097 将上述平坦区域确定为目标脚印， 其中， 上述目标脚印为上述人形机器人的足部 的未来落脚点。 0098 假设上述为第一种可能的实施方式， 则在第一种可能的实施方式作为基础而提供 的第二种可能的实施方式中， 上述环境三维模型由三角形网格表示， 上述在上述环境三维 模型中筛选出平坦区域， 包括： 0099 计算上述环境三维模型中各个三角形网格的法线及曲率； 0100 基于各个三角形网格的法线及曲率进行聚类， 得到至少一个平坦区域。 0101 在上述第二种可能的实施方式作为基础而提供的第三种可能。

38、的实施方式中， 上述 计算上述环境三维模型中各个三角形网格的法线及曲率， 包括： 0102 针对每个三角形网格， 计算上述三角形网格中各个顶点的法线及曲率； 0103 基于上述三角形网格中各个顶点的法线及曲率， 计算上述三角形网格中顶点的法 线均值及曲率均值； 0104 将上述法线均值确定为上述三角形网格的法线， 并将上述曲率均值确定为上述三 角形网格的曲率。 0105 在上述第二种可能的实施方式作为基础而提供的第四种可能的实施方式中， 上述 基于各个三角形网格的法线及曲率进行聚类， 得到至少一个平坦区域， 包括： 0106 将曲率最小的三角形网格确定为初始的种子网格； 0107 检测上述种子。

39、网格的邻域网格的法线是否满足预设的法线条件， 并检测上述种子 网格的邻域网格的曲率是否满足预设的曲率条件； 0108 若上述邻域网格的法线满足上述法线条件， 则将上述邻域网格加入至初始的种子 网格所在的当前区域， 以实现上述当前区域的更新； 0109 若上述邻域网格的曲率满足上述曲率条件， 则将上述邻域网格确定为新的种子网 格， 并返回执行上述检测上述种子网格的邻域网格的法线是否满足预设的法线条件， 并检 测上述种子网格的邻域网格的曲率是否满足预设的曲率条件的步骤及后续步骤， 直至无法 产生新的种子网格为止； 0110 将更新后的上述当前区域确定为一个平坦区域。 0111 在上述第四种可能的实。

40、施方式作为基础而提供的第五种可能的实施方式中， 上述 检测上述种子网格的邻域网格的法线是否满足预设的法线条件， 包括： 0112 计算上述邻域网格的法线与上述种子网格的法线之间的夹角； 0113 检测上述夹角是否小于预设的夹角阈值； 0114 若上述夹角小于预设的夹角阈值， 则确定上述邻域网格的法线满足上述法线条 说明书 7/9 页 10 CN 112084853 A 10 件。 0115 在上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中， 上述 检测上述种子网格的邻域网格的曲率是否满足预设的曲率条件， 包括： 0116 检测上述邻域网格的曲率是否小于预设的曲率阈值； 0117。

41、 若上述邻域网格的曲率小于上述曲率阈值， 则确定上述邻域网格的曲率满足上述 曲率条件。 0118 在上述第一种可能的实施方式作为基础而提供的第七种可能的实施方式中， 若存 在至少两个平坦区域， 则上述将上述平坦区域确定为目标脚印， 包括： 0119 针对每个平坦区域， 获取上述平坦区域的最小矩形包围框； 0120 检测上述最小矩形包围框的尺寸是否满足预设的尺寸条件， 其中， 上述尺寸条件 与上述人形机器人的足部的尺寸相关； 0121 若上述最小矩形包围框的尺寸满足上述尺寸条件， 则将上述平坦区域确定为目标 脚印。 0122 应当理解， 在本申请实施例中， 所称处理器902可以是中央处理单元(C。

42、entral Processing Unit， CPU)， 该处理器还可以是其他通用处理器、 数字信号处理器(Digital Signal Processor， DSP)、 专用集成电路(Application Specific Integrated Circuit， ASIC)、 现成可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑 器件、 分立门或者晶体管逻辑器件、 分立硬件组件等。 通用处理器可以是微处理器或者该处 理器也可以是任何常规的处理器等。 0123 存储器901可以包括只读存储器和随机存取存储器， 并向处理器902提供指令。

43、和数 据。 存储器901的一部分或全部还可以包括非易失性随机存取存储器。 例如， 存储器901还可 以存储设备类型的信息。 0124 由上可见， 通过本申请实施例， 人形机器人可基于自身所搭载的深度相机获取得 到环境深度图， 并基于该环境深度图进行三维重建， 获得环境三维模型； 通过对该环境三维 模型进行分析， 筛选出可供人形机器人落脚的平坦区域作为目标脚印， 方便人形机器人进 行路径规划， 减少出现人形机器人因踩上障碍物而跌倒的情况。 0125 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各功 能单元、 模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功。

44、能分配由不同的 功能单元、 模块完成， 即将上述装置的内部结构划分成不同的功能单元或模块， 以完成以上 描述的全部或者部分功能。 实施例中的各功能单元、 模块可以集成在一个处理单元中， 也可 以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中， 上述集成的 单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。 另外， 各功能单 元、 模块的具体名称也只是为了便于相互区分， 并不用于限制本申请的保护范围。 上述系统 中单元、 模块的具体工作过程， 可以参考前述方法实施例中的对应过程， 在此不再赘述。 0126 在上述实施例中， 对各个实施例的描述都各有侧重， 某个。

45、实施例中没有详述或记 载的部分， 可以参见其它实施例的相关描述。 0127 本领域普通技术人员可以意识到， 结合本文中所公开的实施例描述的各示例的单 元及算法步骤， 能够以电子硬件、 或者外部设备软件和电子硬件的结合来实现。 这些功能究 竟以硬件还是软件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人 说明书 8/9 页 11 CN 112084853 A 11 员可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超 出本申请的范围。 0128 在本申请所提供的实施例中， 应该理解到， 所揭露的装置和方法， 可以通过其它的 方式实现。 例如， 以上所。

46、描述的系统实施例仅仅是示意性的， 例如， 上述模块或单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式， 例如多个单元或组件可以 结合或者可以集成到另一个系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论 的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口， 装置或单元的间接耦合或 通讯连接， 可以是电性， 机械或其它的形式。 0129 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显 示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个 网络单元上。 可以根据实际的需要选择其中的部分或者全部单元来实现。

47、本实施例方案的目 的。 0130 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用 时， 可以存储在一个计算机可读存储介质中。 基于这样的理解， 本申请实现上述实施例方法 中的全部或部分流程， 也可以通过计算机程序来指令相关联的硬件来完成， 上述的计算机 程序可存储于一计算机可读存储介质中， 该计算机程序在被处理器执行时， 可实现上述各 个方法实施例的步骤。 其中， 上述计算机程序包括计算机程序代码， 上述计算机程序代码可 以为源代码形式、 对象代码形式、 可执行文件或某些中间形式等。 上述计算机可读存储介质 可以包括： 能够携带上述计算机程序代码的任何实体或装置、 记录介。

48、质、 U盘、 移动硬盘、 磁 碟、 光盘、 计算机可读存储器、 只读存储器(ROM， Read-Only Memory)、 随机存取存储器(RAM， Random Access Memory)、 电载波信号、 电信信号以及软件分发介质等。 需要说明的是， 上述 计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当 的增减， 例如在某些司法管辖区， 根据立法和专利实践， 计算机可读存储介质不包括是电载 波信号和电信信号。 0131 以上实施例仅用以说明本申请的技术方案， 而非对其限制； 尽管参照前述实施例 对本申请进行了详细的说明， 本领域的普通技术人员应当理解： 其依然。

49、可以对前述各实施 例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换； 而这些修改或者 替换， 并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围， 均应包含 在本申请的保护范围之内。 说明书 9/9 页 12 CN 112084853 A 12 图1 图2 说明书附图 1/5 页 13 CN 112084853 A 13 图3 图4 说明书附图 2/5 页 14 CN 112084853 A 14 图5 图6 说明书附图 3/5 页 15 CN 112084853 A 15 图7 图8 说明书附图 4/5 页 16 CN 112084853 A 16 图9 说明书附图 5/5 页 17 CN 112084853 A 17 。