位姿跟踪方法及装置.pdf

《位姿跟踪方法及装置.pdf》由会员分享，可在线阅读，更多相关《位姿跟踪方法及装置.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910950626.1 (22)申请日 2019.10.08 (71)申请人 三星 （中国） 半导体有限公司 地址 710000 陕西省西安市高新区洨河北 路1999号 申请人 三星电子株式会社 (72)发明人 唐创奇李卓李宇光 (74)专利代理机构 北京铭硕知识产权代理有限 公司 11286 代理人 王皎彤曾世骁 (51)Int.Cl. G06T 7/70(2017.01) (54)发明名称 位姿跟踪方法及装置 (57)摘要 提供一种位姿跟踪方法及装置。 该位姿跟踪 方法。

2、包括： 获取跟踪对象的图像， 其中， 跟踪对象 上设置有以特定频率闪烁的标记； 从获取的图像 中获取亮度变化的像素； 基于获取的像素计算跟 踪对象的6自由度姿态， 从而降低了位姿跟踪对 LED标记特定布局的依赖性， 同时降低了位姿跟 踪的延迟， 并且提高了位姿跟踪的精度和效率。 权利要求书2页 说明书9页 附图3页 CN 110782492 A 2020.02.11 CN 110782492 A 1.一种位姿跟踪方法， 包括： 获取跟踪对象的图像， 其中， 所述跟踪对象上设置有以特定频率闪烁的标记； 从获取的图像中获取亮度变化的像素； 基于获取的像素计算所述跟踪对象的6自由度姿态。 2.根据权。

3、利要求1所述的位姿跟踪方法， 其中， 基于获取的像素计算所述跟踪对象的6 自由度姿态的步骤包括： 获取所述跟踪对象的惯性测量单元数据， 基于获取的惯性测量单元数据估计所述跟踪 对象的3自由度姿态， 其中， 所述3自由度姿态是在所述跟踪对象的本体坐标系下绕x、 y、 z三 个坐标轴旋转的姿态； 基于所述3自由度姿态和获取的像素计算所述跟踪对象的6自由度姿态， 其中， 所述6自 由度姿态是在所述跟踪对象的本体坐标系下沿x、 y、 z三个坐标轴方向的姿态和绕x、 y、 z三 个直角坐标轴旋转的姿态。 3.根据权利要求2所述的位姿跟踪方法， 其中， 基于所述3自由度姿态和获取的像素计 算所述跟踪对象的。

4、6自由度姿态的步骤包括： 基于所述3自由度姿态和获取的像素， 求解所述标记的2D点集与3D点集的对应关系， 得 到所述标记的关于2D点集与3D点集的匹配对， 其中， 所述2D点集中包括所述标记的像素坐 标， 所述3D点集中包括所述标记在所述跟踪对象的本体坐标系下的坐标； 基于所述匹配对， 计算所述跟踪对象的6自由度姿态。 4.根据权利要求3所述的位姿跟踪方法， 其中， 计算所述跟踪对象的6自由度姿态的步 骤包括： 从所述匹配对中去除重投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素 计算6自由度位姿； 对计算得到的6自由度位姿进行最小化重投影误差操作， 得到所述跟踪对象的6自由度 姿态。

5、。 5.根据权利要求3所述的位姿跟踪方法， 其中， 计算所述跟踪对象的6自由度姿态的步 骤包括： 从所述匹配对中去除重投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素 计算6自由度位姿； 对计算得到的6自由度位姿进行最小化重投影误差操作； 根据所述3自由度姿态对最小化重投影误差操作后的6自由度位姿进行优化， 得到所述 跟踪对象的6自由度姿态。 6.根据权利要求4或5所述的位姿跟踪方法， 得到所述跟踪对象的6自由度姿态之后， 还 包括： 根据所述跟踪对象的6自由度姿态对所述匹配对中的重投影误差超过预设偏差阈值的 像素进行重新匹配。 7.一种位姿跟踪装置， 包括： 图像获取单元， 被配置为。

6、获取跟踪对象的图像， 其中， 所述跟踪对象上设置有以特定频 率闪烁的标记； 像素获取单元， 被配置为从获取的图像中获取亮度变化的像素； 和 权利要求书 1/2 页 2 CN 110782492 A 2 姿态计算单元， 被配置为基于获取的像素计算所述跟踪对象的6自由度姿态。 8.一种电子装置， 包括： 相机， 用于获取跟踪对象的图像， 并且从获取的图像中获取亮度变化的像素， 其中， 所 述跟踪对象上设置有以特定频率闪烁的标记； 处理器， 用于基于所述相机获取的像素计算所述跟踪对象的6自由度姿态。 9.一种存储有计算机程序的计算机可读存储介质， 其中， 当所述计算机程序被处理器 执行时， 实现权利。

7、要求1至6中任一项所述的位姿跟踪方法。 10.一种计算装置， 包括： 处理器； 存储器， 存储有计算机程序， 当所述计算机程序被处理器执行时， 实现权利要求1至6中 任一项所述的位姿跟踪方法。 权利要求书 2/2 页 3 CN 110782492 A 3 位姿跟踪方法及装置 技术领域 0001 本公开涉及计算机视觉技术领域。 更具体地， 本公开涉及一种位姿跟踪方法及装 置。 背景技术 0002 近几年， 多种6自由度位姿估计的方法被提出并且广泛应用于机器人抓取、 虚拟现 实/增强现实和人机交互等领域。 虚拟现实和增强现实对系统延迟有很高的要求。 如果系统 对于头部运动反应较迟钝， 那么就会导致。

8、用户眩晕、 恶心。 维尔福(Valve)的系统的延迟在 7-15毫秒。 目前商用的虚拟现实(VR)追踪产品最低的延迟是15毫秒， 还不能让用户拥有完 美的沉浸式体验。 0003 当前很多光学跟踪系统都是基于互补金属氧化物半导体(CMOS)相机的。 但是这种 消费机的CMOS相机延迟一般都大于16.7毫秒(60FPS)。 硬件的限制导致这些方法不能够及 时的将用户的动作输入显示在屏幕上， 不能满足VR的低延迟要求。 0004 在一些方案中也使用主动式发光二极管(LED)标记来恢复物体的6自由度姿态。 但 是这些方法都有一些限制， 要么LED灯的数目必须是四个且是共面的， 要么计算量比超过预 设偏。

9、差阈值不能应用于实时的系统。 仅仅有4个LED灯会影响位姿跟踪的精度和系统的健壮 性， 这是因为如果其中有一个灯没有被检测到， 那么位姿解算就会失败。 另外， 暴力求解2D/ 3D点集的对应关系非常耗时， 不能够应用于LED灯较多的情况下和实时系统中。 发明内容 0005 本公开的示例性实施例在于提供一种位姿跟踪方法及装置， 以降低位姿跟踪对 LED标记特定布局的依赖性， 同时降低位姿跟踪的延迟， 并且提高位姿跟踪的精度和效率。 0006 根据本公开的示例性实施例， 提供一种位姿跟踪方法， 包括： 获取跟踪对象的图 像， 其中， 所述跟踪对象上设置有以特定频率闪烁的标记； 从获取的图像中获取亮。

10、度变化的 像素； 基于获取的像素计算所述跟踪对象的6自由度姿态， 从而降低了位姿跟踪对LED标记 特定布局的依赖性， 同时降低了位姿跟踪的延迟， 并且提高了位姿跟踪的精度和效率。 0007 可选地， 基于获取的像素计算所述跟踪对象的6自由度姿态的步骤可包括： 获取所 述跟踪对象的惯性测量单元数据， 基于获取的惯性测量单元数据估计所述跟踪对象的3自 由度姿态， 其中， 所述3自由度姿态是在所述跟踪对象的本体坐标系下绕x、 y、 z三个坐标轴 旋转的姿态； 基于所述3自由度姿态和获取的像素计算所述跟踪对象的6自由度姿态， 其中， 所述6自由度姿态是在所述跟踪对象的本体坐标系下沿x、 y、 z三个坐。

11、标轴方向的姿态和绕 x、 y、 z三个直角坐标轴旋转的姿态， 从而提高了位姿跟踪的精度和效率。 0008 可选地， 基于所述3自由度姿态和获取的像素计算所述跟踪对象的6自由度姿态的 步骤可包括： 基于所述3自由度姿态和获取的像素， 求解所述标记的2D点集与3D点集的对应 关系， 得到所述标记的关于2D点集与3D点集的匹配对， 其中， 所述2D点集中包括所述标记的 像素坐标， 所述3D点集中包括所述标记在所述跟踪对象的本体坐标系下的坐标； 基于所述 说明书 1/9 页 4 CN 110782492 A 4 匹配对， 计算所述跟踪对象的6自由度姿态， 从而提高了位姿跟踪的精度和效率。 0009 可。

12、选地， 计算所述跟踪对象的6自由度姿态的步骤可包括： 从所述匹配对中去除重 投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得 到的6自由度位姿进行最小化重投影误差操作， 得到所述跟踪对象的6自由度姿态， 从而提 高了位姿跟踪的精度和效率。 0010 可选地， 计算所述跟踪对象的6自由度姿态的步骤可包括： 从所述匹配对中去除重 投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得 到的6自由度位姿进行最小化重投影误差操作； 根据所述3自由度姿态对最小化重投影误差 操作后的6自由度位姿进行优化， 得到所述跟踪对象的6自由度姿态， 。

13、从而提高了位姿跟踪 的精度和效率。 0011 可选地， 得到所述跟踪对象的6自由度姿态之后， 所述位姿跟踪方法还可包括： 根 据所述跟踪对象的6自由度姿态对所述匹配对中的重投影误差超过预设偏差阈值的像素进 行重新匹配， 以用于后续的位姿跟踪。 0012 根据本公开的示例性实施例， 提供一种位姿跟踪装置， 包括： 图像获取单元， 被配 置为获取跟踪对象的图像， 其中， 所述跟踪对象上设置有以特定频率闪烁的标记； 像素获取 单元， 被配置为从获取的图像中获取亮度变化的像素； 和姿态计算单元， 被配置为基于获取 的像素计算所述跟踪对象的6自由度姿态， 从而降低了位姿跟踪对LED标记特定布局的依赖 性。

14、， 同时降低了位姿跟踪的延迟， 并且提高了位姿跟踪的精度和效率。 0013 可选地， 姿态计算单元可被配置为： 获取所述跟踪对象的惯性测量单元数据， 基于 获取的惯性测量单元数据估计所述跟踪对象的3自由度姿态， 其中， 所述3自由度姿态是在 所述跟踪对象的本体坐标系下绕x、 y、 z三个坐标轴旋转的姿态； 基于所述3自由度姿态和获 取的像素计算所述跟踪对象的6自由度姿态， 其中， 所述6自由度姿态是在所述跟踪对象的 本体坐标系下沿x、 y、 z三个坐标轴方向的姿态和绕x、 y、 z三个直角坐标轴旋转的姿态， 从而 提高了位姿跟踪的精度和效率。 0014 可选地， 姿态计算单元还可被配置为： 基。

15、于所述3自由度姿态和获取的像素， 求解 所述标记的2D点集与3D点集的对应关系， 得到所述标记的关于2D点集与3D点集的匹配对， 其中， 所述2D点集中包括所述标记的像素坐标， 所述3D点集中包括所述标记在所述跟踪对 象的本体坐标系下的坐标； 基于所述匹配对， 计算所述跟踪对象的6自由度姿态， 从而提高 了位姿跟踪的精度和效率。 0015 可选地， 姿态计算单元还可被配置为： 从所述匹配对中去除重投影偏差超过预设 偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得到的6自由度位姿 进行最小化重投影误差操作， 得到所述跟踪对象的6自由度姿态， 从而提高了位姿跟踪的精 度和效率。。

16、 0016 可选地， 姿态计算单元还可被配置为： 从所述匹配对中去除重投影偏差超过预设 偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得到的6自由度位姿 进行最小化重投影误差操作； 将所述3自由度姿态与最小化重投影误差操作后的6自由度位 姿进行融合， 得到所述跟踪对象的6自由度姿态， 从而提高了位姿跟踪的精度和效率。 0017 可选地， 所述位姿跟踪装置还可包括： 重新匹配单元， 被配置为在得到所述跟踪对 象的6自由度姿态之后， 根据所述跟踪对象的6自由度姿态对重投影误差超过预设偏差阈值 说明书 2/9 页 5 CN 110782492 A 5 的像素进行重新匹配， 以用于。

17、后续的位姿跟踪。 0018 根据本公开的示例性实施例， 提供一种电子装置， 包括： 相机， 用于获取跟踪对象 的图像， 并且从获取的图像中获取亮度变化的像素， 其中， 所述跟踪对象上设置有以特定频 率闪烁的标记； 处理器， 用于基于所述相机获取的像素计算所述跟踪对象的6自由度姿态， 从而降低了位姿跟踪对LED标记特定布局的依赖性， 同时降低了位姿跟踪的延迟， 并且提高 了位姿跟踪的精度和效率。 0019 根据本公开的示例性实施例， 提供一种计算机可读存储介质， 其上存储有计算机 程序， 当所述计算机程序被处理器执行时， 实现根据本公开的示例性实施例的位姿跟踪方 法。 0020 根据本公开的示例。

18、性实施例， 提供一种计算装置， 包括： 处理器； 存储器， 存储有计 算机程序， 当所述计算机程序被处理器执行时， 实现根据本公开的示例性实施例的位姿跟 踪方法。 0021 根据本公开的示例性实施例的位姿跟踪方法及装置， 通过获取跟踪对象的图像， 从获取的图像中获取亮度变化的像素， 基于获取的像素计算跟踪对象的6自由度姿态， 从而 降低了位姿跟踪对LED标记特定布局的依赖性， 同时降低了位姿跟踪的延迟， 并且提高了位 姿跟踪的精度和效率。 0022 将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点， 还有一部 分通过描述将是清楚的， 或者可以经过本公开总体构思的实施而得知。 附图说。

19、明 0023 通过下面结合示例性地示出实施例的附图进行的描述， 本公开示例性实施例的上 述和其他目的和特点将会变得更加清楚， 其中： 0024 图1示出根据本公开示例性实施例的位姿跟踪方法的流程图； 0025 图2示出跟踪对象的2D主动式LED标记跟踪结果； 0026 图3示出根据本公开示例性实施例的位姿跟踪装置的框图； 0027 图4示出根据本公开示例性实施例的电子装置的示意图； 和 0028 图5示出根据本公开示例性实施例的计算装置的示意图。 具体实施方式 0029 现将详细参照本公开的示例性实施例， 所述实施例的示例在附图中示出， 其中， 相 同的标号始终指的是相同的部件。 以下将通过参。

20、照附图来说明所述实施例， 以便解释本公 开。 0030 图1示出根据本公开示例性实施例的位姿跟踪方法的流程图。 图1中示出的位姿跟 踪方法适用于设置有多个以特定频率闪烁的标记的跟踪对象， 其中， 以特定频率闪烁的标 记可以是例如主动式LED。 在以下说明中， 以LED灯作为标记的示例进行说明， 但是应理解本 发明不限于此。 本领域的技术人员可根据实施例的需要采用其他形式的标记。 0031 参照图1， 在步骤S101， 获取跟踪对象的图像。 0032 在本公开的示例性实施例中， 可以通过DVS相机来获取跟踪对象的图像。 图1中示 出的位姿跟踪方法可适用于具有能够获取亮度变化的像素的相机和能够进行。

21、计算的主机 说明书 3/9 页 6 CN 110782492 A 6 的电子装置， 或者可适用于由能够获取亮度变化的像素的相机和能够进行计算的主机组成 的系统。 0033 在步骤S102， 从获取的图像中获取亮度变化的像素。 0034 在本公开的示例性实施例中， DVS相机在步骤S101获得图像后不是直接将图像传 输到主机， 而是在步骤S102从获取的图像中获取亮度变化的像素， 之后， 将获取的像素传输 到主机以用于位姿跟踪， 从而减少了传输的数据量和用于计算的数据量， 降低了位姿跟踪 的延迟。 0035 具体来说， 当标记(例如， 主动式LED灯)闪烁的时候， DVS能够产生对应的on和of。

22、f 事件。 这些事件通过LED闪烁的频率可以很容易与其它事件区分开。 这些筛选出来的事件可 以分成不同的簇， 每一簇代表一个LED灯。 然后可使用一个基于区域生长的聚类算法和轻量 级的投票算法来处理这些筛选出来的事件， 将簇中密度最高的点识别为标记的中心。 另外， 可以使用全局最近邻跟踪方法和基于匀速模型的卡尔曼滤波来跟踪多个标记， 从而降低了 标记的漏检和错检的概率。 0036 在步骤S103， 基于获取的像素计算跟踪对象的6自由度姿态。 这里， 6自由度姿态表 示的是在跟踪对象的本体坐标系下沿x、 y、 z三个坐标轴方向的姿态和绕x、 y、 z三个直角坐 标轴旋转的姿态。 0037 在本公。

23、开的示例性实施例中， 仅仅使用由于运动引起的亮度变化的那些像素来计 算跟踪对象的6自由度姿态， 从而降低了位姿跟踪的延迟。 0038 在本公开的示例性实施例中， 在基于获取的像素计算跟踪对象的6自由度姿态时， 可首先获取跟踪对象的惯性测量单元(IMU)数据， 基于获取的惯性测量单元(IMU)数据估计 跟踪对象的3自由度姿态(即， 在跟踪对象的本体坐标系下绕x、 y、 z三个坐标轴旋转的姿 态)， 然后基于3自由度姿态和获取的像素计算跟踪对象的6自由度姿态， 从而提高了位姿跟 踪的精度和效率。 0039 在本公开的示例性实施例中， 在基于3自由度姿态和获取的像素计算跟踪对象的6 自由度姿态时， 。

24、可首先基于3自由度姿态和获取的像素， 求解标记的2D点集与3D点集的对应 关系， 得到标记的关于2D点集与3D点集的匹配对， 然后基于匹配对， 计算跟踪对象的6自由 度姿态。 这里， 2D点集中包括各个标记的像素坐标， 3D点集中包括各个标记在跟踪对象的本 体坐标系下的坐标。 0040 具体来说， 在基于3自由度姿态和获取的像素计算跟踪对象的6自由度姿态时， 可 定义pIA、 pIB分别是图像上已经去畸变的两个LED灯(LED灯A和LED灯B)的像素坐标， pA、 pB分 别是LED灯A、 LED灯B在物体本体坐标系下的坐标。 跟踪对象的3自由度姿态矩阵Rr1,r2, r3T可以由航姿参考系统。

25、通过IMU数据估计出来， r1、 r2和r3分别表示R的第一行、 第二行和第 三行的行向量。 ttx,ty,tzT是未知的平移向量， 其中， tx,ty,tz分别表示沿x、 y、 z三个坐 标轴方向的位移。 通过小孔成像原理， 可以得到以下方程： 0041 0042 说明书 4/9 页 7 CN 110782492 A 7 0043 其中， xA、 yA分别表示LED灯A在图像上的x坐标和y坐标。 xB、 yB分别表示LED灯B在图 像上的x坐标和y坐标。 上述方程只有t是未知的， 4个方程， 3个未知量， 解方程可得： 0044 tAzpIA-RpA (3) 0045其中， 0046 可通过。

26、DVS相机检测和聚类算法， 得到LED灯在图像的像素坐标点集O和已知的LED 灯在物体本体坐标系下的坐标点集L。 从点集O、 L中任意选择两个点(o,l)进行配对， 那么可 以通过(3)式计算得到平移t。 通过上述操作， 可以得到可能的平移向量列表T。 其中有些无 效的平移向量(向量各个元素太大或者tz是负的)可以删除， 一些近似相等的平移向量可以 合并。 对于T中任意一个有效的平移向量tvalid， 可以通过Moller-Trumbore射线相交算法确 定可见其对应的可见LED灯的点集Lv： 如果某个LED灯与相机的确定的射线与物体相交的第 一个点是此LED灯， 那么这个LED灯就是可见的，。

27、 否则这个LED灯在此位姿下是不可见的。 确 定可见的LED灯点集对于多个LED灯的情况可以减少计算量和误匹配的情况。 然后将可见点 集Lv用对应的6自由度位姿和相机内参投影到像平面P上。 这样就可以使用Kuhn-Munkres算 法来求解可见点集Lv和观测点集O的最佳匹配和匹配误差。 遍历可能的平移向量列表T， 匹 配误差最小的那组匹配就是正确的关于2D点集与3D点集的匹配对。 0047 在本公开的示例性实施例中， 在计算跟踪对象的6自由度姿态时， 可首先从匹配对 中去除重投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿， 然后对计算得到的6自由度位姿进行最小化重投影。

28、误差操作， 得到跟踪对象的6自由度姿 态， 从而进一步提高了位姿跟踪的精度和效率。 0048 在本公开的示例性实施例中， 在计算跟踪对象的6自由度姿态时， 可首先从匹配对 中去除重投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿， 然后对计算得到的6自由度位姿进行最小化重投影误差操作， 之后根据3自由度姿态对最小 化重投影误差操作后的6自由度位姿进行优化， 得到跟踪对象的6自由度姿态， 从而进一步 提高了位姿跟踪的精度和效率。 0049 在本公开的示例性实施例中， 在得到跟踪对象的6自由度姿态之后， 还可根据跟踪 对象的6自由度姿态对匹配对中的重投影误差超过预设偏差阈值。

29、的像素进行重新匹配。 此 外， 还可以更新新观测到的标记(例如， 主动式LED灯)的2D点集与3D点集的对应关系或者2D 点集与3D点集的匹配对， 从而进一步提高了位姿跟踪的精度和效率。 0050 具体来说， 在得到2D点集与3D点集的对应关系之后， 可首先利用随机抽样一致 (Random Sample Consensus， 简称RANSAC)算法去除匹配对中的重投影偏差超过预设偏差 阈值的点， 然后用有效透视n点定位(Efficient Per Efficient Perspective-n-Point spective-n-Point， 简称EPnP)算法求解6自由度位姿。 接着用光束法平。

30、差(Bundle Adjustment， 简称BA)算法对EPnP算法求解得到的粗糙的位姿进一步优化， 这样就能得到更 为精确的位姿。 可利用这个精确的位姿对匹配对中的重投影误差超过预设偏差阈值的点进 行重新匹配并更新新观测到的LED的匹配关系。 最后可基于扩展卡尔曼滤波器的传感器融 合算法对上述得到的6自由度位姿与IMU中的3自由度姿态进行融合， 得到更为光滑和一致 说明书 5/9 页 8 CN 110782492 A 8 的6自由度位姿(即， 融合后的6自由度位姿)。 此外， 还可利用融合后的6自由度位姿对重投 影误差超过预设偏差阈值的点进行重新匹配并更新新观测到的LED匹配关系。 005。

31、1 根据本公开的示例性实施例的位姿跟踪方法， 降低了位姿跟踪对LED标记特定布 局的依赖性， 同时降低了位姿跟踪的延迟， 并且提高了位姿跟踪的精度和效率。 0052 用于获得跟踪对象的运动而引起亮度变化的像素的DVS相机可以是例如三星的三 代VGA设备， 其分辨率为640*480， 并且可通过USB3.0与主机进行连接。 DVS相机能够对相对 光照强度变化的像素点产生事件。 每个事件用元组来表示， 其中t是事件发生的 时间戳(微秒级的解析度)， x,y是事件对应的像素坐标， p0,1是事件的极性， 其中， 当 LED灯亮的时候， 会产生的事件， 当LED灯灭的时候， 会产生的事件。 0053 。

32、位姿跟踪方法中需要应用到一些固定的参数(相机内参)和转移矩阵(IMU到手柄 本体， DVS相机到头盔等)。 本公开的示例性实施例中使用OptiTrack光学运动跟踪系统来校 准这些固定的参数和转移矩阵， 同时OptiTrack光学运动跟踪系统也用来提供手柄位姿真 值对位姿跟踪的精度进行评价。 当校准完成后， 用户的实际使用过程中， OptiTrack光学运 动跟踪系统是不需要的。 0054 在OptiTrack光学运动跟踪系统中存在多个坐标系， 例如相机(C)坐标系、 头盔(H) 坐标系、 世界(W)坐标系、 IMU(I)坐标系、 手柄本体(B)坐标系、 手柄模型(M)坐标系和 OptiTra。

33、ck(O)坐标系。 为了简化OptiTrack光学运动跟踪系统， 可将手柄本体坐标系和手柄 模型坐标系对齐， 将世界坐标系和OptiTrtack坐标系进行对齐。 所以要求解的运动手柄的6 自由度位姿可以表示为是手柄模型坐标系到相机坐标系的旋转矩阵， CPM 是模型坐标系原点在相机坐标系下的表示。 需要提前标定DVS相机的内参和一些固定的转 移矩阵 0055 由于DVS的光学特性与普通CMOS相机是相同的， 因此可以用标准的小孔成像模型 来确定相机内参(例如， 焦距、 投影中心和畸变参数)。 DVS相机与普通相机的区别是DVS相机 不能看到没有光照变化的东西， 所以可以用一个闪烁的棋盘格来校准D。

34、VS。 0056 可以用OptiTrack小球来校准一些固定的转移矩阵。 在3D模型中， 手柄模型的原点 是手柄顶端大圆的圆心。 可以将OptiTrack小球固定在大圆的圆周， 并对应标记模型中X、 Y、 Z轴的方向， 这样就可以在OptiTrack光学运动跟踪系统中确定运动手柄的模型坐标系。 将 OptiTrack小球固定在IMU芯片处， 并利用IMU的读数确定X、 Y、 Z轴的方向， 这样就在 OptiTrack光学运动跟踪系统中确定了IMU坐标系。 OptiTrack光学运动跟踪系统能够实时 记录IMU坐标系和模型坐标系的位姿， 那么可以计算运动手柄的模型坐标系与IMU坐标系之 间的转换。

35、关系。 而且头盔到相机的转换矩阵也可以通过那些特定模式的闪烁LED来确定： 其中， 和都由OptiTrack光学运动跟踪系统来提供， 可以通过用EPnP 算法计算得到(特定模式的点集匹配关系是固定的)。 计算得到的两个矩阵例如可如下 所示： 0057 说明书 6/9 页 9 CN 110782492 A 9 0058 0059 主动式LED标记闪烁间隔可以通过on-off-on、 off-on-off的事件确定。 如果一个 像素的闪烁间隔处于800 s,1200 s区间， 那么就可以断定这个事件是由LED闪烁引起的。 然后使用区域生长算法和投票方法来确定LED的中心位置。 可以使用全局最近邻和。

36、卡尔曼 滤波对多个LED灯进行跟踪。 图2示出跟踪对象的2D主动式LED标记跟踪结果。 在图2中， 每一 条连续的线条表示一个标记(例如， LED)的运动轨迹， 小空心圈表示运动轨迹的起始点， 内 有实心圆的大圈表示运动轨迹的终点。 0060 此外， 为了提高BA算法的性能， 可将BA算法的优化窗口设定为10， 而且每4帧才执 行一次优化。 不用每次都更新匹配关系， 仅有当已匹配的LED灯的数目与所有观测到的LED 灯的数目的比值小于预设值例如0.6的时候才对匹配关系进行更新， 从而提高了BA算法的 效率。 启动阶段初始化后， 整个处理流程仅需要花费1.23毫秒。 因此加上LED灯闪烁事件的 。

37、筛选时间(1毫秒)， 那么整个延迟是2.23毫秒。 0061 以上已经结合图1至图2对根据本公开示例性实施例的位姿跟踪方法进行了描述。 在下文中， 将参照图3对根据本公开示例性实施例的位姿跟踪装置及其单元进行描述。 0062 图3示出根据本公开示例性实施例的位姿跟踪装置的框图。 0063 参照图3， 位姿跟踪装置包括图像获取单元31、 像素获取单元32和姿态计算单元 33。 0064 图像获取单元31被配置为获取跟踪对象的图像， 其中， 跟踪对象上设置有以特定 频率闪烁的标记。 0065 像素获取单元32被配置为从获取的图像中获取亮度变化的像素。 0066 姿态计算单元33被配置为基于获取的像。

38、素计算跟踪对象的6自由度姿态。 0067 在本公开的示例性实施例中， 姿态计算单元33可被配置为： 获取跟踪对象的惯性 测量单元数据， 基于获取的惯性测量单元数据估计跟踪对象的3自由度姿态， 这里， 3自由度 姿态是在跟踪对象的本体坐标系下绕x、 y、 z三个坐标轴旋转的姿态； 基于3自由度姿态和获 取的像素计算跟踪对象的6自由度姿态， 这里， 6自由度姿态是在跟踪对象的本体坐标系下 沿x、 y、 z三个坐标轴方向的姿态和绕x、 y、 z三个直角坐标轴旋转的姿态。 0068 在本公开的示例性实施例中， 姿态计算单元33还可被配置为： 基于3自由度姿态和 获取的像素， 求解标记的2D点集与3D点。

39、集的对应关系， 得到标记的关于2D点集与3D点集的 匹配对， 这里， 2D点集中包括各个标记的像素坐标， 3D点集中包括各个标记在跟踪对象的本 体坐标系下的坐标； 基于匹配对， 计算跟踪对象的6自由度姿态。 0069 在本公开的示例性实施例中， 姿态计算单元33还可被配置为： 从匹配对中去除重 投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得 到的6自由度位姿进行最小化重投影误差操作， 得到跟踪对象的6自由度姿态。 0070 在本公开的示例性实施例中， 姿态计算单元33还可被配置为： 从匹配对中去除重 投影偏差超过预设偏差阈值的像素， 并根据去除后剩余的像素。

40、计算6自由度位姿； 对计算得 到的6自由度位姿进行最小化重投影误差操作； 根据3自由度姿态对最小化重投影误差操作 后的6自由度位姿进行优化， 得到跟踪对象的6自由度姿态。 说明书 7/9 页 10 CN 110782492 A 10 0071 在本公开的示例性实施例中， 位姿跟踪装置还可包括： 重新匹配单元， 被配置为在 得到所述跟踪对象的6自由度姿态之后， 根据跟踪对象的6自由度姿态对重投影误差超过预 设偏差阈值的像素进行重新匹配。 0072 图4示出根据本公开示例性实施例的电子装置的示意图。 0073 参照图4， 电子装置4包括： 相机41和处理器42。 0074 其中， 相机41用于获取。

41、跟踪对象的图像， 并且从获取的图像中获取亮度变化的像 素， 其中， 跟踪对象上设置有以特定频率闪烁的标记。 处理器42用于基于相机获取的像素计 算跟踪对象的6自由度姿态。 0075 在本公开的示例性实施例中， 处理器42可用于获取跟踪对象的惯性测量单元数 据， 基于获取的惯性测量单元数据估计跟踪对象的3自由度姿态， 这里， 3自由度姿态是在跟 踪对象的本体坐标系下绕x、 y、 z三个坐标轴旋转的姿态； 基于3自由度姿态和获取的像素计 算跟踪对象的6自由度姿态， 这里， 6自由度姿态是在跟踪对象的本体坐标系下沿x、 y、 z三个 坐标轴方向的姿态和绕x、 y、 z三个直角坐标轴旋转的姿态。 00。

42、76 在本公开的示例性实施例中， 处理器42可用于基于3自由度姿态和获取的像素， 求 解标记的2D点集与3D点集的对应关系， 得到标记的关于2D点集与3D点集的匹配对， 这里， 2D 点集中包括各个标记的像素坐标， 3D点集中包括各个标记在跟踪对象的本体坐标系下的坐 标； 基于匹配对， 计算跟踪对象的6自由度姿态。 0077 在本公开的示例性实施例中， 处理器42可用于从匹配对中去除重投影偏差超过预 设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得到的6自由度位 姿进行最小化重投影误差操作， 得到跟踪对象的6自由度姿态。 0078 在本公开的示例性实施例中， 处理器42可。

43、用于从匹配对中去除重投影偏差超过预 设偏差阈值的像素， 并根据去除后剩余的像素计算6自由度位姿； 对计算得到的6自由度位 姿进行最小化重投影误差操作； 根据3自由度姿态对最小化重投影误差操作后的6自由度位 姿进行优化， 得到跟踪对象的6自由度姿态。 0079 在本公开的示例性实施例中， 处理器42可用于在得到所述跟踪对象的6自由度姿 态之后， 根据跟踪对象的6自由度姿态对重投影误差超过预设偏差阈值的像素进行重新匹 配。 0080 此外， 根据本公开的示例性实施例， 还提供一种计算机可读存储介质， 其上存储有 计算机程序， 当所述计算机程序被执行时， 实现根据本公开的示例性实施例的位姿跟踪方 法。

44、。 0081 作为示例， 所述计算机可读存储介质可承载有一个或者多个程序， 当所述计算机 程序被执行时可实现以下步骤： 获取跟踪对象的图像， 其中， 跟踪对象上设置有以特定频率 闪烁的标记； 从获取的图像中获取亮度变化的像素； 基于获取的像素计算跟踪对象的6自由 度姿态。 0082 计算机可读存储介质例如可以是， 但不限于， 电、 磁、 光、 电磁、 红外线、 或半导体的 系统、 装置或器件， 或者任意以上的组合。 计算机可读存储介质的更具体的例子可以包括但 不限于： 具有一个或多个导线的电连接、 便携式计算机磁盘、 硬盘、 随机访问存储器(RAM)、 只读存储器(ROM)、 可擦式可编程只读。

45、存储器(EPROM或闪存)、 光纤、 便携式紧凑磁盘只读存 储器(CD-ROM)、 光存储器件、 磁存储器件、 或者上述的任意合适的组合。 在本公开的实施例 说明书 8/9 页 11 CN 110782492 A 11 中， 计算机可读存储介质可以是任何包含或存储计算机程序的有形介质， 该计算机程序可 以被指令执行系统、 装置或者器件使用或者与其结合使用。 计算机可读存储介质上包含的 计算机程序可以用任何适当的介质传输， 包括但不限于： 电线、 光缆、 RF(射频)等等， 或者上 述的任意合适的组合。 计算机可读存储介质可以包含在任意装置中； 也可以单独存在， 而未 装配入该装置中。 0083。

46、 以上已经结合图3和图4对根据本公开示例性实施例的位姿跟踪装置和电子装置 进行了描述。 接下来， 结合图5对根据本公开的示例性实施例的计算装置进行描述。 0084 图5示出根据本公开示例性实施例的计算装置的示意图。 0085 参照图5， 根据本公开示例性实施例的计算装置5， 包括存储器51和处理器52， 所述 存储器51上存储有计算机程序， 当所述计算机程序被处理器52执行时， 实现根据本公开的 示例性实施例的位姿跟踪方法。 0086 作为示例， 当所述计算机程序被处理器52执行时， 可实现以下步骤： 获取跟踪对象 的图像， 其中， 跟踪对象上设置有以特定频率闪烁的标记； 从获取的图像中获取亮。

47、度变化的 像素； 基于获取的像素计算跟踪对象的6自由度姿态。 0087 图5示出的计算装置仅仅是一个示例， 不应对本公开实施例的功能和使用范围带 来任何限制。 0088 以上已参照图1至图5描述了根据本公开示例性实施例的位姿跟踪方法及装置。 然 而， 应该理解的是： 图3中所示的位姿跟踪装置及其单元可分别被配置为执行特定功能的软 件、 硬件、 固件或上述项的任意组合， 图5中所示的计算装置并不限于包括以上示出的组件， 而是可根据需要增加或删除一些组件， 并且以上组件也可被组合。 0089 根据本公开的示例性实施例的位姿跟踪方法及装置， 通过获取跟踪对象的图像， 从获取的图像中获取亮度变化的像素。

48、， 基于获取的像素计算跟踪对象的6自由度姿态， 从而 降低了位姿跟踪对LED标记特定布局的依赖性， 同时降低了位姿跟踪的延迟， 并且提高了位 姿跟踪的精度和效率。 0090 尽管已经参照其示例性实施例具体显示和描述了本公开， 但是本领域的技术人员 应该理解， 在不脱离权利要求所限定的本公开的精神和范围的情况下， 可以对其进行形式 和细节上的各种改变。 说明书 9/9 页 12 CN 110782492 A 12 图1 图2 说明书附图 1/3 页 13 CN 110782492 A 13 图3 图4 说明书附图 2/3 页 14 CN 110782492 A 14 图5 说明书附图 3/3 页 15 CN 110782492 A 15 。