基于惯性传感技术的动作捕捉系统及方法.pdf

《基于惯性传感技术的动作捕捉系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于惯性传感技术的动作捕捉系统及方法.pdf（20页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104267815 A (43)申请公布日 2015.01.07 CN 104267815 A (21)申请号 201410498731.3 (22)申请日 2014.09.25 G06F 3/01(2006.01) G08C 17/02(2006.01) (71)申请人 黑龙江节点动画有限公司 地址 150060 黑龙江省哈尔滨市平房区渤海 路 7 号 (72)发明人 张宇 薛利兴 董旭涓 (74)专利代理机构 哈尔滨市松花江专利商标事 务所 23109 代理人 杨立超 (54) 发明名称 基于惯性传感技术的动作捕捉系统及方法 (57) 摘要 基于惯性传感技术的动作。

2、捕捉系统及方法， 涉及动画制作的动作捕捉技术。为了解决现有的 光学捕捉系统无法精确还原人体动作的问题。系 统包括 17 个惯性传感节点、 主控机和无线收发 器 ； 17 个惯性传感节点用于分别一一对应的设置 在人体的骨骼上划分的 17 个信息捕捉节点上用 于测量人体不同位置点的运动， 并通过无线方式 与无线收发器通信， 无线收发器与主控机相连， 无 线收发器用于接收所有惯性传感节点所发送的数 据， 并将数据转交给主控机进行处理， 无线收发器 还用于将主控机所发出的控制命令发送给所有的 或指定的惯性传感节点。采用分布补偿模式和统 一控制模式两种方法控制 17 个惯性传感节点在 同一时间点进行数据。

3、采集， 以得到准确地还原人 体的动作。 (51)Int.Cl. 权利要求书 3 页 说明书 10 页 附图 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书10页 附图6页 (10)申请公布号 CN 104267815 A CN 104267815 A 1/3 页 2 1. 一种基于惯性传感技术的动作捕捉系统， 其特征在于， 所述系统包括用于完成动作 捕捉过程的主体部分和用于动作捕捉过程中辅助工作的辅助部件 ； 主体部分包括 17 个惯 性传感节点、 主控机和无线收发器 ； 辅助部分包括传感器节点充电器 ； 17 个惯性传感节点 用于分别一一对应的设置。

4、在人体的骨骼上划分的 17 个信息捕捉节点上， 17 个惯性传感节 点用于分别测量人体不同位置点的运动情况 ； 17 个惯性传感节点通过无线方式与无线收 发器通信， 无线收发器与主控机相连， 无线收发器用于接收所有惯性传感节点所发送的数 据， 并将数据转交给主控机进行处理， 无线收发器还用于将主控机所发出的控制命令发送 给所有的或指定的惯性传感节点 ； 传感节点充电器用于为 17 个惯性传感节点充电。 2. 根据权利要求 1 所述的一种基于惯性传感技术的动作捕捉系统， 其特征在于， 所述 辅助部分还包括捕捉用表演服及传感节点固定绑带 ； 所述捕捉用表演服为根据人体运动分 解模型定制的表演服装，。

5、 所述捕捉用表演服上分别标记有 17 个惯性传感节点的位置 ； 所述 传感节点固定绑带用于辅助固定惯性传感节点。 3. 根据权利要求 2 所述的一种基于惯性传感技术的动作捕捉系统， 其特征在于， 每个 惯性传感节点包括传感器模块、 数据采集控制器、 无线收发控制器、 电池和充电电路及接 口 ； 传感器模块中包含用于采集运动参数的三种传感器 ： 三轴加速度计， 用于测量局部坐 标下 x 轴向加速度、 y 轴向加速度、 z 轴向加速度 ； 三轴陀螺仪， 用于测量局部坐标下绕 x 轴 转动角速度、 绕y轴转动角速度、 绕z轴转动角速度 ； 三轴磁力计， 用于测量局部坐标下x轴 向磁场强度、 y 轴向。

6、磁场强度、 z 轴向磁场强度 ； 数据采集控制器用于控制传感器进行数据 采集， 并对采集到的数据进行滤波、 数据融合处理得到测量节点的运动数据， 并将运动数据 传送给无线收发控制器 ； 无线收发控制器用于控制各个惯性传感节点的运动数据与主控机 之间的数据传输 ； 电池和充电电路及接口 ； 电池通过充电电路及接口为传感器模块、 数据 采集控制器和无线收发控制器供电。 4. 根据权利要求 3 所述的一种基于惯性传感技术的动作捕捉系统， 其特征在于， 每个 惯性传感节点还包括辅助电路， 所述辅助电路包括晶振电路、 传感器模块的电源供电电路、 数据采集控制器的电源供电电路、 无线收发控制器的电源供电电。

7、路以及数据采集控制器、 传感器模块、 无线收发控制器的接口电路。 5. 根据权利要求 1、 2、 3 或 4 所述的一种基于惯性传感技术的动作捕捉系统， 其征征在 于， 所述无线收发器包括无线控制模块、 数据转换模块、 PA 功放电路、 全向天线、 USB 控制模 块及接口、 以太网控制模块及接口和供电电路及电源接口， 所述供电电路及电源接口用于进行电压转换、 稳压、 滤波、 去耦， 为无线控制模块、 数据 转换模块、 PA 功放电路、 全向天线、 USB 控制模块及接口、 以太网控制模块提供所需要的电 源电压或参考电压 ； 所述 USB 控制模块及接口和以太网控制模块及接口， 用于为无线收发。

8、器提供 USB 和 Ethernet 两种与所述主控机连接的方式供用户选择， 用于实现两种接口的物理层和链路层 的控制工作， 完成主控机应用数据与数据转换模块之间的传输 ； 所述数据转换模块用于控制无线控制模块与 USB 控制模块或以太网控制模块之间传 输数据的缓冲与数据格式转换 ； 所述无线控制模块与惯性传感节点所用无线通信方法保持一致， 用于完成物理上无线 信号与有线信号的转换， 接收传感器模块发送的无线信号， 将主控机发送的数据转换成无 权 利 要 求 书 CN 104267815 A 2 2/3 页 3 线信号辐射出去 ； PA 功放电路用于完成无线控制模块输出信号的功率放大， 同时使。

9、用全向天线均匀辐射 / 接收无线信号。 6. 一种基于惯性传感技术的动作捕捉方法， 所述方法用于控制 17 个惯性传感节点在 同一时间点进行数据采集， 以得到准确地还原人体的动作 ； 其特征在于， 所述方法为分布补 偿模式， 在分布补偿模式下， 已知采集数据的总时长， 17 个惯性传感节点依然按照各自的时 钟进行数据采集和上传 ； 主控机在得到数据后， 根据采集数据的总时长和各节点时钟的差 异对传感器上传的数据进行插值补偿处理， 得到同一时间点上 17 个节点的运动数据 ； 其实 现过程为 ： 步骤一、 每个惯性传感节点数据采集和上传 ： 步骤一 (1)、 节点通电启动后， 首先初始化计时器 。

10、； 步骤一 (2)、 读取传感器数据、 计时器数据， 计算本次传感器采集数据距上次采集的时 间间隔 ； 步骤一 (3)、 对传感器数据进行滤波处理， 滤除毛刺以得到稳定的运动参数及磁场参 数 ； 步骤一 (4)、 根据时间间隔对三轴加速度计、 三轴陀螺仪和三轴磁力计测量得到的 9 个 数据 ： x 轴向加速度、 y 轴向加速度、 z 轴向加速度、 x 轴向磁场强度、 y 轴向磁场强度、 z 轴向 磁场强度、 绕 x 轴转动角速度、 绕 y 轴转动角速度、 绕 z 轴转动角速度进行数据融合处理， 分 别得到局部坐标下 x 轴、 y 轴、 z 轴上的位移数据以及自身局部坐标下的四元数或欧拉角 ； 。

11、步骤一 (5)、 判断是否达到数据上传的时间间隔 ： 若达到， 上传数据后跳转到步骤一 (2) ； 若未达到， 直接跳转至步骤一 (2) 继续进行惯性数据的采样和动作推断 ； 步骤二、 对上述以各自的时钟进行采集的每个节点数据进行计算得到同一时间点上的 数据， 过程如下 ： 步骤二 (1)、 输入总的采集时长 ； 步骤二 (2)、 主控机从 17 个传感节点分别接收一次数据 ； 步骤二 (3)、 主控机根据插值补偿算法， 对 17 个节点的数据重新计算插值得到同一时 间点上的运动数据 ； 步骤二 (4)、 将运动数据发送给后续应用 ； 步骤二 (5)、 判断是否已经达到总的采集时长， 若未达到。

12、则跳转到第 2 步， 直至达到总 的采集时长。 7. 根据权利要求 1 所述的一种基于惯性传感技术的动作捕捉方法， 其特征在于 ： 所述 插值补偿的过程包括 A、 参数计算过程 ： 参数计算过程通常在出厂完成或在动作捕捉前完成 ： A1、 对 17 个传感节点按晶振从慢到快的顺序进行排序、 编号分别记为 N1,N2,N17； A2、 取 N1的时钟作为参考时钟， 计时 k 分钟， 获得 17 个传感节点时钟的计数 ： T1.k( k),T2.k,T3.k,T17.k A3、 多次测量求平均值， 得到 A4、 计算得到补偿参数 权 利 要 求 书 CN 104267815 A 3 3/3 页 4。

13、 A5、 对于 k 1,2,60 分别重复上述 3 个步骤 ； B、 插值补偿过程 ： B1、 依然取 N1的时钟作为参考时钟 ； B2、 数据采集总时长为 n 分 ； B3、 对于第 m 个节点 Nm， 收取到的第 l 个数据记为 Dm.l， 转换成 N1参考时钟为 lFm.n， 以得 到时间数据对 lFm.n,Dm.l ； B4、 当收到第1个节点N1第l个数据D1.l时， 修订后的数据为RD1.lD1.l； 对于 使得 (x-1)Fm.n lxFm.n， 修订后的数据为 ： B5、RD1.l,RD2.l,RD17.l 为插值补偿后的运动数据。 8. 一种基于惯性传感技术的动作捕捉方法， 。

14、所述方法用于控制 17 个惯性传感节点在 同一时间点进行数据采集， 以得到准确地还原人体的动作 ； 其特征在于， 所述方法采用统一 的时钟进行控制， 以主控机的时钟为标准时钟， 在需要采集数据的时刻发送广播给 17 个惯 性传感节点， 命令传感器完成数据的采集并上传 ； 惯性传感节点采集数据， 数据融合操作及 计算位移和转动由主控机来完成 ； 其实现过程为 ： 步骤一、 启动系统全局的统一计时器 ； 步骤二、 踏步等待到达数据采集时的时间点， 如果达到， 执行步骤三， 否则继续等待 ； 步骤三、 向 17 个惯性传感节点广播发送数据采集的命令 ； 步骤四、 接收 17 个惯性传感节点上传的运动。

15、参数数据 ； 步骤五、 根据时间间隔分别对17个惯性传感节点的数据进行数据融合， 分别得到17组 局部坐标下 x 轴、 y 轴、 z 轴上的位移数据以及 17 组自身局部坐标下的四元数或欧拉角 ； 步骤六、 将运动数据发送给后续应用 ； 步骤七、 返回从步骤二继续执行。 权 利 要 求 书 CN 104267815 A 4 1/10 页 5 基于惯性传感技术的动作捕捉系统及方法 技术领域 0001 本发明涉及一种基于惯性传感技术的动作捕捉系统及方法， 涉及动画制作的动作 捕捉技术。 背景技术 0002 动作捕捉技术的出现可以追溯到 20 世纪 70 年代， 迪斯尼公司曾试图通过捕捉演 员的动作。

16、以改进动画制作效果。当计算机技术刚开始应用于动画制作时， 纽约计算机图形 技术实验室的 Rebecca Allen 就设计了一种光学装置， 将演员的表演姿势投射在计算机屏 幕上， 作为动画制作的参考。 0003 几十年过去了， 动作捕捉系统最常见的类型依然是光学捕捉系统。光学动作捕捉 系统使用 6-8 个相机环绕表演场地摆列， 这些相机的视野重叠区域就是表演者的范围， 通 过在身体关键部位进行标注进行识别。 光学式系统成本高昂， 且对光线要求非常高， 在工作 时必须人为制造出特定的光线环境， 即便如何标注部位也经常被人体自身其他部位遮挡， 导致无法还原精确的人体动作。 发明内容 0004 本发。

17、明的目的是提供一种基于惯性传感技术的动作捕捉系统及方法， 以解决现有 的光学捕捉系统无法精确还原人体动作的问题。 0005 本发明为解决上述技术问题采取的技术方案是 ： 0006 技术方案一 ： 一种基于惯性传感技术的动作捕捉系统， 所述系统包括用于完成动 作捕捉过程的主体部分和用于动作捕捉过程中辅助工作的辅助部件 ； 主体部分包括 17 个 惯性传感节点、 主控机和无线收发器 ； 辅助部分包括传感器节点充电器 ； 17 个惯性传感节 点用于分别一一对应的设置在人体的骨骼上划分的17(根据人体运动分解模型)个信息捕 捉节点上， 17 个惯性传感节点用于分别测量人体不同位置点的运动情况 ； 17。

18、 个惯性传感节 点通过无线方式与无线收发器通信， 无线收发器与主控机相连， 无线收发器用于接收所有 惯性传感节点所发送的数据， 并将数据转交给主控机进行处理， 无线收发器还用于将主控 机所发出的控制命令发送给所有的或指定的惯性传感节点 ； 传感节点充电器用于为 17 个 惯性传感节点充电。 0007 所述辅助部分还包括捕捉用表演服及传感节点固定绑带 ； 所述捕捉用表演服为根 据人体运动分解模型定制的表演服装， 所述捕捉用表演服上分别标记有 17 个惯性传感节 点的位置 ； 所述传感节点固定绑带用于辅助固定惯性传感节点。 0008 每个惯性传感节点包括传感器模块、 数据采集控制器、 无线收发控制。

19、器、 电池和充 电电路及接口 ； 传感器模块中包含用于采集运动参数的三种传感器 ： 三轴加速度计， 用于 测量局部坐标下 x 轴向加速度、 y 轴向加速度、 z 轴向加速度 ； 三轴陀螺仪， 用于测量局部坐 标下绕x轴转动角速度、 绕y轴转动角速度、 绕z轴转动角速度 ； 三轴磁力计， 用于测量局部 坐标下 x 轴向磁场强度、 y 轴向磁场强度、 z 轴向磁场强度 ； 数据采集控制器用于控制传感 说 明 书 CN 104267815 A 5 2/10 页 6 器进行数据采集， 并对采集到的数据进行滤波、 数据融合处理得到测量节点的运动数据， 并 将运动数据传送给无线收发控制器 ； 无线收发控制。

20、器用于控制各个惯性传感节点的运动数 据与主控机之间的数据传输 ； 电池和充电电路及接口 ； 电池通过充电电路及接口为传感器 模块、 数据采集控制器和无线收发控制器供电。 0009 每个惯性传感节点还包括辅助电路， 所述辅助电路包括晶振电路、 传感器模块的 电源供电电路、 数据采集控制器的电源供电电路、 无线收发控制器的电源供电电路以及数 据采集控制器、 传感器模块、 无线收发控制器的接口电路。 0010 所述无线收发器包括无线控制模块、 数据转换模块、 PA 功放电路、 全向天线、 USB 控制模块及接口、 以太网控制模块及接口和供电电路及电源接口， 0011 所述供电电路及电源接口用于进行电。

21、压转换、 稳压、 滤波、 去耦， 为无线控制模块、 数据转换模块、 PA 功放电路、 全向天线、 USB 控制模块及接口、 以太网控制模块提供所需要 的电源电压或参考电压 ； 0012 所述 USB 控制模块及接口和以太网控制模块及接口， 用于为无线收发器提供 USB 和 Ethernet 两种与所述主控机连接的方式供用户选择， 用于实现两种接口的物理层和链 路层的控制工作， 完成主控机应用数据与数据转换模块之间的传输 ； 0013 所述数据转换模块用于控制无线控制模块与 USB 控制模块或以太网控制模块之 间传输数据的缓冲与数据格式转换 ； 0014 所述无线控制模块与惯性传感节点所用无线通。

22、信方法保持一致， 用于完成物理上 无线信号与有线信号的转换， 接收传感器模块发送的无线信号， 将主控机发送的数据转换 成无线信号辐射出去 ； 0015 PA 功放电路用于完成无线控制模块输出信号的功率放大， 同时使用全向天线均匀 辐射 / 接收无线信号。 0016 技术方案二 ： 一种基于惯性传感技术的动作捕捉方法， 所述方法用于控制 17 个惯 性传感节点在同一时间点进行数据采集， 以得到准确地还原人体的动作 ； 所述方法为分布 补偿模式， 在分布补偿模式下， 已知采集数据的总时长， 17 个惯性传感节点依然按照各自的 时钟进行数据采集和上传 ； 主控机在得到数据后， 根据采集数据的总时长和。

23、各节点时钟的 差异对传感器上传的数据进行插值补偿处理， 得到同一时间点上 17 个节点的运动数据 ； 其 实现过程为 ： 0017 步骤一、 每个惯性传感节点数据采集和上传 ： 0018 步骤一 (1)、 节点通电启动后， 首先初始化计时器 ； 0019 步骤一 (2)、 读取传感器数据、 计时器数据， 计算本次传感器采集数据距上次采集 的时间间隔 ； 0020 步骤一 (3)、 对传感器数据进行滤波处理， 滤除毛刺以得到稳定的运动参数及磁场 参数 ； 0021 步骤一 (4)、 根据时间间隔对 3 个传感器 ( 三轴加速度计、 三轴陀螺仪和三轴磁力 计 ) 测量得到的 9 个数据 (x 轴向。

24、加速度、 y 轴向加速度、 z 轴向加速度、 x 轴向磁场强度、 y 轴向磁场强度、 z 轴向磁场强度、 绕 x 轴转动角速度、 绕 y 轴转动角速度、 绕 z 轴转动角速 度 ) 进行数据融合处理， 分别得到局部坐标下 x 轴、 y 轴、 z 轴上的位移数据以及自身局部坐 标下的四元数或欧拉角 ； 说 明 书 CN 104267815 A 6 3/10 页 7 0022 步骤一 (5)、 判断是否达到数据上传的时间间隔 ： 若达到， 上传数据后跳转到步骤 一 (2) ； 若未达到， 直接跳转至步骤一 (2) 继续进行惯性数据的采样和动作推断 ； 0023 步骤二、 对上述以各自的时钟进行采集。

25、的每个节点数据进行计算得到同一时间点 上的数据， 过程如下 ： 0024 步骤二 (1)、 输入总的采集时长 ； 0025 步骤二 (2)、 主控机从 17 个传感节点分别接收一次数据 ； 0026 步骤二 (3)、 主控机根据插值补偿算法， 对 17 个节点的数据重新计算插值得到同 一时间点上的运动数据 ； 0027 步骤二 (4)、 将运动数据发送给后续应用 ； 0028 步骤二 (5)、 判断是否已经达到总的采集时长， 若未达到则跳转到第 2 步， 直至达 到总的采集时长。 0029 所述插值补偿的过程包括 0030 A、 参数计算过程 ： 参数计算过程通常在出厂完成或在动作捕捉前完成 。

26、： 0031 A1、 对 17 个传感节点按晶振从慢到快的顺序进行排序、 编号分别记为 N1,N2, ,N17； 0032 A2、 取 N1的时钟作为参考时钟， 计时 k 分钟， 获得 17 个传感节点时钟的计数 ： T1.k( k),T2.k,T3.k,T17.k 0033 A3、 多次测量求平均值， 得到 0034 A4、 计算得到补偿参数 0035 A5、 对于 k 1,2,60 分别重复上述 3 个步骤 ( 通常持续不间断表演不会超过 60 分 ) ； 0036 B、 插值补偿过程 ： 0037 B1、 依然取 N1的时钟作为参考时钟 ( 计算的标准 ) 0038 B2、 数据采集总时。

27、长为 n 分 0039 B3、 对于第 m 个节点 Nm， 收取到的第 l 个数据记为 Dm.l， 转换成 N1参考时钟为 lFm.n， 那么就可以得到时间数据对 lFm.n,Dm.l 0040 B4、 当收到第 1 个节点 N1第 l 个数据 D1.l时， 修订后的数据为 RD1.l D1.l； 对于 (表示所有自然数的集合 ； 对于第m(m1)个节点， 存在一个自然数x)使 得 (x-1)Fm.n lxFm.n， 修订后的数据为 0041 B5、RD1.l,RD2.l,RD17.l 为插值补偿后的运动数据。 0042 技术方案三 ： 一种基于惯性传感技术的动作捕捉方法， 所述方法用于控制 。

28、17 个惯 性传感节点在同一时间点进行数据采集， 以得到准确地还原人体的动作 ； 所述方法采用统 一的时钟进行控制， 以主控机的时钟为标准时钟， 在需要采集数据的时刻发送广播给 17 个 惯性传感节点， 命令传感器完成数据的采集并上传 ； 0043 惯性传感节点采集数据， 数据融合操作及计算位移和转动由主控机来完成 ； 0044 其实现过程为 ： 0045 步骤一、 启动系统 ( 基于惯性传感技术的动作捕捉系统 ) 全局的统一计时器 ； 说 明 书 CN 104267815 A 7 4/10 页 8 0046 步骤二、 踏步等待到达数据采集时的时间点， 如果达到， 执行步骤三， 否则继续等 待。

29、 ； 0047 步骤三、 向 17 个惯性传感节点广播发送数据采集的命令 ； 0048 步骤四、 接收 17 个惯性传感节点上传的运动参数数据 ； 0049 步骤五、 根据时间间隔分别对 17 个惯性传感节点的数据进行数据融合， 分别得到 17 组局部坐标下 x 轴、 y 轴、 z 轴上的位移数据以及 17 组自身局部坐标下的四元数或欧拉 角 ； 0050 步骤六、 将运动数据发送给后续应用 ； 0051 步骤七、 返回从步骤二继续执行。 0052 技术方案二和三是基于技术方案一所述系统来实现的。 0053 本发明的有益效果是 ： 0054 基于惯性传感技术的动作捕捉系统使用惯性传感技术代替光。

30、学系统去测量人体 运动关键部位， 对光线没有任何要求、 能够在室外工作， 可以应用的场景非常广范， 且能进 行多人次同时捕捉， 弥补了光学式系统的不足同。 0055 本发明所述的基于惯性传感技术的动作捕捉系统与现有的基于光学技术的动作 捕捉系统的对比如下 ； 0056 说 明 书 CN 104267815 A 8 5/10 页 9 0057 本发明所述基于惯性传感技术的动作捕捉系统具有非常高的性价比， 拓宽了使用 的范围， 可以在多个行业发挥巨大的作用 ： 0058 1. 影视、 动画制作 0059 不仅能够提高动画制作的效率， 降低生产成本， 还可以是动画制作过程更为直观， 效果更为生动。 。

31、随着技术的进一步成熟， 表演动画技术将会得到越来越广泛的应用， 而动作 捕捉系统作为表演动画最关键的部分必然显示出更加重要的地位。 0060 2. 虚拟现实系统 0061 为实现人与虚拟环境及系统的交互， 准确地跟踪测量参与者的动作并将这些动作 实时检测出来， 这些工作对虚拟现实系统是必不可少的， 这也正是运动捕捉技术的将来的 应用趋势。 0062 3. 机器人遥控 0063 运动捕捉系统可以将人体动作捕捉下来， 实时控制给类人机器完成同样的动作。 与传统的遥控方式相比这种系统可以实现更为直观、 灵活， 大大提高机器人应付复杂情况 的能力。 0064 4. 体育训练 0065 运动捕捉技术可以。

32、捕捉运动员的动作， 并进行量化分析 ； 同时结合人体生理学、 历 史数据等研究改进的方法， 进而提高成绩。 附图说明 0066 图 1 是本发明的人体骨架基本模型图， 图 2 为多传感数据融合的原理框图 ； 图 3.1 为基于惯性传感技术的动作捕捉系统的原理示意图， 图3.2为传感节点结构框图， 图3.3为 无线收发器结构框图 ； 图4.1为分布补偿模式下传感节点工作流程图， 图4.2为分布补偿模 式下主控机工作流程图 ； 图 4.3 统一控制模式下传感器工作流程图， 图中 ： (a) 为主程序流 程图， (b) 为中断处理程序流程图 ； 图 4.4 为统一控制模式下传感器工作流程图。 具体实。

33、施方式 0067 具体实施方式一 ： 如图 1、 图 2、 图 3.1 3.3 以及图 4.1 4.4 所示， 本实施方式 对本发明所述的基于惯性传感技术的动作捕捉系统及方法进行详细描述 ： 0068 一 )、 人体运动分解模型与惯性传感技术 0069 1) 人体运动分解模型 0070 动作捕捉系统的最终目标是将人体做出的动作在计算系统中进行还原。 尽管人做 出的动作各不相同， 但每个普通人的骨骼是极其相似的， 而且人体运动都是需要骨骼同时 运动配合完成。因此， 我们可以将人的每次运动分解成不同骨骼的运动。 0071 如图 1 所示， 根据人体的运动， 我们将人体的骨骼划分成 17 个子部分 。

34、(18 个关节 点)， 那么人体的运动就可以分解成17个子动作。 同时， 由于人体每一块骨头具体固定的尺 寸、 且形状是不变的， 我们可以将 17 个子部分分别视为刚体。动作捕捉系统通过分别测量 17 个部分的运动情况， 就可以还原得到人整体的运动情况。 0072 由于每一个子部分都是为刚体， 也就是说形变情况可以被忽略且不论有否受力任 意两点的距离都不会改变， 这样我们就可以测量刚体任一点的运动情况， 从而得到整个刚 说 明 书 CN 104267815 A 9 6/10 页 10 体的运动情况， 即人体子部分的运动。 0073 惯性传感技术动作捕捉系统， 即是在表演者运动时使用惯性传感技术。

35、记录表演者 对应的关节处的运动情况。 0074 2) 惯性传感技术 0075 惯性传感技术最早应用于惯性导航系统， 通过测量飞行器的加速度 ( 惯性 )， 并自 动进行积分运算， 获得飞行器瞬时速度和瞬时位置数据。德国于 1942 年最先应用在 V-2 火 箭上， 经过多年的发展， 惯性传感技术已日趋成熟， 特别是 MEMS 的出现使得器件可以做得 很小， 让该项技术可以应用在更多方面。 0076 惯性测量装置包括加速度计和陀螺仪， 3 个自由度陀螺仪用来测量 3 个转动运动， 3 个加速度计用来测量 3 个平移运动的加速度 ； 计算机根据测量得的信号计算出飞行器的 速度和位置数据。 然而， 。

36、惯性传感技术使用的是一种推算方式， 即从一知点的位置根据连续 测得的角度和速度推算出其下一点的位置从而连续测出运动的当前位置， 这使得惯性传感 技术对传感器的误差和飘移非常敏感。 0077 为了解决这样的问题， 采用多传感数据融合技术， 如图 2 所示。充分利用不同传 感器数据进行分析和综合， 获得对被测对象的一致性结果， 使系统获得更充分、 更准确的数 据， 消除单个传感器的局限性和误差。 0078 在我们的惯性传感技术动作捕捉系统中， 将磁场传感器引入， 利用多传感器数据 融合技术得到更精确的人体运动数据。 0079 二 )、 系统结构与硬件设计， 即所基于惯性传感技术的动作捕捉系统 00。

37、80 1) 系统结构与组成 0081 ” 基于惯性传感技术的动作捕捉系统” 的组成如图3.1所示， 可以划分为2大部分 ： 主体部分、 辅助部件。 0082 主体部分是” 基于惯性传感技术的动作捕捉系统” 的核心部件， 也是动作捕捉过程 中必需的功能承载模块， 主要包括 ： 17 个惯性传感节点、 主控机、 无线收发器。 0083 辅助部分完成一些动作捕捉过程中的辅助工作， 如 ： 传感器节点的充电、 传感器节 点在表演者身上的固定等。 辅助部分主要包括 ： 传感器节点充电器、 捕捉用表演服及传感节 点的固定绑带。 0084 2) 各部件主要功能 0085 具体地， 系统中各组成部分描述如下 。

38、： 0086 传感器节点 ： 每个传感器节点基于物体运动的惯性现象， 采用陀螺仪、 加速度表等 传感器采集运动参数， 并对采集到的数据进行滤波、 数据融合等处理得到测量点的运动数 据 ( 如 ： 位移、 转动等 )， 最后将运动数据通过无线方式发送给主控机。根据前面所叙述的 人体运动分解模型， 17 个传感器节点分别测量人体不同位置点的运动情况。 0087 无线收发器 ： 无线收发器与主控机相连， 负责接收所有惯性传感器节点所发送的 数据， 并将数据转交给主控机进行处理， 无线收发器同时也负责将主控所发出的控制命令 发送给所有的 / 指定的传感器节点。 0088 主控机 ： 主控机可以检测每个。

39、传感器是否处于在线状态， 并负责对所有传感器进 行时钟同步控制或对数据进行插值处理， 保证动作捕捉的时间一致性， 得到准确的动作数 据。 同时， 主控机根据人体运动分解模型， 将所接收到惯性传感器节点所发送的数据进行计 说 明 书 CN 104267815 A 10 7/10 页 11 算并还原出人体的动作， 并通过可视化的方式展示出来， 同时将动作数据传递给进一步的 应用程序， 例如 ： 动画制作、 动作分析。 0089 传感节点充电器 ： 可以为 17 个传感器节点的同时充电。 0090 表演服 ： 根据人体运动分解模型定制的表演服装， 为方便节点的安放与固定， 服装 上清楚地标记了动作捕。

40、捉系统的 17 个传感器节点位置。 0091 绑带 ： 辅助固定传感器结点。 0092 3) 传感器节点硬件设计 0093 传感器节点可以划分为 4 部分 ： 传感器模块、 数据采集控制器和辅助电路、 无线收 发模块、 电池和充电电路及接口， 如图 3.2 所示。 0094 传感器模块中主要包含 3 种传感器， 分别是 ： 3 轴加速度计、 3 轴陀螺仪、 3 轴磁 力计。为了减小节点的体积和重量， 传感器通常采用微机电系统 (MEMS,Micro-electro Mechanical Systems) 传感器。在 PCB 设计时， 通常将 3 种传感器应该尽量靠近且保持 3 种传感器轴向一致。

41、 ( 即 x 轴、 y 轴、 z 轴的方向保持一致 )， 以保证测得的数据能够近似成一 个质点， 同时减少运算时轴向转换相关运算。 为此， 在芯片选型过程中可以选择集成传感器 IC， 如 ： 集成了加速度计和陀螺仪的InvenSense MPU-6050、 集成了加速度计、 陀螺仪及磁力 计的 InvenSense MPU-9150。此外， 在 PCB 设计过程中应该将传感器尽量远离晶振、 无线模 块、 天线等对传感器可能存在影响的部件。 0095 数据采集控制器负责控制传感器进行数据采集， 并对采集到的数据进行滤波、 数 据融合等处理， 最后得到节点的运动数据， 并将数据传送给无线收发模块。。

42、为保证数据采 集和处理的实时性， 数据采集控制器通常选用 ARM Cortex-M3 以上型号 MCU 或 MPU， 如 ： ST STM32F103TB。辅助电路则主要包括晶振电路、 各器件的电源供电电路、 数据采集控制器与 传感器、 无线收发模块等其他各主要部件的接口电路。 0096 无线收发模块负责传感节点与主控机之间的数据传输。 传输可以采用不同的无线 通信方法， 如 ： Wifi 、 蓝牙、 Zigebee 或其他射频无线传输技术等， 根据不同的协议节点在设 计时选用相应的无线收发控制器。为保证传输距离且尽量减小传感节点的体积， 节点中设 计了板载微型天线。 0097 此外， 为了尽。

43、量减小传感器节点的体积和功耗， 可以跨模块选择集成功能的芯片， 例如 ： 同时集成了 3 轴加速度计、 3 轴陀螺仪、 3 轴磁力计和 ARM Cortex-M3 控制器的 ST iNEMO-M1， 又如 ： 同时集成了 ARM Cortex-M3 控制器和 802.15.4 无线控制器的 ST32W 系列 芯片。 0098 4) 无线收发器硬件设计 0099 无线收发器负责接收 17 个传感器节点通过无线发送的数据并通过 USB 或以太网 提交给主控机 ； 同时将主控机通过 USB 或以太网发送的数据转换成无线信号发送给传感器 节点。 从硬件角度上可分为 ： 无线控制模块、 PA功放电路和全。

44、向无线、 USB控制模块及接口、 以太网控制模块及接口、 供电电路及电源接口， 如图 3.3 所示。 0100 供电电路及电源接口 ： 进行电压转换、 稳压、 滤波、 去耦等工作， 为无线收发器中其 他模块或芯片稳定提供所需要的电源电压或参考电压。 0101 USB 控制模块及接口 / 以太网控制模块及接口 ： 无线收发器提供 USB 和 Ethernet 两种与主控机连接的方式供用户选择， 实现两种接口的物理层和链路层的控制工作， 完成 说 明 书 CN 104267815 A 11 8/10 页 12 主控机应用数据与数据转换模块之间的传输。 0102 数据转换模块 ： 负责无线控制模块与。

45、 USB 控制模块 / 以太网控制模块之间传输数 据的缓冲与数据格式转换。 0103 无线控制模块 ： ( 与传感器节点所用无线通信方法保持一致 ) 完成物理上无线信 号与有线信号的转换， 接收传感器发送的无线信号、 将主控机发送的数据转换成无线信号 辐射出去。 0104 PA 功放电路和全向天线 ： PA 功放电路完成无线控制模块输出信号的功率放大， 同 时使用全向天线均匀辐射 / 接收无线信号， 扩大增益以覆盖范围大。 0105 三 )、 系统工作模式与软件设计， 即基于惯性传感技术的动作捕捉方法 0106 由人体运动与分解模型可知， 17 个传感器节点需要在同一时间点进行数据采集才 能得。

46、到准确地还原人体的动作。 然而， 由于电子元器件自身的工艺问题， 每个晶振之间都存 在或大或小的误差， 也就是说 17 个传感器节点的时钟快慢是不同的。这就提出一个问题 ： 如何保证用来还原人体动作的运动数据是同一时间点测量 ( 即 ： 测量时间之差落在允许范 围内 )。 0107 本发明提供了 “分布补偿模式” 和 “统一控制模式” 两种不同工作模式供用户在不 同场景下进行选择。 0108 1) 分布补偿模式 0109 在 “分布补偿模式” 下， 需要知道采集数据的总时长， 而 17 个传感器节点依然按照 各自 ( 晶振提供 ) 的时钟进行数据采集和上传工作。主控机在得到数据后， 根据采集数。

47、据 的总时长和各节点时钟的差异(在生产后得到的测试数据)对传感器上传的数据进行插值 补偿处理， 在数学上推导得到同一时间点上 17 个节点的运动数据。 0110 在该种模式下， 每个节点的流程如图 4.1 所示。 0111 1. 节点通电启动后， 首先初始化计时器 0112 2. 读取传感器数据、 计时器数据， 计算本次传感器采集数据距上次采集的时间间 隔 0113 3. 对传感器数据进行滤波处理， 滤除毛刺以得到稳定的运动参数及磁场参数 0114 4. 根据时间间隔对 3 个传感器测量得到的 9 个数据进行数据融合处理， 分别得到 局部坐标下 x 轴、 y 轴、 z 轴上的位移数据以及自身局。

48、部坐标下的四元数或欧拉角 0115 5.判断是否达到数据上传的时间间隔 ： 若达到， 上传数据后跳转到第2步 ； 若未达 到， 直接跳转至第 2 步继续进行惯性数据的采样和动作推断 0116 在该种模式下， 每个节点都是以各自的时钟进行采集的， 导致各自采样时间不一 致， 需要主控机在数学上进行计算得到同一时间点上的数据， 主控机的具体流程如图 4.2 所示。 0117 1. 用户输入总的采集时长 0118 2. 主控机从 17 个传感节点分别接收一次数据 0119 3. 主控机根据插值补偿算法， 对 17 个节点的数据重新计算插值得到同一时间点 上的运动数据 0120 4. 将运动数据发送给后续应用 0121 5. 判断是否已经达到总的采集时长， 若未达到则跳转到第 2 步 说 明 书 CN 104267815 A 12 9/10 页 13 0122 插值补偿算法如下 ： 0123 算法分为 2 个过程 ： 参数计算过程、 插值补偿过程 0124 参数计算过程通常在出厂完成或在动作捕捉前完成 ： 0125 对 17 个传感节点按晶振从慢到快的顺序进行排序、 编号分别记为 N1,N2,N17 0126 取 N1的时钟作为参考时钟， 计时 k 分钟， 获得 17 个传感节点时钟的计数 ： T1.k( k),T2.k,T3.k,T17.k 0127 多次测量求平均值， 得到 0128。