图像处理方法及装置、图像设备及存储介质.pdf

《图像处理方法及装置、图像设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《图像处理方法及装置、图像设备及存储介质.pdf（44页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910362107.3 (22)申请日 2019.04.30 (66)本国优先权数据 201910049830.6 2019.01.18 CN (71)申请人 北京市商汤科技开发有限公司 地址 100084 北京市海淀区中关村东路1号 院3号楼7层710-712房间 (72)发明人 汪旻谢符宝刘文韬钱晨 马利庄 (74)专利代理机构 北京派特恩知识产权代理有 限公司 11270 代理人 王花丽张颖玲 (51)Int.Cl. G06K 9/00(2006.01) G06K 9。

2、/46(2006.01) G06T 7/00(2017.01) G06T 7/20(2017.01) (54)发明名称 图像处理方法及装置、 图像设备及存储介质 (57)摘要 本发明实施例公开了一种图像处理方法及 装置、 图像设备及存储介质。 所述图像处理方法， 包括： 获取图像； 基于所述图像获取目标的至少 两个局部的特征； 基于所述特征， 确定所述至少 两个局部的第一类运动信息； 根据所述第一类运 动信息， 控制受控模型对应局部的运动。 权利要求书1页 说明书27页 附图15页 CN 111460872 A 2020.07.28 CN 111460872 A 1.一种图像处理方法， 其特征。

3、在于， 包括： 获取图像； 基于所述图像获取目标的至少两个局部的特征； 基于所述特征， 确定所述至少两个局部的第一类运动信息； 根据所述第一类运动信息， 控制受控模型对应局部的运动。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述图像获取目标的至少两个局部的特征， 包括： 基于所述图像， 获取所述目标的第一类局部的第一类特征； 基于所述图像， 获取所述目标的第二类局部的第二类特征， 其中， 所述第二类特征与所 述第一类特征的类型不同。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述图像， 获取所述目标的第一 类局部的第一类特征， 包括： 基于所述图像， 获取头部的表情特。

4、征。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述图像， 获取所述目标的第一 类局部的第一类特征， 还包括： 基于所述图像， 获取所述表情特征的强度系数。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述第一类运动信息， 控制受控模型对应局部的运动， 包括： 基于所述表情特征， 控制所述受控模型的第一类局部的表情变化； 基于所述强度系数， 控制所述受控模型的所述表情变化的强度。 6.根据权利要求3至5任一项所述的方法， 其特征在于， 所述基于所述图像， 获取所述目 标的表情特征， 包括： 基于所述图像， 获得所述第一类局部的网格信息。 7.根据权利要求4至6任一项所述的。

5、方法， 其特征在于， 所述基于所述图像， 获取所述表 情特征的强度系数， 包括： 基于图像， 获得表征第一类局部中各个子局部的强度系数。 8.一种图像处理装置， 其特征在于， 包括： 第一获取模块， 用于获取图像； 第二获取模块， 用于基于所述图像获取目标的至少两个局部的特征； 第一确定模块， 用于基于所述特征， 确定所述至少两个局部的第一类运动信息； 控制模块， 用于根据所述第一类运动信息， 控制受控模型对应局部的运动。 9.一种图像设备， 其特征在于， 包括： 存储器； 处理器， 与所述存储器连接， 用于通过执行位于所述存储器上的计算机可执行指令， 能 够实现上述权利要求1至7任一项提供的。

6、方法。 10.一种计算机存储介质， 所述计算机存储介质存储有计算机可执行指令； 所述计算机 可执行指令被处理器执行后， 能够实现上述权利要求1至7任一项提供的方法。 权利要求书 1/1 页 2 CN 111460872 A 2 图像处理方法及装置、 图像设备及存储介质 0001 本申请要求申请号为201910049830.6， 申请日为2019年01月18日提交的中国申请 的优先权。 技术领域 0002 本发明涉及信息技术领域， 尤其涉及一种图像处理方法及装置、 图像设备及存储 介质。 背景技术 0003 随着信息技术的发展， 用户可以通过视频录制进行网络授课、 网络主播， 体感游戏 等成为可。

7、能。 但是在一些情况下， 例如， 体感游戏需要用户需要佩戴专门的体感设备来检测 自身的肢体等活动， 才能控制游戏角色。 而进行网络授课或者网络主播时， 用户的面貌或肢 体等完全暴露在网络中， 这一方面可能涉及用户的隐私问题， 另一方面还涉及信息安全性 问题。 为了解决这种隐私或安全性问题， 可能会通过马赛克等方式进行脸部图像的覆盖等， 但是这样会影响视频效果。 发明内容 0004 有鉴于此， 本发明实施例期望提供一种图像处理方法及装置、 图像设备及存储介 质。 0005 本发明的技术方案是这样实现的： 0006 一种图像处理方法， 包括： 0007 获取图像； 0008 基于所述图像获取目标的。

8、至少两个局部的特征； 0009 基于所述特征， 确定所述至少两个局部的第一类运动信息； 0010 根据所述第一类运动信息， 控制受控模型对应局部的运动。 0011 基于上述方案， 所述基于所述图像获取目标的至少两个局部的特征， 包括： 0012 基于所述图像， 获取所述目标的第一类局部的第一类特征； 0013 基于所述图像， 获取所述目标的第二类局部的第二类特征， 其中， 所述第二类特征 与所述第一类特征的类型不同。 0014 基于上述方案， 所述基于所述图像， 获取所述目标的第一类局部的第一类特征， 包 括： 0015 基于所述图像， 获取头部的表情特征。 0016 基于上述方案， 所述基于。

9、所述图像， 获取所述目标的第一类局部的第一类特征， 还 包括： 0017 基于所述图像， 获取所述表情特征的强度系数。 0018 基于上述方案， 所述根据所述第一类运动信息， 控制受控模型对应局部的运动， 包 括： 说明书 1/27 页 3 CN 111460872 A 3 0019 基于所述表情特征， 控制所述受控模型的第一类局部的表情变化； 0020 基于所述强度系数， 控制所述受控模型的所述表情变化的强度。 0021 基于上述方案， 所述基于所述图像， 获取所述目标的表情特征， 包括： 0022 基于所述图像， 获得所述第一类局部的网格信息。 0023 基于上述方案， 所述基于所述图像，。

10、 获取所述表情特征的强度系数， 包括： 0024 基于图像， 获得表征第一类局部中各个子局部的强度系数。 0025 基于上述方案， 所述基于所述图像， 获取所述目标的第二类局部的第二类特征， 包 括： 0026 基于所述图像， 获取所述目标的第二类局部的关键点的位置信息。 0027 基于上述方案， 所述基于所述特征， 确定所述至少两个局部的第一类运动信息， 包 括： 0028 基于所述位置信息， 确定所述第二类局部的第一类运动信息。 0029 基于上述方案， 所述基于所述图像， 获取所述目标的第二类局部的关键点的位置 信息， 包括： 0030 基于所述图像， 获取所述目标的第二类局部的支架关键。

11、点的第一坐标； 0031 基于所述第一坐标， 获得第二坐标。 0032 基于上述方案， 所述基于所述图像， 获取所述目标的第二类局部的支架关键点的 第一坐标， 包括： 0033 基于2D图像， 获取所述第二类局部的支架关键点的第一2D坐标； 0034 基于所述第一2D坐标和2D坐标到3D坐标的转化关系， 获得与所述第一2D坐标对应 的第一3D坐标。 0035 基于上述方案， 所述基于所述图像， 获取所述目标的第二类局部的支架关键点的 第一坐标， 包括： 0036 基于3D图像， 获取所述目标的第二类局部的支架关键点的第二3D坐标； 0037 基于所述第二3D坐标获得第三2D坐标。 0038 基。

12、于上述方案， 所述基于所述第二3D坐标获得第三2D坐标， 包括： 0039 基于所述第二3D坐标， 修正第二类局部在所述3D图像中被遮挡部分所对应支架关 键点的3D坐标从而获得所述第三2D坐标。 0040 基于上述方案， 所述基于所述特征， 确定所述至少两个局部的第一类运动信息， 包 括： 0041 基于所述位置信息， 确定所述第二类局部的四元数。 0042 基于上述方案， 所述基于所述图像， 获取所述目标的第二类局部的关键点的位置 信息， 包括： 0043 获取所述第二类局部中的第一局部的支架关键点的第一位置信息； 0044 获取所述第二类局部中的第二局部的支架关键点的第二位置信息。 004。

13、5 基于上述方案， 所述基于所述特征， 确定所述至少两个局部的第一类运动信息， 包 括： 0046 根据所述第一位置信息， 确定所述第一局部的运动信息； 0047 根据所述第二位置信息， 确定所述第二局部的运动信息。 说明书 2/27 页 4 CN 111460872 A 4 0048 基于上述方案， 所述根据所述第一类运动信息， 控制受控模型对应局部的运动， 包 括： 0049 根据所述第一局部的运动信息， 控制所述受控模型的第一局部运动； 0050 根据所述第二局部的运动信息， 控制所述受控模型的第二局部运动。 0051 基于上述方案， 所述第一局部为： 躯干； 和/或， 所述第二局部为上。

14、肢、 下肢或四肢。 0052 一种图像处理装置， 其特征在于， 包括： 0053 第一获取模块， 用于获取图像； 0054 第二获取模块， 用于基于所述图像获取目标的至少两个局部的特征； 0055 第一确定模块， 用于基于所述特征， 确定所述至少两个局部的第一类运动信息； 0056 控制模块， 用于根据所述第一类运动信息， 控制受控模型对应局部的运动。 0057 基于上述方案， 所述第二获取模块， 具体用于执行以下之一： 0058 基于所述图像， 获取所述目标的第一类局部的第一类特征； 0059 基于所述图像， 获取所述目标的第二类局部的第二类特征， 其中， 所述第二类特征 与所述第一类特征的。

15、类型不同。 0060 基于上述方案， 所述第二获取模块， 具体用于基于所述图像， 获取头部的表情特 征。 0061 基于上述方案， 所述第二获取模块， 具体用于基于所述图像， 获取所述表情特征的 强度系数。 0062 基于上述方案， 所述控制模块， 具体用于执行以下之一； 0063 基于所述表情特征， 控制所述受控模型的第一类局部的表情变化； 0064 基于所述强度系数， 控制所述受控模型的所述表情变化的强度。 0065 基于上述方案， 所述第二获取模块， 用于基于所述图像， 获得所述第一类局部的网 格信息。 0066 基于上述方案， 所述第二获取模块， 具体用于基于图像， 获得表征第一类局部。

16、中各 个子局部的强度系数。 0067 基于上述方案， 所述第二获取模块， 具体用于基于所述图像， 获取所述目标的第二 类局部的关键点的位置信息。 0068 基于上述方案， 所述第一确定模块， 具体用于基于所述位置信息， 确定所述第二类 局部的第一类运动信息。 0069 基于上述方案， 所述第一确定模块， 具体用于执行至少之一： 0070 基于所述图像， 获取所述目标的第二类局部的支架关键点的第一坐标； 0071 基于所述第一坐标， 获得第二坐标。 0072 基于上述方案， 所述第二获取模块， 具体用于基于2D图像， 获取所述第二类局部的 支架关键点的第一2D坐标； 基于所述第一2D坐标和2D坐。

17、标到3D坐标的转化关系， 获得与所 述第一2D坐标对应的第一3D坐标。 0073 基于上述方案， 所述第二获取模块， 具体用于基于3D图像， 获取所述目标的第二类 局部的支架关键点的第二3D坐标； 0074 基于所述第二3D坐标获得第三2D坐标。 0075 基于上述方案， 所述第二获取模块， 具体用于基于所述第二3D坐标， 修正第二类局 说明书 3/27 页 5 CN 111460872 A 5 部在所述3D图像中被遮挡部分所对应支架关键点的3D坐标从而获得所述第三2D坐标。 0076 基于上述方案， 所述第一确定模块， 具体用于基于所述位置信息， 确定所述第二类 局部的四元数。 0077 基。

18、于上述方案， 所述第二获取模块， 具体用于获取所述第二类局部中的第一局部 的支架关键点的第一位置信息； 获取所述第二类局部中的第二局部的支架关键点的第二位 置信息。 0078 基于上述方案， 所述第一确定模块， 具体用于根据所述第一位置信息， 确定所述第 一局部的运动信息； 根据所述第二位置信息， 确定所述第二局部的运动信息。 0079 基于上述方案， 所述控制模块， 具体用于根据所述第一局部的运动信息， 控制所述 受控模型的第一局部运动； 根据所述第二局部的运动信息， 控制所述受控模型的第二局部 运动。 0080 基于上述方案， 所述第一局部为： 躯干； 和/或， 所述第二局部为上肢、 下肢。

19、或四肢。 0081 一种图像设备， 包括： 0082 存储器； 0083 处理器， 与所述存储器连接， 用于通过执行位于所述存储器上的计算机可执行指 令， 能够实现上述任意一项图像处理方法。 0084 一种计算机存储介质， 所述计算机存储介质存储有计算机可执行指令； 所述计算 机可执行指令被处理器执行后， 能够实现上述任意一项图像处理方法。 0085 本发明实施例提供的技术方案， 会根据至少两个局部的特征得到第二运动信息， 如此针对不方便直接获取连接部的运动信息时， 也可以精确得控制受控模型对应连接部的 运动。 如此， 在利用受控模型模拟用于的运动进行视频直播时， 还可以精确控制受控模型的 连。

20、接部的运动， 使得受控模型能够精确模拟用户等采集对象的运动， 一方面实现了视频直 播等， 另一方面保护了用户隐私等。 附图说明 0086 图1为本发明实施例提供的第一种图像处理方法的流程示意图； 0087 图2为本发明实施例提供的第一种图像处理方法的流程示意图； 0088 图3A至图3C为本实施例提供的一种受控模型模拟被采集用户的手部运动的变化 示意图； 0089 图4A至图4C为本发明实施例提供的一种受控模型模拟被采集用户的躯干运动的 变化示意图； 0090 图5A至图5C为本发明实施例提供的一种受控模型模拟被采集用户的脚部运动的 示意图； 0091 图6为本发明实施例提供的一种图像处理装置。

21、的结构示意图； 0092 图7A为本发明实施例提供的一种骨架关键点的示意图； 0093 图7B为本发明实施例提供的一种骨架关键点的示意图； 0094 图8为本发明实施提供的一种骨架的示意图； 0095 图9为本发明实施例提供的一种人体的不同骨骼的局部坐标系的示意图； 0096 图10为本发明实施例提供的一种图像设备的结构示意图。 说明书 4/27 页 6 CN 111460872 A 6 具体实施方式 0097 以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。 0098 如图1所示， 本实施例提供一种图像处理方法， 包括： 0099 步骤S110： 获取图像； 0100 步。

22、骤S120： 基于所述图像获取目标的至少两个局部的特征； 0101 步骤S130： 基于所述特征， 确定所述至少两个局部的第一类运动信息； 0102 步骤S140： 根据所述第一类运动信息， 控制受控模型对应局部的运动。 0103 本实施例提供的图像处理方法， 通过图像处理可以驱动受控模型的运动。 0104 本实施例提供的图像处理方法可应用于图像设备， 该图像设备可为能够进行图像 设备处理的各种电子设备， 例如， 进行图像采集、 图像显示及图像像素重组生成图像的电子 设备。 0105 该图像设备包括但不限于各种终端设备， 例如， 移动终端和/或固定终端； 还可包 括各种能够提供图像服务的图像服。

23、务器。 0106 所述移动终端包括用户便于携带的手机或平板电脑等便携式设备， 还可以用户佩 戴的设备， 例如， 智能手环、 智能手表或智能眼镜等。 0107 所述固定终端包括固定的台式电脑等。 0108 在本实施例中， 步骤S110中获取的图像可为： 2D图像或者3D图像。 0109 所述2D图像可包括： 单目或多目摄像头采集的红绿蓝(RGB)图像等。 0110 所述获取图像的方式可包括： 0111 利用图像设备自身的摄像头采集所述图像； 0112 和/或， 0113 从外部设备接收的图像； 0114 和/或， 0115 从本地数据库或本地存储器中读取所述图像。 0116 所述步骤S120可包。

24、括： 检测所述图像， 获取目标的至少两个局部的特征， 这两个局 部是目标上的不同局部。 这两个局部可以连续分布在目标上， 也可以间隔分布在所述目标 上。 0117 例如， 所述目标以人为例， 所述至少两个局部可包括以下至少两个： 头部、 躯干、 四 肢、 上肢、 下肢、 手部及脚部等。 0118 在另一些实施例中， 所述目标不局限于人， 还可以动物等各种可活动生命体或非 生命体。 0119 本实施例中， 会获取至少两个局部的特征， 该特征可为各种形式表征这两个局部 的空间结构信息、 位置信息或运动状态的特征。 0120 在本实施例中， 可以利用神经网络等深度学习模型检测所述图像， 从而得到所述。

25、 特征。 0121 在获得所述特征之后， 得到至少两个局部的第一类运动信息， 所述第一类运动信 息表征了对应局部的动作变化和/或因动作变化引起的表情变化等。 0122 所述第一类运动信息的信息包括但不限于以下至少之一： 0123 局部所对应关键点的坐标， 该坐标包括但不限于2D坐标及3D坐标； 该坐标能够表 说明书 5/27 页 7 CN 111460872 A 7 征局部所对应关键点相对于基准位置的变化， 从而能够表征对应局部的运动状况。 0124 所述第一类运动信息可以用： 向量、 数组、 一维的数值、 矩阵等各种信息形式表示。 0125 所述受控模型可为所述目标所对应的模型。 例如， 目。

26、标为人， 则所述受控模型为人 体模型， 若所述目标为动物， 则所述受控模型可为对应动物的身体模型； 若所述目标为交通 工具， 则所述受控模型可为交通工具的模型。 0126 总之， 在本实施例中， 所述受控模型是针对目标所属类别的模型。 该模型可为预先 确定的。 例如， 所述受控模型的风格可以基于用户指令确定， 该受控模型的风格可包括多 种， 例如， 模拟真人的真人风格、 动漫风格、 网红风格、 不同气质的风格， 例如， 文艺风格或摇 滚风格、 游戏风格。 游戏风格下则受控模型可为游戏角色。 0127 例如， 在网络教学过程中， 有的老师并不愿意暴露自己的面容和身形， 认为这是隐 私。 若直接录。

27、制视频必然导致老师的面容和身形等被曝光。 在本实施例中， 可以通过图像采 集等获得老师运动的成像， 然后通过特征提取及第一类运动信息的获取， 控制一个虚拟的 受控模型运动； 一方面可以通过自身的肢体运动使得受控模型模拟老师的运动完成肢体运 动教学， 另一方面， 利用受控模型的运动进行教学， 则该老师的面容和身形都不用直接暴露 在教学视频中， 如此保护了老师的隐私。 0128 例如， 在路面监控视频中， 若直接采集车辆的视频， 若视频一旦曝光到网络中， 则 有一些特定用户的车辆信息全部曝光， 但是不监控则可能在出现交通事故时无法鉴定。 若 利用本实施例的方法， 利用车辆模型模拟真实的车辆运动， 。

28、获得监控视频， 在该监控视频中 保留车的车牌信息和/或车的整体外轮廓即可， 车的品牌、 型号、 颜色及新旧等都可以被隐 藏， 从而保护用户隐私。 0129 在一些实施例中， 如图2所示， 所述步骤S120可包括： 0130 步骤S121： 基于所述图像， 获取所述目标的第一类局部的第一类特征； 0131 步骤S122： 基于所述图像， 获取所述目标的第二类局部的第二类特征， 其中， 所述 第二类特征与所述第一类特征的类型不同。 0132 在本实施例中， 所述第一类特征和所述第二类特征是同样表征对应局部的空间结 构特点和/或运动状态的特征， 但却是不同类型的特征。 0133 例如， 所述第一类特。

29、征可为人体骨架中关节点之间的相对位置关系； 第二类特征 表征的是相邻时刻点人体骨架中对应关节点的位置变化关系。 具体如， 所述第一类特征可 包括： 由深度学习模型(OPEN POSE)检测的人体骨架中各关节点在世界坐标系中的3D坐标。 再例如， 所述第二类特征可包括： 表征人体姿态变化的光流特征等。 0134 不同类型特征具有不同的特点， 适用不同类型的局部会具有更高的精确度。 例如， 以人体脸部的肌肉运动， 相对于四肢的运动， 不同特征对运动引起的空间变化的精确度是 不同的， 此时， 在本实施例中针对人脸和四肢可以采用不同类型且与人脸或四肢相适配精 确度的特征来表示。 0135 在一些实施例。

30、中， 例如， 基于图像分别获取第一类局部的第一类特征和第二类局 部的第二类特征。 0136 所述第一类局部和所述第二类局部为不同类型局部； 不同类型的局部可以通过不 同类型局部的可运动幅度来进行区分； 或者， 不用类型局部的运动精细度来区分。 0137 在本实施例中， 所述第一类局部和第二类局部可为运动的最大幅度差异比较大的 说明书 6/27 页 8 CN 111460872 A 8 两类局部。 例如， 第一类局部可为头部， 头部的五官都可以运动， 但是头部的五官的运动都 比较小； 头部整体也可以运动， 例如， 点头或摇头等， 但是运动幅度相对于肢体或躯干的运 动幅度偏小。 0138 第二类局。

31、部可为上肢、 下肢或四肢， 肢体运动的幅度都很大。 若这两类局部的运动 状态利用同一种特征来表示， 可能会使得因为将就某一个局部的运动幅度， 使得精度下降 或者算法的复杂度增大等问题。 0139 此处， 根据不同类型局部的特点以不同类型的特征来获取运动信息， 相对于采用 同一类特征来表示同类型的局部的相关方式， 可以减少至少一类局部的信息精确性， 提升 了运动信息的精确度。 0140 在一些实施例中， 获取第一类特征和第二类特征的获取主体不同， 例如， 使用不同 的深度学习模型或深度学习模块获得。 第一类特征和第二类特征的获取逻辑不同。 0141 在一些实施例中， 所述步骤S121可包括： 0。

32、142 基于所述图像， 获取头部的表情特征。 0143 在本实施例中， 所述第一类局部为头部， 所述头部包括脸部， 所述表情特征包括但 不限于以下至少之一： 0144 眉毛的运动， 包括： 耸眉、 耷拉眉； 0145 嘴巴的运动， 包括： 张嘴、 闭嘴、 扁嘴、 噘嘴、 咧嘴、 龇牙等； 0146 鼻子的运动， 包括： 通过向鼻子内吸气产生的缩鼻， 向外吹起伴随的鼻子伸张运 动； 0147 眼部运动， 包括但不限于： 眼眶的运动和/或眼珠的运动； 所述眼眶的运动会改变 的眼眶的大小和/或形状， 例如， 眯眼、 瞪眼、 笑眼的眼眶形状和大小都是会改变； 眼珠的运 动包括： 眼珠在眼眶内的位置， 。

33、例如， 用户视线的变化， 会使得眼珠位于眼眶不同的位置； 左 右眼的眼珠一起运动， 可以体现用户的不同情绪状态等； 0148 脸颊运动， 有的用户笑起来会产生酒窝或梨涡， 脸颊的形状也会随着发生变化。 0149 在一些实施例中， 所述头部的运动不限于所述表情运动， 则所述第一类特征不限 于所述表情特征， 还包括： 所述头部的头发运动等头发运动特征； 所述第一类特征还可包 括： 头部的摇头和/或点头等头部的整体运动特征。 0150 在一些实施例中， 所述步骤S121还包括： 0151 基于所述图像， 获取所述表情特征的强度系数。 0152 在本实施例中所述强度系数可对应于脸部表情的表情幅度。 0。

34、153 例如， 在脸部设置有多个表情基， 一个表情基对应了一个表情动作； 此处的强度系 数可以用于表征该表情的强度， 例如， 该强度可为表情动作的幅度。 0154 在一些实施例中， 所述强度系数越大， 表征的强度越高。 例如， 所述强度系数越高， 表示张嘴表情基的幅度越大， 噘嘴表情基的幅度越大等。 0155 再例如， 所述强度系数越大， 对于挑眉表情基的挑眉高度越高。 0156 通过强度系数的引入， 不仅会使得受控模型可以模拟目标当前的动作， 而且还可 以精确模拟目标当前表情的强度， 实现表情的精准迁移。 0157 如此， 若该方法应用于体感游戏场景， 则受控对象为游戏角色， 利用这种方法游。

35、戏 角色不仅能够受控于用户的肢体动作， 而且会精准模拟用户的表情特征； 如此在游戏场景 说明书 7/27 页 9 CN 111460872 A 9 下， 如此提高了游戏场景的仿真性， 提升了用户沉浸在良好游戏中的游戏体验。 0158 在本实施例中， 针对目标为人时， 在步骤S120中通过网格检测等， 获取了表征头部 的表情变化的mesh信息， 基于mesh信息控制受控模型的变化。 该mesh信息包括但不限于： 网 格信息和/或三角面片信息。 网格信息指示的经纬线的信息； 三角面片信息是由三个关键点 连接成的三角面片的信息。 0159 例如， 所述网格信息表征了目标的当前表情， 如此基于mesh。

36、信息是包括脸部体表 的预定个数的脸部关键点形成的， 网格信息所代表的网格中经纬线的交叉点可为所述脸部 关键点的所在位置， 网格的交叉点的位置变化即表情变化， 如此， 基于网格信息得到的表情 特征和强度系数， 可以用于受控模型的脸部的表情精准控制。 0160 再例如， 三角面片信息所对应的三角面片的顶点包含脸部关键点。 0161 在一些实施例中， 获取所述表情特征的强度系数可包括： 基于图像， 获得表征第一 类局部中各个子局部的强度系数。 0162 例如， 将针对脸部的五官， 眼睛、 眉毛、 鼻子、 嘴、 耳朵设置为至少对应一个表情基， 有的可对应多个表情基， 一个表情基对应了一个五官的一种类型。

37、的表情动作， 而强度系数 表征的是该表情动作的幅度。 0163 在一些实施例中， 所述步骤S140可包括： 0164 基于所述表情特征， 控制所述受控模型的第一类局部的表情变化； 0165 基于所述强度系数， 控制所述受控模型的所述表情变化的强度。 0166 在一些实施中， 所述步骤S122可包括： 0167 基于所述图像， 获取所述目标的第二类局部的关键点的位置信息。 0168 该位置信息可由目标的关键点的位置信息来表示， 该关键点可包括： 支架关键点 和外轮廓关键点。 0169 若以人为例， 则支架关键点可包括人体的骨架关键点， 轮廓关键点可为人体体表 的外轮廓的关键点。 0170 所述位。

38、置信息可以由坐标表示， 例如， 利用预定坐标系的2D坐标和/或3D坐标表 示。 该预定坐标系包括但不限于图像所在的图像坐标系。 0171 位置信息可为关键点的坐标， 显然是不同于前述的mesh信息的。 0172 由于第二类局部不同于第一类局部， 利用位置信息更加能够精准表征第二类局部 的运动变化。 0173 在一些实施例中， 所述步骤S130可包括： 基于所述位置信息， 确定所述第二类局部 的第一类运动信息。 0174 若目标以人为例， 则所述第二类局部包括但不限于： 躯干和/或四肢； 躯干和/或上 肢， 躯干和/或下肢。 0175 所述步骤S122具体可包括： 0176 基于所述图像， 获取。

39、所述目标的第二类局部的支架关键点的第一坐标； 0177 基于所述第一坐标， 获得第二坐标。 0178 所述第一坐标和所述第二坐标都是表征支架关键点的坐标。 若目标以人或动物为 例， 此处的支架关键点为骨架关键点。 0179 所述第一坐标和第二坐标可为不同类型的坐标， 例如， 第一坐标是在2D坐标系内 说明书 8/27 页 10 CN 111460872 A 10 的2D坐标， 第二坐标为在3D坐标系内的3D坐标。 0180 再例如， 所述第二坐标为对第一坐标进行校准过后的坐标， 此时， 第一坐标和第二 坐标可为同一类坐标。 例如， 第一坐标和第二坐标均为3D坐标或均为2D坐标。 0181 在一。

40、些实施例中， 所述基于所述图像， 获取所述目标的第二类局部的支架关键点 的第一坐标， 包括： 0182 基于2D图像， 获取所述第二类局部的支架关键点的第一2D坐标； 0183 基于所述第一2D坐标和2D坐标到3D坐标的转化关系， 获得与所述第一2D坐标对应 的第一3D坐标。 0184 在一些实施例中， 所述基于所述图像， 获取所述目标的第二类局部的支架关键点 的第一坐标， 包括： 0185 基于3D图像， 获取所述目标的第二类局部的支架关键点的第二3D坐标； 0186 基于所述第二3D坐标获得第三2D坐标。 0187 例如， 在步骤S110中直接获取的3D图像， 该3D图像包括： 2D图像和。

41、2D图像对应的深 度图像。 2D图像可以提供支架关键点在xoy平面内的坐标值， 深度图像中的深度值， 可以提 供支架关键点在z轴上的坐标。 z轴垂直于xoy平面内。 0188 在一些实施例中， 所述基于所述第二3D坐标获得第三2D坐标， 包括： 0189 基于所述第二3D坐标， 修正第二类局部在所述3D图像中被遮挡部分所对应支架关 键点的3D坐标从而获得所述第三2D坐标。 0190 在本实施例中利用2D模型先从2D图像中提取出第二3D坐标， 然后利用考虑到目标 中不同局部的遮挡； 通过修正可以得到目标不同局部在3D空间内的正确的第三2D坐标， 从 而确保后续受控模型的控制精确度。 0191 在。

42、一些实施例中， 所述步骤S130可包括： 0192 基于所述位置信息， 确定所述第二类局部的四元数。 0193 在一些实施中， 所述第一类运动信息等不局限于是四元数还可以是不同坐标系内 的坐标值， 例如， 欧拉坐标系或拉格朗日坐标系内的坐标值等。 0194 利用四元数可以精准描述第二类局部的空间位置和/或各个方向上的旋转。 0195 在一些实施例中， 利用四元数作为第一类运动信息， 具体实现时， 不局限于四元 数， 还可以用利用各种坐标系内的相对于参考点的坐标值来指示， 例如， 可以利用欧拉坐标 或拉格朗日坐标来替代所述四元数。 0196 在一些实施例中， 所述步骤S120可包括： 获取所述第。

43、二类局部中的第一局部的支 架关键点的第一位置信息； 获取所述第二类局部中的第二局部的支架关键点的第二位置信 息。 0197 所述第二类局部可至少包括两个不同的局部。 如此， 受控模型能够一下模拟到目 标的至少两个局部的运动。 0198 在一些实施例中， 所述步骤S130可包括： 根据所述第一位置信息， 确定所述第一局 部的运动信息； 根据所述第二位置信息， 确定所述第二局部的运动信息。 0199 在一些实施例中， 所述步骤S130可包括： 0200 根据所述第一局部的运动信息， 控制所述受控模型的第一局部运动； 0201 根据所述第一局部的运动信息， 控制所述受控模型的第二局部运动。 说明书 。

44、9/27 页 11 CN 111460872 A 11 0202 在另一些实施例中， 所述第一局部为： 躯干； 所述第二局部为上肢、 下肢或四肢。 0203 在一些实施例中， 所述方法还包括： 0204 根据所述至少两个局部的特征及连接部的第一运动约束条件， 确定所述至少两个 局部的连接部的第二类运动信息， 其中， 所述连接部用于连接所述至少两个局部； 0205 根据所述第二类运动信息， 控制所述受控模型的连接部的运动。 0206 在一些实施例中， 有的局部的运动信息可以通过运动信息的获取模型单独得到， 即得到所述第一类运动信息。 0207 而有一些局部是连接其他两个或两个以上局部的连接部， 。

45、这些连接部的运动信息 在本实施例中为了方便称之为第二类运动信息。 此处的第二类运动信息也为表征目标中局 部的运动状况的信息之一。 0208 在一些实施例中， 所述第二类运动信息是基于该连接部所连接的两个局部的第一 类运动信息所确定的。 0209 故第二类运动信息相对于第一类运动信息的差异在于： 0210 第二类运动信息是连接部的运动信息， 而第一类运动信息是连接部以外的其他局 部的运动信息； 0211 第一类运动信息是单独根据对应局部的运动状态生成的， 而第二类运动信息可能 是与对应连接部所连接的其他局部的运动信息是相关的。 0212 在一些实施例中， 所述步骤S130可包括： 0213 根据。

46、所述连接部的类型， 确定控制所述连接部的控制方式； 0214 根据所述控制方式及所述第二类运动信息， 控制所述受控模型的连接部的运动。 0215 该连接部可用于连接其他两个部局部， 例如， 以人为例， 脖子、 手腕、 脚腕或腰围都 为连接两个局部的连接部。 0216 这些连接部的运动信息， 可能不方便检测或者一定程度上依赖其相邻的其他局 部， 故在本实施例中， 可以根据与连接部连接的两个或两个以上的其他局部的第一类运动 信息可以确定出所述连接部的运动信息， 从而获得对应连接部的第二类运动信息。 0217 在本实施例中考虑到连接部的运动信息的获取方式及约束条件等特殊信息， 会根 据连接部的类型，。

47、 确定出对应的控制方式， 以实现对受控模型中对应连接部的精准控制。 0218 例如， 手腕的侧向旋转， 该侧向为上臂到手部的延伸方向， 看是手腕在侧向旋转， 实质上臂旋转导致的。 0219 再例如， 脚腕的侧向旋转， 该侧向为小腿的延伸方向， 脚腕的旋转实质上是直接由 小腿带动的， 当然也有可能是由大腿带动小腿， 并由小腿进一步带动所述脚腕的。 0220 而针对脖子这种连接部， 其旋转决定了面部朝向和躯干朝向。 0221 在另一些实施例中， 所述根据所述连接部的类型， 确定控制所述连接部的控制方 式， 包括： 0222 若所述连接部为第一类连接部， 确定采用第一类控制方式， 其中， 所述第一类。

48、控制 方式， 用于直接控制所述受控模型与所述第一类连接部相同的第一类受控局部。 0223 在一些实施例中， 所述第一类连接部为其自身的旋转并非由其他局部带动。 0224 在另外一些实施例中， 连接部还包括第一类连接部以外的第二类连接部。 此处的 第二类连接部的运动可能局限于其自身， 而是由其他局部所带动的。 说明书 10/27 页 12 CN 111460872 A 12 0225 在一些实施例中， 所述根据所述连接部的类型， 确定控制所述连接部的控制方式， 包括： 若所述连接部为第二类连接部， 确定采用第二类控制方式， 其中， 所述第二类控制方 式， 用于通过控制所述受控模型所述第二类连接部。

49、以外的局部， 来间接控制所述第二类连 接部的运动。 0226 该第二类连接部以外的局部包括但不限于： 直接与所述第二类连接部连接的局 部， 或者， 间接与所述第二类连接部连接的局部。 0227 例如， 在手腕侧向旋转时， 可能是整个上肢在运动， 则肩膀及肘部都在旋转， 如此， 可以通过控制肩膀和/或肘部的侧向旋转， 间接带动所述手腕的旋转。 0228 在一些实施例中， 所述根据所述控制方式及所述第二类运动信息， 控制第一受控 局部的运动， 包括： 0229 若为所述第二类控制方式， 分解所述第二类运动信息获得所述连接部由牵引部牵 引所述连接部旋转的第一类旋转信息； 0230 根据所述第一类旋转。

50、信息， 调整所述牵引部的运动信息； 0231 利用所述牵引部的调整后的运动信息， 控制所述受控模型中牵引部的运动， 以间 接控制所述连接部的运动。 0232 在本实施例中， 第一类旋转信息并非是第二类连接部自身运动所产生的旋转信 息， 而是由与第二类连接部连接的其他局部(即牵引部)的运动牵引第二类连接部使得第二 类连接部相对于目标的特定参考点(例如， 人体中心)所产生的运动信息。 0233 在本实施例中， 所述牵引部为直接与所述第二类连接部连接的局部。 以手腕为所 述第二类连接部为例， 则所述牵引部为所述手腕之上的手肘甚至肩部。 若以脚腕为所述第 二类连接部为例， 则所述牵引部为所述脚腕之上的。