交互控制方法及装置、电子设备和存储介质.pdf

《交互控制方法及装置、电子设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《交互控制方法及装置、电子设备和存储介质.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911370382.6 (22)申请日 2019.12.26 (71)申请人 深圳市商汤科技有限公司 地址 518054 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 李宇飞 (74)专利代理机构 北京林达刘知识产权代理事 务所(普通合伙) 11277 代理人 刘新宇 (51)Int.Cl. G06F 3/01(2006.01) (54)发明名称 一种交互控制方法及装置、 电子设备和存储 介质 (57)摘要 本公开涉及一种交互控制方法及装置、 电子 。

2、设备和存储介质， 其中， 该方法包括： 响应于采集 操作， 得到脚部动作； 对所述脚部动作进行识别， 得到识别结果； 响应于由所述识别结果得到的控 制信号， 对操作界面中的目标对象进行交互控 制。 采用本公开， 满足了交互控制场景中人体交 互为脚部情况的数据控制需求。 权利要求书3页 说明书14页 附图3页 CN 111026277 A 2020.04.17 CN 111026277 A 1.一种交互控制方法， 其特征在于， 所述方法包括： 响应于采集操作， 得到脚部动作； 对所述脚部动作进行识别， 得到识别结果； 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行交互控制。 2。

3、.根据权利要求1所述的方法， 其特征在于， 所述对所述脚部动作进行识别， 得到识别 结果， 包括： 将所述脚部动作根据识别网络进行识别处理， 得到所述识别结果； 所述识别网络为： 根据预先标注的脚部数据进行训练后得到的识别网络。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述脚部动作进行识别， 得到识别 结果， 包括： 对包含脚部抬起动作、 脚部放下动作、 脚部踢出动作及脚部踩踏动作中的至少一种所 述脚部动作， 通过对应至少一种所述脚部动作的训练数据进行训练后得到的识别网络进行 识别处理， 得到所述识别结果。 4.根据权利要求1-3任一项所述的方法， 其特征在于， 所述响应于采集操作。

4、， 得到脚部 动作之前， 所述方法还包括： 获取配置的采集模式； 所述响应于采集操作， 得到脚部动作， 包括： 所述采集模式为前置采集的情况下， 触发前置摄像头的所述采集操作， 得到所述脚部 操作； 所述采集模式为后置采集的情况下， 触发后置摄像头的所述采集操作， 得到所述脚部 操作。 5.根据权利要求4所述的方法， 其特征在于， 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行交互控制， 包括： 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号； 根据所述第一控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部抬起处理， 得到第一处理结果； 对所述第一处。

5、理结果进行渲染处理， 得到显示于所述操作界面的第一视图。 6.根据权利要求4所述的方法， 其特征在于， 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行交互控制， 包括： 所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信号； 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处理， 得到第二处理结果； 对所述第二处理结果进行渲染处理， 得到显示于所述操作界面的第二视图。 7.根据权利要求4所述的方法， 其特征在于， 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行交互控制， 包括： 所述识别结果为用于表征脚部踢出动作的情况下。

6、， 得到对应的第三控制信号； 根据所述第三控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踢出处理， 得到第三处理结果； 对所述第三处理结果进行渲染处理， 得到显示于所述操作界面的第三视图。 8.根据权利要求4所述的方法， 其特征在于， 响应于由所述识别结果得到的控制信号， 权利要求书 1/3 页 2 CN 111026277 A 2 对操作界面中的目标对象进行交互控制， 包括： 所述识别结果为用于表征脚部踩踏动作的情况下， 得到对应的第四控制信号； 根据所述第四控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踩踏处理， 得到第四处理结果； 对所述第四处理结果进行渲染处理， 得到显。

7、示于所述操作界面的第四视图。 9.根据权利要求4所述的方法， 其特征在于， 所述响应于由所述识别结果得到的控制信 号， 对操作界面中的目标对象进行交互控制， 还包括： 对由所述识别结果得到的控制信号进行信号切换跟踪， 得到控制信号的变化情况； 根据所述控制信号的变化情况， 对所述操作界面中的目标对象执行虚拟对象脚部动作 的动态处理， 得到第五处理结果； 对所述第五处理结果进行渲染处理， 得到显示于所述操作界面的第五视图。 10.一种动作识别方法， 其特征在于， 所述方法包括： 响应于采集操作， 得到脚部动作； 对所述脚部动作进行识别， 得到识别结果。 11.一种交互控制装置， 其特征在于， 所。

8、述装置包括： 第一响应单元， 用于响应于采集操作， 得到脚部动作； 识别单元， 用于对所述脚部动作进行识别， 得到识别结果； 第二响应单元， 用于响应于由所述识别结果得到的控制信号， 对操作界面中的目标对 象进行交互控制。 12.根据权利要求11所述的装置， 其特征在于， 所述识别单元， 用于： 将所述脚部动作根据识别网络进行识别处理， 得到所述识别结果； 所述识别网络为： 根据预先标注的脚部数据进行训练后得到的识别网络。 13.根据权利要求11所述的装置， 其特征在于， 所述识别单元， 用于： 对包含脚部抬起动 作、 脚部放下动作、 脚部踢出动作及脚部踩踏动作中的至少一种所述脚部动作， 通过。

9、对应至 少一种所述脚部动作的训练数据进行训练后得到的识别网络进行识别处理， 得到所述识别 结果。 14.根据权利要求11-13任一项所述的装置， 其特征在于， 所述装置还包括： 获取单元， 用于获取配置的采集模式； 所述第一响应单元， 用于： 所述采集模式为前置采集的情况下， 触发前置摄像头的所述采集操作， 得到所述脚部 操作； 所述采集模式为后置采集的情况下， 触发后置摄像头的所述采集操作， 得到所述脚部 操作。 15.根据权利要求14所述的装置， 其特征在于， 所述第二响应单元， 用于： 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号； 根据所述第一控制信号， 对所述。

10、操作界面中的目标对象执行虚拟对象脚部抬起处理， 得到第一处理结果； 对所述第一处理结果进行渲染处理， 得到显示于所述操作界面的第一视图。 16.根据权利要求14所述的装置， 其特征在于， 所述第二响应单元， 用于： 权利要求书 2/3 页 3 CN 111026277 A 3 所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信号； 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处理， 得到第二处理结果； 对所述第二处理结果进行渲染处理， 得到显示于所述操作界面的第二视图。 17.根据权利要求14所述的装置， 其特征在于， 所述第二响应单元， 用于： 所述。

11、识别结果为用于表征脚部踢出动作的情况下， 得到对应的第三控制信号； 根据所述第三控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踢出处理， 得到第三处理结果； 对所述第三处理结果进行渲染处理， 得到显示于所述操作界面的第三视图。 18.一种动作识别装置， 其特征在于， 所述装置包括： 动作响应单元， 用于响应于采集操作， 得到脚部动作； 动作识别单元， 用于对所述脚部动作进行识别， 得到识别结果。 19.一种电子设备， 其特征在于， 包括： 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被配置为： 执行权利要求1至权利要求9、 权利要求10中任意一项所述 的方法。 20。

12、.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处理器执行时实现权利要求1至权利要求9、 权利要求10中任意一项所述的方 法。 权利要求书 3/3 页 4 CN 111026277 A 4 一种交互控制方法及装置、 电子设备和存储介质 技术领域 0001 本公开涉及数据控制领域， 尤其涉及一种交互控制方法及装置、 动作识别方法及 装置、 电子设备和存储介质。 背景技术 0002 随着智能终端、 数据通信技术、 增强现实(Augmented Reality， AR)及虚拟现实 (VirtuaI Reality， VR)等技术的发展， 用户对数据控制的需。

13、求比以往更高， 尤其是需要满 足交互场景中的数据控制需求， 然而， 相关技术中， 对于交互控制场景中人体交互为脚部的 情况， 未存在有效的解决方案。 发明内容 0003 有鉴于此， 本公开提出了一种交互控制的技术方案。 0004 根据本公开的一方面， 提供了一种交互控制方法， 所述方法包括： 0005 响应于采集操作， 得到脚部动作； 0006 对所述脚部动作进行识别， 得到识别结果； 0007 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行交互控 制。 0008 采用本公开， 对于脚部动作进行识别， 以得到识别结果， 根据由识别结果得到的控 制信号， 实现了对操作界面中目标。

14、对象的交互控制， 从而， 满足了交互控制场景中人体交互 为脚部情况的数据控制需求。 0009 可能的实现方式中， 所述对所述脚部动作进行识别， 得到识别结果， 包括： 0010 将所述脚部动作根据识别网络进行识别处理， 得到所述识别结果； 0011 所述识别网络为： 根据预先标注的脚部数据进行训练后得到的识别网络。 0012 采用本公开， 可以通过训练后得到的识别网络对脚部动作进行识别处理， 以提高 对脚部动作识别的识别精确性。 0013 可能的实现方式中， 所述对所述脚部动作进行识别， 得到识别结果， 包括： 0014 对包含脚部抬起动作、 脚部放下动作、 脚部踢出动作及脚部踩踏动作中的至少。

15、一 种所述脚部动作， 通过对应至少一种所述脚部动作的训练数据进行训练后得到的识别网络 进行识别处理， 得到所述识别结果。 0015 采用本公开， 可以根据对应不同脚部动作的不同训练数据所训练得到的识别网络 进行识别处理， 从而， 可以针对性地识别各种脚部动作， 以提高对各脚部动作识别的识别精 确性。 0016 可能的实现方式中， 所述响应于采集操作， 得到脚部动作之前， 所述方法还包括： 获取配置的采集模式； 0017 所述响应于采集操作， 得到脚部动作， 包括： 0018 所述采集模式为前置采集的情况下， 触发前置摄像头的所述采集操作， 得到所述 说明书 1/14 页 5 CN 111026。

16、277 A 5 脚部操作； 0019 所述采集模式为后置采集的情况下， 触发后置摄像头的所述采集操作， 得到所述 脚部操作。 0020 采用本公开， 可以支持多种采集方式， 如通过前置采集或后置采集的方式执行所 述采集操作， 可以兼容更多的采集场景。 0021 可能的实现方式中， 响应于由所述识别结果得到的控制信号， 对操作界面中的目 标对象进行交互控制， 包括： 0022 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号； 0023 根据所述第一控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部抬起处 理， 得到第一处理结果； 0024 对所述第一处理结果进行渲染处理。

17、， 得到显示于所述操作界面的第一视图。 0025 采用本公开， 对于识别结果为用于表征脚部抬起动作的情况， 可以根据第一控制 信号执行脚部抬起处理， 并最终得到显示于所述操作界面的第一视图。 0026 可能的实现方式中， 响应于由所述识别结果得到的控制信号， 对操作界面中的目 标对象进行交互控制， 包括： 0027 所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信号； 0028 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处 理， 得到第二处理结果； 0029 对所述第二处理结果进行渲染处理， 得到显示于所述操作界面的第二视图。 0030 采用本公开。

18、， 对于识别结果为用于表征脚部放下动作的情况， 可以根据第二控制 信号执行脚部放下处理， 并最终得到显示于所述操作界面的第二视图。 0031 可能的实现方式中， 响应于由所述识别结果得到的控制信号， 对操作界面中的目 标对象进行交互控制， 包括： 0032 所述识别结果为用于表征脚部踢出动作的情况下， 得到对应的第三控制信号； 0033 根据所述第三控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踢出处 理， 得到第三处理结果； 0034 对所述第三处理结果进行渲染处理， 得到显示于所述操作界面的第三视图。 0035 采用本公开， 对于识别结果为用于表征脚部踢出动作的情况， 可以根据第三。

19、控制 信号执行脚部踢出处理， 并最终得到显示于所述操作界面的第三视图。 0036 可能的实现方式中， 响应于由所述识别结果得到的控制信号， 对操作界面中的目 标对象进行交互控制， 包括： 0037 所述识别结果为用于表征脚部踩踏动作的情况下， 得到对应的第四控制信号； 0038 根据所述第四控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踩踏处 理， 得到第四处理结果； 0039 对所述第四处理结果进行渲染处理， 得到显示于所述操作界面的第四视图。 0040 采用本公开， 对于识别结果为用于表征脚部踩踏动作的情况， 可以根据第四控制 信号执行脚部踢出处理， 并最终得到显示于所述操作界面的。

20、第四视图。 0041 可能的实现方式中， 所述响应于由所述识别结果得到的控制信号， 对操作界面中 的目标对象进行交互控制， 还包括： 说明书 2/14 页 6 CN 111026277 A 6 0042 对由所述识别结果得到的控制信号进行信号切换跟踪， 得到控制信号的变化情 况； 0043 根据所述控制信号的变化情况， 对所述操作界面中的目标对象执行虚拟对象脚部 动作的动态处理， 得到第五处理结果； 0044 对所述第五处理结果进行渲染处理， 得到显示于所述操作界面的第五视图。 0045 采用本公开， 对于由识别结果得到控制信号并进行信号切换跟踪的情况， 可以根 据控制信号的变化情况执行脚部动。

21、作的动态处理， 并最终得到显示于所述操作界面的第五 视图。 0046 根据本公开的一方面， 提供了一种动作识别方法， 所述方法包括： 0047 响应于采集操作， 得到脚部动作； 0048 对所述脚部动作进行识别， 得到识别结果。 0049 采用本公开， 可以对脚部动作进行识别， 以得到精确的识别结果。 进而， 可以根据 该识别结果满足包括但不限于： 诸如交互控制场景中人体交互为脚部情况的数据控制需 求。 0050 根据本公开的一方面， 提供了一种交互控制装置， 所述装置包括： 0051 第一响应单元， 用于响应于采集操作， 得到脚部动作； 0052 识别单元， 用于对所述脚部动作进行识别， 得。

22、到识别结果； 0053 第二响应单元， 用于响应于由所述识别结果得到的控制信号， 对操作界面中的目 标对象进行交互控制。 0054 可能的实现方式中， 所述识别单元， 用于： 0055 将所述脚部动作根据识别网络进行识别处理， 得到所述识别结果； 0056 所述识别网络为： 根据预先标注的脚部数据进行训练后得到的识别网络。 0057 可能的实现方式中， 所述识别单元， 用于： 对包含脚部抬起动作、 脚部放下动作、 脚 部踢出动作及脚部踩踏动作中的至少一种所述脚部动作， 通过对应至少一种所述脚部动作 的训练数据进行训练后得到的识别网络进行识别处理， 得到所述识别结果。 0058 可能的实现方式中。

23、， 所述装置还包括： 获取单元， 用于获取配置的采集模式； 0059 所述第一响应单元， 用于： 0060 所述采集模式为前置采集的情况下， 触发前置摄像头的所述采集操作， 得到所述 脚部操作； 0061 所述采集模式为后置采集的情况下， 触发后置摄像头的所述采集操作， 得到所述 脚部操作。 0062 可能的实现方式中， 所述第二响应单元， 用于： 0063 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号； 0064 根据所述第一控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部抬起处 理， 得到第一处理结果； 0065 对所述第一处理结果进行渲染处理， 得到显示于所。

24、述操作界面的第一视图。 0066 可能的实现方式中， 所述第二响应单元， 用于： 0067 所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信号； 0068 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处 说明书 3/14 页 7 CN 111026277 A 7 理， 得到第二处理结果； 0069 对所述第二处理结果进行渲染处理， 得到显示于所述操作界面的第二视图。 0070 可能的实现方式中， 所述第二响应单元， 用于： 0071 所述识别结果为用于表征脚部踢出动作的情况下， 得到对应的第三控制信号； 0072 根据所述第三控制信号， 对所述操作界。

25、面中的目标对象执行虚拟对象脚部踢出处 理， 得到第三处理结果； 0073 对所述第三处理结果进行渲染处理， 得到显示于所述操作界面的第三视图。 0074 可能的实现方式中， 所述第二响应单元， 用于： 0075 所述识别结果为用于表征脚部踩踏动作的情况下， 得到对应的第四控制信号； 0076 根据所述第四控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踩踏处 理， 得到第四处理结果； 0077 对所述第四处理结果进行渲染处理， 得到显示于所述操作界面的第四视图。 0078 可能的实现方式中， 所述第二响应单元， 还用于： 0079 对由所述识别结果得到的控制信号进行信号切换跟踪， 得到控。

26、制信号的变化情 况； 0080 根据所述控制信号的变化情况， 对所述操作界面中的目标对象执行虚拟对象脚部 动作的动态处理， 得到第五处理结果； 0081 对所述第五处理结果进行渲染处理， 得到显示于所述操作界面的第五视图。 0082 根据本公开的一方面， 提供了一种动作识别装置， 所述装置包括： 0083 动作响应单元， 用于响应于采集操作， 得到脚部动作； 0084 动作识别单元， 用于对所述脚部动作进行识别， 得到识别结果。 0085 根据本公开的另一方面， 提供了一种电子设备， 包括： 处理器； 用于存储处理器可 执行指令的存储器； 其中， 所述处理器被配置为执行上述方法。 0086 根。

27、据本公开的另一方面， 提供了一种非易失性计算机可读存储介质， 其上存储有 计算机程序指令， 其中， 所述计算机程序指令被处理器执行时实现上述方法。 0087 在本公开实施例中， 通过响应于采集操作， 得到脚部动作； 对所述脚部动作进行识 别， 得到识别结果； 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进行 交互控制。 采用本公开， 对于脚部动作进行识别， 以得到识别结果， 根据由识别结果得到的 控制信号， 实现了对操作界面中目标对象的交互控制， 从而， 满足了交互控制场景中人体交 互为脚部情况的数据控制需求。 0088 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性。

28、和解释性的， 而非 限制本公开。 0089 根据下面参考附图对示例性实施例的详细说明， 本公开的其它特征及方面将变得 清楚。 附图说明 0090 包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的 示例性实施例、 特征和方面， 并且用于解释本公开的原理。 0091 此处的附图被并入说明书中并构成本说明书的一部分， 这些附图示出了符合本公 说明书 4/14 页 8 CN 111026277 A 8 开的实施例， 并与说明书一起用于说明本公开的技术方案。 0092 图1示出根据本公开实施例的交互控制方法的流程图。 0093 图2示出根据本公开实施例的响应于示例脚部动作的交互控制方。

29、法的示意图。 0094 图3示出根据本公开实施例的交互控制装置的框图。 0095 图4示出根据本公开实施例的电子设备的框图。 具体实施方式 0096 以下将参考附图详细说明本公开的各种示例性实施例、 特征和方面。 附图中相同 的附图标记表示功能相同或相似的元件。 尽管在附图中示出了实施例的各种方面， 但是除 非特别指出， 不必按比例绘制附图。 0097 在这里专用的词 “示例性” 意为 “用作例子、 实施例或说明性” 。 这里作为 “示例性” 所说明的任何实施例不必解释为优于或好于其它实施例。 0098 本文中术语 “和/或” ， 仅仅是一种描述关联对象的关联关系， 表示可以存在三种关 系， 。

30、例如， A和/或B， 可以表示： 单独存在A， 同时存在A和B， 单独存在B这三种情况。 另外， 本文 中术语 “至少一种” 表示多种中的任意一种或多种中的至少两种的任意组合， 例如， 包括A、 B、 C中的至少一种， 可以表示包括从A、 B和C构成的集合中选择的任意一个或多个元素。 0099 另外， 为了更好的说明本公开， 在下文的具体实施方式中给出了众多的具体细节。 本领域技术人员应当理解， 没有某些具体细节， 本公开同样可以实施。 在一些实例中， 对于 本领域技术人员熟知的方法、 手段、 元件和电路未作详细描述， 以便于凸显本公开的主旨。 0100 图1示出根据本公开实施例的交互控制方法。

31、的流程图， 该方法应用于交互控制装 置， 例如， 该装置可以部署于终端设备或其它处理设备执行的情况下， 可以执行脚部动作采 集、 脚部动作识别和交互控制等处理。 其中 ， 终端设备可以为用户设备(UE， User Equipment)、 移动设备、 个人数字处理(PDA， Personal Digital Assistant)、 手持设备(如 平板电脑)、 计算设备、 可穿戴设备等。 在一些可能的实现方式中， 该处理方法还可以通过处 理器调用存储器中存储的计算机可读指令的方式来实现。 如图1所示， 该流程包括： 0101 步骤S101、 响应于采集操作， 得到脚部动作。 0102 一示例中， 。

32、脚部动作可以包括： 脚部抬起动作(如足球类游戏中从带球到射门过程 中在入射踢球前的抬腿动作)、 脚部放下动作(如足球类游戏中从射门过程中的入射踢球后 到恢复初始或在先运动姿态的放下动作)、 脚部踢出动作(如脚部放下过程中与操作界面中 的目标对象呈现一定方向角或加速度的踢出动作， 如足球类游戏在带球或回传中的踢球及 射门时的踢球等)、 脚部踩踏动作(包括运动过程中的踩踏动作， 如足球类游戏在运球中的 踩踏动作； 或足球类游戏在停止时的踩踏动作， 如停球等)中的至少一种。 0103 其中， 脚部抬起动作和脚部放下动作， 可以理解为表征运动变化过程中的动作， 主 要用于描述在一个时间范围内的运动姿态。

33、的变化， 脚部踢出动作和脚部踩踏动作可以理解 为表征某个具体运动时刻的瞬时动作， 比如一个时间点的动作， 通过这种 “点” 、“面” 结合的 处理， 在以足球类游戏为例的虚拟场景或虚实结合场景等中， 可以流畅地描述场景中虚拟 对象(如足球运动员)的各种操作， 并实现真实的人机交互效果。 0104 步骤S102、 对所述脚部动作进行识别， 得到识别结果。 0105 一示例中， 可以将所述脚部动作根据识别网络进行识别处理， 以得到所述识别结 说明书 5/14 页 9 CN 111026277 A 9 果。 所述识别网络可以为： 根据预先标注的训练数据， 即： 脚部抬起动作、 脚部放下动作、 脚 部。

34、踢出动作及脚部踩踏动作中的至少一种脚部数据进行训练后得到的识别网络。 0106 步骤S103、 响应于由所述识别结果得到的控制信号， 对操作界面中的目标对象进 行交互控制。 0107 一示例中， 操作界面可以是智能终端(如手机终端或平板电脑等)的显示界面。 此 种情况下， 在智能终端上运行上述交互控制所针对的应用程序(如足球类游戏)， 智能终端 既可以用于交互控制， 还用于输出基于该交互控制得到的处理结果， 显示该处理结果， 实现 了 “所见既所得” ， 即在本智能终端上直接显示该处理结果， 用户可以进行单机操作的交互 控制。 0108 另一示例中， 操作界面还可以是大屏投影或者电视等各个输出。

35、终端的输出界面。 此种情况下， 在智能终端上运行上述交互控制所针对的应用程序(如足球类游戏)， 智能终 端可以用于交互控制。 为了更好的交互体验和更好的多人交互操作， 将基于该交互控制得 到的处理结果输出到比本智能终端更大的输出界面， 即： 可以将大屏投影或者电视等各个 输出终端中任一输出终端以有线或无线(支持数据无线短距离传输)与智能终端连接， 从而 在该输出终端上显示该处理结果， 用户可以进行多人操作的交互控制。 0109 综上所述， 响应于由所述识别结果得到的控制信号， 可以对智能终端操作界面中 的目标对象进行交互控制， 将基于交互控制得到的处理结果， 显示于该智能终端或该输出 终端。 。

36、0110 采用本公开， 可以对各种脚部动作， 如脚部抬起动作、 脚部放下动作、 脚部踢出动 作及脚部踩踏动作中的至少一种， 通过预先标注的训练数据(对应各种脚部动作的脚部数 据)进行训练得到的识别网络来实现识别处理， 以得到识别结果， 根据由识别结果得到的控 制信号， 实现了对操作界面中目标对象的交互控制， 从而， 满足了交互控制场景中人体交互 为脚部情况的数据控制需求。 0111 可能的实现方式中， 响应于采集操作， 得到脚部动作之前， 所述方法还包括： 获取 配置的采集模式。 所述响应于采集操作， 得到脚部动作， 包括如下任意一种： 0112 一、 采集模式为前置采集的情况下， 触发前置摄。

37、像头的所述采集操作， 得到所述脚 部操作； 0113 二、 所述采集模式为后置采集的情况下， 触发后置摄像头的所述采集操作， 得到所 述脚部操作。 0114 需要指出的是， 通过前置或者后置摄像头的方式， 采集各种脚部动作， 如脚部抬起 动作、 脚部放下动作、 脚部踢出动作及脚部踩踏动作中的至少一种。 一种情况是在训练该识 别网络之前的采集处理， 如通过前置或者后置摄像头的方式采集大量的脚部抬起， 放下， 踢， 踏等脚部动作， 并进行数据标注， 将得到的标注结果作为上述训练数据， 以通过该预先 标注的这些训练数据对识别网络进行训练， 从而得到训练后的识别网络。 另一种情况是在 得到该训练后的识。

38、别网络， 执行交互控制处理的过程中， 通过前置或者后置摄像头的方式 实时采集各种脚部动作， 如脚部抬起动作、 脚部放下动作、 脚部踢出动作及脚部踩踏动作中 的至少一种， 以便通过该训练后的识别网络， 对实时采集的各种脚部动作进行识别处理， 以 得到识别结果。 0115 可能的实现方式中， 就采集的当前动作所展示操作界面一帧图像的情况而言， 响 说明书 6/14 页 10 CN 111026277 A 10 应于由所述识别结果得到的控制信号， 对操作界面中的目标对象(如游戏类应用中的足球) 进行交互控制， 在交互控制处理的显示画面中， 可以通过虚拟对象(如游戏类应用中运球、 踢球、 停球或颠球的。

39、虚拟用户)来实现， 包括如下任意一种情况或其组合： 0116 一、 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号， 根据所述第一控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部抬起处理， 得到 第一处理结果。 对所述第一处理结果进行渲染处理， 得到显示于所述操作界面的第一视图。 0117 二、 所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信号， 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处理， 得到 第二处理结果。 对所述第二处理结果进行渲染处理， 得到显示于所述操作界面的第二视图。 0118 三、 所述识别结果为用。

40、于表征脚部踢出动作的情况下， 得到对应的第三控制信号， 根据所述第三控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踢出处理， 得到 第三处理结果。 对所述第三处理结果进行渲染处理， 得到显示于所述操作界面的第三视图。 0119 四、 所述识别结果为用于表征脚部踩踏动作的情况下， 得到对应的第四控制信号， 根据所述第四控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踩踏处理， 得到 第四处理结果。 对所述第四处理结果进行渲染处理， 得到显示于所述操作界面的第四视图。 0120 可能的实现方式中， 就采集的多个动作所展示操作界面多帧图像动态变化的情况 而言， 所述响应于由所述识别结果。

41、得到的控制信号， 对操作界面中的目标对象进行交互控 制， 还包括： 对由所述识别结果得到的控制信号进行信号切换跟踪， 得到控制信号的变化情 况； 根据所述控制信号的变化情况， 对所述操作界面中的目标对象执行虚拟对象脚部动作 的动态处理， 得到第五处理结果。 对所述第五处理结果进行渲染处理， 得到显示于所述操作 界面的第五视图。 0121 其中， 所述根据所述控制信号的变化情况， 对所述操作界面中的目标对象执行虚 拟对象脚部动作的动态处理， 得到第五处理结果， 包括如下内容： 0122 1、 所述识别结果为用于表征脚部抬起动作的情况下， 得到对应的第一控制信号， 根据所述第一控制信号， 对所述操。

42、作界面中的目标对象执行虚拟对象脚部抬起处理， 得到 第一处理结果。 0123 2、 切换所述识别结果为用于表征脚部放下动作的情况下， 得到对应的第二控制信 号， 根据所述第二控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部放下处理， 得 到第二处理结果。 0124 3、 切换所述识别结果为用于表征脚部踢出动作的情况下， 得到对应的第三控制信 号， 根据所述第三控制信号， 对所述操作界面中的目标对象执行虚拟对象脚部踢出处理， 得 到第三处理结果。 0125 4、 切换所述识别结果为用于表征脚部踩踏动作的情况下， 得到对应的第四控制信 号， 根据所述第四控制信号， 对所述操作界面中的目标对象。

43、执行虚拟对象脚部踩踏处理， 得 到第四处理结果。 0126 5、 根据所述第一处理结果、 第二处理结果、 第三处理结果和第四处理结果， 得到所 述第五处理结果， 该第五处理结果为操作界面多帧图像构成的动态变化视图。 0127 就上述脚部抬起动作而言， 是指： 脚底面距离摄像头的深度跟地面与摄像头的深 度相比更小的情况。 说明书 7/14 页 11 CN 111026277 A 11 0128 就上述脚部放下动作而言， 是指： 脚底面贴合地面， 脚底面跟摄像头的深度跟地面 与摄像头的深度基本一致的情况。 0129 就上述脚部踢出动作而言， 是指： 离开地面后的脚有一个向脚尖前方向快速移动 的加速。

44、度的情况。 0130 就上述脚部踩踏动作而言， 是指： 离开地面后的脚有一个垂直脚面向脚底面方向 的快速移动的加速度的情况。 0131 本公开实施例还提供了一种动作识别方法， 所述方法包括： 响应于采集操作， 得到 脚部动作； 对所述脚部动作进行识别， 得到识别结果。 0132 一示例中， 所述对所述脚部动作进行识别， 得到识别结果， 包括： 将所述脚部动作 根据识别网络进行识别处理， 得到所述识别结果； 所述识别网络为： 根据预先标注的脚部数 据进行训练后得到的识别网络。 0133 一示例中， 所述对所述脚部动作进行识别， 得到识别结果， 包括： 对包含脚部抬起 动作、 脚部放下动作、 脚部。

45、踢出动作及脚部踩踏动作中的至少一种所述脚部动作， 通过对应 至少一种所述脚部动作的训练数据进行训练后得到的识别网络进行识别处理， 得到所述识 别结果。 0134 采用本公开， 可以对脚部动作进行识别， 以得到精确的识别结果。 进而， 可以根据 该识别结果满足包括但不限于： 诸如上述交互控制场景中人体交互为脚部情况的数据控制 需求。 0135 应用示例： 0136 图2示出根据本公开实施例的响应于示例脚部动作的交互控制方法的示意图， 如 图2所示， 包括如下步骤： 0137 步骤S201、 对于各种脚部动作， 通过前置摄像头或后置摄像头采集各个脚部动作。 0138 一示例中， 可以将采集得到的各。

46、个脚部动作， 直接提供给训练后的识别网络(即通 过预先标注的训练数据进行训练后得到的识别网络)进行识别， 以通过该训练后的识别网 络得到识别结果。 0139 另一示例中， 还可以将采集得到的各个脚部动作， 存入脚部动作集合11中。 由于识 别网络是通过预先标注的训练数据(对应各种脚部动作的脚部数据)进行训练后得到的识 别网络， 训练结束后直接使用该训练后的识别网络。 为了提高识别准确度， 在此基础上还可 以在交互控制处理过程中将脚部动作集合11中的各种脚部动作作为训练数据来继续训练 并更新该训练后的识别网络， 得到更新训练后的识别网络， 因此， 可以将脚部动作集合11中 的各种脚部动作输出， 。

47、以同步更新训练数据并得到该更新训练后的识别网络， 以通过该更 新训练后的识别网络得到更为准确的识别结果。 0140 步骤S202、 对各个脚部动作进行识别， 得到识别结果， 向对应的目标应用发出对应 的控制信号。 0141 一示例中， 目标应用可以为交互控制所针对的应用程序， 如足球类游戏等。 0142 步骤S203、 目标应用响应对应的控制信号， 执行对应的交互控制处理。 0143 一示例中， 控制信号可以为手机终端内部接口的返回值， 上层的目标应用收到控 制信号后， 可以根据目标应用开发者的预设配置触发相应的交互控制。 比如， 目标应用为手 机终端运行的足球类游戏， 则可以通过对不同的控制。

48、信号进行感知以完成交互控制。 交互 说明书 8/14 页 12 CN 111026277 A 12 控制的过程中， 比如， 识别出脚部放下或者正常的脚部平放动作， 则触发控制信号0， 当控制 信号为0时， 根据预设的配置可以得到对应控制信号的交互控制处理为 “在手机终端显示用 户可以开始踢球的提示” 。 然后， 用户可以做出脚部抬起的颠球或脚部踢出的踢球动作等。 0144 若识别出脚部动作为脚部抬起， 此时触发控制信号为1， 可以根据预设的配置可以 得到对应控制信号的交互控制处理为 “用户用脚在垂直方向给足球施加了一个力” ， 则在手 机终端显示该足球类游戏的画面为 “用户颠球， 足球会因此弹。

49、起来” 。 0145 若识别出脚部动作为脚部踢出， 此时触发控制信号为2， 根据预设的配置可以得到 对应控制信号的交互控制处理为 “给足球施加一个向前方远离用户的力， 让足球向远离用 户的方向飞去” ， 则在手机终端显示该足球类游戏的画面为 “用户踢球， 且足球会以一定角 度弹射出” ， 还可以根据脚部踢出计算出加速度， 以得到足球飞行的距离等参数。 0146 若识别到脚部动作为踩踏动作， 此时触发控制信号为4， 根据预设的配置可以得到 对应控制信号的交互控制处理为 “给足球施加一个垂直方向向下的力， 让足球停止于当前 位置” ， 则在手机终端显示该足球类游戏的画面为 “用户停球” 。 014。

50、7 采用本公开， 可以通过识别各个脚部动作来对智能终端上的目标应用(如手机终 端上的手机程序)进行交互控制， 该交互控制不限于对游戏类手机程序的处理， 不仅可以提 供给游戏类手机软件生产厂商使用， 还可以定制更多游戏形态及更多的人机交互操作场景 中。 0148 本领域技术人员可以理解， 在具体实施方式的上述方法中， 各步骤的撰写顺序并 不意味着严格的执行顺序而对实施过程构成任何限定， 各步骤的具体执行顺序应当以其功 能和可能的内在逻辑确定。 0149 本公开提及的上述各个方法实施例， 在不违背原理逻辑的情况下， 均可以彼此相 互结合形成结合后的实施例， 限于篇幅， 本公开不再赘述。 0150 。