智能终端交互方法、装置、终端设备及存储介质.pdf

《智能终端交互方法、装置、终端设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《智能终端交互方法、装置、终端设备及存储介质.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911308311.3 (22)申请日 2019.12.18 (71)申请人 深圳市优必选科技股份有限公司 地址 518000 广东省深圳市南山区学苑大 道1001号南山智园C1栋16、 22楼 (72)发明人 夏严辉熊友军 (74)专利代理机构 深圳中一联合知识产权代理 有限公司 44414 代理人 符亚飞 (51)Int.Cl. G06F 16/9535(2019.01) (54)发明名称 智能终端交互方法、 装置、 终端设备及存储 介质 (57)摘要 本申请适用于人机。

2、交互技术领域， 提供了一 种智能终端交互方法、 装置、 终端设备及存储介 质， 智能终端交互方法包括获取目标用户的身份 标识； 根据所述目标用户的身份标识， 确定目标 交互模式； 其中， 每一所述身份标识对应至少一 个所述目标交互模式； 基于所述目标交互模式与 所述目标用户进行交互， 并根据与所述目标用户 的交互信息对目标交互模式进行更新。 通过上述 方法实现根据不同的用户选择对应的交互模式， 以实现用最佳的交互模式与用户进行交互， 提高 用户的体验感。 同时， 根据与用户的交互信息提 取用户的爱好、 习惯等信息， 并将提取的信息存 储到用户对应的交互模式中， 丰富交互模式的内 容， 使交互模。

3、式更加符合对应用户的需求， 提高 用户的体验感。 权利要求书2页 说明书12页 附图4页 CN 111061953 A 2020.04.24 CN 111061953 A 1.一种智能终端交互方法， 其特征在于， 包括： 获取目标用户的身份标识； 根据所述目标用户的身份标识， 确定目标交互模式； 其中， 每一所述身份标识对应至少 一个所述目标交互模式； 基于所述目标交互模式与所述目标用户进行交互， 并根据与所述目标用户的交互信息 对所述目标交互模式进行更新。 2.根据权利要求1所述的智能终端交互方法， 其特征在于， 所述获取目标用户的身份标 识， 包括： 采集所述目标用户的人脸图像和/或声音信。

4、息； 提取所述人脸图像中的人脸特征， 和/或所述声音信息的声纹特征； 基于所述人脸特征在数据库中匹配对应的预设人脸特征， 和/或基于所述声纹特征在 所述数据库中匹配对应的预设声纹特征； 其中， 所述数据库中预存有多组身份参数， 每组所 述身份参数包括一预设人脸特征、 一预设声纹特征和一身份标识； 基于匹配到的预设人脸特征和/或预设声纹特征， 确定所述目标用户的身份标识。 3.根据权利要求2所述的智能终端交互方法， 其特征在于， 所述数据库中还预存有多组 交互模式配置参数， 每组所述交互模式配置参数包括一身份标识、 一情绪特征和一预设交 互模式； 所述根据所述目标用户的身份标识， 确定目标交互模。

5、式， 包括： 基于所述人脸图像和/或所述声音信息确定所述目标用户的当前情绪特征； 在所述数据库中匹配与所述身份标识和所述当前情绪特征对应的目标交互模式。 4.根据权利要求1所述的智能终端交互方法， 其特征在于， 所述基于所述目标交互模式 与所述目标用户进行交互， 包括： 获取所述目标用户的人脸图像、 肢体信息和声音信息中的至少一种信息； 基于所述人脸图像、 所述肢体信息和/或所述声音信息确定所述目标用户的当前需求 信息； 根据所述当前需求信息推送推荐信息。 5.根据权利要求4所述的智能终端交互方法， 其特征在于， 所述目标交互模式中设有限 制信息类别； 所述基于所述目标交互模式与所述目标用户进。

6、行交互， 还包括： 获取所述目标用户的指令信息； 判断所述指令信息是否属于所述限制信息类别对应的信息； 在所述指令信息属于所述限制信息类别对应的信息的情况下， 向所述目标用户回复预 设的应答信息。 6.根据权利要求1至5任一项所述的智能终端交互方法， 其特征在于， 所述根据与所述 目标用户的交互信息对所述目标交互模式进行更新， 包括： 获取所述目标用户的用户特征信息， 所述用户特征信息包括人脸图像、 肢体信息和声 音信息中的至少一种信息； 基于所述用户特征信息提取所述目标用户的习惯信息； 基于所述习惯信息对所述目标用户对应的目标交互模式进行更新。 权利要求书 1/2 页 2 CN 111061。

7、953 A 2 7.根据权利要求1至5任一项所述的智能终端交互方法， 其特征在于， 所述方法还包括： 获取所述目标用户输入的信息修改指令； 其中， 所述信息修改指令包括身份标识修改 指令和交互模式修改指令； 根据所述目标用户的身份标识确定所述目标用户的管理权限； 在所述管理权限包括管理员权限的情况下， 执行所述修改指令。 8.一种智能终端交互装置， 其特征在于， 包括： 身份标识获取模块， 用于获取目标用户的身份标识； 目标交互模式确定模块， 用于根据所述目标用户的身份标识， 确定目标交互模式； 其 中， 每一所述身份标识对应至少一个所述目标交互模式； 交互学习模块， 用于基于所述目标交互模式。

8、与所述目标用户进行交互， 并根据与所述 目标用户的交互信息对所述目标交互模式进行更新。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。 权利要求书 2/2 页 3 CN 111061953 A 3 智能终端交互方法、 装置、 终端设备及存储介质 技术领域 0001 本申请属于人机交互技术领域， 尤其涉。

9、及一种智能终端交互方法、 装置、 终端设备 及存储介质。 背景技术 0002 随着人机交互技术的发展， 能够实现人机交互的智能终端被应用于各个领域， 智 能终端可以与人进行交互， 实现对人的服务。 但是当前的智能终端只能使用某种预置的交 互模式与用户进行交互， 交互模式单一， 影响用户的体验感。 发明内容 0003 本申请实施例提供了一种智能终端交互方法、 装置、 终端设备及存储介质， 可以解 决智能终端交互模式单一的问题。 0004 第一方面， 本申请实施例提供了一种智能终端交互方法， 包括： 0005 获取目标用户的身份标识； 0006 根据所述目标用户的身份标识， 确定目标交互模式； 其。

10、中， 每一所述身份标识对应 至少一个所述目标交互模式； 0007 基于所述目标交互模式与所述目标用户进行交互， 并根据与所述目标用户的交互 信息对所述目标交互模式进行更新。 0008 在第一方面的一种可能的实现方式中， 所述获取目标用户的身份标识， 包括： 0009 采集所述目标用户的人脸图像和/或声音信息； 0010 提取所述人脸图像中的人脸特征， 和/或所述声音信息的声纹特征； 0011 基于所述人脸特征在数据库中匹配对应的预设人脸特征， 和/或基于所述声纹特 征在所述数据库中匹配对应的预设声纹特征； 其中， 所述数据库中预存有多组身份参数， 每 组所述身份参数包括一预设人脸特征、 一预设。

11、声纹特征和一身份标识； 0012 基于匹配到的预设人脸特征和/或预设声纹特征， 确定所述目标用户的身份标识。 0013 在第一方面的一种可能的实现方式中， 所述数据库中还预存有多组交互模式配置 参数， 每组所述交互模式配置参数包括一身份标识、 一情绪特征和一预设交互模式； 0014 所述根据所述目标用户的身份标识， 确定目标交互模式， 包括： 0015 基于所述人脸图像和/或所述声音信息确定所述目标用户的当前情绪特征； 0016 在所述数据库中匹配与所述身份标识和所述当前情绪特征对应的目标交互模式。 0017 在第一方面的一种可能的实现方式中， 所述基于所述目标交互模式与所述目标用 户进行交互。

12、， 包括： 0018 获取所述目标用户的人脸图像、 肢体信息和声音信息中的至少一种信息； 0019 基于所述人脸图像、 所述肢体信息和/或所述声音信息确定所述目标用户的当前 需求信息； 0020 根据所述当前需求信息推送推荐信息。 说明书 1/12 页 4 CN 111061953 A 4 0021 在第一方面的一种可能的实现方式中， 所述目标交互模式中设有限制信息类别； 0022 所述基于所述目标交互模式与所述目标用户进行交互， 还包括： 0023 获取所述目标用户的指令信息； 0024 判断所述指令信息是否属于所述限制信息类别对应的信息； 0025 在所述指令信息属于所述限制信息类别对应的。

13、信息的情况下， 向所述目标用户回 复预设的应答信息。 0026 在第一方面的一种可能的实现方式中， 所述根据与所述目标用户的交互信息对所 述目标交互模式进行更新， 包括： 0027 获取所述目标用户的用户特征信息， 所述用户特征信息包括人脸图像、 肢体信息 和声音信息中的至少一种信息； 0028 基于所述用户特征信息提取所述目标用户的习惯信息； 0029 基于所述习惯信息对所述目标用户对应的目标交互模式进行更新。 0030 在第一方面的一种可能的实现方式中， 所述方法还包括： 0031 获取所述目标用户输入的信息修改指令； 其中， 所述信息修改指令包括身份标识 修改指令和交互模式修改指令； 0。

14、032 根据所述目标用户的身份标识确定所述目标用户的管理权限； 0033 在所述管理权限包括管理员权限的情况下， 执行所述修改指令。 0034 第二方面， 本申请实施例提供了一种智能终端交互装置， 包括： 0035 身份标识获取模块， 用于获取目标用户的身份标识； 0036 目标交互模式确定模块， 用于根据所述目标用户的身份标识， 确定目标交互模式； 其中， 每一所述身份标识对应至少一个所述目标交互模式； 0037 交互学习模块， 用于基于所述目标交互模式与所述目标用户进行交互， 并根据与 所述目标用户的交互信息对所述目标交互模式进行更新。 0038 第三方面， 本申请实施例提供了一种终端设备。

15、， 包括存储器、 处理器以及存储在所 述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实 现上述第一方面任一项所述的方法。 0039 第四方面， 本申请实施例提供了一种计算机可读存储介质， 所述计算机可读存储 介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述第一方面任一项所述的 方法。 0040 第五方面， 本申请实施例提供了一种计算机程序产品， 当计算机程序产品在终端 设备上运行时， 使得终端设备执行上述第一方面中任一项所述的方法。 0041 本申请实施例与现有技术相比存在的有益效果是： 0042 本申请实施例通过获取目标用户的身份标识， 根据目标用。

16、户的身份标识， 确定目 标交互模式， 基于目标交互模式与目标用户进行交互， 从而实现根据不同的用户选择对应 的交互模式， 以实现用最佳的交互模式与用户进行交互， 提高用户的体验感。 同时， 根据与 目标用户的交互信息对目标交互模式进行更新， 可以根据与目标用户的交互信息提取目标 用户的爱好、 习惯等信息， 并将提取的信息存储到目标用户对应的目标交互模式中， 丰富交 互模式的内容， 使交互模式更加符合对应用户的需求， 提高用户的体验感。 0043 可以理解的是， 上述第二方面至第五方面的有益效果可以参见上述第一方面中的 说明书 2/12 页 5 CN 111061953 A 5 相关描述， 在此。

17、不再赘述。 附图说明 0044 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些 附图获得其他的附图。 0045 图1是本申请一实施例提供的智能终端交互方法的应用环境示意图； 0046 图2是本申请一实施例提供的智能终端交互方法的流程示意图； 0047 图3是本申请一实施例提供的智能终端交互方法的流程示意图； 0048 图4是本申请一实施例提供的智能终端交互方法的流程示意图； 0049 图5是本申请一。

18、实施例提供的智能终端交互方法的流程示意图； 0050 图6是本申请一实施例提供的智能终端交互方法的流程示意图； 0051 图7是本申请一实施例提供的智能终端交互装置的结构示意图； 0052 图8是本申请实施例提供的终端设备的结构示意图。 具体实施方式 0053 以下描述中， 为了说明而不是为了限定， 提出了诸如特定系统结构、 技术之类的具 体细节， 以便透彻理解本申请实施例。 然而， 本领域的技术人员应当清楚， 在没有这些具体 细节的其它实施例中也可以实现本申请。 在其它情况中， 省略对众所周知的系统、 装置、 电 路以及方法的详细说明， 以免不必要的细节妨碍本申请的描述。 0054 应当理解。

19、， 当在本申请说明书和所附权利要求书中使用时， 术语 “包括” 指示所描 述特征、 整体、 步骤、 操作、 元素和/或组件的存在， 但并不排除一个或多个其它特征、 整体、 步骤、 操作、 元素、 组件和/或其集合的存在或添加。 0055 还应当理解， 在本申请说明书和所附权利要求书中使用的术语 “和/或” 是指相关 联列出的项中的一个或多个的任何组合以及所有可能组合， 并且包括这些组合。 0056 如在本申请说明书和所附权利要求书中所使用的那样， 术语 “如果” 可以依据上下 文被解释为 “当.时” 或 “一旦” 或 “响应于确定” 或 “响应于检测到” 。 类似地， 短语 “如果确 定” 或。

20、 “如果检测到所描述条件或事件” 可以依据上下文被解释为意指 “一旦确定” 或 “响 应于确定” 或 “一旦检测到所描述条件或事件” 或 “响应于检测到所描述条件或事件” 。 0057 另外， 在本申请说明书和所附权利要求书的描述中， 术语 “第一” 、“第二” 、“第三” 等仅用于区分描述， 而不能理解为指示或暗示相对重要性。 0058 在本申请说明书中描述的参考 “一个实施例” 或 “一些实施例” 等意味着在本申请 的一个或多个实施例中包括结合该实施例描述的特定特征、 结构或特点。 由此， 在本说明书 中的不同之处出现的语句 “在一个实施例中” 、“在一些实施例中” 、“在其他一些实施例中。

21、” 、 “在另外一些实施例中” 等不是必然都参考相同的实施例， 而是意味着 “一个或多个但不是 所有的实施例” ， 除非是以其他方式另外特别强调。 术语 “包括” 、“包含” 、“具有” 及它们的变 形都意味着 “包括但不限于” ， 除非是以其他方式另外特别强调。 0059 随着人机交互技术的发展， 能够实现人机交互的智能终端被应用于各个领域， 智 说明书 3/12 页 6 CN 111061953 A 6 能终端可以与人进行交互， 实现对人的服务。 但是当前的智能终端只能使用某种预置的交 互模式与用户进行交互， 交互模式单一， 影响用户的体验感。 0060 基于上述问题， 本申请实施例中的智。

22、能终端交互方法， 通过获取用户的身份标识， 根据用户的身份标识， 确定交互模式， 基于交互模式与用户进行交互， 上述方法实现根据不 同的用户身份信息选择对应的交互模式， 以实现用最佳的交互模式与用户进行交互， 提高 用户的体验感。 同时， 根据与用户的交互信息对目标交互模式进行更新， 根据与用户的交互 信息提取用户的爱好、 习惯等信息， 并将提取的信息存储到用户对应的交互模式中， 丰富交 互模式的内容， 使交互模式更加符合对应用户的需求， 与用户的交互时间越长， 交互模式越 贴合用户的需求， 提高用户的体验感。 0061 先介绍本申请中智能终端交互方法的一个应用场景。 参见图1， 为本申请实施。

23、例提 供的智能终端交互方法的应用环境示意图。 如图1所示， 智能终端10可以为移动机器人(例 如服务机器人、 引路机器人等)或固定智能设备(例如智能音箱、 家居智能控制机器人或智 能手机等)， 智能终端10可以与用户20进行交互， 满足用户20的需求， 例如控制电器的开关、 回答问题或做家务等。 0062 智能终端10在与用户20进行交互时， 首先获取用户20的身份标识， 例如用户20的 性别、 年龄等信息。 然后根据用户20的身份标识选择对应的交互模式与用户20进行交互， 例 如用户20为小女孩儿时， 智能终端10会使用小萝莉的声音与用户20交互； 用户20为老年人 时， 智能终端10会向用。

24、户20推荐一些养生知识等。 以此实现智能终端10能够基于不同身份 标识的用户20选择不同的交互模式， 交互时更能贴合用户20的爱好和习惯， 从而提高用户 20的体验感。 0063 智能终端10在与用户20进行交互时， 还可以在用户20交互的内容中提取用户20的 习惯和爱好等信息， 并将提取的用户20的习惯和爱好等信息存储到与用户20对应的交互模 式中， 实现智能终端10的自主学习， 交互时间越长， 交互模式越符合用户20的实际需求， 可 以提高用户20的体验感。 例如交互时用户20经常提到电影相关的内容， 智能终端10可以获 取用户20喜好电影的信息， 经过智能终端10的自主学习， 交互时智能。

25、终端10可以主动推荐 一些最新的电影资讯。 0064 如图2示出了本申请一实施例提供的智能终端交互方法的流程示意图， 作为示例 而非限定， 所述方法可以包括以下步骤： 0065 S201， 获取目标用户的身份标识。 0066 在一些实施例中， 目标用户的身份标识可以包括目标用户的人脸图像、 声音信息 和指纹信息等信息中的至少一种信息， 通过获取目标用户的人脸图像、 声音信息和指纹信 息等信息中的至少一种信息， 然后将获取的信息和预存的信息进行比对， 可以确定目标用 户的身份。 0067 示例性的， 参照图3， 步骤S201具体可以包括： 0068 S2011， 采集目标用户的人脸图像和/或声音。

26、信息。 0069 具体地， 可以通过图像采集装置对目标用户的人脸图像进行采集， 通过声音采集 装置对目标用户的声音信息进行采集。 例如， 可以通过摄像头采集目标用户的人脸图像， 可 以通过声音传感器采集目标用户的声音信息。 0070 需要说明的是， 步骤S2011中除了采集目标用户的人脸图像和声音信息之外， 还可 说明书 4/12 页 7 CN 111061953 A 7 以通过采集目标用户的其他信息实现对用户身份的确定， 例如指纹和静脉等信息。 0071 S2012， 提取人脸图像中的人脸特征， 和/或声音信息的声纹特征。 0072 具体地， 经过步骤S2011采取到目标用户的人脸图像和声音。

27、信息后， 可以利用一些 算法对人脸图像和声音信息进行特征的提取， 得到人脸特征和声纹特征， 用于对用户身份 的确认。 0073 S2013， 基于人脸特征在数据库中匹配对应的预设人脸特征， 和/或基于声纹特征 在数据库中匹配对应的预设声纹特征。 0074 其中， 数据库中预存有多组身份参数， 每组身份参数包括一预设人脸特征、 一预设 声纹特征和一身份标识。 0075 具体地， 每组身份参数中的预设人脸特征、 预设声纹特征和身份标识为一一对应 关系， 可以预先采集用户的人脸图像和声音信息作为预设人脸特征和预设声纹特， 并将该 用户的身份标识、 预设人脸特征和预设声纹特进行关联后进行存储， 完成用。

28、户身份参数的 设置。 经过步骤S2012对人脸图像和声音信息进行特征的提取， 得到人脸特征和声纹特征 后， 在数据库中进行匹配， 得到预设人脸特征和预设声纹特征， 用于用户身份的确定。 0076 示例性的， 智能终端应用于一个家庭， 家庭成员有父亲、 母亲、 女儿和儿子， 用户身 份信息可以包括父亲、 母亲、 女儿、 儿子和访客(除家庭成员之外的人)， 获取目标用户的身 份标识的方式为采集人脸图像。 0077 首先， 需要预先对各个家庭成员的人脸图像信息进行采集， 生成预设人脸特征， 将 预设人脸特征与对应的身份标识存储到数据库中； 在检测到用户想要进行交互时， 智能终 端首先采集目标用户的人。

29、脸图像， 然后从人脸图像中提取人脸特征， 并将提取到的人脸特 征与数据库中的预设人脸特征进行匹配， 然后根据匹配到的预设人脸特征确定对应的身份 标识， 以此实现对目标用户身份的识别。 其中， 在目标用户的人脸图像和数据库中所有的预 设人脸特征均没有匹配成功的情况下， 将该目标用户的身份信息作为访客。 0078 S2014， 基于匹配到的预设人脸特征和/或预设声纹特征， 确定目标用户的身份标 识。 0079 具体地， 由于每组身份参数中的预设人脸特征、 预设声纹特征和身份标识为一一 对应关系， 因此只要目标用户的人脸特征与数据库中预设人脸特征匹配成功， 或者目标用 户的声纹特征和数据库中的预设声。

30、纹特征匹配成功， 即可得到对应的身份标识， 实现目标 用户身份的确认。 0080 S202， 根据目标用户的身份标识， 确定目标交互模式。 0081 具体地， 每一身份标识对应至少一个目标交互模式， 每个身份标识对应一个用户 的身份， 可以针对用户当前的情绪状态设置不同的交互模式， 以满足用户不同情感状态下 的需求。 0082 一些实施例中， 交互模式可以根据用户的性别、 年龄、 使用成员中的位置、 教育水 平、 职业、 身体状况、 收入和喜好中任意组合进行设计。 0083 示例性的， 用户A为女性， 年龄19岁， 喜欢流行音乐和喜剧电影； 用户B为男性， 年龄 60岁， 喜欢健身和养生； 用。

31、户C为男性， 年龄30岁， 喜欢投资理财和经典音乐。 当目标用户身 份信息确认为用户A时， 智能终端推荐目前流行的音乐或刚刚上映的喜剧电影等； 当目标用 户身份信息确认为用户B时， 智能终端会推荐一些养生知识和适合老年人健身的做法； 当目 说明书 5/12 页 8 CN 111061953 A 8 标用户身份信息确认为用户B时， 智能终端会推荐一些理财知识或经典音乐等。 通过为用户 针对性的设定交互模式， 更加符合用户的需求， 从而能够提高用户的体验感。 0084 示例性的， 参照图4， 步骤S202具体可以包括： 0085 S2021， 基于人脸图像和/或声音信息确定目标用户的当前情绪特征。。

32、 0086 具体地， 通过采集用户的人脸图像可以识别用户的表情， 通过对表情的分析可以 判断用户当前的情绪状态。 例如用户面带微笑， 则用户处于愉快状态； 用户面部出现难过表 情， 则用户处于悲伤难过状态。 也可以通过采集用户的声音信息判断用户当前的情绪状态。 例如用户发出的声音为平缓的笑声， 则用户处于愉快状态； 用户发出高亢喊叫的声音， 则客 户处于激动状态。 0087 需要说明的时， 在对用户情绪判断时， 不仅仅限于通过人脸图像和声音信息进行 判断， 还可以通过其他方式， 例如通过采集用户的肢体动作也可以判断用户当前的情绪状 态。 可选的， 可以通过综合分析用户的人脸图像、 声音信息和肢。

33、体动作确定用户当前情绪状 态， 能够可以提高对用户当前情绪状态判断的准确性。 0088 S2022， 在数据库中匹配与身份标识和当前情绪特征对应的目标交互模式。 0089 具体地， 经过步骤S2021确定可用户的当前情绪特征后， 再与数据库中预存的多个 预设情绪特征进行匹配， 最后确定目标交互模式。 0090 示例性的， 数据库中存储用户甲的交互模式共有两种， 分别为与用户甲的情绪特 征对应的第一交互模式和第二交互模式。 在人机交互时， 通过采集用户甲的人脸图像和声 音信息判断用户甲的当前情绪特征(即当前情绪状态)， 在用户甲的当前情绪状态为高兴、 愉悦时， 智能终端通过第一交互模式与用户甲进。

34、行交互， 例如此时用户甲要求智能终端播 放音乐， 智能终端会播放一些节奏轻快的音乐； 在用户甲的当前情绪状态为悲伤、 难过时， 智能终端通过第二交互模式与用户甲进行交互， 例如此时用户甲要求智能终端播放音乐 时， 智能终端会播放一些缓慢、 利于缓解悲伤的音乐。 0091 本实施例中， 针对用户不同的情绪状态使用不同的交互模式， 更能够贴合用户当 前的实际需求， 从而提高用户的体验感。 0092 S203， 基于目标交互模式与目标用户进行交互， 并根据与目标用户的交互信息对 目标交互模式进行更新。 0093 具体地， 当目标交互模式确定后， 通过采集目标用户的人脸图像、 肢体信息和声音 信息等信。

35、息判定目标用户的需求， 然后根据目标用户的需求进行相应的响应。 0094 示例性的， 参照图5， 步骤S203具体可以包括： 0095 S2031， 获取目标用户的人脸图像、 肢体信息和声音信息中的至少一种信息。 0096 具体地， 可以通过图像采集装置采集目标用户的人脸图像和肢体信息， 可以通过 声音传感器采集目标用户的声音信息。 目标用户可以通过声音信息向智能终端下发各种命 令指令， 例如， 目标用户说 “播放音乐” 、“开灯” 或 “打开电视” 等命令的语言； 目标用户也可 以通过表情的变化和肢体动作(手势命令)向智能终端下发指令。 智能终端通过采集目标用 户的人脸图像、 声音信息和肢体。

36、信息中的一种或多种信息判断目标用户的需求信息。 0097 可选的， 通过获取的人脸图像、 肢体信息或声音信息确定发送需求信息的目标用 户。 智能终端可以同时获取目标用户的人脸图像、 肢体信息和声音信息， 当智能终端和多个 用户同时交互时， 当其中的一个用户说 “播放音乐” ， 此时智能终端可以通过对声音信息进 说明书 6/12 页 9 CN 111061953 A 9 行特征提取， 确定多个用户中发出命令的目标用户， 通过人脸图像分析 “播放音乐” 这个指 令发起的目标用户， 以此实现目标用户的精准定位， 待目标用户确定后， 智能终端推荐播放 一些符合目标用户当前情绪状态的歌曲。 0098 S。

37、2032， 基于人脸图像、 肢体信息和/或声音信息确定目标用户的当前需求信息。 0099 具体地， 对步骤S2031采集的人脸图像、 肢体信息和声音信息进行特征提取， 确定 目标用户的当前需求信息。 0100 示例性的， 可以对采集的目标用户的声音信息进行关键字的提取， 根据提取的关 键字确定目标用户的当前需求信息。 例如， 当目标用户说 “今天天气挺好的， 给我播放一首 歌曲吧” ， 智能终端提取的关键字可以为 “播放、 天气好、 歌曲” ， 从而根据上述关键字确定目 标用户的当前需求为播放轻松愉快的歌曲。 0101 示例性的， 可以对采集的目标用户的肢体信息进行特征提取， 根据提取的肢体特。

38、 征确定目标用户的当前需求信息。 其中， 在数据库中可以预存有多对一一对应的预设肢体 特征与需求信息。 例如， 手势信息， 用户指向电视， 然后用户的手由拳头变为手掌， 则可以确 定用户当前需求为打开电视。 0102 S2033， 根据当前需求信息推送推荐信息。 0103 需要说明的是， 当确定目标用户的当前需求后， 除了推送推荐信息之外， 还可以做 出其他相应动作， 例如， 控制各类电器开关等。 0104 示例性的， 目标用户说 “我想看电视” ， 智能终端确定目标用户的当前需求为打开 电视， 进而控制打开电视机。 0105 一些实施例中， 可以根据与目标用户的交互信息对目标交互模式进行更新。

39、。 例如， 智能终端可以在交互信息中提取关键信息， 例如目标用户的习惯和爱好等信息， 然后将目 标用户的习惯和爱好等信息存储在目标用户对应的目标交互模式中， 在下次采用该目标交 互模式进行交互时， 可以根据目标用户的习惯和爱好信息向目标用户推荐信息。 0106 通过以上方法实现智能终端自主学习， 对目标交互模式进行丰富， 随着与目标用 户交互的时间越长， 目标交互模式越符合目标用户的爱好习惯等需求， 从而提高目标用户 的体验感。 例如， 智能终端可以通过提取与用户的历史交互信息中的关键信息。 例如， 人机 交互时， 用户经常谈论篮球比赛， 此时可以提取 “篮球” 关键信息， 并将关键信息 “篮。

40、球” 存储 在该用户对应的交互模式中， 在交互时， 可以进行 “篮球” 信息(比赛、 球员新闻等)的推荐。 0107 示例性的， 智能终端根据与目标用户的交互信息对目标交互模式进行更新的具体 方法可以包括： 0108 步骤A1， 获取目标用户的人脸图像、 肢体信息和/或声音信息。 0109 步骤B1， 基于人脸图像、 肢体信息和/或声音信息提取目标用户的习惯信息。 0110 步骤C1， 基于习惯信息对目标用户对应的目标交互模式进行更新。 0111 需要说明的是， 步骤C1中对交互模式进行更新具体可以是将目标用户的习惯信息 存储在该目标交互模式中， 以使目标交互模式更加丰富， 符合目标用户的实际。

41、需求。 0112 为了满足用户的保密要求或其他要求， 可以对不同的用户对应的交互模式中设置 限制信息类别， 当用户提出的命令属于限制信息类别， 此时智能终端不做出回应或者发送 一些预设的应答信息。 0113 示例性的， 智能终端使用目标交互模式与目标用户的交互方法具体可以包括： 说明书 7/12 页 10 CN 111061953 A 10 0114 步骤A2， 获取目标用户的指令信息。 0115 步骤B2， 判断指令信息是否属于限制信息类别对应的信息。 0116 步骤C2， 在指令信息属于限制信息类别对应的信息的情况下， 向目标用户回复预 设的应答信息。 0117 为了清楚的对限制信息类别的。

42、作用， 以一个具体的应用场景进行说明。 0118 智能终端应用于一个家庭， 家庭成员有父亲、 孩子(9岁)和爷爷(有心脏病)， 其他 人身份均为访客。 可以在访客对应的交互模式中将主人的隐私信息(例如银行卡、 保险柜、 门禁的各类密码)设置为限制信息类别， 当访客询问主人的密码时， 智能终端回复预设的应 答信息， 例如回答访客 “此问题是主人的隐私， 小人不敢乱说哦！ ” 。 可以在孩子对应的交互 模式中将黄色和暴力设置为限制信息类别， 以此保证智能终端与孩子交互时， 不会推荐相 关内容， 或者不与孩子交互相关内容， 以保证孩子的健康成长。 可以在爷爷对应的交互模式 中将刺激设置为限制信息类别。

43、， 以保证在人机交互时不会出现刺激类别的信息， 防止爷爷 心脏受到刺激。 0119 图6是本申请一实施例提供的智能终端交互方法的流程示意图， 基于图2所示的实 施例， 该智能终端交互方法还可以包括： 0120 S2001， 获取目标用户输入的信息修改指令； 其中， 信息修改指令包括身份标识修 改指令和交互模式修改指令。 0121 具体地， 身份标识修改指令可以包括身份标识的删除、 增加和修改， 交互模式修改 指令可以包括交互模式的删除、 增加和修改。 0122 S2002， 根据目标用户的身份标识确定目标用户的管理权限。 0123 S2003， 在管理权限包括管理员权限的情况下， 执行修改指令。

44、。 0124 具体地， 管理权限为管理员权限的用户可以进行各种数据的修改， 例如， 添加新成 员、 删除已有成员或对已有成员存储的身份标识和交互模式进行修改等。 设置管理员权限 可以防止数据库中内容被其他人随意更改， 只能允许管理员权限的用户进行修改， 保证了 数据的安全性。 0125 上述智能终端交互方法， 通过获取用户的身份标识， 根据用户的身份标识， 确定目 标交互模式， 基于目标交互模式与目标用户进行交互， 从而实现根据不同的用户身份信息 选择对应的交互模式， 以实现用最佳的交互模式与用户进行交互， 提高用户的体验感。 同 时， 根据与目标用户的交互信息进行学习， 可以根据与目标用户的。

45、交互信息提取用户的爱 好、 习惯等信息， 并将提取的信息存储到用户对应的交互模式中， 丰富交互模式的内容， 使 交互模式更加符合对应用户的需求， 提高用户的体验感。 0126 应理解， 上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程 的执行顺序应以其功能和内在逻辑确定， 而不应对本申请实施例的实施过程构成任何限 定。 0127 对应于上文实施例的智能终端交互方法， 图7示出了本申请实施例提供的智能终 端交互装置的结构框图， 为了便于说明， 仅示出了与本申请实施例相关的部分。 0128 参见图7， 本申请实施例中的智能终端交互装置可以包括身份标识获取模块71、 目 标交互模式确。

46、定模块72和交互学习模块73。 0129 其中， 身份标识获取模块71， 用于获取目标用户的身份标识； 说明书 8/12 页 11 CN 111061953 A 11 0130 目标交互模式确定模块72， 用于根据所述目标用户的身份标识， 确定目标交互模 式； 其中， 每一所述身份标识对应至少一个所述目标交互模式； 0131 交互学习模块73， 用于基于所述目标交互模式与所述目标用户进行交互， 并根据 与所述目标用户的交互信息对所述目标交互模式进行更新。 0132 可选的， 身份标识获取模块71可以包括信息采集模块、 特征提取模块、 预设特征确 定模块和目标用户的身份标识确定模块。 0133 。

47、其中， 信息采集模块， 用于采集所述目标用户的人脸图像和/或声音信息； 0134 特征提取模块， 用于提取所述人脸图像中的人脸特征， 和/或所述声音信息的声纹 特征； 0135 预设特征确定模块， 用于基于所述人脸特征在数据库中匹配对应的预设人脸特 征， 和/或基于所述声纹特征在所述数据库中匹配对应的预设声纹特征； 其中， 所述数据库 中预存有多组身份参数， 每组所述身份参数包括一预设人脸特征、 一预设声纹特征和一身 份标识； 0136 目标用户的身份标识确定模块， 用于基于匹配到的预设人脸特征和/或预设声纹 特征， 确定所述目标用户的身份标识。 0137 可选的， 目标交互模式确定模块72可。

48、以包括当前情绪特征获取模块和匹配模块。 0138 其中， 当前情绪特征获取模块， 用于基于所述人脸图像和/或所述声音信息确定所 述目标用户的当前情绪特征； 0139 匹配模块， 用于在所述数据库中匹配与所述身份标识和所述当前情绪特征对应的 目标交互模式。 0140 可选的， 交互学习模块73可以包括第一信息获取模块、 当前需求信息获取模块和 推送模块。 0141 其中， 第一信息获取模块， 用于获取所述目标用户的人脸图像、 肢体信息和声音信 息中的至少一种信息； 0142 当前需求信息获取模块， 用于基于所述人脸图像、 所述肢体信息和/或所述声音信 息确定所述目标用户的当前需求信息； 0143。

49、 推送模块， 用于根据所述当前需求信息推送推荐信息。 0144 可选的， 交互学习模块73还可以包括指令信息获取模块、 判断模块和应答模块。 0145 其中， 指令信息获取模块， 用于获取所述目标用户的指令信息； 0146 判断模块， 用于判断所述指令信息是否属于所述限制信息类别对应的信息； 0147 应答模块， 用于在所述指令信息属于所述限制信息类别对应的信息的情况下， 向 所述目标用户回复预设的应答信息。 0148 可选的， 交互学习模块73还包括第二信息获取模块、 习惯信息提取模块和更新模 块。 0149 其中， 第二信息获取模块， 用于获取所述目标用户的用户特征信息， 所述用户特征 信。

50、息包括人脸信息、 肢体信息和声音信息中的至少一种信息； 0150 习惯信息提取模块， 用于基于所述人脸图像、 所述肢体信息和/或所述声音信息提 取所述目标用户的习惯信息； 0151 更新模块， 用于基于所述习惯信息对所述目标用户对应的目标交互模式进行更 说明书 9/12 页 12 CN 111061953 A 12 新。 0152 可选的， 智能终端交互装置还可以包括信息修改指令获取模块、 管理权限确定模 块和执行模块。 0153 其中， 信息修改指令获取模块， 用于获取所述目标用户输入的信息修改指令； 其 中， 所述信息修改指令包括身份标识修改指令和交互模式修改指令； 0154 管理权限确定。