基于用户情绪状态的人机交互语音控制方法、装置及车辆技术领域
本发明涉及人工智能领域，具体可以涉及车辆智能控制领域或人机交互领域，尤
其涉及一种基于用户情绪状态的人机交互语音控制方法、装置及车辆。
背景技术
随着社会的快速发展，汽车在生活中越来越普及；尽管车辆自动驾驶的概念提出
很久，但是还尚未普及；目前而言，车辆行驶过程中驾驶员的控制依然处于决定地位。但是，
作为驾驶员的人在开车过程中可能会受到各种情绪的影响，而有些情绪则可能严重影响驾
驶安全。
因此，有必要提供一种能够分析驾驶员情绪的方法或者车辆。
发明内容
本发明要解决的一个技术问题是如何针对车辆环境提供一种能够基于用户的情
绪进行人机交互的方法、智能操控系统及车辆，可以调节用户的情绪，进而基于用户的情绪
状态进行车辆人机交互控制从而保证用户驾驶车辆的安全。
本发明提供一种基于用户情绪状态的人机交互语音控制方法，包括：监控设定用
户的表情、语音或动作；根据所述设定用户的表情、语音或动作确定所述设定用户当前的情
绪状态；根据所述设定用户当前的情绪状态确定车辆的语音控制方式；根据所述确定的语
音控制方式进行车辆人机交互。
进一步地，所述根据所述设定用户的表情、语音或动作确定所述设定用户当前的
情绪状态之前包括：统计多个用户的情绪状态数据形成一般用户情绪状态数据库，所述情
绪状态数据库包括用户的表情、语音或动作与情绪状态的关系；根据一般用户情绪状态数
据库，以大数据方式分析多个用户的情绪状态，根据用户的动作标定用户的情绪状态的确
定因子，所述用户情绪状态包括欢快的状态、愤怒的状态、悲伤的状态、痛苦的状态、激动的
状态。
进一步地，所述根据所述设定用户的表情、语音或动作确定所述设定用户当前的
情绪状态包括：根据所述一般用户情绪状态数据库及监控到的设定用户的表情、语音或动
作评估并确定设定用户当前的情绪状态。
进一步地，还包括根据所述设定用户当前的情绪状态确定车辆的控制模式。
进一步地，根据所述设定用户的表情、语音或动作确定所述设定用户当前的情绪
状态还包括：获取所述设定用户的语音的语速、语调、声音大小的变化；根据设定用户语音
的语速、语调、声音大小的均值确定设定用户当前的情绪状态。
进一步地，分析设定用户设定时间段中的声音中所包含的语言信息，判断设定用
户的语言表达中是否有特定字词句；根据设定用户当前表达中出现的特定字词句确定设定
用户的情绪状态。
进一步地，分析设定时间段内设定用户的动作；根据设定用户的日常动作、当前时
间的动作判断设定用户当前的情绪状态。
进一步地，分析设定时间段内设定用户的驾驶行为；根据设定用户的日常驾驶行
为、当前时间的驾驶行为判断设定用户当前的情绪状态。
进一步地，分析设定时间段的设定用户的语音的语速、语调、声音大小是否超过设
定阈值；如果设定用户的语速变快到超过设定语速阈值、和\或语调变高到超过设定语调阈
值、和\或声音变大到超过设定声音阈值，则说明设定用户处于相对情绪激动的状态。
进一步地，所述根据所述设定用户当前的情绪状态确定车辆的语音控制方式，包
括：如果设定用户当前处于愤怒的状态，则选择温柔的、安慰的声音数据库进行语音控制，
安抚设定用户的情绪。
进一步地，根据设定用户的情绪状态选择设定的人机交互声音效果与设定用户进
行交互。
进一步地，在确定设定用户的情绪状态后，根据设定用户的情绪状态选择设定的
音乐播放以安抚设定用户的情绪以保证驾驶安全。
进一步地，如果当前处在驾驶导航状态，可以根据设定用户的情绪状态选择设定
的导航语言播放以安抚设定用户的情绪以保证驾驶安全。
本发明还提供一种基于用户情绪状态的人机交互语音控制装置，包括：监控模块，
用于监控设定用户的表情、语音或动作；情绪状态分析模块，与所述监控模块相连接，用于
根据所述设定用户的表情、语音或动作确定所述设定用户当前的情绪状态；处理模块，与所
述情绪状态分析模块相连接，用于根据所述设定用户当前的情绪状态确定车辆的语音控制
方式；执行模块，与所述处理模块相连接，用于根据所述确定的语音控制方式进行车辆人机
交互。
进一步地，还包括情绪状态数据库模块，用于统计多个用户的情绪状态数据形成
一般用户情绪状态数据库，所述情绪状态数据库包括用户的表情、语音或动作与情绪状态
的关系；根据一般用户情绪状态数据库，以大数据方式分析多个用户的情绪状态，根据用户
的动作标定用户的情绪状态的确定因子，所述用户情绪状态包括欢快的状态、愤怒的状态、
悲伤的状态、痛苦的状态、激动的状态。
进一步地，所述情绪状态分析模块还用于根据所述一般用户情绪状态数据库及监
控到的设定用户的表情、语音或动作评估并确定设定用户的情绪状态。
进一步地，处理模块还用于根据所述设定用户当前的情绪状态确定车辆的控制模
式。
进一步地，所述情绪状态分析模块还用于：获取所述设定用户的语音的语速、语
调、声音大小的变化；根据设定用户语音的语速、语调、声音大小的均值确定设定用户当前
的情绪状态。
进一步地，分析设定用户设定时间段中的语音所包含的语言信息，判断设定用户
的语言表达中是否有特定字词句；根据设定用户当前表达中出现的特定字词句确定设定用
户的情绪状态。
进一步地，分析设定时间段内设定用户的动作；根据设定用户的日常动作、当前时
间的动作判断设定用户当前的情绪状态。
进一步地，分析设定时间段内设定用户的驾驶行为；根据设定用户的日常驾驶行
为、当前时间的驾驶行为判断设定用户当前的情绪状态。
进一步地，分析设定时间段的设定用户的语音的语速、语调、声音大小是否超过设
定阈值；如果设定用户的语速变快到超过设定语速阈值、和\或语调变高到超过设定语调阈
值、和\或声音变大到超过设定声音阈值，则说明设定用户处于相对情绪激动的状态。
进一步地，处理模块还用于如果设定用户当前处于愤怒的状态，则选择温柔的、安
慰的声音数据库进行语音控制，安抚设定用户的情绪。
进一步地，执行模块还用于根据设定用户的情绪状态选择设定的人机交互声音效
果与设定用户进行交互。
进一步地，执行模块还用于在确定设定用户的情绪状态后，根据设定用户的情绪
状态选择设定的音乐播放以安抚设定用户的情绪以保证驾驶安全。
进一步地，执行模块还用于如果当前处在驾驶导航状态，可以根据设定用户的情
绪状态选择设定的导航语言播放以安抚设定用户的情绪以保证驾驶安全。
本发明提供一种车辆，包括如上任一所述的基于用户情绪状态的人机交互语音控
制装置。
本发明提供的方法、装置及车辆，可以根据用户的驾驶行为、说话的语速语调，面
部的表情等来计算用户目前的情感，比如比较着急，比较激动，比较愤怒，比较悲伤等，智能
系统可以根据用户当前的情绪状态播放合适的音乐或者调整导航的语音的变化等与用户
进行人机交互，调整用户的情绪，让用户的驾驶更安全。
附图说明
图1示出本发明一个实施例的基于用户情绪状态的人机交互语音控制方法的流程
图。
图2示出本发明一个实施例的一种基于用户情绪状态的人机交互语音控制装置的
结构框图。
图3示出本发明一个实施例的车辆的结构框图。
具体实施方式
下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。
图1示出本发明一个实施例的基于用户情绪状态的人机交互语音控制方法的流程
图，参照图1所示，所述方法包括：
步骤101，监控设定用户的表情、语音或动作。
在一个实施例中，可以通过多种传感器的组合来监控或检测设定用户的表情、语
音或者动作。
举例而言，在车辆的内可以通过车辆内置的疲劳驾驶摄像头监控用户的表情、动
作等；可以通过车辆内置的麦克风检测设定用户的语音情况。
步骤102，根据所述设定用户的表情、语音或动作确定设定用户当前的情绪状态。
在一个实施例中，可以统计多个用户的情绪状态数据形成一般用户情绪状态数据
库，所述情绪状态根据用户的表情、语音或动作确定；根据一般用户情绪状态数据库，以大
数据方式分析多个用户的情绪状态，根据用户的情绪状态标定欢快的，愤怒的、悲伤的、痛
苦的、激动的情绪状态的确定因子；根据所述一般用户情绪状态数据库及监控到的设定用
户的表情、语音或动作评估用户的情绪状态。
在一个实施例中，用户的情绪可以广义的概括为喜、怒、哀、乐几种情绪。在实际生
活中，喜的状态或者乐的状态对用户的驾驶影响相对可能比较小；但是，怒或哀的情绪状态
则对用户的驾驶行为产生比较大的影响，例如，驾驶汽车的路怒一族对当前驾驶用户或者
道路上的其他用户可能会造成很大安全隐患，现实生活中频频发生因为驾驶员怒气冲冲而
导致的别车、停车打人以及各种交通事故等。
在一个实施例中，可以设定怒或哀等情绪对用户驾驶状态的影响影子大于喜或乐
的情绪状态，重点监控设定用户怒或者哀的情绪状态，并在语音交互中采取相应的控制方
法以调整用户的情绪。
在一个实施例中，针对车内环境，采用语音交互可以是人与车辆智能系统进行交
互的重要手段，在人机交互过称中，智能系统可以通过麦克风监控设定用户的语音，获取设
定用户的语音的语速、语调、声音大小的变化；根据设定用户语音的语速、语调、声音大小的
均值确定设定用户当前的情绪状态。
在一个具体地实施例中，可以分析设定时间段的设定用户的语音的语速、语调、声
音大小是否超过设定阈值；如果设定用户的语速变快到超过设定语速阈值、或语调变高到
超过设定语调阈值、声音变大到超过设定声音阈值，则说明设定用户处于相对情绪激动的
状态。
在一个实施例中，分析设定时间段内设定用户的语言表达中是否有特定字词句；
根据设定用户当前表达中出现的特定字词句确定设定用户的情绪状态。举例而言，可以分
析设定时间段内设定用户的语言表达中是否有特定字词句如骂人的话、高兴的表达的话。
例如，如果用户的语言表达中频繁出现脏字、骂人的语句，可以说明用户可能处在
相对激动或愤怒的状态；再例如，如果用户的语言表达中出现了高兴的表达语句或笑声等
声音，则可以说明用户当前可能处在相对高兴的状态。
在一个实施例中，还可以分析特定或者常用字词句的语速、语调、声音大小的变化
确定用户当前的情绪状态。例如，在车辆人机交互过程中，可能有一些常用的字词句如唤醒
词，智能系统可以根据用户表达如“您好，小智”或，“Hi，小智”等唤醒词的表达方式，分析用
户在表达这些常用词语时的语音、语调、声音大小的变化，从而分析当前用户的情绪状态。
例如，分析用户表达这些常用词的时候，是否具有喜怒哀乐等情绪状态。
在一个实施例中，分析设定时间段内设定用户的动作，根据设定用户的日常动作、
当前时间的动作判断设定用户当前的情绪状态。
在一个实施例中，分析设定时间段内设定用户的驾驶行为；根据设定用户的日常
驾驶行为、当前时间的驾驶行为判断设定用户当前的情绪状态。举例而言，分析用户的驾驶
行为，如果用户出现暴力踩踏油门、暴力拍打方向盘、别车行为等，则可以确定用户当前比
较愤怒。
步骤103，根据所述设定用户当前的情绪状态确定车辆的语音控制方式。
步骤104，根据所述确定的语音控制方式进行车辆人机交互。
在一个实施例中，如果设定用户当前处于愤怒的状态，则选择温柔的、安慰的声音
数据库中声音进行语音控制，安抚设定用户的情绪；根据设定用户的情绪状态选择设定的
人机交互声音效果与设定用户进行交互。
在一个实施例中，特别是车辆内的场景中，用户通过语音与车辆进行交互是一个
重要的功能。根据日常机器与人的交互统计并得出用户情绪状态进行交互的语音交互数据
库，可以在建立数据库时科学分析与设定喜怒哀乐的影响因子；并根据分析得出的用户当
前的情绪确定车辆的人机交互方式以鼓励、安抚或者提示当前驾驶员，以使得驾驶员可以
平静下来，防止驾驶员因为驾驶中的不良情绪影响驾驶安全。
例如，如果用户当前处在发怒的状态，则选择用户发怒状态语音交互数据库，采用
该数据库可以安抚驾驶员，使得驾驶员情绪能够稳定下来，防止驾驶员因为愤怒而影响驾
驶。
例如，如果用户当前处在悲伤的状态，则选择用户悲伤状态语音交互数据库，采用
该数据库可以安慰驾驶员防止驾驶员因为悲伤而影响驾驶。
在一个实施例中，在确定用户的情绪后，智能系统可以根据用户的情绪状态选择
设定的音乐播放以安抚设定用户的情绪以保证驾驶安全。例如，用户当前处在欢快的情绪
状态，可以选择播放一些轻快美好的音乐；用户如果处在怒气的状态，可以播放一些安神的
轻音乐等。
在一个实施例中，在确定用户的情绪后，如果当前处在驾驶导航状态，智能系统可
以根据设定用户的情绪状态选择设定的导航语言播放以安抚设定用户的情绪以保证驾驶
安全。
例如，如果当前用户的情绪状态为相对失落悲伤，对于男驾驶员，车辆智能系统可
以选择温柔女声与用户进行人机交互；对于女驾驶员，车辆可以选择磁性男声与用户进行
人机交互。
作为示例，在进行人脸表情识别时候可以采用现有的人脸识别数据库中的信息结
合车辆中具体的摄像头位置进行人脸识别。首先，第一步是人脸检测，就是在车辆镜头中确
定位置，找到人脸位置；第二步为关键点检测，在已经确定的人脸位置处，找准眉眼、耳鼻等
脸部轮廓的关键点，进行人脸识别进而识别出设定用户；第三步，是基于大规模数据的人脸
识别，确定设定用户的信息；第四步，找到该设定用户的面部表情数据库，基于设定用户的
面部表情信息数据库识别用户当前的情绪状态。
在一个实施例中，智能系统根据所述设定用户当前的情绪状态确定车辆的控制模
式。例如，可以包括提高ADAS系统的警戒值如可以自动增大安全跟车距离，自动控制车辆与
其他车道的车辆保持更长的安全距离，缩短车辆主动安全系统中预先设定的用户的反应时
间，同时还可以自动收紧安全带并通过方向盘震动向用户告警、提示用户注意驾驶安全，这
样可以提高系统的安全性。
在一个实施例中，可以在确定了用户的情绪状态后，基于用户当前的情绪状态选
择车辆的控制方式。例如，如果用户当前处于愤怒状态，车辆可以自动收紧安全带，并通过
车辆语音系统进行告警，安抚用户并提示用户注意驾驶安全；如果用户还是处于愤怒状态，
甚至出现了别车或者试图通过车辆撞击别人的动作，车辆智能操作系统则可暂时接管车辆
的控制，并使得车辆能够靠边停车；防止驾驶员因为愤怒而出现伤人或自伤的情况。当然即
使车辆自动选择靠边停车，也会根据当前的情况进行综合分析确定如何停车，防止因自动
驾驶出现危险。
在一个实施例中，所述设定用户的动作可以包括设定的驾驶行为，可以提取设定
用户的驾驶行为与驾驶行为评估数据库中的相关数据进行对比，将所述用户当前的行为对
比用户正常的驾驶行为，具体可以分析用户当前的驾驶行为中的文明指数、技术指数、爱车
指数、平稳指数、省电指数是否严重偏离设定用户的平均值，如果严重偏离平均值，则可能
说明用户当前的驾车的情绪状态可能存在问题。
具体地，需要分析的驾驶行为可以包括：对电门、油门踏板、刹车的踩踏力度，是否
存在猛打方向盘行为，乱按喇叭，乱开远光，不打灯转向，驾驶中经常变道，驾驶中强行并
道，抢车道，闯红灯，开车不使用安全带的驾驶行为等；通过用户当前的这些驾驶行为与用
户的日常的驾驶行为进行对比，综合分析评估设定用户的情绪状态。
一般而言，如果一个人相对处于愤怒的状态，可能会猛拍喇叭、动作相对会粗暴或
异常，这时如果车辆智能系统监控到用户存在猛拍喇叭、乱按喇叭的行为，则判断用户可能
处在激动、愤怒或有不良情绪的状态；此时，智能系统需要调整车辆的语音交互方式，与用
户进行交互以安抚驾驶员。
在一个实施例中，如果用户存在猛打方向盘行为，乱按喇叭，乱开远光，不打灯转
向，驾驶中经常变道，驾驶中强行并道，抢车道，闯红灯，开车不使用安全带的驾驶行为，则
车辆也可以通过语音自动提示驾驶员，以纠正驾驶员的不良习惯、教育用户形成良好驾驶
习惯。
作为示例，如果一个人正常驾驶中，打方向盘比较温柔正常，踩踏电门、油门或者
踩踏刹车的动作比较适中，但是在驾驶中设定时间突然存在猛打方向盘、猛踩油门、刹车的
行为则可能说明用户当前处在非常规的状态，可以根据用户当前的动作判断用户当前的情
绪状态，根据设定的情绪状态控制车辆改变语音交互方式或者播放音乐以安抚用户。
本发明实施例提供的基于用户情绪状态的人机交互语音控制方法，可以根据用户
的驾驶行为(如和日常驾驶行为的不同)，说话的语速语调，甚至面部的表情等来计算用户
目前的情感，如比较着急，比较激动，比较愤怒，比较悲伤等，智能系统可以根据用户当前的
情绪状态播放合适的音乐或者调整导航的语音的变化等与用户进行人机交互，调整用户的
情绪，让用户的驾驶更安全。
图2示出本发明一个实施例的一种基于用户情绪状态的人机交互语音控制装置的
结构框图，参照图2所示，该装置200包括：监控模块201，用于监控设定用户的表情、语音或
动作；情绪状态分析模块202，与所述监控模块201相连接，用于根据所述设定用户的表情、
语音或动作确定所述设定用户当前的情绪状态；处理模块203，与所述情绪状态分析模块
202相连接，用于根据所述设定用户当前的情绪状态确定车辆的语音控制方式；执行模块
204，与所述处理模块203相连接，用于根据所述确定的语音控制方式进行车辆人机交互。
在一个实施例中，该装置还包括：情绪状态数据库模块205，用于统计多个用户的
情绪状态数据形成一般用户情绪状态数据库，所述情绪状态数据库包括用户的表情、语音
或动作与情绪状态的关系；根据一般用户情绪状态数据库，以大数据方式分析多个用户的
情绪状态，根据用户的动作标定用户的情绪状态的确定因子，所述用户情绪状态包括欢快
的状态、愤怒的状态、悲伤的状态、痛苦的状态、激动的状态；
在一个实施例中，所述情绪状态分析模块还用于根据所述一般用户情绪状态数据
库及监控到的设定用户的表情、语音或动作评估并确定设定用户的情绪状态。
在一个实施例中，所述情绪状态分析模块还用于：获取所述设定用户的语音的语
速、语调、声音大小的变化；根据设定用户语音的语速、语调、声音大小的均值确定设定用户
当前的情绪状态。
在一个实施例中，所述情绪状态分析模块还用于：分析设定用户设定时间段中的
语音所包含的语言信息，判断设定用户的语言表达中是否有特定字词句；根据设定用户当
前表达中出现的特定字词句确定设定用户的情绪状态。
在一个实施例中，所述情绪状态分析模块还用于：分析设定时间段内设定用户的
动作；根据设定用户的日常动作、当前时间的动作判断设定用户当前的情绪状态。
在一个实施例中，所述情绪状态分析模块还用于：分析设定时间段内设定用户的
驾驶行为；根据设定用户的日常驾驶行为、当前时间的驾驶行为判断设定用户当前的情绪
状态。
在一个实施例中，所述情绪状态分析模块还用于：分析设定时间段的设定用户的
语音的语速、语调、声音大小是否超过设定阈值；如果设定用户的语速变快到超过设定语速
阈值、和\或语调变高到超过设定语调阈值、和\或声音变大到超过设定声音阈值，则说明设
定用户处于相对情绪激动的状态。
在一个实施例中，处理模块还用于如果设定用户当前处于愤怒的状态，则选择温
柔的、安慰的声音数据库进行语音控制，安抚设定用户的情绪。
在一个实施例中，执行模块还用于根据设定用户的情绪状态选择设定的人机交互
声音效果与设定用户进行交互。
在一个实施例中，执行模块还用于在确定设定用户的情绪状态后，根据设定用户
的情绪状态选择设定的音乐播放以安抚设定用户的情绪以保证驾驶安全。
在一个实施例中，执行模块还用于如果当前处在驾驶导航状态，可以根据设定用
户的情绪状态选择设定的导航语言播放以安抚设定用户的情绪以保证驾驶安全。
本发明还提供一种车辆，该车辆包括如上所述的基于用户情绪状态的人机交互语
音控制装置。
在一个实施例中，本发明的车辆可以实时连接位于云端的服务器，及时调用服务
器的数据进行用户情绪状态分析。
图3示出本发明一个实施例的车辆的结构框图，如图3所示，该车辆可以包括：中控
模块、仪表盘310、行车记录仪311、HUD(Head Up Display，平视显示器)抬头显示器312、智
能车载信息娱乐系统313、智能驾驶模块313。
仪表盘310具有12.3寸LCD显示设备，该仪表盘可以采用TI的J6CPU；仪表盘的操作
系统可以基于QNX嵌入式系统，仪表盘可以用于显示车辆状态、地图、车辆导航信息、车辆播
放音乐等，所述车辆状态信息包括速度、转速、电量、胎压、车辆驻车、档位等。HUD抬头显示
器312可以显示GPS导航信息、导航路径信息、时间信息等。
在一个实施例中，智能驾驶模块313可以用于处理与智能驾驶相关的操作，智能驾
驶模块313可以包括高级辅助驾驶系统(Advanced Driver Assistance Systems，ADAS)、主
动安全系统、注意力辅助系统(Attention Assist System，AAS)、疲劳警告系统(Fatigue
Warning System，FWS)、车辆智能声学报警系统(Acoustic Vehicle Alerting System，
AVAS)等。车辆可以结合ADAS系统等进行智能驾驶，该智能驾驶可以是完全无人的驾驶，也
可以是驾驶员进行驾驶控制的辅助并线、车道偏移等高级辅助驾驶功能。
中控装置可以由多个模块组成，主要可以包括：主板301；SATA(Serial Advanced
Technology Attachment，串行高级技术附件)模块302，连接到如SSD303的存储设备，可以
用来存储数据信息；AM(Amplitude Modulation，调幅)/FM(Frequency Modulation，调频)
模块304，为车辆提供收音机的功能；功放模块305，用于声音处理；WIFI(Wireless-
Fidelity，无线保真)/Bluetooth模块306，为车辆提供WIFI/Bluetooth的服务；LTE(Long
Term Evolution，长期演进)通信模块307，为车辆提供与电信运营商的通信功能；电源模块
308，电源模块308为该中控装置提供电源；Switch转接模块309，该Switch转接模块309可以
作为一种可扩展的接口连接多种传感器，例如如果需要添加夜视功能传感器、PM2.5功能传
感器，可以通过该Switch转接模块309连接到中控装置的主板，以便中控装置的处理器进行
数据处理，并将数据传输给中控显示器。
在一个实施例中，该车辆还包括环视摄像头、ADAS摄像头、夜视摄像头、毫米波雷
达、超声波雷达、ESR雷达等传感器。车辆硬件在生产后即挂载上述智能驾驶相关硬件，后期
可以通过OTA升级使用上述硬件完善自动驾驶相关功能。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明
限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描
述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理
解本发明从而设计适于特定用途的带有各种修改的各种实施例。