可穿戴式多模态情绪状态监测装置.pdf

《可穿戴式多模态情绪状态监测装置.pdf》由会员分享，可在线阅读，更多相关《可穿戴式多模态情绪状态监测装置.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010911658.3 (22)申请日 2020.09.02 (71)申请人 中国人民解放军军事科学院国防科 技创新研究院 地址 100071 北京市丰台区东大街53号院 申请人 天津 （滨海） 人工智能军民融合创新 中心 (72)发明人 印二威王筱敏谢良范晓丽 闫慧炯邓宝松罗治国闫野 (74)专利代理机构 北京丰浩知识产权代理事务 所(普通合伙) 11781 代理人 李学康 (51)Int.Cl. A61B 5/16(2006.01) A61B 5/11(2006.01)。

2、 A61B 5/0402(2006.01) A61B 5/0476(2006.01) A61B 5/0488(2006.01) A61B 5/04(2006.01) A61B 5/00(2006.01) G06F 3/01(2006.01) (54)发明名称 一种可穿戴式多模态情绪状态监测装置 (57)摘要 本发明公开了一种基于可穿戴式多模态情 绪监测的装置。 包括： VR眼镜， 穿戴式多模态信号 采集模块， 智能计算模块； VR眼镜用于建立智能 化交互性的现实社会场景的情绪诱发场景； 穿戴 式多模态情绪采集模块从佩戴者的头部、 脸部、 胸部以及手腕采集脑电、 肌电、 心电、 皮肤电、 眼 部。

3、图像和嘴部图像的多模态生理信息； 智能计算 模块用于对多维信号进行预处理、 对多模异质数 据进行特征抽象、 对多源特征进行协同表征与融 合， 运用多层感知机模型进行多任务回归学习， 最后进行多维情绪的判别和结果的输出。 本发明 解决了传统情绪评估无定量分析、 无测试器材等 问题， 为评估、 监测多维情绪提供了可靠的实验 范式、 机制理论以及设备环境。 权利要求书2页 说明书5页 附图3页 CN 112120716 A 2020.12.25 CN 112120716 A 1.一种可穿戴式多模态情绪状态监测装置， 其特征在于， 包括： VR眼镜、 穿戴式多模态 信号采集模块、 智能计算模块。 2.。

4、一种如权利要求1所述的可穿戴式多模态情绪状态监测装置， 其特征在于， 所述的VR 眼镜通过虚拟现实技术， 建立面向智能化现实社会场景的情绪诱发场景； VR眼镜用于提供 更具沉浸感、 临场感、 交互感的虚拟现实技术， 建立面向智能化现实社会场景的情绪诱发场 景， 达到更真实有效地诱发在实际生活状态下的目标情绪。 3.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置， 其特征在于， 所述的穿 戴式多模态信号采集模块分别从该模块佩戴者的头、 眼、 手腕以及胸采集脑电、 肌电、 皮电 和心电信号， 从佩戴者眼部、 嘴部记录视觉行为表现； 穿戴式多模态信号采集装置采用生理 信号和外部行为相结合的方式。

5、实现对佩戴者生理状态的监测。 4.一种如权利要求1或3所述的可穿戴式多模态情绪状态监测装置， 其特征在于， 所述 的穿戴式多模态信号采集模块包括： 脑电EEG采集单元、 面部肌电EMG采集单元、 皮电GSR采 集单元、 心电ECG采集单元、 眼部图像采集单元和嘴部图像采集单元； 脑电EEG采集单元， 用于采集脑电信号， 并传输到智能计算模块； 面部肌电EMG采集单元， 用于采集肌电信号， 并传输到智能计算模块； 皮电GSR采集单元， 用于采集皮电信号， 并传输到智能计算模块； 心电ECG采集单元， 用于采集心电信号， 并传输到智能计算模块； 眼部图像采集单元， 用于采集面部表情的眼部图像信号，。

6、 并传输到智能计算模块； 嘴部图像采集单元， 用于采集面部表情的嘴部图像信号， 并传输到智能计算模块。 5.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置， 其特征在于， 智能计算 模块用以对多维信号进行预处理、 对多模异质数据进行特征抽象、 对多源特征进行协同表 征与融合， 运用多层感知机模型进行多任务回归学习， 最后进行多维情绪的判别和结果的 输出。 6.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置， 其特征在于， 智能计算 模块的处理过程包括： 首先， 智能计算模块对各信号进行预处理， 针对四种生理信号的频率分布以及不同干 扰来源特性， 分别采取相应的方法对信号进行预处理，。

7、 去除各种伪迹， 从而保留有效的生理 信号数据段； 根据多模态生理信号和视频信号的特点分别提取其特征， 使用深层架构通过数据中的 非线性交互来有效地生成特征； 针对不同信号的频域、 时域以及非线性动力学特性提取与 情绪有关的特征参数； 针对视频图像数据， 利用计算机视觉技术以及深度卷积神经网络、 循 环神经网络深度学习方法估计多种行为信号， 包括根据眼部图像估计视线方向， 根据眼部 和嘴部图像估计相应区域的面部肌肉运动， 基于维度观测量模型估计出面部局部区域反映 的愉悦度、 激活度及优势度， 并以多种行为信号的编码和表征作为特征； 其次， 从特征层面对多源特征进行融合， 建立多模态深度信念网络。

8、框架作为特征融合 模型； 各生理信号特征和视觉行为特征均设置有独立的隐藏层， 得到每一种模态的统一高 层表示特征， 去除单一模态中的中的冗余特征， 同时将模态中不同层次的特征融合成一个 统一的、 规范化的高层特征； 在各模态特征的融合阶段， 引入注意力机制， 为每种模态自动 学习注意力系数， 注意力系数表示该模态对情绪识别的重要性， 随后将各模态特征乘以注 权利要求书 1/2 页 2 CN 112120716 A 2 意力系数， 对关键特征进行自适应选择； 针对信号缺失的模态， 利用图卷积网络建模各模态 特征之间的互补和互斥关系， 引入基于对抗生成网络的预测机制， 对缺失信号的特征进行 补全；。

9、 采用双模深度信念网络模型， 从生理信号和行为信号两个模态的统一高层特征中获 得深层多模态特征； 通过深度信念网络获得多模态特征； 深度信念网络是由多个受限玻尔兹曼机堆叠而 成， 每个受限玻尔兹曼机又分为显层和隐层； 对于一个典型的受限玻尔兹曼机， 其能量函数 定义如下： 其中， vi和hi分别表示第i个显层神经元和隐层神经元， I和J分别为显层神经元和隐层 神经元的总数目， 为w,b,a， 是一种模型连接参数， 其代表权重w和偏置量a、 b的一种组 合， 为一种高斯噪声标准差； 通过采用双模深度信念网络模型， 从生理信号和行为信号两个模态的统一高层特征中 获得深层多模态特征； 最后， 面向社。

10、会生活的场景， 本装置对其中常见的多维情绪焦虑、 愤怒、 恐惧、 高兴进行 多等级评估； 基于融合的多模态特征， 利用多层感知机模型进行多任务有序回归学习， 估计 出每种情绪的评级得分； 对被试者情绪进行感知识别， 并对其5级情绪强度进行计算分析。 权利要求书 2/2 页 3 CN 112120716 A 3 一种可穿戴式多模态情绪状态监测装置 技术领域 0001 本发明涉及人机交互的智能情绪监测技术领域， 具体是涉及一种基于可穿戴式多 模态智能情绪监测装置。 背景技术 0002 情绪是一种常见的心理现象， 在人们的生活中扮演着重要的角色。 在现代社会， 随 着科技的不断进步， 人们对于自己身。

11、心状态的实时监控的需求日益增加。 一方面， 人们希望 通过对自己的身心状态进行实时的监控与了解， 在身心出现问题前起到提前预警以及及时 解决的作用； 另一方面， 在工作环境中， 对自身情绪进行实时监测和准确评估可以避免在工 作中出现人为失误， 对提高工作绩效起着重要的作用。 0003 情绪是神经和躯体共同作用的结果， 构造情绪的感觉依赖于大脑系统对身体反应 的映射与调节。 关于情绪的经典和现代理论都认为， 内感受(对来自于身体和内脏反馈的感 觉)对情绪体验来说至关重要， 二者之间的联系已被多个研究所证实。 1977年， 美国麻省理 工大学MIT实验室的Picard教授通过实验证明了基于人体信息。

12、提取的情感识别是可行的。 0004 目前关于情绪识别的研究多是从表情、 姿态、 语音语调等接触式方法入手， 其监测 指标较为单一， 而以非接触式为主的人体信息采集的形式展开的情绪监测， 对情绪的监测 要求无感化， 更能满足智能化可交互穿戴式的情绪监测的需求。 0005 针对传统研究难以诱发准确、 持久的目标情绪状态， 本装置拟采用更具沉浸感、 临 场感、 交互感的虚拟现实技术建立面向智能化现实社会场景的情绪诱发实验范式， 可更真 实、 有效的诱发被试对象在实际生活状态下的目标情绪， 在此基础上通过穿戴式交互的传 感器信号复用， 实现对情绪的良好诱发和准确评定， 保证了神经信号采集的稳定性， 实。

13、现了 多种信息互补， 保持了较高的信噪比， 有效获取了面向人的情绪多模态生理与视觉行为数 据集。 发明内容 0006 针对为在多模态生理数据采集过程中存在的多模数据信息冗余、 缺失、 异质等问 题， 本发明目的是提供一种穿戴式多模态情绪监测装置， 利用穿戴式采集脑电、 心电、 皮肤 电、 肌电、 眼部图像和嘴部图像的多模态信息， 实现对人情绪状态的准确实时的监测。 0007 本发明的技术方案如下： 0008 一种可穿戴式多模态情绪状态监测装置， 包括： VR眼镜、 穿戴式多模态信号采集模 块、 智能计算模块。 0009 VR眼镜通过虚拟现实技术， 建立面向智能化现实社会场景的情绪诱发场景。 V。

14、R眼 镜用于提供更具沉浸感、 临场感、 交互感的虚拟现实技术， 建立面向智能化现实社会场景的 情绪诱发场景， 达到更真实有效地诱发在实际生活状态下的目标情绪。 0010 穿戴式多模态信号采集模块分别从该模块佩戴者的头、 眼、 手腕以及胸采集脑电、 肌电、 皮电和心电信号， 从佩戴者眼部、 嘴部记录视觉行为表现。 穿戴式多模态信号采集装 说明书 1/5 页 4 CN 112120716 A 4 置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。 0011 所述的穿戴式多模态信号采集模块包括： 脑电EEG采集单元、 面部肌电EMG采集单 元、 皮电GSR采集单元、 心电ECG采集单元。

15、、 眼部图像采集单元和嘴部图像采集单元； 0012 脑电EEG采集单元， 用于采集脑电信号， 并传输到智能计算模块； 0013 面部肌电EMG采集单元， 用于采集肌电信号， 并传输到智能计算模块； 0014 皮电GSR采集单元， 用于采集皮电信号， 并传输到智能计算模块； 0015 心电ECG采集单元， 用于采集心电信号， 并传输到智能计算模块； 0016 眼部图像采集单元， 用于采集面部表情的眼部图像信号， 并传输到智能计算模块； 0017 嘴部图像采集单元， 用于采集面部表情的嘴部图像信号， 并传输到智能计算模块； 0018 智能计算模块用以对多维信号进行预处理、 对多模异质数据进行特征抽。

16、象、 对多 源特征进行协同表征与融合， 运用多层感知机模型进行多任务回归学习， 最后进行多维情 绪的判别和结果的输出。 0019 智能计算模块的处理过程包括： 0020 首先， 智能计算模块对各信号进行预处理， 针对四种生理信号的频率分布以及不 同干扰来源特性， 分别采取相应的方法对信号进行预处理， 去除各种伪迹， 从而保留有效的 生理信号数据段； 0021 根据多模态生理信号和视频信号的特点分别提取其特征， 使用深层架构通过数据 中的非线性交互来有效地生成特征； 针对不同信号的频域、 时域以及非线性动力学特性提 取与情绪有关的特征参数； 针对视频图像数据， 利用计算机视觉技术以及深度卷积神经。

17、网 络、 循环神经网络深度学习方法估计多种行为信号， 包括根据眼部图像估计视线方向， 根据 眼部和嘴部图像估计相应区域的面部肌肉运动， 基于维度观测量模型估计出面部局部区域 反映的愉悦度、 激活度及优势度， 并以多种行为信号的编码和表征作为特征。 0022 其次， 从特征层面对多源特征进行融合， 建立多模态深度信念网络框架作为特征 融合模型。 各生理信号特征和视觉行为特征均设置有独立的隐藏层， 得到每一种模态的统 一高层表示特征， 去除单一模态中的中的冗余特征， 同时将模态中不同层次的特征融合成 一个统一的、 规范化的高层特征； 在各模态特征的融合阶段， 引入注意力机制， 为每种模态 自动学习。

18、注意力系数， 注意力系数表示该模态对情绪识别的重要性， 随后将各模态特征乘 以注意力系数， 对关键特征进行自适应选择。 针对信号缺失的模态， 利用图卷积网络建模各 模态特征之间的互补和互斥关系， 引入基于对抗生成网络的预测机制， 对缺失信号的特征 进行补全。 采用双模深度信念网络模型， 从生理信号和行为信号两个模态的统一高层特征 中获得深层多模态特征。 0023 通过深度信念网络获得多模态特征。 深度信念网络是由多个受限玻尔兹曼机堆叠 而成， 每个受限玻尔兹曼机又分为显层和隐层。 对于一个典型的受限玻尔兹曼机， 其能量函 数定义如下： 0024 0025 其中， vi和hi分别表示第i个显层神。

19、经元和隐层神经元， I和J分别为显层神经元和 隐层神经元的总数目， 为w,b,a， 是一种模型连接参数， 其代表权重w和偏置量a、 b的一种 组合， 为一种高斯噪声标准差。 说明书 2/5 页 5 CN 112120716 A 5 0026 通过采用双模深度信念网络模型， 从生理信号和行为信号两个模态的统一高层特 征中获得深层多模态特征。 0027 最后， 面向社会生活的场景， 本装置对其中常见的多维情绪焦虑、 愤怒、 恐惧、 高兴 进行多等级评估。 基于融合的多模态特征， 利用多层感知机模型进行多任务有序回归学习， 估计出每种情绪的评级得分。 对被试者情绪进行感知识别， 并对其5级情绪强度进。

20、行计算分 析。 0028 本发明的有益效果在于： 0029 (一)实现了对人多模态的情绪状态的的监测， 通过穿戴式多模态采集设备， 实现 对人的情绪状态的多角度实时监测， 及时反馈被试情绪状态的同时也可以使监测人员在发 现情绪状态不佳情况下立刻实施相应措施， 减少工作中的人因失误， 保证生活生产的安全。 0030 (二)本装置通过智能化可穿戴式情绪监测技术， 融合中枢神经信号(脑电EEG)、 外 周神经信号(肌电EMG， 皮电GSR， 心电ECG)、 视觉行为信号(眼部图像、 嘴部图像)等多模态人 体信号， 基于神经通路的多维情绪生成机理与认知机制， 对人的情绪进行动态识别与监测， 解决了传统。

21、情绪评估无定量分析、 无测试器材等问题， 为评估、 监测多维情绪提供了可靠的 实验范式、 机制理论以及设备环境， 不仅对于监护个体的心理状态提供可靠依据， 而且对在 社会工作中更好发挥人机交互， 减少人因失误提供有力保障， 同时对未来进一步探索情绪 识别研究具有十分重要的科学意义。 附图说明 0031 图1为本发明装置的应用示意图； 0032 图2为本发明装置的结构示意图； 0033 图3为本发明中的双模深度信念网络模型图； 0034 图4为本发明的多维情绪动态雷达图。 具体实施方式 0035 实施例： 一种可穿戴式多模态情绪状态监测装置 0036 一种可穿戴式多模态情绪状态监测装置， 包括：。

22、 VR眼镜、 穿戴式多模态信号采集模 块、 智能计算模块。 图1为本发明装置的应用示意图， 图2为本发明装置的结构示意图。 0037 VR眼镜通过虚拟现实技术， 建立面向智能化现实社会场景的情绪诱发场景。 选取 参与社会演讲的工作生活场景， 场景包括演讲台、 话筒、 演讲稿及现场观众， 让被试者从视 觉通道、 声觉通道以及本体感觉多方面进行感受， 实现被试者与虚拟场景之间的动态、 实时 的交互。 0038 穿戴式多模态信号采集模块分别从佩戴者头、 眼、 手腕以及胸采集脑电、 肌电、 皮 电和心电信号； 从佩戴者眼部、 嘴部记录视觉行为表现。 穿戴式多模态信号采集装置采用生 理信号和外部行为相结。

23、合的方式实现对佩戴者生理状态的监测。 0039 穿戴式多模态信号采集模块包括： 脑电EEG采集单元、 面部肌电EMG采集单元、 皮电 GSR采集单元、 心电ECG采集单元、 眼部图像和嘴部图像采集单元。 0040 脑电EEG采集单元， 用于采集脑电信号， 并传输到智能计算模块； 0041 肌电EMG采集单元， 用于采集肌电信号， 并传输到智能计算模块； 说明书 3/5 页 6 CN 112120716 A 6 0042 皮电GSR采集单元， 用于采集皮电信号， 并传输到智能计算模块； 0043 心电ECG采集单元， 用于采集心电信号， 并传输到智能计算模块； 0044 眼部图像采集单元， 用于。

24、采集面部表情的眼部图像信号， 并传输到智能计算模块； 0045 嘴部图像采集单元， 用于采集面部表情的嘴部图像信号， 并传输到智能计算模块； 0046 所述的智能计算模块， 将采集模块提供的多模态信号， 进行相关处理， 最终对多维 情绪进行判别和输出。 0047 智能计算模块的处理过程包括： 0048 首先智能计算模块对各信号进行预处理， 针对中枢神经和外周神经等生理信号， 由于采集过程中不可避免的引入基线漂移、 肌电、 眼电、 工频等干扰， 本装置拟针对四种生 理信号的频率分布以及不同干扰来源特性， 分别采取相应的方法对信号进行预处理， 去除 各种伪迹， 从而保留有效的生理信号数据段。 00。

25、49 根据多模态生理信号和视频信号的特点分别提取特征， 使用深层架构通过数据中 复杂的非线性交互来有效地生成强健的特征。 在此基础上针对不同信号的频域、 时域以及 非线性动力学特性提取与情绪有关的特征参数。 针对视频图像数据， 利用计算机视觉技术 以及深度卷积神经网络、 循环神经网络等深度学习方法估计多种行为信号， 包括根据眼部 图像估计视线方向， 根据眼部和嘴部图像估计相应区域的面部肌肉运动， 基于Mehrabian和 Russell提出的维度观测量模型估计出面部局部区域反映的愉悦度、 激活度及优势度， 并以 多种行为信号的编码和表征作为特征。 0050 下一步考虑到多源数据特征之间存在信息。

26、冗余互补、 某通道信号缺失等现象， 本 装置拟从特征层面对多源特征进行融合， 提出一个多模态深度信念网络框架作为特征融合 模型。 该模型的优势在于能够利用异质数据之间的关系进行协同学习， 在信号源较少的情 况下， 对多种模态特征进行融合， 可获得稳定的识别性能。 多模态的协同学习利用了不同模 态之间的关系， 充分互补每一种模态不同特征之间的信息， 消除同一模态不同特征之间的 干扰， 去除冗余， 同时在多模态融合时， 减少不同模态之间无关特征所造成的相互干扰。 通 过这种方式， 每种模态信号的特征将被更有效地组合起来， 并且通过具有更少隐藏层的深 度网络可获得较好的识别效果。 0051 具体地，。

27、 在该装置中， 各生理信号特征和视觉行为特征均有独立的隐藏层， 得到每 一种模态的统一高层表示特征， 去除单一模态中的中的冗余特征， 同时将模态中不同层次 的特征融合成一个统一的、 规范化的高层特征。 在各模态特征的融合阶段， 引入注意力机 制， 为每种模态自动学习注意力系数， 表示该模态对情绪识别的重要性， 随后将各模态特征 乘以注意力系数， 对关键特征进行自适应选择。 针对信号缺失的模态， 利用图卷积网络建模 各模态特征之间的互补、 互斥关系， 引入基于对抗生成网络的预测机制， 对缺失信号的特征 进行补全。 最后， 采用双模深度信念网络模型， 从生理信号和行为信号两个模态的统一高层 特征中。

28、获得深层多模态特征。 具体处理过程如图3所示。 0052 针对信号缺失的模态， 利用图卷积网络建模各模态特征之间的互补、 互斥关系， 引 入基于对抗生成网络的预测机制， 对缺失信号的特征进行补全。 通过深度信念网络(deep belief network， DBN)获得多模态特征。 DBN是由Hinton等人提出的， 它是由多个受限玻尔 兹曼机(restricted Boltzmann machine， RBM)堆叠而成， 每个RBM又分为显层和隐层。 对于 一个典型的RBM， 能量函数定义如下： 说明书 4/5 页 7 CN 112120716 A 7 0053 0054 其中， vi和hi。

29、分别表示显层神经元和隐层神经元， 定义为w,b,a是一种模型连接 参数(可看作权重w和偏置量a、 b的一种组合)， 为一种高斯噪声标准差。 0055 通过采用双模深度信念网络模型(DBN)， 从生理信号和行为信号两个模态的统一 高层特征中获得深层多模态特征。 0056 最后， 面向社会生活的场景， 本装置对其的常见多维情绪焦虑、 愤怒、 恐惧、 高兴进 行多等级评估。 基于融合的多模态特征， 利用多层感知机模型进行多任务有序回归学习， 估 计出每种情绪的评级得分。 对被试进行情绪(高兴、 愤怒、 悲伤、 恐惧)的感知识别和5级情绪 强度的计算分析。 并以动态雷达图的形式展现在大屏幕上。 显示界面如图4所示。 0057 以上所述仅为本申请的实施例而已， 并不用于限制本申请。 对于本领域技术人员 来说， 本申请可以有各种更改和变化。 凡在本申请的精神和原理之内所作的任何修改、 等同 替换、 改进等， 均应包含在本申请的权利要求范围之内。 说明书 5/5 页 8 CN 112120716 A 8 图1 图2 说明书附图 1/3 页 9 CN 112120716 A 9 图3 说明书附图 2/3 页 10 CN 112120716 A 10 图4 说明书附图 3/3 页 11 CN 112120716 A 11 。