书签分享收藏举报版权申诉 / 12

立即下载加入VIP,免费下载

当前位置：首页 > > 基于多生理参数的紧张情绪强度识别系统及信息处理方法.pdf

基于多生理参数的紧张情绪强度识别系统及信息处理方法.pdf

上传人：le****a

文档编号：8114765

上传时间：2020-01-08

格式：PDF

页数：12

大小：576.83KB

《基于多生理参数的紧张情绪强度识别系统及信息处理方法.pdf》由会员分享，可在线阅读，更多相关《基于多生理参数的紧张情绪强度识别系统及信息处理方法.pdf（12页完整版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201710218032.2 (22)申请日 2017.04.05 (71)申请人天津大学地址 300072 天津市南开区卫津路92号 (72)发明人周鹏魏晋文孙畅刘爽崔欢欢孙士松王学民许敏鹏綦宏志明东 (74)专利代理机构北京国昊天诚知识产权代理有限公司 11315 代理人刘昕 (51)Int.Cl. A61B 5/16(2006.01) A61B 5/0476(2006.01) A61B 5/0484(2006.01) A61B 5/0402(2。

2、006.01) A61B 5/04(2006.01) A61B 5/08(2006.01) A61B 5/18(2006.01) (54)发明名称基于多生理参数的紧张情绪强度识别系统及信息处理方法 (57)摘要本发明属于情绪识别领域，尤其涉及基于多生理参数的紧张情绪强度识别系统及信息处理方法，包括离线训练和在线监测，所述离线训练包括诱发用户的紧张情绪、采集用户多生理信号和信号处理，信号处理包括预处理、特征提取和模式识别；预处理包括对脑电信号利用自适应滤波器抑制工频干扰、对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信息处理工具包截。

3、取有效数据。本发明有益效果：采集反映人体神经系统信息的中枢神经信号和自主神经信号，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号,可以实时检测用户的紧张情绪强度。权利要求书2页说明书8页附图1页 CN 107007291 A 2017.08.04 CN 107007291 A 1.基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接。

4、；所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。 2.基于多生理参数的紧张情绪强度信息处理方法，其特征在于，包括离线训练和在线监测；其中，所述离线训练包括以下步骤：步骤一:诱发用户的紧张情绪，诱发方式采用视频材料；步骤二:采集用户多生理信号；步骤三:信号处理，包括预处理、特征提取和模式识别；所述在线监测包括以下步骤：步骤1：在线实时采集用户多生理信号，多生理信号与离线训。

5、练部分相同；步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器；步骤3：预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1；步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。 3.根据权利要求2所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。 4.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步。

6、骤三中所述预处理包括： (a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据； (b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取有效数据。 5.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述特征提取包括： (c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱； (d)对于心电信号，利用变换分析方法或者QRS波检测方法得到心率变异性信号(HRV), 提取HRV信号的时域特征和频。

7、域特征； (e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值； (f)对于呼吸信号，提取多个时域特征以及多个频域特征。 6.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述模式识别具体包括： (g)对多生理信号提取的特征优化选择后融合，特征优化采用递归特征筛选算法；权利要求书 1/2 页 2 CN 107007291 A 2 (h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。 7.根据权利要。

8、求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述信号处理工具包为EEGLAB工具包。 8.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述变换分析方法采用小波变换，所述QRS波检测方法采用Pan-Tompkins算法。 9.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述提取多个时域特征以及多个频域特征具体指提取和这2 个时域特征以及00.1Hz、 0.10.2Hz、 0.20.3Hz、 0.30.4Hz频域特征。 10.根据权利要求6所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述。

9、递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。权利要求书 2/2 页 3 CN 107007291 A 3 基于多生理参数的紧张情绪强度识别系统及信息处理方法技术领域 0001 本发明属于情绪识别领域，尤其涉及于应用在特殊工作人群的基于多生理参数的紧张情绪强度识别系统及信息处理方法。背景技术 0002 情绪识别是心理学和工程学等领域的研究热点，在人机交互、远程教育等方面具有广阔的应用前景，例如对某些特殊工作人群进行情绪检测与识别，有利于及时避免特殊工作人群的精神状态恶化；在人机交互过程中，对用户情绪状态的识别可有效地提升用户体验；在远程教育。

10、领域，实时的情绪识别有助于用户学习效果的提高等。目前，情绪识别的方法主要有两种：基于非生理信号(包括面部表情、语音或身体姿态等)的识别和基于生理信号(包括心电、脑电、呼吸和皮电等)的识别。 0003 虽然情绪识别作为多个领域的研究热点取得了许多成果，但是目前情绪识别的研究主要集中在对情绪类型的识别，例如对高兴、恐惧、悲伤等进行识别，很少有对单一情绪类型，特别是对紧张情绪的不同强度进行识别。 0004 在现实生活中，紧张情绪扮演着重要的角色，几乎每个人都有考试、面试、演讲过程中出现紧张情绪的经历，生活经验告诉我们，适度的紧张情绪可以集中注意力，提。

11、高任务的完成绩效，过度的紧张不仅会带来心跳急剧加速，手心冒汗等生理上的不良反应，更会影响任务的完成和目标的实现。在航天领域，航天员在执行在轨任务时，由于心理压力过大经常会出现不同强度的紧张情绪，一旦自我调节不当，极易出现任务完成失败的结果，给人力物力成本巨大的航天事业带来巨大损失。所以，针对不同强度紧张情绪的识别至关重要，极具应用价值。发明内容 0005 本发明对紧张情绪的强度进行识别，为民生和航天等领域在紧张情绪强度识别方面提供技术支持，本发明提供一种基于多生理参数的紧张情绪强度识别系统及信息处理方法，该方法识别率高，可有效提高航天员等特殊工作。

12、者的任务绩效。 0006 为了实现上述目的，本发明采用如下方案： 0007 基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接； 0008 所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。 0009 基于多生理参数的紧张情绪强度信息处理方法，其特征在于，。

13、包括离线训练和在线监测； 0010 其中，所述离线训练包括以下步骤：说明书 1/8 页 4 CN 107007291 A 4 0011 步骤一:诱发用户的紧张情绪，诱发方式采用视频材料； 0012 步骤二:采集用户多生理信号； 0013 步骤三:信号处理，包括预处理、特征提取和模式识别； 0014 所述在线监测包括以下步骤： 0015 步骤1：在线实时采集用户多生理信号，多生理信号与离线训练部分相同； 0016 步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器； 0017 步骤3：。

14、预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1； 0018 步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。 0019 进一步地，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。 0020 进一步地，所述步骤三中所述预处理包括： 0021 (a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据； 0022 (b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取。

15、有效数据。 0023 进一步地，步骤C中所述特征提取包括： 0024 (c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱； 0025 (d)对于心电信号，利用变换分析方法或者QR S波检测方法得到心率变异性信号 (HRV),提取HRV信号的时域特征和频域特征； 0026 (e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值； 0027 (f)对于呼吸信号，提取多个时域特征以及多个频域特征。 0028 进一步地，步骤三中所述模式识别具体包括： 0029 (g)对多生理信号提取的特。

16、征优化选择后融合，特征优化采用基于支持向量机 (SVM)的递归特征筛选算法； 0030 (h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。 0031 进一步地，所述信号处理工具包EEGLAB工具包 0032 进一步地，所述变换分析方法采用小波变换。 0033 进一步地，所述QRS波检测方法采用Pan-Tompkins算法。 0034进一步地，所述提取多个时域特征以及多个频域特征具体指提取和这2个时域特征以及00.1Hz、 0.10.2Hz、 0.20.3Hz、 0.30.4Hz 频域特征。 0035 进。

17、一步地，所述递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。说明书 2/8 页 5 CN 107007291 A 5 0036 本发明的有益效果：采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用于。

18、分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。附图说明 0037 图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。 0038 图2是本发明的基于多生理参数的紧张情绪强度信息处理方法的流程图。具体实施方式 0039 下面将结合附图，对本申请实施例。

19、中的技术方案进行清楚、完整地描述，参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本申请省略了已知材料、组件和工艺技术的描述，从而不使本申请的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本申请的实施例的范围的限制。 0040 图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。基于多生理参数的紧张情绪强度识别系统，包括基本情绪诱发装置、。

20、用户多生理信号采集装置和信号处理装置，基本情绪诱发装置、用户多生理信号采集装置和信号处理装置依次连接； 0041 基本情绪诱发装置上设置有诱发视频材料，用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，信号处理装置，包括预处理模块、特征提取模块和模式识别模块，预处理模块、特征提取模块和模式识别模块依次连接，系统采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。 0042 图2是本发。

21、明的基于多生理参数的紧张情绪强度信息处理方法的流程图。基于多生理参数的紧张情绪强度信息处理方法，包括离线训练和在线监测； 0043 其中离线训练包括以下步骤 0044 (1)诱发用户的紧张情绪。 0045 为了建立跨人或针对个体的紧张情绪强度识别分类器，需要首先诱发用户的紧张情绪。 0046 利用视频诱发用户的紧张情绪，观看完视频后用户填写量表。其中，视频选用惊悚片或灾难片，量表内容包括情绪类型和强度选项，表1离线训练部分诱发用户紧张情绪时采说明书 3/8 页 6 CN 107007291 A 6 用的量表。需要注意的是，第一次需要在用户观看视频的同时采集离线生。

22、理数据(步骤2)用来训练分类器，训练好分类器后则不需要此步骤。 0047 表1离线训练部分诱发用户紧张情绪时采用的量表 0048 0049 (2)采集用户的多生理信号。 0050 利用非侵入式干电极技术进行脑电、脑血氧、心电和皮电信号的采集，利用力学传说明书 4/8 页 7 CN 107007291 A 7 感器采集呼吸信号。脑电信号的采集装置外形类似只有骨架的帽子，骨架采用弹性材料制成，骨架上安置电极采集头皮上的脑电信号。心电和皮电信号均使用常用的医用电极进行采集。呼吸信号通过缠绕在用户胸部的绷带连接在力学传感器上获得。多生理信号不限于上述信号，可根据实际。

23、需要采集其他信号，如大脑近红外光谱、心率变异性、肌电、桡动脉中医脉象信号、光电脉搏波等。 0051 (3)信号处理，包括预处理、特征提取和模式识别。 0052 将采集的多生理信号通过A/D转换成数字信号后进行处理。 0053 预处理具体包括如下步骤： 0054 (a)对于脑电信号采用自适应滤波器抑制信号中夹杂的工频干扰等噪声信号，采用独立分量分析(Independent Component Analysis， ICA)滤除眼电、肌电等干扰信号；通过放大器将采集的脑电信号进行放大后，利用EEGLAB工具包对依据量表划分的有效数据进行截取。 0055 (b)对于心电、。

24、呼吸和皮电信号利用放大器进行放大后，采用带通滤波器滤除信号中混杂的工频干扰等噪声，利用EEGLAB工具包对依据量表划分的有效数据进行截取。 0056 特征提取具体包括： 0057 (c)对于脑电信号，采用功率谱估计Welch算法计算脑电功率谱。 Welch算法采用数据分段加窗处理后求平均的方法，先分别求每段谱估计，再进行总平均26。由概率统计原理，如果将原长度是N的数据分为L段，每段长度是MN/L，各段数据相互独立，那么估计的方差只有原来不分段时候的1/L，其算法可用式1表述: 0058 0059 特征提取具体过程是对预处理后的脑电信号分成若干时段求其功率谱，。

25、然后将情绪识别中常用的6个频段， 1-4Hz(delta)、 4-8Hz(theta)、 8-13Hz(alpha)、 13-30Hz(beta)、 30-36Hz(gamma1)、 36-44Hz(gamma2)内的功率谱值求和，得到频段能量特征。 0060 (d)对于心电信号，利用小波变换或者Pan-Tompkins算法得到心率变异性信号 (HRV),提取HRV信号的时域特征和频域特征。 0061 时域特征包括平均值、标准差(SDNN)、连续相邻正常窦性心动周期值的均方根 (RMSSD)、相邻的RR间期之差大于50ms的心搏数NN50、 NN50除以总的RR间期个数PNN50、。

26、一阶差分绝对值的平均值,以及一个样本中R波的个数。如下是其中一些特征的计算公式： 0062 1)平均值计算式2如下： 0063 0064 其中， N为心搏总数， RRi是第i个RR间期。 0065 2)正常窦性RR间期的标准差SDNN，计算式3如下： 0066 0067其中， N为心搏总数， RRi是第i个RR间期。是N个心搏的RR间期的平均值。标准差越大，则HRV越高，反之相反。说明书 5/8 页 8 CN 107007291 A 8 0068 3)连续相邻正常窦性心动周期值的均方根RMSSD，计算式4如下： 0069 0070 4)相邻的RR间期之差大于50ms的心。

27、搏数NN50：全部RR间期中，相邻的RR问期之差大于50ms的心搏数，单位 “个” ； 0071 5)NN50除以总的RR间期个数PNN50： NN50除以总的RR间期个数，乘以100，单位。 0072 的频域特征包括；超低频带(ULF,0.0033Hz),极低频带(VLF,0.0033-0.044Hz), 低频带(LF,0.04-0.15Hz),高频带(HF,0.15-0.40Hz)。 0073 (e)对于皮电信号，提取时域特征，它们分别是： 0074 1)均值： 0075 0076 2)标准差： 0077 0078 3)一阶差分： 0079 ldnXn+1-Xn (3-1。

28、1) 0080 4)一阶差分绝对值的平均值： 0081 0082 5)二阶差分： 0083 2dnXn+2-Xn (3-13) 0084 二阶差分绝对值的平均值： 0085 0086 (f)对于呼吸信号，首先计算出预处理后呼吸信号的平均值： 0087 0088 其中， R表示采集的样本点， N表示样本点数。 0089 然后，每个样本点减去这个均值，得到 0090 rR- (3-6) 0091 于是，特征1为： 0092 0093 特征2为： 0094 说明书 6/8 页 9 CN 107007291 A 9 0095 此外，运用经典谱估计Welch法得到4个频域能量，它们分别为。

29、00.1Hz、 0.1 0.2Hz、 0.20.3Hz、 0.30.4Hz频段。 0096 模式识别部分具体包括： 0097 对多生理信号提取的特征优化选择后融合，然后根据最优特征组合对用户的紧张情绪强度进行识别，例如当前紧张情绪强度是级别2还是级别3。 0098 (g)对如上多生理信号提取的特征优化选择后融合，的特征优化采用基于支持向量机(SVM)的递归特征筛选算法，即通过遍历所有的特征维度，找到对识别正确率贡献最低的特征，剔除这一特征，再次遍历所有特征维度(此时的总特征维度应比上一次少一维)，得到新的贡献最低的特征维度(该特征维度应为整个特征矩阵中对正确率贡献第二低。

30、的特征维度)，重复这一过程，直到正确率到达最大值，停止该过程，得到的便是最佳分类特征组合。 0099 (h)根据最优特征组合对用户的紧张情绪强度进行训练，训练是采用人工神经网络或贝叶斯线性分类器或支持向量机，获得分类器的参数。 0100 在线监测包括以下步骤： 0101 (1)采集用户多生理信号,多生理信号包括脑电、心电、皮电和呼吸信号。采集方法与离线训练部分相同。 0102 (2)信号处理，包括预处理、特征提取和模式识别。预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器。 0103 (3)预警，即设定一定的紧张强度阈值，。

31、本实施例可设定紧张强度级别4为轻度阈值，紧张强度级别5为中度阈值，在实施检测时，对识别后的紧张情绪强度进行判断，如果紧张强度超过轻度阈值则对用户进行提醒，此时用户可以自行调控紧张情绪，平复心理状态，如果紧张强度超过重度阈值则进行报警，启用外部干预，例如停止任务实施，启用系统自动模式等，如果没有超出任何阈值，则返回第(1)阶段继续进行监测； 0104 (4)存储数据,记录用户在实施任务时全程或短程的紧张情绪生理信号，绘制用户紧张情绪变化曲线，分析用户紧张情绪变化情况，有助于分析任务难度设置的合理性，比如如果用户在实施任务时紧张情绪级别过高并且持续时间较长。

32、，则说明任务难度的设置不合理，另外，在任务难度设置合理的情况下，还可了解用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。 0105 与现有技术相比，采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用。

33、于分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。 0106 以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，说明书 7/8 页 10 CN 107007291 A 10 不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化、改进或组合等，均应仍归属于本发明的专利涵盖范围之内。说明书 8/8 页 11 CN 107007291 A 11 图1 图2 说明书附图 1/1 页 12 CN 107007291 A 12 。

摘要
申请专利号：	CN201710218032.2	申请日：	20170405
公开号：	CN107007291A	公开日：	20170804
当前法律状态：		有效性：	审查中
法律详情：
IPC分类号：	A61B5/16,A61B5/0476,A61B5/0484,A61B5/0402,A61B5/04,A61B5/08,A61B5/18	主分类号：	A61B5/16,A61B5/0476,A61B5/0484,A61B5/0402,A61B5/04,A61B5/08,A61B5/18
申请人：	天津大学
发明人：	周鹏,魏晋文,孙畅,刘爽,崔欢欢,孙士松,王学民,许敏鹏,綦宏志,明东
地址：	300072 天津市南开区卫津路92号
优先权：	CN201710218032A
专利代理机构：	北京国昊天诚知识产权代理有限公司	代理人：	刘昕
PDF完整版下载：	PDF下载

内容摘要

本发明属于情绪识别领域，尤其涉及基于多生理参数的紧张情绪强度识别系统及信息处理方法，包括离线训练和在线监测，所述离线训练包括诱发用户的紧张情绪、采集用户多生理信号和信号处理，信号处理包括预处理、特征提取和模式识别；预处理包括对脑电信号利用自适应滤波器抑制工频干扰、对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信息处理工具包截取有效数据。本发明有益效果：采集反映人体神经系统信息的中枢神经信号和自主神经信号，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号,可以实时检测用户的紧张情绪强度。

权利要求书

1.基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接；所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。 2.基于多生理参数的紧张情绪强度信息处理方法，其特征在于，包括离线训练和在线监测；其中，所述离线训练包括以下步骤：步骤一:诱发用户的紧张情绪，诱发方式采用视频材料；步骤二:采集用户多生理信号；步骤三:信号处理，包括预处理、特征提取和模式识别；所述在线监测包括以下步骤：步骤1：在线实时采集用户多生理信号，多生理信号与离线训练部分相同；步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器；步骤3：预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1；步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。 3.根据权利要求2所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。 4.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述预处理包括：(a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据；(b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取有效数据。 5.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述特征提取包括：(c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱；(d)对于心电信号，利用变换分析方法或者QRS波检测方法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征；(e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值；(f)对于呼吸信号，提取多个时域特征以及多个频域特征。 6.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述模式识别具体包括：(g)对多生理信号提取的特征优化选择后融合，特征优化采用递归特征筛选算法；(h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。 7.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述信号处理工具包为EEGLAB工具包。 8.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述变换分析方法采用小波变换，所述QRS波检测方法采用Pan-Tompkins算法。 9.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述提取多个时域特征以及多个频域特征具体指提取和这2个时域特征以及0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频域特征。 10.根据权利要求6所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。

说明书

技术领域

本发明属于情绪识别领域，尤其涉及于应用在特殊工作人群的基于多生理参数的紧张情绪强度识别系统及信息处理方法。

背景技术

情绪识别是心理学和工程学等领域的研究热点，在人机交互、远程教育等方面具有广阔的应用前景，例如对某些特殊工作人群进行情绪检测与识别，有利于及时避免特殊工作人群的精神状态恶化；在人机交互过程中，对用户情绪状态的识别可有效地提升用户体验；在远程教育领域，实时的情绪识别有助于用户学习效果的提高等。目前，情绪识别的方法主要有两种：基于非生理信号(包括面部表情、语音或身体姿态等)的识别和基于生理信号(包括心电、脑电、呼吸和皮电等)的识别。

虽然情绪识别作为多个领域的研究热点取得了许多成果，但是目前情绪识别的研究主要集中在对情绪类型的识别，例如对高兴、恐惧、悲伤等进行识别，很少有对单一情绪类型，特别是对紧张情绪的不同强度进行识别。

在现实生活中，紧张情绪扮演着重要的角色，几乎每个人都有考试、面试、演讲过程中出现紧张情绪的经历，生活经验告诉我们，适度的紧张情绪可以集中注意力，提高任务的完成绩效，过度的紧张不仅会带来心跳急剧加速，手心冒汗等生理上的不良反应，更会影响任务的完成和目标的实现。在航天领域，航天员在执行在轨任务时，由于心理压力过大经常会出现不同强度的紧张情绪，一旦自我调节不当，极易出现任务完成失败的结果，给人力物力成本巨大的航天事业带来巨大损失。所以，针对不同强度紧张情绪的识别至关重要，极具应用价值。

发明内容

本发明对紧张情绪的强度进行识别，为民生和航天等领域在紧张情绪强度识别方面提供技术支持，本发明提供一种基于多生理参数的紧张情绪强度识别系统及信息处理方法，该方法识别率高，可有效提高航天员等特殊工作者的任务绩效。

为了实现上述目的，本发明采用如下方案：

基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接；

所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。

基于多生理参数的紧张情绪强度信息处理方法，其特征在于，包括离线训练和在线监测；

其中，所述离线训练包括以下步骤：

步骤一:诱发用户的紧张情绪，诱发方式采用视频材料；

步骤二:采集用户多生理信号；

步骤三:信号处理，包括预处理、特征提取和模式识别；

所述在线监测包括以下步骤：

步骤1：在线实时采集用户多生理信号，多生理信号与离线训练部分相同；

步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器；

步骤3：预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1；

步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。

进一步地，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。

进一步地，所述步骤三中所述预处理包括：

(a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据；

(b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取有效数据。

进一步地，步骤C中所述特征提取包括：

(c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱；

(d)对于心电信号，利用变换分析方法或者QR S波检测方法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征；

(e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值；

(f)对于呼吸信号，提取多个时域特征以及多个频域特征。

进一步地，步骤三中所述模式识别具体包括：

(g)对多生理信号提取的特征优化选择后融合，特征优化采用基于支持向量机(SVM)的递归特征筛选算法；

(h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。

进一步地，所述信号处理工具包EEGLAB工具包

进一步地，所述变换分析方法采用小波变换。

进一步地，所述QRS波检测方法采用Pan-Tompkins算法。

进一步地，所述提取多个时域特征以及多个频域特征具体指提取和这2个时域特征以及0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频域特征。

进一步地，所述递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。

本发明的有益效果：采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用于分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。

附图说明

图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。

图2是本发明的基于多生理参数的紧张情绪强度信息处理方法的流程图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本申请省略了已知材料、组件和工艺技术的描述，从而不使本申请的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本申请的实施例的范围的限制。

图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。基于多生理参数的紧张情绪强度识别系统，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，基本情绪诱发装置、用户多生理信号采集装置和信号处理装置依次连接；

基本情绪诱发装置上设置有诱发视频材料，用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，信号处理装置，包括预处理模块、特征提取模块和模式识别模块，预处理模块、特征提取模块和模式识别模块依次连接，系统采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。

图2是本发明的基于多生理参数的紧张情绪强度信息处理方法的流程图。基于多生理参数的紧张情绪强度信息处理方法，包括离线训练和在线监测；

其中离线训练包括以下步骤

(1)诱发用户的紧张情绪。

为了建立跨人或针对个体的紧张情绪强度识别分类器，需要首先诱发用户的紧张情绪。

利用视频诱发用户的紧张情绪，观看完视频后用户填写量表。其中，视频选用惊悚片或灾难片，量表内容包括情绪类型和强度选项，表1离线训练部分诱发用户紧张情绪时采用的量表。需要注意的是，第一次需要在用户观看视频的同时采集离线生理数据(步骤2)用来训练分类器，训练好分类器后则不需要此步骤。

表1离线训练部分诱发用户紧张情绪时采用的量表

(2)采集用户的多生理信号。

利用非侵入式干电极技术进行脑电、脑血氧、心电和皮电信号的采集，利用力学传感器采集呼吸信号。脑电信号的采集装置外形类似只有骨架的帽子，骨架采用弹性材料制成，骨架上安置电极采集头皮上的脑电信号。心电和皮电信号均使用常用的医用电极进行采集。呼吸信号通过缠绕在用户胸部的绷带连接在力学传感器上获得。多生理信号不限于上述信号，可根据实际需要采集其他信号，如大脑近红外光谱、心率变异性、肌电、桡动脉中医脉象信号、光电脉搏波等。

(3)信号处理，包括预处理、特征提取和模式识别。

将采集的多生理信号通过A/D转换成数字信号后进行处理。

预处理具体包括如下步骤：

(a)对于脑电信号采用自适应滤波器抑制信号中夹杂的工频干扰等噪声信号，采用独立分量分析(Independent Component Analysis，ICA)滤除眼电、肌电等干扰信号；通过放大器将采集的脑电信号进行放大后，利用EEGLAB工具包对依据量表划分的有效数据进行截取。

(b)对于心电、呼吸和皮电信号利用放大器进行放大后，采用带通滤波器滤除信号中混杂的工频干扰等噪声，利用EEGLAB工具包对依据量表划分的有效数据进行截取。

特征提取具体包括：

(c)对于脑电信号，采用功率谱估计Welch算法计算脑电功率谱。Welch算法采用数据分段加窗处理后求平均的方法，先分别求每段谱估计，再进行总平均[26]。由概率统计原理，如果将原长度是N的数据分为L段，每段长度是M＝N/L，各段数据相互独立，那么估计的方差只有原来不分段时候的1/L，其算法可用式1表述:

特征提取具体过程是对预处理后的脑电信号分成若干时段求其功率谱，然后将情绪识别中常用的6个频段，1-4Hz(delta)、4-8Hz(theta)、8-13Hz(alpha)、13-30Hz(beta)、30-36Hz(gamma1)、36-44Hz(gamma2)内的功率谱值求和，得到频段能量特征。

(d)对于心电信号，利用小波变换或者Pan-Tompkins算法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征。

时域特征包括平均值、标准差(SDNN)、连续相邻正常窦性心动周期值的均方根(RMSSD)、相邻的RR间期之差大于50ms的心搏数NN50、NN50除以总的RR间期个数PNN50、一阶差分绝对值的平均值,以及一个样本中R波的个数。如下是其中一些特征的计算公式：

1)平均值计算式2如下：

其中，N为心搏总数，RRi是第i个RR间期。

2)正常窦性RR间期的标准差SDNN，计算式3如下：

其中，N为心搏总数，RRi是第i个RR间期。是N个心搏的RR间期的平均值。标准差越大，则HRV越高，反之相反。

3)连续相邻正常窦性心动周期值的均方根RMSSD，计算式4如下：

4)相邻的RR间期之差大于50ms的心搏数NN50：全部RR间期中，相邻的RR问期之差大于50ms的心搏数，单位“个”；

5)NN50除以总的RR间期个数PNN50：NN50除以总的RR间期个数，乘以100，单位％。

的频域特征包括；超低频带(ULF,<0.0033Hz),极低频带(VLF,0.0033-0.044Hz),低频带(LF,0.04-0.15Hz),高频带(HF,0.15--0.40Hz)。

(e)对于皮电信号，提取时域特征，它们分别是：

1)均值：

2)标准差：

3)一阶差分：

ldn＝Xn+1-Xn (3-11)

4)一阶差分绝对值的平均值：

5)二阶差分：

2dn＝Xn+2-Xn (3-13)

二阶差分绝对值的平均值：

(f)对于呼吸信号，首先计算出预处理后呼吸信号的平均值：

其中，R表示采集的样本点，N表示样本点数。

然后，每个样本点减去这个均值，得到

r＝R-μ (3-6)

于是，特征1为：

特征2为：

此外，运用经典谱估计Welch法得到4个频域能量，它们分别为0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频段。

模式识别部分具体包括：

对多生理信号提取的特征优化选择后融合，然后根据最优特征组合对用户的紧张情绪强度进行识别，例如当前紧张情绪强度是级别2还是级别3。

(g)对如上多生理信号提取的特征优化选择后融合，的特征优化采用基于支持向量机(SVM)的递归特征筛选算法，即通过遍历所有的特征维度，找到对识别正确率贡献最低的特征，剔除这一特征，再次遍历所有特征维度(此时的总特征维度应比上一次少一维)，得到新的贡献最低的特征维度(该特征维度应为整个特征矩阵中对正确率贡献第二低的特征维度)，重复这一过程，直到正确率到达最大值，停止该过程，得到的便是最佳分类特征组合。

(h)根据最优特征组合对用户的紧张情绪强度进行训练，训练是采用人工神经网络或贝叶斯线性分类器或支持向量机，获得分类器的参数。

在线监测包括以下步骤：

(1)采集用户多生理信号,多生理信号包括脑电、心电、皮电和呼吸信号。采集方法与离线训练部分相同。

(2)信号处理，包括预处理、特征提取和模式识别。预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器。

(3)预警，即设定一定的紧张强度阈值，本实施例可设定紧张强度级别4为轻度阈值，紧张强度级别5为中度阈值，在实施检测时，对识别后的紧张情绪强度进行判断，如果紧张强度超过轻度阈值则对用户进行提醒，此时用户可以自行调控紧张情绪，平复心理状态，如果紧张强度超过重度阈值则进行报警，启用外部干预，例如停止任务实施，启用系统自动模式等，如果没有超出任何阈值，则返回第(1)阶段继续进行监测；

(4)存储数据,记录用户在实施任务时全程或短程的紧张情绪生理信号，绘制用户紧张情绪变化曲线，分析用户紧张情绪变化情况，有助于分析任务难度设置的合理性，比如如果用户在实施任务时紧张情绪级别过高并且持续时间较长，则说明任务难度的设置不合理，另外，在任务难度设置合理的情况下，还可了解用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。

与现有技术相比，采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用于分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化、改进或组合等，均应仍归属于本发明的专利涵盖范围之内。