《一种基于机器视觉的睡眠状态监测方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种基于机器视觉的睡眠状态监测方法及装置.pdf（17页完整版）》请在专利查询网上搜索。
1、10申请公布号CN104083160A43申请公布日20141008CN104083160A21申请号201410310294822申请日20140630A61B5/0205200601A61B5/0020060171申请人天津大学地址300072天津市南开区卫津路92号72发明人李刚赵龙飞焦彬朱险峰林凌74专利代理机构天津市北洋有限责任专利代理事务所12201代理人温国林54发明名称一种基于机器视觉的睡眠状态监测方法及装置57摘要本发明公开了一种基于机器视觉的睡眠状态监测方法及装置，方法包括通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征将上述。
2、参数进行融合判断，得出被测试者的睡眠状态检测结果。装置包括嵌入式系统用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员。本发明不影响被测试者的行为，获得包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性。51INTCL权利要求书2页说明书9页附图5页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书9页附图5页10申请公布号CN104083160ACN。
3、104083160A1/2页21一种基于机器视觉的睡眠状态监测方法，其特征在于，所述方法包括以下步骤通过设置在被测试者枕头部位的左、右上方两个摄像头获取被测试者脸部的视频图像；对视频图像进行清洗，获取清洗后的视频图像；对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。2根据权利要求1所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特。
4、征和生理参数特征的步骤具体为1通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；2通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列。3根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头都为红外摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为A对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据；B对R通道内数据依次进行归一化、白化处理以及独立成分分析；C对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所。
5、对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；D通过被测试者的心率和呼吸次数计算被测试者的心率变异值。4根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头都为彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为A分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；B将数据保存成3个通道，每个通道N个数据；C对每个通道数据依次进行归一化、白化处理以及独立成分分析；D对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得。
6、到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；E通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。5根据权利要求2所述的一种基于机器视觉的睡眠状态监测方法，其特征在于，当两个摄像头分别为红外摄像头和彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为A对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道权利要求书CN104083160A2/2页3的像素点求平均值；B对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值；C对四个通道内数据依次进行。
7、归一化、白化处理以及独立成分分析；D将数据保存成4个通道，每个通道N个数据；E对每个通道数据依次进行归一化、白化处理以及独立成分分析；F对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；G通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。6一种基于机器视觉的睡眠状态监测装置，所述睡眠状态监测装置包括2个摄像头、编码器、显示器、嵌入式系统、报警器，其特征在于，所述摄像头用于实时摄录被测试者头脸部的影像并输入到所述编码器；所述编。
8、码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式系统；所述嵌入式系统用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员；所述报警器用于发出报警声响；所述显示器用于显示被测试者的生理参数。7根据权利要求6所述的一种基于机器视觉的睡眠状态监测装置，其特征在于，所述摄像头为红外摄像头和/或彩色摄像头。8根据权利要求7所述的一种基于机器视觉的睡眠状态监测装置，其特征在于，所述彩色摄像头为ANC酷睿H。
9、D1080P，所述红外摄像头为三星SCO2080RP。9根据权利要求6所述的一种基于机器视觉的睡眠状态监测装置，其特征在于，所述嵌入式系统为IMX6处理器、OMAP处理器和TIGERSHARC处理器中的一种。权利要求书CN104083160A1/9页4一种基于机器视觉的睡眠状态监测方法及装置技术领域0001本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的睡眠状态监测方法及装置。背景技术0002充足和深度的睡眠是身心健康的基本保证，但导致睡眠质量不高的因素很多。为了诊断睡眠质量不高的原因，很多研究者提出了各种各样的睡眠监测装置。然后，现有技术存在诸多的不足如俞梦孙提出的中国发明专利公开号CN1。
10、584529无电极睡眠状态和呼吸障碍事件传感装置，利用床垫中的气囊监测心动、体动和呼吸变化，可靠性低；汤一平提出的中国发明专利公开号CN1803089无拘束、非察觉性的睡眠障碍测量装置及其方法，将拾音器和微处理器等安置在枕头中，对被检测者在入眠后发出鼾声进行记录和判断，同样可靠性差；杨福生提出的中国发明专利公开号CN1923132检测睡眠中呼吸用力的方法、装置及其应用，通过压力微动传感装置获取被监测者睡眠中心脏跳动、呼吸、体动的微动信号，还是存在可靠性差的问题；周常安提出的中国发明专利公开号CN101044981睡眠呼吸状态检测装置，也是对被检测者在入眠后发出鼾声进行记录和判断，同样可靠性差；。
11、张开逊提出的中国发明专利公开号CN102188233A一种监测睡眠呼吸暂停的装置，利用非晶丝巨应力阻抗效应研制的测量人体胸腹部呼吸运动波形，既需要裹覆在婴幼儿的身体，又仅仅能够监测婴幼儿的呼吸；孟濬提出的中国发明专利公开号CN102274022一种基于脑电信号的睡眠状态监测方法，采集脑电必将影响本监测者的睡眠，而且难以长期使用；杜艳提出的中国发明专利公开号CN102415879A一种基于压电薄膜传感器的睡眠监测装置，利用压电薄膜传感器测量床垫中的气囊压力监测心动、体动和呼吸变化，可靠性低；张开生提出的中国发明专利公开号CN102499656A一种腕带式睡眠监控装置，通过腕带的传感器采集睡眠者的。
12、脉搏信号和温度信号，可靠性低且容易影响佩戴者的睡眠；沈劲鹏提出的中国发明专利公开号CN102648845A一种睡眠中心跳、呼吸无线自动监测与预警系统，需要给被测试者安放电极来测量心电和呼吸信号，对被测试者的睡眠影响很大。刘鑫提出的中国发明专利公开号CN102835951A一种移动腕带设备及其工作方法，通过腕带中的加速度传感器和陀螺仪、红外检查电路和血氧检查电路监测及记录使用者每日活动运动数据及睡眠信息，其可靠性低、对被测试者的睡眠影响很大。焦腾提出的中国发明专利公开号CN102973273A一种基于红外辐射检测的睡眠呼吸功能监测系统，具有非接触测量的优点，但仅能测量呼吸信号，且可靠性不够高。M。
13、扬斯提出的中国发明专利公开号CN103167849A睡眠呼吸暂停和相关机能失调的诊断和/或治疗的方法及装置，通过施加到胸部和/或腹部的外表面的可充气器具背心测量被测试者的呼吸参数，被测试者需要穿戴特殊的背心，对被测试者的睡眠影响很大，且仅能测量呼吸信号，且可靠性不够高。吕晓东提出的中国发明专利公开号CN1751652一种腕部心动和呼吸周期检测方法和装置，受被检测者睡眠中的动作影响极大。沈政提出的中国发明专利公开号CN1860987睡眠与梦的监测和干预系统及其处理方法，需要给被说明书CN104083160A2/9页5测试者安放电极来测量脑电信号，对被测试者的睡眠影响很大。宋军等提出的中国发明专利。
14、公开号CN103263260A使用梳状滤波器的生理参数检测系统和睡眠深度监测系统，实质是通过空气床垫传递信号，在被监测者的睡眠姿态将严重影响信号检测的可靠性。林上港提出的中国发明专利公开号CN102648845A无线传输的睡眠呼吸信息腹式监测与预警系统，采用腹式传感带、呼吸传感器等接触式测量，对被测试者的睡眠影响很大。路国华等提出的中国发明专利公开号CN103006223A一种家用非接触睡眠监测装置及方法，采用微波技术，被测试者长期处于微波的辐射之中。夏历提出的中国发明专利公开号CN103271741A一种睡眠姿势监测仪，仅能监测被测试者的睡姿。胡文东等提出的中国发明专利公开号CN103445。
15、777A睡眠与疲劳监测类手表装置以及常态化小装置的监测方法，采用皮阻传感器、温度传感器、大气压传感器、加速度传感器且仅能放置在手腕部，难以测到评估睡眠质量的信息。0003总而言之，现有监测被测试者的技术，要么不能监测被测试者的心率、呼吸等重要的生理参数，要么只能有接触的传感器进行测量，或者是采用微波具有辐射的技术来实现。发明内容0004本发明提供了一种基于机器视觉的睡眠状态监测方法及装置，本发明获得包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性，详见下文描述0005一种基于机器视觉的睡眠状态监测方法，所述方法包括以下步骤0006通过设置在被测试者枕头部位的左。
16、、右上方两个摄像头获取被测试者脸部的视频图像；0007对视频图像进行清洗，获取清洗后的视频图像；0008对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；0009通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征0010将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。0011所述通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征的步骤具体为00121通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；0。
17、0132通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列。0014当两个摄像头都为红外摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为0015A对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据；0016B对R通道内数据依次进行归一化、白化处理以及独立成分分析；0017C对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试说明书CN104083160A3/9页6者的呼吸次数；0018D通过被测试者的心率和呼吸次数计算被测试者的心。
18、率变异值。0019当两个摄像头都为彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为0020A分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；0021B将数据保存成3个通道，每个通道N个数据；0022C对每个通道数据依次进行归一化、白化处理以及独立成分分析；0023D对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；0024E通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异。
19、序列。0025当两个摄像头分别为红外摄像头和彩色摄像头时，所述通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列的步骤具体为0026A对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；0027B对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值；0028C对四个通道内数据依次进行归一化、白化处理以及独立成分分析；0029D将数据保存成4个通道，每个通道N个数据；0030E对每个通道数据依次进行归一化、白化处理以及独立成分分析；0031F对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所。
20、对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；0032G通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列；0033一种基于机器视觉的睡眠状态监测装置，所述睡眠状态监测装置包括2个摄像头、编码器、显示器、嵌入式系统、报警器，0034所述摄像头用于实时摄录被测试者头脸部的影像并输入到所述编码器；0035所述编码器用于将摄像头的影像信息编码成数字图像信号送入所述嵌入式系统；0036所述嵌入式系统用于提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特。
21、征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，输出报警信号至所述报警器，同时输出异常信号给家长或相关监护人员；0037所述报警器用于发出报警声响；0038所述显示器用于显示被测试者的生理参数。0039所述摄像头为红外摄像头和/或彩色摄像头。0040为了获取到较高精度的视频图像，所述彩色摄像头为ANC酷睿HD1080P，所述红说明书CN104083160A4/9页7外摄像头为三星SCO2080RP。0041进一步地，为了提高处理速度，所述嵌入式系统为IMX6处理器、OMAP处理器和TIGERSHARC处理器中的一种。0042本发明提供的技术方案的有益效果是本发明为了保。
22、障被测试者的安全而提供一种安全、实时的监测方法和装置，本发明既检测了被测试者的生理参数特征，又检测了被测试者的头脸部的视觉特征，且只采用摄像头获取上述信息，既保留了非接触测量所具备的不影响被测试者的行为和增加被测试者的佩戴负担，又获得了包含被测试者的生理参数在内的更多信息，大幅度提高了对被测试者的睡眠状态监测的可靠性。附图说明0043图1为本发明提供的一种基于机器视觉的睡眠状态监测方法的流程图；0044图2为本发明提供的的基于图像处理提取脉率和呼吸等被测试者的生理参数特征的流程图；0045图3为本发明提供的一种基于机器视觉的睡眠状态监测方法的另一流程图；0046图4为本发明提供的的基于图像处理。
23、提取脉率和呼吸等被测试者的生理参数特征的另一流程图；0047图5为本发明提供的一种基于机器视觉的睡眠状态监测方法的另一流程图；0048图6为本发明提供的的基于图像处理提取脉率和呼吸等被测试者的生理参数特征的另一流程图；0049图7为本发明提供的一种基于机器视觉的睡眠状态监测装置的结构图。0050附图中，各标号所代表的部件列表如下00511摄像头；2编码器；00523显示器；4嵌入式系统；00535报警器。0054其中，摄像头1在三个装置实施例中分别为红外摄像头、彩色摄像头、以及红外摄像头与彩色摄像头的组合。具体实施方式0055为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一。
24、步地详细描述。0056实施例10057一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用2个红外摄像头，参见图1和图2，该方法包括以下步骤0058101通过设置在被测试者枕头部位的左、右上方两个红外摄像头获取被测试者脸部的视频图像；0059其中，为了提高获取到的视频图像的精度，该步骤中所用的红外摄像头采用三星SCO2080RP，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。0060102对视频图像进行清洗，获取清洗后的视频图像；说明书CN104083160A5/9页80061其中，该清洗方法根据采集到的视频图像的不同，可以用图像剪裁筛选、图像灰度化和直方图均衡、。
25、图像归一化、视频帧间匹配、图像白化处理、去除奇异图像来优化数据集等处理方法。例如可以通过直方图均衡和提取图像特征点并归一化等预处理步骤可以去除环境光强变化的影响。该步骤的详细操作为本领域技术人员所公知，本发明实施例对此不做赘述。0062103对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；0063其中，对清洗后的视频图像进行分割的方法为根据检测到的人脸部的视频图像，按照人脸结构的“三庭五眼”准则对人脸的区域进行划分，以此分割出眼部视频图像、唇部视频图像和面颊部的视频图像。“三庭五眼”准则为本领域技术人员所公知，本发明实施例对此不做赘述。0064104通过眼部视频图像。
26、、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征00651通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；0066例如如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。00672通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列示于图2中。0068该步骤2具体为0069A对脸颊部区域的R通道的像素点求平均值，R通道内有N个数据；0070B对R通道内数据依次进行归一化、白化处理以及独立成分分析；0071其中，步骤B的处理中采用的归一化。
27、、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。0072C对每个独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；0073D通过被测试者的心率和呼吸次数计算被测试者的心率变异值。0074其中，该步骤采用了本领域中的LOMBPERIODOGRAM原理，具体实现时本发明实施例对此不作赘述。0075105将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。0076其中，该步骤中所述的融合判断可以为00771通过表征被测试者的视觉行为特征可以直接得出被测。
28、试者的睡眠检测结果；或，00782通过心率变异序列可以直接得出被测试者的睡眠状态检测结果；或，00793通过表征被测试者的视觉行为特征和心率变异序列的加权和来得出被测试者是否进入睡眠状态的检测结果。0080即将表征被测试者的视觉行为特征和心率变异序列的加权和预设的阈值进行比较，若大于阈值，则直接判断得出被测试者进入睡眠状态的检测结果。其中，权重系数和阈说明书CN104083160A6/9页9值根据实际应用中的需要进行设定，本发明实施例对此不做限制。0081实施例20082一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用2个彩色摄像头，参见图3和图4，该方法包括以下步骤0083201通过设。
29、置在被测试者枕头部位的左、右上方两个彩色摄像头获取被测试者脸部的视频图像；0084其中，为了提高获取到的视频图像的精度，该步骤中所用的彩色摄像采用ANC酷睿，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。0085202对视频图像进行清洗，获取清洗后的视频图像；0086203对清洗后的视频图像进行分割，获取眼部视频图像、唇部视频图像和面颊部视频图像；0087其中，步骤202和步骤203的操作步骤和实施例1相同，本发明实施例对此不做赘述。0088204通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征00891通过唇部视频图。
30、像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；0090例如如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。00912通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列参见图4该步骤2具体为0092A分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；0093B将数据保存成3个通道，每个通道N个数据；0094C对每个通道数据依次进行归一化、白化处理以及独立成分分析；0095其中，通过白化处理来消除三个通道之间的相关性，防止了通道间的干扰。步骤C的处理中采用的归一化、白化处。
31、理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。0096D对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；0097E通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。0098其中，该步骤采用了本领域中的LOMBPERIODOGRAM原理，具体实现时本发明实施例对此不作赘述。0099205将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。0100其中，步骤205的的操作步骤和实施例1相同。
32、，本发明实施例对此不做赘述。0101实施例30102一种基于机器视觉的睡眠状态监测方法，获取视频图像时采用1个红外摄像头和1个彩色摄像头，参见图5和图6，该方法包括以下步骤说明书CN104083160A7/9页100103301通过设置在被测试者枕头部位的左、右上方的红外摄像头和彩色摄像头获取被测试者脸部的视频图像；0104其中，为了提高获取到的视频图像的精度，该步骤中所用的红外摄像头采用三星SCO2080RP，彩色摄像采用ANC酷睿，具体实现时，还可以根据实际应用中的需要进行选择，本发明实施例对此不作限制。即该步骤中获取到了一个还有RGB三通道的视频图像，以及只包含R通道的视频图像。0105。
33、302对2个视频图像分别进行清洗，获取清洗后的2个视频图像；0106303对清洗后的2个视频图像进行分割，分别获取眼部视频图像、唇部视频图像和面颊部视频图像；0107其中，步骤302和步骤303的操作步骤和实施例1相同，本发明实施例对此不做赘述。0108304通过眼部视频图像、唇部视频图像和面颊部视频图像，分别检测表征被测试者的视觉行为特征和生理参数特征01091通过唇部视频图像检测被测试者的嘴巴张合的频度、通过眼部视频图像检测被测试者的头部位置及其维持的时间、换位频度的视觉特征；0110例如如果人的头部位置变换频率过高，根据一些经验和数据标准推断，在某种程度上可以判定为人在打瞌睡。01112。
34、通过对面颊部视频图像分析得到被测试者的心率、呼吸次数及其心率变异序列，0112参见图6，该步骤2具体为0113A对彩色摄像头获取到的面颊部视频图像，分离脸颊部区域的RGB通道，对每个通道的像素点求平均值；0114B对红外摄像头获取到的面颊部视频图像中的脸颊部区域的R通道的像素点求平均值；0115C对四个通道2个R通道，1个G通道以及1个B通道内数据依次进行归一化、白化处理以及独立成分分析；0116D将数据保存成4个通道，每个通道N个数据；0117E对每个通道数据依次进行归一化、白化处理以及独立成分分析；0118其中，通过白化处理来消除四个通道之间的相关性，防止了通道间的干扰。步骤E的处理中采用。
35、的归一化、白化处理以及独立成分分析，为本领域技术人员所公知的几种技术，本发明实施例对此不做赘述。0119F对每个通道独立成分分析后的数据进行傅立叶变化，求出功率谱，得到功率谱最大幅值所对应的频率，即被测试者的心率，另得到功率谱次最大幅值所对应的频率，即被测试者的呼吸次数；0120G通过单一通道的被测试者的心率和呼吸次数计算被测试者的心率变异值，进而通过对多个通道的计算获取心率变异序列。0121其中，该步骤采用了本领域中的LOMBPERIODOGRAM原理，具体实现时本发明实施例对此不作赘述。0122305将上述参数进行融合判断，得出被测试者的睡眠状态检测结果。说明书CN104083160A10。
36、8/9页110123其中，步骤305的的操作步骤和实施例1相同，本发明实施例对此不做赘述。0124实施例40125一种基于机器视觉的睡眠状态监测装置，和实施例1中的方法所对应，参见图7，该监测装置包括2个红外摄像头1、编码器2、显示器3、嵌入式系统4、报警器5，0126处于被测试者正前上方的2个红外摄像头1实时摄录被测试者头脸部的影像并输入到编码器2，编码器2将红外摄像头1的影像信息编码成数字图像信号送入嵌入式系统4，在嵌入式系统4中提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡。
37、眠状态发现异常时，报警器5发出报警声响，嵌入式系统4同时输出异常信号给家长或相关监护人员。0127其中，该红外摄像头1采用三星SCO2080RP；嵌入式系统采用TI公司生产的OMAP，显示器3可以为LCD显示器等。0128实施例50129一种基于机器视觉的睡眠状态监测装置，和实施例2中的方法所对应，参见图7，该监测装置包括2个彩色摄像头1、编码器2、显示器3、嵌入式系统4、报警器5，0130处于被测试者正前上方的2个彩色摄像头1实时摄录被测试者头脸部的影像并输入到编码器2，编码器2将彩色摄像头1的影像信息编码成数字图像信号送入嵌入式系统4，在嵌入式系统4中提取被测试者的嘴巴张合的频度、头部位置。
38、及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，报警器5发出报警声响，嵌入式系统4同时输出异常信号给家长或相关监护人员。0131其中，该彩色摄像头1采用ANC酷睿HD1080P，嵌入式系统采用TI公司生产的OMAP，显示器3可以为LCD显示器等。0132实施例60133一种基于机器视觉的睡眠状态监测装置，和实施例3中的方法所对应，参见图7，该监测装置包括红外摄像头和彩色摄像头1、编码器2、显示器3、嵌入式系统4、报警器5，0134处于被测试者正前上方的红外摄像头和彩色摄像头1分别实时摄录被测试者头脸部。
39、的影像并输入到编码器2，编码器2将红外摄像头和彩色摄像头1的影像信息编码成数字图像信号送入嵌入式系统4，在嵌入式系统4中提取被测试者的嘴巴张合的频度、头部位置及其维持的时间、换位的频度的视觉特征，以及脉率等被测试者的生理参数特征，对这些特征信息进行融合处理和判断报警；当被测试者的睡眠状态发现异常时，报警器5发出报警声响，嵌入式系统4同时输出异常信号给家长或相关监护人员。0135其中，该彩色摄像头采用ANC酷睿HD1080P，红外摄像头采用三星SCO2080RP；嵌入式系统采用ADI公司生产的TIGERSHARC，显示器3可以为LCD显示器等。0136本发明实施例对各器件的型号除做特殊说明的以外。
40、，其他器件的型号不做限制，只要能完成上述功能的器件均可。0137本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。0138以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和说明书CN104083160A119/9页12原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。说明书CN104083160A121/5页13图1图2说明书附图CN104083160A132/5页14图3图4说明书附图CN104083160A143/5页15图5说明书附图CN104083160A154/5页16图6说明书附图CN104083160A165/5页17图7说明书附图CN104083160A17。