一种基于摄像的非接触式心率的检测方法及其装置.pdf

《一种基于摄像的非接触式心率的检测方法及其装置.pdf》由会员分享，可在线阅读，更多相关《一种基于摄像的非接触式心率的检测方法及其装置.pdf（13页完整版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201810236275.3 (22)申请日 2018.03.21 (71)申请人 上海师范大学 地址 200232 上海市徐汇区桂林路100号 (72)发明人 黄继风 周楠 白国臣 刘彦宏 王栋 (74)专利代理机构 上海申新律师事务所 31272 代理人 竺路玲 (51)Int.Cl. A61B 5/024(2006.01) (54)发明名称 一种基于摄像的非接触式心率的检测方法 及其装置 (57)摘要 本发明一种基于摄像的非接触式心率的检 测方法及其装置， 涉及心率测量技术。

2、领域。 其中 心率的检测方法， 包括步骤A、 步骤B、 步骤C、 步骤 D。 一种基于非接触式实时监控心率的装置实施 例， 包括图像采集模块， 图像处理模块， 显示模块 及跑步机控制系统； 图像处理模块与跑步机速度 控制系统进行连接， 通过输出控制指令至控制系 统实现跑步机的速度控制。 综上所述， 与包括现 有能够提供心率数据的跑步机， 使用胸带的方式 相比， 本发明基于非接触式的心率测量方式， 使 用摄像头可实现无创、 无痛和极其方便的心率测 量方法， 提供给人们在跑步机锻炼时一项重要的 生理指标， 从而为健康做出一份参考。 权利要求书3页 说明书5页 附图4页 CN 108771539 A。

3、 2018.11.09 CN 108771539 A 1.一种基于摄像的非接触式心率的检测方法， 其特征在于， 包括如下步骤： 步骤A： 标定鼻部区域作为目标区域； 步骤B： 将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间， 将图像的亮度信息 与色度信息分离， 选择均值化后的色度信息作为鼻部区域的特征值， 获得时域信号signal (t)； 步骤C： 利用 “多层次Savitzky-Golay滤波器 方法， 对signal(t)处理， 去除信号signal (t)中的基线漂移与噪声， 获得纯净的血容量脉冲BVP信号； 步骤D： 基于时域频域转换的方法， 将时域BVP信号转换到频域空间。

4、， 进行频域分析， 获 得对应的心率大小。 2.如权利要求1所述的一种基于摄像的非接触式心率检测的方法， 其特征在于， 所述步 骤A还包括如下： A1.利用Dlib图像库， 将人脸的图像映射到128个维度向量空间， 检查其欧氏距离是否 在某个阈值内来实现脸部的识别； 测试显示当欧式距离设置为0.6时， 使用LFW人脸库即实现99.38的识别率； A2.基于Dlib图像库提供的回归树组合ERT的方法， 在学习Tree的过程中， 直接将形状 shape的更新值S存入叶子结点leaf node.初始位置S在通过所有学习到的Tree后， mean shape加上所有经过的叶子结点的S， 即可得到最终的。

5、人脸关键点位置， 即： 其中， t表示级联序号， rt表示当前的回归器； 回归器的输入参数为图像I和上一级回归器更新后的形状,采用的特征可以是灰度值 或者其它特征； A3.经过步骤A1和步骤A2后， 实现对人脸的中心点的定位， 获得鼻部区域， 并且当面部 发生旋转刚性运动时， 使用具有旋转不变性的步骤A2得到的面部各个部位的关键点坐标， 实时获取固定的区域； 其中， 所述鼻部区域相比较前额、 鼻部、 面颊、 嘴唇区域所采集到的信号受到噪声影响 较小， 设置为ROI区域。 3.如权利要求1所述的一种基于摄像的非接触式心率检测的方法， 其特征在于， 所述步 骤B.还包括如下： B1.基于人对颜色感。

6、觉的Lab颜色模型， 该模型是由亮度(L)和有关颜色的a,b三个要素 组成； L表示亮度， a表示从红色至绿色的范围， b表示从黄色至蓝色的范围， 从RGB模型转为 Lab模型对应的转换关系公式： B2.当皮肤中的血液随着心脏的收缩而发生变动时， 皮肤对光线的吸收量也随之发生 变化， 并呈现在红色与绿色数值的变动中； 在Lab模型中， 红色与绿色在空间中的分布为一维向量， 从负半轴的绿色逐渐变为正半 权 利 要 求 书 1/3 页 2 CN 108771539 A 2 轴所表示的红色， 该向量为Lab模型中的a通道对应的数轴表示； 通过计算a通道对应的均值， 用于心率测量的特征； 其中， 所述。

7、的BVP信号的提取是采用Lab颜色空间a通道对应的均值， 将该值作为心率测 量方法在时域中所用的特征值信号signal(t)。 4.如权利要求1所述的一种基于摄像的非接触式心率检测的方法， 其特征在于， 所述步 骤C还包括如下： C1.Savitzky-Golay滤波器的矩阵算子求解： 假设对于signal(t)滤波的窗口宽度为n(n2m+1)， 各测量点为x(-m,-m+1,0, 1,m-1,m)， 采用k-1次多项式对窗内的数据点进行拟合： signala0+a1x+a2x2+ak-1xk-1 共有n个方程， 组成k元线性方程组； 设n大于等于k， 一般选择nk， 通过最小二乘法拟合确定拟。

8、合参数A， 即： 写成矩阵形式： signal(2m+1)*1X(2m+1)*k*Ak*1+E(2m+1)*1 对应的A的最小二乘解 为： 滤波后的结果为： C2.实现 “多层次Savitzky-Golay滤波器 ， 具体为： C2.1输入窗口大小为signal长度的窗口， 幂次k为5， 对信号signal(t)进行一次去除基 线漂移和去噪滤波操作； C2.2调整窗口为帧率大小， 幂次k为2， 对信号signal(t+1)滤波操作， 去除窗口为一秒 内信号的噪声； C2.3继续调整窗口大小为5， 幂次k为2， 相当于对信号进行平滑操作， 去除毛刺信号； C3.通过C1步骤和C2步骤后， 特征信。

9、号转换为纯净的BVP信号； 采用 “多层次Savitzky-Golay滤波器 提取纯净的BVP信号， 通过三次修改不同大小的 窗口， 实现信号的多层次处理， 最终获得纯净的BVP信号； 可选地依次选择长度为210的BVP信号进行傅里叶变换， 选择变换后幅值最大的一点即 对应的频率f， 则心率的大小为： ratef*60。 5.如权利要求1所述的一种基于摄像的非接触式心率的检测方法的装置， 其特征在于， 包括非接触方式获取被检测者的人脸视频图像的图像采集模块和与所述图像采集模块连 接的、 根据所述人脸视频图像提取鼻部皮肤区域作为目标区域， 通过对目标区域进行颜色 空间的转换和滤波的数据进行时域到。

10、频域的转换， 根据频域数据最终计算出心率值的图像 权 利 要 求 书 2/3 页 3 CN 108771539 A 3 处理模块。 6.如权利要求5所述的一种基于摄像的非接触式心率的检测方法的装置， 其特征在于， 所述图像采集模块包括用于照射并采集被检测者的视频图像的图像采集装置。 7.如权利要求5所述的一种基于摄像的非接触式心率的检测方法的装置， 其特征在于， 所述图像处理模块包括： 与所述图像采集模块连接的， 用于提取所述摄像单元中的人脸视频图像的提取单元， 根据步骤A， 将其鼻部区域提取出作为目标区域； 与所述提取单元连接的， 用于对目标区域的图像数据进行颜色空间转换的颜色空间转 换单元。

11、， 根据步骤B， 将RGB颜色空间转换到Lab颜色空间； 与所述颜色空间转换单元连接的， 根据步骤C， 用于对颜色空间转换过后的图像数据进 行 “多层次Savitzky-Golay滤波器 滤波的滤波单元； 与所述滤波单元连接的,根据步骤D， 用于在所述滤波过后的时频信号转换成频域信 号， 并根据频域分析计算出心率的时频转换单元。 8.如权利要求5所述的一种基于摄像的非接触式心率的检测方法的装置， 其特征在于， 包括图像采集模块和图像处理模块及跑步机速度控制系统； 所述跑步机速度控制系统的控制面板上设置摄像头或其他图像采集设备； 图像处理模块与跑步机速度控制系统连接， 对当前心率大小进行判断， 。

12、当符合条件时， 输出指令至控制系统， 实现速度控制； 设定： 心率大小超过120次/分钟时， 控制面板显示屏给出警告提示， 建议健身人员做好相应 的休息活动； 心率大小超过135次/分钟时， 跑步机逐步降低传输带速度至零。 9.如权利要求5所述的一种基于摄像的非接触式心率的检测方法的装置， 其特征在于， 所述图像采集设备为一利用前置摄像头的智能手机， 对手机持有者进行心率测量， 其中所 述图像采集模块和图像处理模块通过程序指令存储至手机存储设备， 通过手机的CPU来实 现上述心率检测方法算法的计算。 权 利 要 求 书 3/3 页 4 CN 108771539 A 4 一种基于摄像的非接触式心。

13、率的检测方法及其装置 技术领域 0001 本发明涉及心率测量技术领域， 尤其是使用摄像非接触式实时监控心率的心率测 量的方法及其装置。 背景技术 0002 心率是指心脏每分钟搏动的次数， 是人体健康指标中极其重要的一项， 而随着中 国社会进入一个新的时代， 人民日益增长的美好生活需要成为社会的主要矛盾， 健康生活 成为社会的追求， 因此与人体健康相关的各项指标受到人们日益关注； 同时智能技术的发 展也促进智能设备更多地进入普通家庭， 作为一项不受天气影响的活动， 使用跑步机进行 室内跑步便于用户锻炼身体， 利于生活的健康。 0003 传统对于心率的测量方法多采用测量脉搏血氧饱和度(SpO2)以。

14、及使用更为精确 的心电图仪器的方法取得， 然而上述方法需要待测人员在测试时或夹住手指、 耳朵， 或佩戴 胸带或腕带甚至需要电极设备依附于皮肤表面， 这些检测探头在监测过程中可能引起患者 不适(尤其是在运动过程中长时间中夹住手指或耳朵)和增加传播细菌病毒感染的风险， 同 时也给智能设备的整合带来不便， 因此找出一种不依赖电极或其他不需要接触到皮肤且可 以实时测量心率大小的传感器成为一个有吸引力的研究课题。 0004 研究发现数字视频中人体皮肤血容量的变化与人体心脏跳动的周期相关联， 该发 现为非接触式生命体征监测开辟了可能性， 此外随着数字成像设备成本的不断降低， 摄像 头产品的使用变得越来越普。

15、遍， 也为本发明提供了前提基础。 发明内容 0005 本发明的目的在于克服现有技术存在的缺失和不足， 提出一种基于摄像的非接触 式心率的检测方法及装置。 0006 本发明技术方案概述如下： 0007 本发明一种基于摄像的非接触式心率的检测方法(如附图1所示)： 0008 步骤A： 基于人脸检测技术， 实时检测人脸的面部区域， 并利用人脸特征点标定技 术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域； 0009 步骤B： 将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间， 将图像的亮度 信息与色度信息分离， 选择均值化后的色度信息作为鼻部区域的特征值， 从而得到时域信 号sign。

16、al(t)； 0010 步骤C： 利用本发明提出一种 “多层次Savitzky-Golay滤波器 方法， 对signal(t) 处理， 去除信号signal(t)中的基线漂移与噪声， 从而得到纯净的血容量脉冲(Blood Volume Pulse， BVP)信号； 0011 步骤D： 基于时域频域转换的方法， 将时域BVP信号转换到频域空间， 进行频域分 析， 获得对应的心率大小。 0012 根据步骤A所述基于人脸检测技术， 实时检测人脸的面部区域， 并利用人脸特 说 明 书 1/5 页 5 CN 108771539 A 5 征点标定技术获得精确的感兴趣的鼻部区域作为待提取心率信号的目标区域，。

17、 其具体内容 如下： 0013 A1.利用Dlib图像库， 将人脸的图像映射到128个维度向量空间， 检查其欧氏距离 是否在某个阈值内来实现脸部的识别； 0014 测试显示当欧式距离设置为0.6时， 使用LFW人脸库即实现99.38的识别率； 0015 A2.基于Dlib图像库提供的回归树组合(Ensemble of Regression Trees， ERT)的 方法， 在学习Tree的过程中， 直接将形状shape的更新值S存入叶子结点leaf node。 初始 位置S在通过所有学习到的Tree后， mean shape加上所有经过的叶子结点的S， 即可得到 最终的人脸关键点位置， 即： 。

18、0016 0017 其中， t表示级联序号， rt表示当前的回归器(regressor)； 0018 回归器的输入参数为图像I和上一级回归器更新后的形状， 采用的特征可以是灰 度值或者其它特征； 0019 A3.经过步骤A1和步骤A2后， 可以实现对人脸的中心点的定位， 获得鼻部区域， 并 且当面部发生旋转刚性运动时， 使用具有旋转不变性的步骤A2得到的面部各个部位的关键 点坐标， 实时获取固定的区域； 0020 其中， 前额， 面颊， 嘴唇， 鼻部分别作为ROI区域时所获取的BVP信号(如附图2、 3、 4、 5所示， 这里选取了时间长为9秒的信号曲线图)， 所述鼻部区域相比较前额、 面颊、。

19、 嘴唇所采 集到的信号受到噪声影响较小， 因此作为本发明心率测量方法中的ROI区域。 0021 根据步骤B所述将目标区域图像从原始的RGB颜色空间转换到Lab颜色空间， 将图像的亮度信息与色度信息分离， 选择均值化后的色度信息作为鼻部区域的特征值， 从 而得到时域信号signal(t)， 其具体内容如下： 0022 B1.基于人对颜色感觉的Lab颜色模型， 该模型是由亮度(L)和有关色彩的a， b三个 要素组成； 0023 L表示亮度(Luminosity)， a表示从红色至绿色的范围， b表示从黄色至蓝色的范 围， 从RGB模型转为Lab模型对应的转换关系公式： 0024 0025 B2.当。

20、皮肤中的血液随着心脏的收缩而发生变动时， 皮肤对于照射到皮肤上光线 的吸收量也跟着发生变化， 这种变化体现在红色与绿色数值的变动中； 0026 实验发现Lab模型中， 红色与绿色在空间中的分布为一维向量(从负半轴的绿色逐 渐变为正半轴所表示的红色)， 该向量即为Lab模型中的a通道对应的数轴所表示； 通过计算 a通道对应的均值， 用于心率测量的特征； 0027 其中， 所述的BVP信号的提取是采用Lab颜色空间a通道对应的均值， 将该值作为心 率测量方法在时域中所用的特征值信号signal(t)。 0028 根据步骤C还包括如下： 0029 C1.Savitzky-Golay滤波器的矩阵算子求。

21、解： 0030 假设对于signal(t)滤波的窗口宽度为n(n2m+1)， 各测量点为x(-m， -m+1， ， 0， 说 明 书 2/5 页 6 CN 108771539 A 6 1， ， m-1， m)， 采用k-1次多项式对窗内的数据点进行拟合： 0031 signala0+a1x+a2x2+ak-1xk-1 0032 因此一共有n个这样的方程， 组成k元线性方程组； 0033 要使方程组有解则n应大于等于k， 一般选择nk， 通过最小二乘法拟合确定拟合参 数A， 即： 0034 0035 写成矩阵形式： 0036 signal(2m+1)*1X(2m+1)*k*Ak*1+E(2m+1。

22、)*1 0037对应的A的最小二乘解 为： 0038 0039 滤波后的结果为： 0040 0041 C2.实现 “多层次Savitzky-Golay滤波器 ， 具体为： 0042 C2.1输入窗口大小为signal长度的窗口， 幂次k为5， 对信号signal(t)进行一次去 除基线漂移和去噪滤波操作； 0043 C2.2调整窗口为帧率大小， 幂次k为2， 对信号signal(t+1)滤波操作， 去除窗口为 一秒内信号的噪声； 0044 C2.3继续调整窗口大小为5， 幂次k为2， 相当于对信号进行平滑操作， 去除毛刺信 号； 0045 C3.通过C1步骤和C2步骤后， 特征值信号转换为纯净。

23、的BVP信号； 0046 提取纯净的BVP信号是采用 “多层次Savitzky-Golay滤波器 ， 通过三次修改不同 大小的窗口， 实现信号的多层次处理， 最终获得纯净的BVP信号(如附图6所示， 这里选取时 间长度为10秒的信号曲线图)； 0047 可选地依次选择长度为210的BVP信号进行傅里叶变换， 选择变换后幅值最大的一 点(该点对应的频率f)， 则心率的大小为： 0048 ratef*60。 0049 可选地， 当心率大小超过120次/分钟时， 显示屏给出警告提示， 建议健身人员做好 相应的休息活动； 当心率大小超过135次/分钟时， 跑步机逐步降低传输带速度至零。 0050 如上。

24、所述， 与包括现有能够提供心率数据的跑步机与使用胸带的方式相比， 本发 明基于非接触式的心率测量方式， 使用摄像头可实现无创、 无痛和极其方便的心率测量方 法， 提供给人们在跑步机锻炼时一项重要的生理指标， 从而为健康做出一份参考。 附图说明 0051 图1为本发明一种基于摄像的非接触式心率的检测方法流程框图； 0052 图2为本发明中心率测量方法测量的前额区域的原始信号曲线图； 说 明 书 3/5 页 7 CN 108771539 A 7 0053 图3为本发明中心率测量方法测量的面颊区域的原始信号曲线图； 0054 图4为本发明中心率测量方法测量的嘴唇区域的原始信号曲线图； 0055 图5。

25、为本发明中心率测量方法测量的鼻部区域的原始信号曲线图； 0056 图6为本发明心率测量方法中滤波前后的信号对比， 其中上半部分为a通道对应的 时域信号， 下半部分为使用 “多层次Savitzky-Golay滤波器 滤波后的BVP信号； 0057 图7为本发明实施例1跑步机的心率测量装置的框图； 0058 图8为本发明实施例1跑步机装置示意图； 0059 图9为本发明实施例2手机装置示意图； 0060 图10为本发明实施例2手机的心率测量装置的框图。 具体实施方式 0061 以下结合附图和实施例对本发明作进一步描述： 0062 实施例1： 0063 一种基于摄像的非接触式心率的检测方法装置(如附。

26、图7所示)， 包括图像采集模 块， 图像处理模块， 显示模块， 音频模块及跑步机控制系统； 0064 图像处理模块与跑步机速度控制系统进行连接， 通过输出控制指令至控制系统实 现跑步机的速度控制(如附图8所示)。 0065 所述图像采集装置、 显示器、 音频模块均与跑步机控制系统相连接。 0066 所述显示器除了可以显示时间、 速度、 路程和热量信息外， 还有心率信息。 0067 所述音频模块除了可供使用者欣赏音乐外， 还用于非正常情况下的语音警示。 0068 所述图像采集装置用于采集视频图像， 并将运动者的图像信息传输到图像处理模 块， 所述图像处理器对采集到的图像进行处理， 得到运动人员的。

27、心率信息， 输出到显示器， 并根据不同的心率信息， 决定是否需要控制音频模块给出警报提示和控制马达的转速。 0069 包括非接触方式获取被检测者的人脸视频图像的图像采集模块和与所述图像采 集模块连接的、 根据所述人脸视频图像提取鼻部皮肤区域作为目标区域， 通过对目标区域 进行颜色空间的转换和滤波的数据进行时域到频域的转换， 根据频域数据最终计算出心率 值的图像处理模块。 0070 所述图像采集模块包括用于照射并采集被检测者的视频图像的摄像单元。 0071 启动跑步机后， 摄像头开始采集运动人员的面部视频图像； 0072 所述图像处理模块包括： 0073 与所述摄像单元连接的， 用于提取所述摄像。

28、单元中的人脸视频图像的提取单元， 根据步骤A， 将其鼻部区域提取出作为目标区域； 0074 与所述提取单元连接的， 用于对目标区域的图像数据进行颜色空间转换的颜色空 间转换单元， 根据步骤B， 将RGB颜色空间转换到Lab颜色空间； 0075 与所述颜色空间转换单元连接的， 根据步骤C， 用于对颜色空间转换过后的图像数 据进行 “多层次Savitzky-Golay滤波器 滤波的滤波单元； 0076 与所述滤波单元连接的， 根据步骤D， 用于在所述滤波过后的时频信号转换成频域 信号， 并根据频域分析计算出心率的时频转换单元。 0077 对于采集到的每一帧图像， 利用所述面部识别技术， 找到图像中。

29、的健身人员的面 说 明 书 4/5 页 8 CN 108771539 A 8 部区域， 并利用跟踪算法， 实时读取面部中心点的位置坐标； 利用所述面部识别技术得到的 中心点坐标， 提取出感兴趣的鼻部区域； 将得到的RGB颜色空间内鼻部区域的图像转换到 Lab颜色空间， 分离出a通道， 计算出a通道的均值作为每一帧图像的特征值， 进而得到含有 人体BVP信号的时域信号。 利用本发明中提出的一种 “多层次Savitzky-Golay滤波器 对采 集的时域信号进行去趋势和滤波操作； 在此基础上， 利用心率计算公式即可得出运动人员 的心率数据。 0078 在一种可能的情况是运动人员在运动过程中出现心率。

30、速度过快现象或症状： 当心 率大小超过120次/分钟， 这时图像处理模块发出指令至跑步机的显示模块， 通过显示屏给 出警示提示； 当心率大小超过135次/分钟时， 图像处理模块发出指令至控制系统来控制跑 步机的传送带， 使得传送带运行速度逐步降低， 直至为0， 预防危险的发生。 0079 实施例2： 所述图像采集设备为一利用前置摄像头的手机(如附图9所示)， 对手机 持有者进行心率测量。 其中所述图像采集模块和图像处理模块(如附图10所示)通过程序指 令存储至手机存储设备， 通过手机的CPU来实现上述心率检测方法算法的计算。 0080 本发明可采用在一个或多个其中包含有计算机可用程序代码的嵌入。

31、式处理机或 其他可编程数据处理设备的处理器， 并包含可用存储介质， 包括但不限于磁盘存储器和光 学存储器等。 0081 所述图像处理模块通过程序指令存储至包括通用计算机， 专业计算机， 嵌入式处 理机或其他可编程数据处理设备。 0082 综上所述， 本发明克服了传统对于心率的测量方法多采用测量脉搏血氧饱和度 (SpO2)以及使用更为精确的心电图仪器的方法取得， 然而上述方法需要待测人员在测试时 或夹住手指、 耳朵， 或佩戴胸带或腕带甚至需要电极设备依附于皮肤表面， 这些检测探头在 监测过程中可能引起患者不适(尤其是在运动过程中长时间中夹住手指或耳朵)和增加传 播细菌病毒感染的风险， 同时也给智。

32、能设备的整合带来的不便。 其与包括现有能够提供心 率数据的跑步机， 使用胸带的方式相比， 本发明基于非接触式的心率测量方式， 使用摄像头 可实现无创、 无痛和极其方便的心率测量方法， 提供给人们在跑步机锻炼时一项重要的生 理指标， 从而为健康做出一份参考。 说 明 书 5/5 页 9 CN 108771539 A 9 图1 图2 图3 说 明 书 附 图 1/4 页 10 CN 108771539 A 10 图4 图5 图6 说 明 书 附 图 2/4 页 11 CN 108771539 A 11 图7 图8 说 明 书 附 图 3/4 页 12 CN 108771539 A 12 图9 图10 说 明 书 附 图 4/4 页 13 CN 108771539 A 13 。