《基于模式识别的安全驾驶监控系统和方法.pdf》由会员分享，可在线阅读，更多相关《基于模式识别的安全驾驶监控系统和方法.pdf（10页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102426757 A (43)申请公布日 2012.04.25 C N 1 0 2 4 2 6 7 5 7 A *CN102426757A* (21)申请号 201110394497.6 (22)申请日 2011.12.02 G08B 21/02(2006.01) G08B 21/06(2006.01) H04N 7/18(2006.01) (71)申请人上海大学 地址 200444 上海市宝山区上大路99号 (72)发明人庞海波 吴学纯 康利平 丁友东 郑玉婷 (74)专利代理机构上海上大专利事务所(普通 合伙) 31205 代理人陆聪明 (54) 发明名称 基于。
2、模式识别的安全驾驶监控系统和方法 (57) 摘要 本发明公开了一种基于模式识别的安全驾驶 监控系统和方法，该系统应用的装置包括：视频 帧获取单元1，该单元是一个具有USB接口的摄 像头或者专用摄像设备，用于采集驾驶员上身位 置和姿态的视频帧；安全驾驶监控中心单元2，用 于采集的驾驶员上身位置和姿态的视频帧，对该 视频帧中驾驶员进行定位和分割，判断驾驶员驾 驶状态，根据驾驶员驾驶状态产生不同的报警类 型信号；警报标志判断和提示单元3，用于判断安 全驾驶监控中心单元2发送来的不同报警类型信 号，发出相应的报警提示信息。本发明充分利用了 模式识别的方法，具有结构简单，实现成本低廉的 特点，同时，该方。
3、法能够有效降低交通事故的发生 率。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 2 页 CN 102426765 A 1/2页 2 1.一种基于模式识别的安全驾驶监控系统，该系统应用的装置包括视频帧获取单元 (1)，安全驾驶监控中心单元(2)警报标志判断和提示单元(3)，其特征在于：上述视频帧 获取单元(1)，该单元是一个具有USB接口的摄像头或者专用摄像设备，用于采集驾驶员上 身位置和姿态的视频帧，将采集的驾驶员上身位置和姿态的视频帧送入安全驾驶监控中心 单元(2)；上述安全驾驶监控中心单元(2)，用于对采集的。
4、驾驶员上身位置和姿态的视频帧 处理，对该视频帧中的驾驶员进行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态 产生不同的报警类型信号，再将不同的报警类型信号发送到警报标志判断和提示单元(3)； 上述警报标志判断和提示单元(3)，用于判断安全驾驶监控中心单元(2)发送来的不同报 警类型信号，发出相应的报警提示信息。 2.根据权利要求1所述的基于模式识别的安全驾驶监控系统，其特征是：上述所述的 安全驾驶监控中心单元(2)进一步包括视频帧预处理的单元(21)，驾驶员位置和姿态监控 单元(22)，驾驶员脸朝向监控单元(23)，驾驶员眼睛疲劳度监控单元(24)，其特征在于： 上述视频帧预处理单元(21。
5、)，用于对采集的视频帧进行光照均衡和去噪处理； 上述驾驶员位置和姿态监控单元(22)，利用边缘检测和高斯背景建模技术对降噪后的 视频帧中驾驶员上半身定位、分割和判断驾驶员位置姿态是否正确，产生驾驶员驾驶位置 和姿态的相应类型报警信号，并将该相应类型报警信号送到警报标志判断和提示单元(3) 或驾驶员脸朝向监控单元(23)； 上述驾驶员脸朝向监控单元(23)，用于定位驾驶员脸，并监控和判断驾驶员脸的朝向 是否正确，产生驾驶员脸的朝向的相应类型报警信号，并将该相应类型报警信号发送到警 报标志判断和提示单元(3)或驾驶员眼睛疲劳度监控单元(24)； 上述驾驶员眼睛疲劳度监控单元(24)，用于定位跟踪驾。
6、驶员眼睛，并监控和判断驾驶 员眼睛疲劳程度，产生驾驶员眼睛疲劳程度的相应类型报警信号，并将该相应类型报警信 号发送到警报标志判断和提示单元(3)或视频帧获取单元(1)。 3.根据权利要求2所述的基于模式识别的安全驾驶监控系统，其特征是：上述所述的 警报标志判断和提示单元(3)进一步包括声音报警提示单元(31)、字幕报警提示LED单元 (32)，其特征在于：上述声音报警提示单元(31)，用于实现报警信息的声音提示；上述字幕 报警提示LED单元(32)，用于实现报警信息的字幕显示和灯光提示。 4.一种基于模式识别的安全驾驶监控方法，该方法应用的装置包括视频帧获取单元 (1)，安全驾驶监控中心单元(。
7、2)，警报标志判断和提示单元(3)，其特征在于，该方法包括 以下步骤： 1、利用具有USB接口的摄像头或者专用摄像设备，采集驾驶员上身位置和姿态视频 帧，将该采集驾驶员的上身位置和姿态的视频帧送到步骤2； 2、对上述采集的驾驶员上身位置和姿态的视频帧进行预处理，对视频帧中的驾驶员进 行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态发送不同的报警类型信号，其具 体步骤如下： 21、视频帧光照均衡步骤，利用基于小波分析的光照补偿技术，对采集的视频帧进行光 照均衡； 22、视频帧去噪步骤，利用数字图像处理的滤波技术等，对视频帧进行去噪处理； 23、驾驶员定位分割步骤，利用边缘检测和高斯背景建模技。
8、术对降噪后的视频帧驾驶 权 利 要 求 书CN 102426757 A CN 102426765 A 2/2页 3 员上半身定位和分割； 24、驾驶员身体位置姿态监控步骤，利用主动形状模型和傅里叶描述子获得驾驶员上 半身的轮廓； 25、位置姿态是否正确判断步骤，将获取的驾驶员位置和轮廓信息与正常驾驶位置和 姿态轮廓进行比较，判断驾驶员位置和姿态是否正确，如果驾驶员位置或姿态是不正确，则 发送驾驶员位置或姿态是不正确的报警类型信号，并转入步骤31，否则进入步骤26； 26、人脸定位和分割步骤，微处理器芯片利用高斯混合模型和肤色检测方法对驾驶员 的脸进行定位和分割； 27、人脸朝向监控步骤，微处理。
9、器芯片利用特征提取方法对驾驶员的脸进行特征提 取； 28、朝向是否正确判断步骤，微处理器芯片利用神经网络和模板匹配的方法将获取的 驾驶员脸朝向的特征信息和正常人脸朝向特征信息进行匹配，确定人脸朝向，判断驾驶员 脸朝向是否正确，如果驾驶员脸朝向是不正确，则发送驾驶员脸朝向是不正确的报警类型 信号,并转入步骤31，否则转入步骤29； 29、眼睛定位和跟踪步骤，微处理器芯片利用kalman滤波器和改进的均值漂移模型对 驾驶员眼部进行定位和跟踪，确保能够正确检测和跟踪到驾驶员的眼睛； 210、眼睛疲劳度监控步骤，微处理器芯片对跟踪到的驾驶员眼睛进行边缘检测和长宽 信息提取，计算眼睛近似面积； 211、。
10、眼睛疲劳度判断步骤，微处理器芯片利用比较流行的perclos的P80标准对眼睛 疲劳度进行计算，判断驾驶员是否处于疲劳驾驶状态，如果驾驶员是处于疲劳驾驶状态，则 发送驾驶员是处于疲劳驾驶状态的报警类型信号,并进入步骤31，否则转入步骤1进行； 3、报警标志判断和提示步骤，用于对安全驾驶监控步骤发送来的报警类型信号分类， 并发出相应的报警提示信息，包括声音报警提示和字幕报警提示； 31、警报标志分类步骤，微处理器芯片判断接收到的报警类型信号，将对应类型的报警 信息发送到步骤32； 32、安全警报提示步骤，警报标志判断和提示单元3产生对应报警的声音提示和LED字 幕提示，达到安全驾驶提醒目的，驾驶。
11、员可以手动中断报警器的报警信息，该监测系统转入 下一轮安全驾驶监控，或者停车休息，关闭报警器功能。 权 利 要 求 书CN 102426757 A CN 102426765 A 1/5页 4 基于模式识别的安全驾驶监控系统和方法 技术领域 0001 本发明是一种基于模式识别的安全驾驶监控系统和方法，涉及汽车车载设备、数 字图像处理和模式识别领域。 背景技术 0002 随着我国经济的快速发展，汽车的保有量也在快速增加，交通事故造成了巨大的 经济损失和严重人员伤亡，其中不安全驾驶是造成交通事故的主要原因。 0003 传统的交通管理方法对驾驶员安全驾驶监控有限，因此，用来提高驾驶员安全驾 驶的监控系。
12、统和方法被提出来，这些系统和方法均从检测和控制驾驶员是否疲劳驾驶入 手。例如，中国专利申请说明书，其名称为“疲劳驾驶检测技术”，申请号为200610007961.0， 该方法提供了一种由单片机控制的反射式红外线传感自动距离检测方法，通过检测驾 驶员头部位置判断驾驶员是否处于疲劳状态，由于仅对其头部位置进行检测和判断，因 此，检测精确度不高；中国专利申请说明书，其名称为“一种疲劳驾驶方法”，申请号为 200810036347.7，该方法提供了一种防疲劳驾驶装置和方法，实时检测驾驶员眼睛的眨眼 频率和开闭合程度，分析判断驾驶员的驾驶状态，该方法检测范围有限，对不安全驾驶因素 考虑不全面，检测精确度。
13、不高；中国专利申请说明书，其名称为“疲劳驾驶智能管理系统”， 申请号200910196586.2；该发明提供了一种结合微处理器和智能管理监控计算机，判断驾 驶员疲劳程度的方法，引入无线通信设备，GPS设备和监管中心对驾驶员进行提醒，该方法 对驾驶员面部进行检测，检测范围有限，同时需要引入一些复杂的设备，成本较高，难以普 遍的推广和应用。 发明内容 0004 本发明目的是提供一种基于模式识别的安全驾驶监控系统和方法，该方法克服了 背景技术所存在的安全驾驶因素考虑不够全面和设备装置费用较高问题，提高了检测的准 确率，保证了检测的实时性。 0005 为了达到上述目的，本发明解决其技术问题所采用的技术。
14、方案是： 一种基于模式识别的安全驾驶监控系统，该系统应用的装置包括视频帧获取单元1，安 全驾驶监控中心单元2警报标志判断和提示单元3，其特征在于： 上述视频帧获取单元1，该单元是一个具有USB接口的摄像头或者专用摄像设备，用于 采集驾驶员上身位置和姿态的视频帧，将采集的驾驶员上身位置和姿态的视频帧送入安全 驾驶监控中心单元2； 上述安全驾驶监控中心单元2，用于对采集的驾驶员上身位置和姿态的视频帧处理，对 该视频帧中的驾驶员进行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态产生不 同的报警类型信号，再将不同的报警类型信号发送到警报标志判断和提示单元3； 上述警报标志判断和提示单元3，用于判断。
15、安全驾驶监控中心单元2发送来的不同报 警类型信号，发出相应的报警提示信息。 说 明 书CN 102426757 A CN 102426765 A 2/5页 5 0006 上述所述的安全驾驶监控中心单元2进一步包括视频帧预处理的单元21，驾驶员 位置和姿态监控单元22，驾驶员脸朝向监控单元23，驾驶员眼睛疲劳度监控单元24，其特 征在于： 上述视频帧预处理单元21，用于对采集的视频帧进行光照均衡和去噪处理； 上述驾驶员位置和姿态监控单元22，利用边缘检测和高斯背景建模技术对降噪后的视 频帧中驾驶员上半身定位、分割和判断驾驶员位置姿态是否正确，产生驾驶员驾驶位置和 姿态的相应类型报警信号，并将该相。
16、应类型报警信号送到警报标志判断和提示单元3或驾 驶员脸朝向监控单元23； 上述驾驶员脸朝向监控单元23，用于定位驾驶员脸，并监控和判断驾驶员脸的朝向是 否正确，产生驾驶员脸的朝向的相应类型报警信号，将该相应类型报警信号发送到警报标 志判断和提示单元3或驾驶员眼睛疲劳度监控单元24； 上述驾驶员眼睛疲劳度监控单元24，用于定位跟踪驾驶员眼睛，并监控和判断驾驶员 眼睛疲劳程度，产生驾驶员眼睛疲劳程度的相应类型报警信号，并将该相应类型报警信号 发送到警报标志判断和提示单元3或视频帧获取单元1。 0007 上述所述的警报标志判断和提示单元3进一步包括声音报警提示单元31、字幕报 警提示LED单元32，。
17、其特征在于： 上述声音报警提示单元31，用于实现报警信息的声音提示； 上述字幕报警提示LED单元32，用于实现报警信息的字幕显示和灯光提示。 0008 一种基于模式识别的安全驾驶监控方法，该方法应用的装置包括视频帧获取单元 1，安全驾驶监控中心单元2，警报标志判断和提示单元3，该方法包括以下步骤： 1、利用具有USB接口的摄像头或者专用摄像设备，采集驾驶员上身位置和姿态视频 帧，将该采集驾驶员的上身位置和姿态的视频帧送到步骤2； 2、对上述采集的驾驶员上身位置和姿态的视频帧进行预处理，对视频帧中的驾驶员进 行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态产生不同的报警类型信号，其具 体步骤。
18、如下： 21、视频帧光照均衡步骤，利用基于小波分析的光照补偿技术，对采集的视频帧进行光 照均衡； 22、视频帧去噪步骤，利用数字图像处理的滤波技术等，对视频帧进行去噪处理； 23、驾驶员定位分割步骤，利用边缘检测和高斯背景建模技术对降噪后的视频帧驾驶 员上半身定位和分割； 24、驾驶员身体位置姿态监控步骤，利用主动形状模型和傅里叶描述子获得驾驶员上 半身的轮廓； 25、位置姿态是否正确判断步骤，将获取的驾驶员位置和轮廓信息与正常驾驶位置和 姿态轮廓进行比较，判断驾驶员位置和姿态是否正确，如果驾驶员位置或姿态是不正确，则 发送驾驶员位置或姿态是不正确的报警类型信号，并转入步骤31，否则进入步骤2。
19、6； 26、人脸定位和分割步骤，微处理器芯片利用高斯混合模型和肤色检测方法对驾驶员 的脸进行定位和分割； 27、人脸朝向监控步骤，微处理器芯片利用特征提取方法对驾驶员的脸进行特征提 取； 说 明 书CN 102426757 A CN 102426765 A 3/5页 6 28、朝向是否正确判断步骤，微处理器芯片利用神经网络和模板匹配的方法将获取的 驾驶员脸朝向的特征信息和正常人脸朝向特征信息进行匹配，确定人脸朝向，判断驾驶员 脸朝向是否正确，如果驾驶员脸朝向是不正确，则发送驾驶员脸朝向是不正确的报警类型 信号,并转入步骤31，否则转入步骤29； 29、眼睛定位和跟踪步骤，微处理器芯片利用kal。
20、man滤波器和改进的均值漂移模型对 驾驶员眼部进行定位和跟踪，确保能够正确检测和跟踪到驾驶员的眼睛； 210、眼睛疲劳度监控步骤，微处理器芯片对跟踪到的驾驶员眼睛进行边缘检测和长宽 信息提取，计算眼睛近似面积； 211、眼睛疲劳度判断步骤，微处理器芯片利用比较流行的perclos的P80标准对眼睛 疲劳度进行计算，判断驾驶员是否处于疲劳驾驶状态，如果驾驶员是处于疲劳驾驶状态，则 发送驾驶员是处于疲劳驾驶状态的报警类型信号,并进入步骤31，否则转入步骤1进行； 3、报警标志判断和提示步骤，用于对安全驾驶监控步骤发送来的报警类型信号分类， 并发出相应的报警提示信息，包括声音报警提示和字幕报警提示；。
21、 31、警报标志分类步骤，微处理器芯片判断接收到的报警类型信号，将对应类型的报警 信息发送到步骤32； 32、安全警报提示步骤，警报标志判断和提示单元3产生对应报警的声音提示和LED字 幕提示，达到安全驾驶提醒目的，驾驶员可以手动中断报警器的报警信息，该监测系统转入 下一轮安全驾驶监控，或者停车休息，关闭报警器功能。 0009 本发明的实施具有以下有益效果：本发明提出了一种基于模式识别的安全驾驶监 控系统和方法，它依靠视频帧获取单元、安全驾驶监控中心单元和报警标志判断提示单元， 通过利用视频帧获取单元的摄像头实时采集驾驶员身体位置、姿态、脸朝向和眼睛信息，判 断驾驶员当前是否处于安全驾驶状态，。
22、该发明采用分层次的监控和判断策略，全面考虑了 驾驶员驾驶的安全因素，可以有效减少交通事故的发生；本发明采用的监测系统结构简单， 具有成本低廉的优势。 附图说明 0010 图1是本发明的基于模式识别的安全驾驶监控系统的结构示意图； 图2是本发明的基于模式识别的安全驾驶监控方法的流程图。 具体实施方式 0011 以下结合附图对本发明的实施例作进一步的详细描述。 0012 如图1所示，本发明的基于模式识别的安全驾驶监控系统，该系统包括视频帧获 取单元1，安全驾驶监控中心单元2警报标志判断和提示单元3，其特征在于： 上述视频帧获取单元1，该单元是一个具有USB接口的摄像头或者专用摄像设备，用于 采集驾。
23、驶员上身位置和姿态的视频帧，将该采集的驾驶员上身位置和姿态的视频帧送入安 全驾驶监控中心单元2； 上述安全驾驶监控中心单元2，用于对采集的驾驶员上身位置和姿态的视频帧处理，对 该视频帧中的驾驶员进行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态产生不 同的报警类型信号，再将不同的报警类型信号发送到警报标志判断和提示单元3； 说 明 书CN 102426757 A CN 102426765 A 4/5页 7 上述警报标志判断和提示单元3，用于判断安全驾驶监控中心单元2发送来的不同类 型的报警信号，发出相应的报警提示信息。 0013 上述所述的安全驾驶监控中心单元2进一步包括视频帧进行预处理单。
24、元21，驾驶 员位置和姿态监控单元22，驾驶员脸朝向监控单元23，驾驶员眼睛疲劳度监控单元24，其 特征在于： 上述视频帧预处理单元21，用于对采集的视频帧进行光照均衡和去噪处理； 上述驾驶员位置和姿态监控单元22，利用边缘检测和高斯背景建模技术对降噪后的视 频帧中驾驶员上半身定位、分割和判断驾驶员驾驶位置和姿态是否正确，产生驾驶员驾驶 位置和姿态的相应类型报警信号，并将该相应类型报警信号送到警报标志判断和提示单元 3或驾驶员人脸朝向监控单元23； 上述驾驶员人脸朝向监控单元23，用于定位驾驶员脸，并监控和判断驾驶员脸的朝向 是否正确，产生驾驶员脸的朝向的相应类型报警信号，并将该相应类型报警信。
25、号送到警报 标志判断和提示单元3或驾驶员眼睛疲劳度监控单元24； 上述驾驶员眼睛疲劳度监控单元24，用于定位跟踪驾驶员眼睛，并监控和判断驾驶员 眼睛疲劳程度，产生驾驶员眼睛疲劳程度的相应类型报警信号，并将该相应类型报警信号 送到警报标志判断和提示单元3或视频帧获取单元1。 0014 上述所述的警报标志判断和提示单元3进一步包括声音报警提示单元31、字幕报 警提示LED单元32，其特征在于： 上述声音报警提示单元31，用于实现报警信息的声音提示； 上述字幕报警提示LED单元32，用于实现报警信息的字幕显示和灯光提示。 0015 如图2所示，基于模式识别的安全驾驶监控方法，该方法应用上述系统，包括。
26、视频 帧获取单元1，安全驾驶监控中心单元2，警报标志判断和提示单元3，其步骤如下： 1、利用具有USB接口的摄像头或者专用摄像设备，采集驾驶员上身位置和姿态视频 帧，将该采集驾驶员的上身位置和姿态的视频帧送到步骤2； 2、对上述采集的驾驶员上身位置和姿态的视频帧进行预处理，对视频帧中的驾驶员进 行定位和分割，判断驾驶员驾驶状态，根据驾驶员驾驶状态发送不同的报警类型信号，其具 体步骤如下： 21、视频帧光照均衡步骤，利用基于小波分析的光照补偿技术，对采集的视频帧进行光 照均衡； 22、视频帧去噪步骤，利用数字图像处理的滤波技术等，对视频帧进行去噪处理； 23、驾驶员定位分割步骤，利用边缘检测和高。
27、斯背景建模技术对降噪后的视频帧驾驶 员上半身定位和分割； 24、驾驶员身体位置姿态监控步骤，利用主动形状模型和傅里叶描述子获得驾驶员上 半身的轮廓； 25、位置姿态是否正确判断步骤，将获取的驾驶员位置和轮廓信息与正常驾驶位置和 姿态轮廓进行比较，判断驾驶员的位置和姿态是否正确，如果驾驶员位置或姿态是不正确， 则发送驾驶员位置或姿态不正确的报警类型信号，并转入步骤31，否则进入步骤26； 26、人脸定位和分割步骤，微处理器芯片利用高斯混合模型和肤色检测方法对驾驶员 的脸进行定位和分割； 说 明 书CN 102426757 A CN 102426765 A 5/5页 8 27、人脸朝向监控步骤，微。
28、处理器芯片利用特征提取方法对驾驶员的脸进行特征提 取； 28、朝向是否正确判断步骤，微处理器芯片利用神经网络和模板匹配的方法将获取的 驾驶员脸朝向的特征信息和正常人脸朝向特征信息进行匹配，确定人脸朝向，判断驾驶员 脸朝向是否正确，如果驾驶员脸朝向是不正确，则发送驾驶员脸朝向不正确的报警类型信 号,并转入步骤31，否则转入步骤29； 29、眼睛定位和跟踪步骤，微处理器芯片利用kalman滤波器，改进的均值漂移模型对 驾驶员眼部进行定位和跟踪，确保能够正确检测和跟踪到驾驶员的眼睛； 210、眼睛疲劳度监控步骤，微处理器芯片对跟踪到的驾驶员眼睛进行边缘检测和长宽 信息提取，计算眼睛近似面积； 211。
29、、眼睛疲劳度判断步骤，微处理器芯片利用比较流行的perclos的P80标准对眼睛 疲劳度进行计算，判断驾驶员是否处于疲劳驾驶状态，如果驾驶员是处于疲劳驾驶状态，则 发送驾驶员是处于疲劳驾驶状态的报警类型信号,并进入步骤31，否则转入步骤1进行； 3、报警标志判断和提示步骤，用于对安全驾驶监控步骤发送来的报警类型信号分类， 并发出相应的报警提示信息，包括声音报警提示和字幕报警提示； 31、警报标志分类步骤，微处理器芯片判断接收到的报警类型信号，将对应类型的报警 信息发送到步骤32； 32、安全警报提示步骤，警报标志判断和提示单元3产生对应报警的声音提示和LED字 幕提示，达到安全驾驶提醒目的，驾驶员可以手动中断报警器的报警信息，该监测系统转入 下一轮安全驾驶监控，或者停车休息，关闭报警器功能。 0016 以上所述，仅为本发明较佳实例，并不用以限制本发明，凡在本发明的精神和原则 内所作地任何修改、等同替换或改进等，皆应仍属本发明专利涵盖的范围内。 说 明 书CN 102426757 A CN 102426765 A 1/2页 9 图1 说 明 书 附 图CN 102426757 A CN 102426765 A 2/2页 10 图2 说 明 书 附 图CN 102426757 A 。