一种多传感信息融合的疲劳驾驶评估预警方法及装置 技术领域 本发明涉及车辆安全驾驶技术领域， 特别是涉及一种多传感信息融合的疲劳驾驶 评估预警方法及装置。
背景技术 疲劳驾驶是当今交通安全的重要隐患之一。驾驶员在疲劳时， 其对周围环境的感 知能力、 形势判断能力和对车辆的操控能力都有不同程度的下降， 因此很容易发生交通事 故。 全世界每年因交通事故而导致的死亡人数达 60 万， 直接经济损失约 125 亿美元， 这些事 故中 57％的灾难性事故与驾驶员疲劳驾驶有关。 在 2007 年至 2008 年我国直接由疲劳驾驶 导致的死亡人数分别占机动车驾驶员交通肇事总死亡人数的 11.35％、 10.91％和 12.5％， 大约每年有 9000 人死于疲劳驾驶。
现有的驾驶员疲劳状态监测方法大都基于某一单项指标， 虽然在限定条件下能够 达到一定的精度， 但在实际复杂多变的行车环境下， 其准确性和可靠性上还存在问题， 难以 达到预期要求。
研究发现， 驾驶员的疲劳状态受多种因素影响， 到目前为止， 国内外还没有发现非 常有效的指标或模型能够对疲劳等级进行精确的评价。 现有的大多数检测方法因其检测条 件的限制和复杂环境的影响， 不能准确完整地提取驾驶员的疲劳信息， 导致目前开发的疲 劳驾驶预警系统往往不能快速对疲劳状态作出判断与响应检测灵敏度低， 可靠性差。
发明内容
本发明所要解决的技术问题是提供一种多传感信息融合的疲劳驾驶评估预警方 法及装置， 有效减少因疲劳驾驶引起的交通事故。
本发明解决其技术问题所采用的技术方案是 ： 提供一种多传感信息融合的疲劳驾 驶评估预警方法， 包括以下步骤 ：
(1) 检测驾驶员面部及眼睛状态， 从而得到驾驶员面部图像信息 ； 采集车道图像 信息 ；
(2) 根据得到的驾驶员面部图像信息对驾驶员进行疲劳评估 ；
(3) 根据车道图像信息建立数学模型， 判断车辆是否压线 ；
(4) 根据车道图像信息建立数学模型， 判断车辆是否发生大角度偏离 ；
(5) 根据上述步骤得到的信息评估驾驶安全等级 ；
(6) 根据所述驾驶安全等级作出决策及预警。
所述步骤 (2) 和步骤 (4) 之间还包括根据车速和行驶时间改变疲劳评估的灵敏度 的步骤。
所述步骤 (1) 中的驾驶员面部图像信息包括睁眼信息、 闭眼信息和转头信息。
所述步骤 (2) 采用 PERCLOS 方法对驾驶员进行疲劳度评估。
所述步骤 (3) 还包括以下子步骤 ：(31) 建立极坐标系， 并将车道图像信息坐标系中的直线模型对应到所述的极坐标系中 ； (32) 建立数学模型得到 X ＝ |cosθ|·m， 其中， X 为车道图像中心点到车道线的 距离 ； θ 为偏离角， 即车辆实际导航方向和车道线指引方向夹角 ； m 为车头中心点距车道线 的水平距离 ；
(33) 若 X ≤车身的一半长度时， 判定车辆压线 ； 否则车辆不压线。
所述步骤 (1) 前还包括判断所述车速是否大于门限值， 若大于门限值则进入步骤 (1) ； 否则保持对车速的检测。
本发明解决其技术问题所采用的技术方案是 ： 还提供一种多传感信息融合的疲劳 驾驶评估预警装置， 包括 ： 第一图像采集单元， 用于采集驾驶员面部及眼睛状态 ； 驾驶员疲 劳评估单元， 用于根据驾驶员面部及眼睛状态评估驾驶员的疲劳度 ； 第二图像采集单元， 用 于采集车道图像信息 ； 压线判断单元， 用于根据车道图像信息判断车辆是否压线 ； 偏离判 断单元， 用于根据车道图像信息判断车辆是否发生大角度偏离 ； 驾驶评估单元， 用于根据驾 驶员疲劳评估单元、 压线判断单元和偏离判断单元的结果， 对驾驶安全等级进行评估 ； 中央 处理单元， 用于驾驶安全等级根据作出决策及预警。
所述多传感信息融合的疲劳驾驶评估预警装置还包括 ： 车辆行驶检测单元， 用于 检测车辆的车速和行驶时间 ； 灵敏度单元， 用于根据车辆的车速和行驶时间改变所述驾驶 员疲劳评估单元的驾驶员的疲劳度。
所述多传感信息融合的疲劳驾驶评估预警装置还包括 ： 还包括 ： 启动单元， 用于 将车辆的车速与门限值进行比较， 若车辆的车速大于门限值则启动所述第一图像采集单元 和第二图像采集单元采集图像。
有益效果
由于采用了上述的技术方案， 本发明与现有技术相比， 具有以下的优点和积极效 果： 本发明通过检测驾驶员面部及眼睛状态、 车速及行车时间和车道线信息等多种传感信 息， 并融合多种传感信息， 准确完整地提取驾驶员的疲劳信息， 从而对疲劳驾驶进行评估及 预警， 有效减少因疲劳驾驶引起的交通事故。利用 PERCLOS 算法将驾驶员疲劳程度分为四 个等级， 因此可根据不同的情况对驾驶员及车辆做出不同的预警及控制动作。
附图说明
图 1 是本发明的疲劳驾驶评估预警流程图 ；
图 2a 是车辆到右边线距离示意图 ；
图 2b 是图 2a 中的直线模型对应的极坐标示意图 ；
图 3a 是车辆到左边线距离示意图 ；
图 3b 是图 3a 中的直线模型对应的极坐标示意图 ；
图 4a 是车辆到左边线示意图 ；
图 4b 是图 4a 中的直线模型对应的极坐标示意图 ；
图 5 是车辆压线示意图 ；
图 6 是车辆大角度偏离车道示意图 ；
图 7 是疲劳驾驶评估及预警装置结构示意图。具体实施方式
下面结合具体实施例， 进一步阐述本发明。 应理解， 这些实施例仅用于说明本发明 而不用于限制本发明的范围。 此外应理解， 在阅读了本发明讲授的内容之后， 本领域技术人 员可以对本发明作各种改动或修改， 这些等价形式同样落于本申请所附权利要求书所限定 的范围。
以下结合图 1， 即疲劳驾驶评估预警流程图， 分步说明具体的评估预警方法。
1) 检测驾驶员面部及眼睛状态
本发明将驾驶员的面部及眼睛分为三种状态， “睁眼” 、 “闭眼” 、 “转头” 。
三种状态的定义方法如下 ： 面部各变量的取值及含义如表 1 所示。
表 1 面部各变量取值及含义
实际检测时， 首先检测眼睛状态， 若检测到 ey ＝ 1( 检测到睁开的眼睛 )， 则定义为 “睁眼” 状态。若检测到 ey ＝ 0( 未检测到睁开的眼睛 )， 再去检测脸部状态。此时， 若 fc ＝ 1( 检测到正面人脸 )， 则定义为 “闭眼” 状态。反之， 若 fc ＝ 0( 未检测到正面人脸 )， 则定 义为 “转头” 状态。
2) 根据 PERCLOS 方法对驾驶员进行疲劳度评估
本发明用 PERCLOS 的方法将驾驶员疲劳程度分为 “未出现疲劳特征” “出现轻微疲 ， 劳特征” ， “驾驶不专心、 转头过久” ， “出现明显疲劳特征” 四个等级。PERCLOS 是指眼睛闭合 时间占一定时间 ( 本实例选取 30 秒 ) 的百分率。
本示例检测面部图像的频率大概为 50ms 一次。以 30 秒为一个时间单位， 统计 30 秒内检测到的 “闭眼” 次数， 占总检测次数的百分比， 作为 PERCLOS 值。每 1 秒统计一次前 30 秒的 PERCLOS 值。
同时， 每 1 秒统计一次在这 1 秒钟内检测到 “转头” 次数占总检测次数的百分比。
根据以上计算结果， 本系统选取疲劳阈值为 36％， 即当闭眼时间占总时间 (30 秒 ) 超过 35％ (PERCLOS ＞ 35％ ) 时， 判定为驾驶员出现明显疲劳特征， 即Ⅳ级疲劳。当 30％ ＜ PERCLOS ≤ 35％时， 判定驾驶员出现轻微疲劳特征， 即 II 级疲劳。 当 PERCLOS ≤ 30％时， 判定驾驶员未出现疲劳特征， 即 I 级疲劳 ( 不疲劳 )。
若连续 6 秒检测到驾驶员 “转头” 次数占总检测次数的百分比超过 90％， 则判定驾 驶员驾驶不专心， 即 III 级疲劳。指标对比如表 2。
表 2 疲劳度划分指标
3) 根据车速及行车时间， 改变疲劳度评估的灵敏度
灵敏度与车速和司机驾驶时间有关， 主要作用于高速公路和非高速公路这两种行 驶状态。灵敏度设定如表 3。
表 3 灵敏度设定
对于不同的灵敏度， 判定驾驶员疲劳度的指标不同， 表 3 所示指标为中灵敏度情 况下的指标。对于其他灵敏度， 需将指标 PERLOCS 的阈值及 “转头” 时间阈值 ( 中灵敏度 ： 6 秒 ) 乘以灵敏度系数。本实例将灵敏度系数设定如下 ：
将中灵敏度 ( 灵敏度 B) 的系数设为 1， 则，
低灵敏度系数 Ka ＝ 1.18。
高灵敏度系数 Kc ＝ 0.95。
4) 根据车道线信息判断车辆是否压线
一般情况下， 车道线画面中会出现实现和虚线两条线。 判断车辆压线， 先判断车辆 压的是当前车道的哪一条线。
当车道有两个条同时出现时， 需要通过以下方法判断车辆离左右两根车道线中的 哪一根比较近。图 2a 为车辆到右边线的距离示意图。图 3a 和图 4a 均为车辆到左边线的 距离示意图。
摄像头 2 监测得到的车道画面， 经过一系列图像处理步骤， 最终得到当前车道在 图像坐标系中的直线模型对应的极坐标参数 (ρ， θ)。
其中 ：
ρ 为计算机测得的原点到车道线的距离 ；
A 为图像中心点 ；
X 为图像中心点到车道线的距离 ；
θ 为偏离角 ；
a 为原点到中心点连线的长度 ；
b 为车道线与 x 轴的交点和中心点连线的长度 ；
c 为车道线与 x 轴的交点和原点的连线的长度。
通过图 2b、 图 3b 和图 4b， 可以计算出 X1 和 X2 的值， 即图像中心点到左车道线的距 离和到右车道线的距离。
图 2b 中 ： 因为 图 3b 中 ： 因为 图 4b 中 ： 因为而 b ＝ c-a， 所以 而 b ＝ c+a， 所以 而 b ＝ a-c， 所以通过以上计算， 比较 X1， X2 的大小 ：
当 X1 ＞ X2 时， 车辆离右边线比较近 ； 当 X1 ＜ X2 时， 车辆离左边线比较近。
下面给出判定车辆压线的指标， 图 5 为车辆压线示意图。
由图 5 可知， X ＝ |cosθ|·m
其中， 其中， X 为车道图像中心点到车道线的距离 ； θ 为偏离角， 即车辆实际导航 方向和车道线指引方向夹角 ； m 为车头中心点距车道线的水平距离。
当计算出的 X ≤半车身长度时， 判定车辆压线。 5) 根据车道线信息判断车辆是否发生大角度偏离
通过分析车道图像可得 α 值， 如图 6 所示， 并规定， 当 α ≥ 45°时， 车辆发生了大 角度偏离车道线。
6) 结合多传感信息， 评估驾驶安全等级
本发明根据上述多传感信息， 将驾驶安全等级分为 “安全” ， “轻度危险” ， “危险” ， “非常危险” 四个等级。
本实例装置在车速大于 20km/h 时启动。
首先， 将驾驶员面部疲劳度分为 I 度， II 度， III 度， Ⅳ度 4 个等级， 分别描述如表 4。
表 4 驾驶员面部疲劳度等级描述
疲劳等级 I II III IV
驾驶员面部疲劳度描述 未出现疲劳特征 出现轻微疲劳特征 驾驶不专心， 视线偏离路面过久等 出现明显疲劳特征将车道线状况 ( 即车辆行驶状况 ) 分为 A、 B、 C、 D 四种情况， 分别描述如表 5 ： 表 5 路面车道线状况分类车道线画面描述 车辆正常行驶 车辆压车道线 ( 虚线 ) 车辆大角度偏离车道线 车辆压车道线 ( 实线 )结合上述驾驶员疲劳程度与车道线状况， 将驾驶安全等级分为安全、 轻度危险、 危 险、 非常危险四级， 如表 6 所示。
另外， 出现以下任何一种情况都视为非常危险 ：
a)PSD 红外测距仪发出对前方障碍物的报警信号。
b) 驾驶员连续驾驶时间超过 8 小时。
c) 车速超过 150km/h。
表 6 驾驶员疲劳度等级划分
7) 中央处理器作出决策及预警
结合前面划分的疲劳等级， 根据不同的情况对驾驶员及车辆做出不同的预警及控 制动作， 具体操作如表 7。
表 7 疲劳预警决策方案
表 7 中的语音及控制方案如下 ：
语音提醒 1 ： “为了行车安全， 请勿压线。 ”
语音提醒 2 ： “您可能需要休息。 ”
语音提醒 3 ： “请注意车道变更。 ”
语音提醒 4 ： “为了您的安全， 请专心开车。 ”
语音提醒 5 ： “危险。 ”
语音提醒 6 ： “为了您的安全， 请休息后再行驶车辆。 ”
控制方案 1 ： 车辆以每秒 5km/h 的速度减速， 直至速度减为 20km/h。
控制方案 2 ： 车辆以每秒 15km/h 的速度减速， 直至速度减为 20km/h。
需要说明的是， 在采集驾驶员面部及眼睛状态的同时还可以对车道信息进行采 集， 车道信息的采集也可以先于驾驶员面部及眼睛状态的采集。
本发明的第二实施例涉及一种多传感信息融合的疲劳驾驶评估预警装置， 包括 ： 第一图像采集单元， 用于采集驾驶员面部及眼睛状态 ； 驾驶员疲劳评估单元， 用于根据驾驶 员面部及眼睛状态评估驾驶员的疲劳度 ； 第二图像采集单元， 用于采集车道图像信息 ； 压 线判断单元， 用于根据车道图像信息判断车辆是否压线 ； 偏离判断单元， 用于根据车道图像 信息判断车辆是否发生大角度偏离 ； 驾驶评估单元， 用于根据驾驶员疲劳评估单元、 压线判 断单元和偏离判断单元的结果， 对驾驶安全等级进行评估 ； 中央处理单元， 用于驾驶安全等 级根据作出决策及预警。所述多传感信息融合的疲劳驾驶评估预警装置还包括 ： 车辆行驶 检测单元， 用于检测车辆的车速和行驶时间 ； 灵敏度单元， 用于根据车辆的车速和行驶时间 改变所述驾驶员疲劳评估单元的驾驶员的疲劳度。 所述多传感信息融合的疲劳驾驶评估预 警装置还包括 ： 还包括 ： 启动单元， 用于将车辆的车速与门限值进行比较， 若车辆的车速大 于门限值则启动所述第一图像采集单元和第二图像采集单元采集图像。
其中各个主要单元的安装位置如图 7 所示， 为本发明疲劳驾驶评估及预警装置的 一个实施例的示意图。包括驾驶员面部图像采集模块 a， 即摄像头 1 ； 道路图像信息采集模 块 b， 即摄像头 2 ； PSD 红外测距仪 c ； 车辆测速装置 d ； 车载中央处理器 e。
驾驶员面部图像采集模块 a、 道路图像信息采集模块 b、 PSD 红外测距仪 c、 车辆测 速装置 d 将采集到的传感信息发送给中央处理器 e， 中央处理器 e 将所有信息分析处理， 做 出疲劳驾驶的评估及预警。具体的评估预警方法， 以软件的形式运行在中央处理器 e 中。