通过车对车连接警告驾驶员的异常状态的方法和装置.pdf

《通过车对车连接警告驾驶员的异常状态的方法和装置.pdf》由会员分享，可在线阅读，更多相关《通过车对车连接警告驾驶员的异常状态的方法和装置.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010075327.0 (22)申请日 2020.01.22 (30)优先权数据 62/799,181 2019.01.31 US 16/738,484 2020.01.09 US (71)申请人 斯特拉德视觉公司 地址 韩国庆尚北道 (72)发明人 金桂贤金镕重金鹤京南云铉 夫硕焄成明哲申东洙吕东勋 柳宇宙李明春李炯树张泰雄 郑景中诸泓模赵浩辰 (74)专利代理机构 北京派特恩知识产权代理有 限公司 11270 代理人 李光辉马芬 (51)Int.Cl. G06K 9/0。

2、0(2006.01) G08B 21/06(2006.01) H04W 4/46(2018.01) H04W 4/33(2018.01) (54)发明名称 通过车对车连接警告驾驶员的异常状态的 方法和装置 (57)摘要 本发明涉及一种方法， 其基于深度学习检测 车辆的驾驶员的异常状态并给予警告， 其包括： 步骤(a)， 将所述车辆的室内图像输入到睡意检 测网络中， 检测所述特定驾驶员的面部， 在所述 面部中检测眼部， 通过检测眨眼状态来判断睡意 状态， 将所述室内图像输入到姿势匹配网络中， 检测所述驾驶员的身体关键点( bodykey point)， 并判断所述身体关键点是否与预设驾驶 姿势中。

3、的一个匹配， 从而判断所述异常状态； 以 及步骤(b)， 当参考所述睡意状态和所述异常状 态中的一个， 判断所述驾驶员处于危险状态时， 通过车对车(vehicle-to-vehicle， V2V)通信， 将 关于所述危险状态的信息传输给周边车辆， 使周 边车辆识别所述危险状态。 权利要求书4页 说明书9页 附图3页 CN 111507170 A 2020.08.07 CN 111507170 A 1.一种方法， 其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态， 并给予警告， 其特征在于， 包括： 步骤(a)， 当获取所述特定车辆内部的至少一个室内图像时， 驾驶员状态检测装置执行 。

4、过程(i)以及过程(ii)中的至少一个， 其中， 过程(i)， 将所述室内图像输入到睡意检测网络 中， 使所述睡意检测网络， 在所述室内图像中检测所述特定驾驶员的至少一个面部， 在所述 面部中检测所述特定驾驶员的至少一个眼部， 并检测所述特定驾驶员的至少一个眼睛的眨 眼状态， 从而判断所述特定驾驶员的所述睡意状态， 过程(ii)， 将所述室内图像输入到姿势 匹配网络中， 使所述姿势匹配网络， 在所述室内图像中检测与所述特定驾驶员的身体相对 应的一个以上的身体关键点， 并判断所述身体关键点是否与预设驾驶姿势中的一个匹配， 从而判断所述特定驾驶员的所述异常状态； 以及 步骤(b)， 当参考所述睡意。

5、检测网络输出的所述特定驾驶员的所述睡意状态以及所述 姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个， 判断所述特定驾驶员 处于危险状态时， 所述驾驶员状态检测装置执行的过程为， 通过车对车通信， 将关于所述特 定驾驶员的所述危险状态的信息传输给一个以上的周边车辆， 使所述周边车辆的一个以上 的周边驾驶员识别所述特定驾驶员的所述危险状态。 2.根据权利要求1所述的方法， 其特征在于， 在所述步骤(a)中， 所述驾驶员状态检测装置， 使所述睡意检测网络， (i)(i-1)通过人脸检测器的卷积层， 将至少一个卷积运算适用于所述室内图像中， 生成至少一个特征图， (i-2)通过所述人脸检 。

6、测器的区域建议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框， (i-3)通过所述人脸检测器的池化层， 对与所述特征图上的所述建议框相对应的一个以上 的区域适用至少一个池化运算， 生成至少一个特征矢量， (i-4)通过所述人脸检测器的全连 接层， 对所述特征矢量适用至少一个全连接运算， 生成至少一个全连接输出值， (i-5)对所 述全连接层的所述全连接输出值， 适用至少一个分类运算和至少一个回归运算， 输出每个 所述对象的类别信息和回归信息之后， 通过所述人脸检测器的分类层和回归层检测所述室 内图像上的所述特定驾驶员的所述面部， 其中， 每个所述对象对应于每个所述建议框， (i。

7、i) 通过眼睛检测器将所述面部转换为至少一个修正统计变换图像， 其中， 所述面部的亮度与 局部的平均亮度之间的差异被编码成所述修正统计变换图像， 使用自适应提升算法， 根据 从所述修正统计变换图像中获取的眼睛检测用特征数据， 检测所述特定驾驶员的所述眼 部， 并参考所述眼部的所述眼睛的睁闭状态， 检测所述眼睛的所述眨眼状态。 3.根据权利要求1所述的方法， 其特征在于， 在所述步骤(a)中， 所述驾驶员状态检测装置， 使所述姿势匹配网络， (i)通过特征提取器在所述室内图像 中提取一个以上的特征而生成一个以上的特征张量， (ii)通过关键点热图和部分亲和字段 提取器生成与每个所述特征张量相对应。

8、的一个以上的关键点热图和一个以上的部分亲和 字段， (iii)在每个所述关键点热图中提取一个以上的关键点， 并参考每个所述部分对亲和 字段， 对提取的关键点进行分组， 从而通过关键点分组层， 生成与位于所述室内图像的所述 特定驾驶员相对应的所述身体关键点。 4.根据权利要求3所述的方法， 其特征在于， 权利要求书 1/4 页 2 CN 111507170 A 2 所述驾驶员状态检测装置， 使所述姿势匹配网络， 通过所述特征提取器的至少一个卷 积层， 对所述室内图像适用至少一个卷积运算， 从而生成所述特征张量。 5.根据权利要求3所述的方法， 其特征在于， 所述驾驶员状态检测装置， 使所述姿势匹。

9、配网络， 通过所述关键点热图和部分亲和字 段提取器的全卷积网络或至少一个11卷积层， 对所述特征张量适用至少一个全卷积运算 或至少一个11卷积运算， 从而生成对应每个所述特征张量的所述关键点热图和所述部分 亲和字段。 6.根据权利要求3所述的方法， 其特征在于， 所述驾驶员状态检测装置， 使所述姿势匹配网络， 通过所述关键点分组层， 提取每个所 述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。 7.根据权利要求6所述的方法， 其特征在于， 所述驾驶员状态检测装置， 使所述姿势匹配网络通过所述关键点分组层， 参考所述部 分亲和字段， 分别连接在所述被提取的关键点对中具有。

10、最高相互连接概率的对， 从而对所 述被提取的关键点进行分组。 8.根据权利要求1所述的方法， 其特征在于， 在所述步骤(a)中， 当所述特定驾驶员的所述眼睛闭合， 且所述眼睛的闭合时间为预设第一阈值以上时， 所述驾驶状态检测装置执行， 使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的 过程。 9.根据权利要求1所述的方法， 其特征在于， 在所述步骤(a)中， 当所述身体关键点不与任一驾驶姿势匹配， 并且， 所述身体关键点与所述任一驾驶姿 势保持不匹配的状态的持续时间为预设第二阈值以上时， 所述驾驶员状态检测装置， 使所 述姿势匹配网络， 判断所述驾驶员处于所述异常状态。 10.一种驾驶员状。

11、态检测装置， 其基于深度学习检测特定车辆的特定驾驶员的睡意状 态和异常状态， 并给予警告， 其特征在于， 包括： 至少一个存储器， 存储指令； 以及 至少一个处理器， 被配置为执行用于执行过程(I)和(II)的指令， 其中， 过程(I)， 当获 取所述特定车辆内部的至少一个室内图像时执行过程(i)和过程(ii)中的至少一个， 过程 (i)， 将所述室内图像输入到睡意检测网络中， 使所述睡意检测网络， 在所述室内图像中检 测所述特定驾驶员的至少一个面部， 在所述面部中检测所述特定驾驶员的至少一个眼部， 并检测所述特定驾驶员的至少一个眼睛的眨眼状态， 从而判断所述特定驾驶员的所述睡意 状态， 过程。

12、(ii)， 将所述室内图像输入到姿势匹配网络中， 使所述姿势匹配网络， 在所述室 内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点， 并判断所述身体 关键点是否与预设驾驶姿势中的一个匹配， 从而判断所述特定驾驶员的所述异常状态； 以 及过程(II)， 当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿 势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个， 判断所述特定驾驶员处 于危险状态时， 通过车对车通信， 将关于所述特定驾驶员的所述危险状态的信息传输给一 个以上的周边车辆， 使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述 权利要求书 2/4。

13、 页 3 CN 111507170 A 3 危险状态。 11.根据权利要求10所述的驾驶员状态检测装置， 其特征在于， 在所述过程(I)中， 所述处理器， 使所述睡意检测网络， (i)(i-1)通过人脸检测器的卷积层， 将至少一个卷 积运算适用于所述室内图像中， 生成至少一个特征图， (i-2)通过所述人脸检测器的区域建 议网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框， (i-3)通过所 述人脸检测器的池化层， 对与所述特征图上的所述建议框相对应的一个以上的区域适用至 少一个池化运算， 生成至少一个特征矢量， (i-4)通过所述人脸检测器的全连接层， 对所述 特征矢量适用至少。

14、一个全连接运算， 生成至少一个全连接输出值， (i-5)对所述全连接层的 所述全连接输出值， 适用至少一个分类运算和至少一个回归运算， 输出每个所述对象的类 别信息和回归信息之后， 通过所述人脸检测器的分类层和回归层检测所述室内图像上的所 述特定驾驶员的所述面部， 其中， 每个所述对象对应于每个所述建议框， (ii)通过眼睛检测 器将所述面部转换为至少一个修正统计变换图像， 其中， 所述面部的亮度与局部的平均亮 度之间的差异被编码成所述修正统计变换图像， 使用自适应提升算法， 根据从所述修正统 计变换图像中获取的眼睛检测用特征数据， 检测所述特定驾驶员的所述眼部， 并参考所述 眼部的所述眼睛的。

15、睁闭状态， 检测所述眼睛的所述眨眼状态。 12.根据权利要求10所述的驾驶员状态检测装置， 其特征在于， 在所述过程(I)中， 所述处理器， 使所述姿势匹配网络， (i)通过特征提取器在所述室内图像中提取一个以 上的特征而生成一个以上的特征张量， (ii)通过关键点热图和部分亲和字段提取器生成与 每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段， (iii)在 每个所述关键点热图中提取一个以上的关键点， 并参考每个所述部分对亲和字段， 对提取 的关键点进行分组， 从而通过关键点分组层， 生成与位于所述室内图像的所述特定驾驶员 相对应的所述身体关键点。 13.根据权利要求12。

16、所述的驾驶员状态检测装置， 其特征在于， 所述处理器， 使所述姿势匹配网络， 通过所述特征提取器的至少一个卷积层， 对所述室 内图像适用至少一个卷积运算， 从而生成所述特征张量。 14.根据权利要求12所述的驾驶员状态检测装置， 其特征在于， 所述处理器， 使所述姿势匹配网络， 通过所述关键点热图和部分亲和字段提取器的全 卷积网络或至少一个11卷积层， 对所述特征张量适用至少一个全卷积运算或至少一个1 1卷积运算， 从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。 15.根据权利要求12所述的驾驶员状态检测装置， 其特征在于， 所述处理器， 使所述姿势匹配网络， 通过所述关键点。

17、分组层， 提取每个所述关键点热图 上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。 16.根据权利要求15所述的驾驶员状态检测装置， 其特征在于， 所述处理器， 使所述姿势匹配网络通过所述关键点分组层， 参考所述部分亲和字段， 分 别连接在所述被提取的关键点对中具有最高相互连接概率的对， 从而对所述提取的关键点 进行分组。 17.根据权利要求10所述的驾驶员状态检测装置， 其特征在于， 权利要求书 3/4 页 4 CN 111507170 A 4 在所述过程(I)中， 所述特定驾驶员的所述眼睛闭合， 且所述眼睛的闭合时间为预设第一阈值以上时， 所 述处理器执行， 使所述睡意检测网。

18、络判断所述特定驾驶员为所述睡意状态的过程。 18.根据权利要求10所述的驾驶员状态检测装置， 其特征在于， 在所述过程(I)中， 当所述身体关键点不与任一驾驶姿势匹配， 并且， 所述身体关键点与所述任一驾驶姿 势保持不匹配的状态的持续时间为预设第二阈值以上时， 所述处理器， 使所述姿势匹配网 络， 判断所述驾驶员处于所述异常状态。 权利要求书 4/4 页 5 CN 111507170 A 5 通过车对车连接警告驾驶员的异常状态的方法和装置 技术领域 0001 本发明涉及一种方法和装置， 其基于深度学习(deep learning)检测车辆驾驶员 的睡意状态和异常状态， 从而对所述睡意状态和异常。

19、状态给予警告， 更具体地， 涉及一种方 法和装置， 其基于所述车辆的室内图像中的所述驾驶员的眨眼状态， 检测所述驾驶员的所 述睡意状态， 并通过参考所述驾驶员的姿势检测所述驾驶员的所述异常状态， 并给予警告。 背景技术 0002 车辆交通事故中， 造成最大伤害的事故是在驾驶中发生的， 其中大多数是由疲劳 驾驶、 酒后驾车、 注意力分散等引起的。 0003 作为预先防止这种交通事故的方法， 过去， 只能是驾驶员自己自觉谨慎， 但最近， 通过运用技术来监视驾驶员的状态， 并警告驾驶员， 从而引导安全驾驶。 作为对其的典型技 术， 可以举例驾驶员状态监视装置(Driven-State Monitor。

20、ing Device， DSM)。 0004 驾驶员状态监视装置利用近红外(Near Infra-Red， NIR)相机， 将近红外线投射到 驾驶员的面部， 由此获取驾驶员的人脸图像来监视驾驶员的人脸。 对眨眼频率、 眨眼次数等 眨眼的特性设置优先顺序， 并运用对接近睡意要素分配权重的算法， 判断驾驶员是否犯困。 另外， 通过识别人脸方向和眼睛状态来判断注意力分散状态， 并且当判断驾驶员在预设时 间内没有注视前方时， 驾驶员会受到警告。 0005 然而， 这种传统方法中存在的问题为， 当驾驶员陷入无法回应这种警告的状态时， 对驾驶者的警告将变得毫无意义。 0006 并且， 在这种传统方法中， 。

21、当驾驶员的姿势改变时， 利用相机检测驾驶员的异常状 态是有限的。 0007 因此， 本发明提出一种用于有效地检测表示驾驶员的睡意驾驶或异常状态等的危 险状态， 以预先防止交通事故的方案。 发明内容 0008 本发明的目的在于解决所有上述问题。 0009 本发明的另一目的在于能够有效地检测特定驾驶员的至少一个异常状态。 0010 本发明的再一目的在于能够向特定驾驶员的周边车辆的驾驶员警告特定驾驶员 的异常状态。 0011 本发明的又一目的在于能够防止由于特定驾驶员的异常状态可能发生的交通事 故。 0012 为了达到如上所述的本发明的目的， 并且实现后述的本发明的特征效果的， 本发 明的特定结构如。

22、下。 0013 根据本发明的一个方面， 公开了一种方法， 其基于深度学习来检测特定车辆的特 定驾驶员的睡意状态和异常状态， 并给予警告， 其特征在于， 包括： 0014 步骤(a)， 当获取所述特定车辆内部的至少一个室内图像时， 驾驶员状态检测装置 说明书 1/9 页 6 CN 111507170 A 6 执行过程(i)以及过程(ii)中的至少一个， 其中， 过程(i)， 将所述室内图像输入到睡意检测 网络中， 使所述睡意检测网络， 在所述室内图像中检测所述特定驾驶员的至少一个面部， 在 所述面部中检测所述特定驾驶员的至少一个眼部， 并检测所述特定驾驶员的至少一个眼睛 的眨眼状态， 从而判断所。

23、述特定驾驶员的所述睡意状态， 过程(ii)， 将所述室内图像输入到 姿势匹配网络中， 使所述姿势匹配网络， 在所述室内图像中检测与所述特定驾驶员的身体 相对应的一个以上的身体关键点(body key point)， 并判断所述身体关键点是否与预设驾 驶姿势中的一个匹配， 从而判断所述特定驾驶员的所述异常状态； 以及 0015 步骤(b)， 当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及 所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个， 判断所述特定驾 驶员处于危险状态时， 所述驾驶员状态检测装置执行如下过程， 所述过程为通过车对车 (vehicle-to-vehi。

24、cle， V2V)通信， 将关于所述特定驾驶员的所述危险状态的信息传输给一 个以上的周边车辆， 使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述 危险状态的过程。 0016 一实施例中， 在所述步骤(a)中， 0017 所述驾驶员状态检测装置， 使所述睡意检测网络， (i)(i-1)通过人脸检测器的卷 积(convolution)层， 将至少一个卷积运算适用于所述室内图像中， 生成至少一个特征图， (i-2)通过所述人脸检测器的区域建议网络(Region Proposal Network， RPN)生成与所述 特征图上的一个以上的对象相对应的一个以上的建议框， (i-3)通过所述人。

25、脸检测器的池 化层， 对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算， 生成至少一个特征矢量， (i-4)通过所述人脸检测器的全连接层， 对所述特征矢量适用至少 一个FC运算， 生成至少一个FC输出值， (i-5)对所述FC层的所述FC输出值， 适用至少一个分 类运算和至少一个回归运算， 输出每个所述对象的类别信息和回归信息之后， 通过所述人 脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部， 其中， 每 个所述对象对应于每个所述建议框， (ii)通过眼睛检测器将所述面部转换为至少一个修正 统计变换(Modified Census Transform。

26、， MCT)图像， 其中， 所述面部的亮度与局部的平均亮 度之间的差异被编码成所述MCT图像， 使用自适应提升(Adaboost)算法， 根据从所述MCT图 像中获取的眼睛检测用特征数据， 检测所述特定驾驶员的所述眼部， 并参考所述眼部的所 述眼睛的睁闭状态， 检测所述眼睛的所述眨眼状态。 0018 一实施例中， 在所述步骤(a)中， 0019 所述驾驶员状态检测装置， 使所述姿势匹配网络， (i)通过特征提取器在所述室内 图像中提取一个以上的特征而生成一个以上的特征张量， (ii)通过关键点热图(key point heatmap)和部分亲和字段(part affinity field)提取。

27、器生成与每个所述特征张量相对应 的一个以上的关键点热图和一个以上的部分亲和字段， (iii)在每个所述关键点热图中提 取一个以上的关键点， 并参考每个所述部分对亲和字段， 对提取的关键点进行分组 (grouping)， 从而通过关键点分组层， 生成与位于所述室内图像的所述特定驾驶员相对应 的所述身体关键点。 0020 一实施例中， 所述驾驶员状态检测装置， 使所述姿势匹配网络， 通过所述特征提取 器的至少一个卷积层， 对所述室内图像适用至少一个卷积运算， 从而生成所述特征张量。 0021 一实施例中， 所述驾驶员状态检测装置， 使所述姿势匹配网络， 通过所述关键点热 说明书 2/9 页 7 C。

28、N 111507170 A 7 图和部分亲和字段提取器的全卷积(fully convolution)网络或至少一个11卷积层， 对 所述特征张量适用至少一个全卷积运算或至少一个11卷积运算， 从而生成对应每个所述 特征张量的所述关键点热图和所述部分亲和字段。 0022 一实施例中， 所述驾驶员状态检测装置， 使所述姿势匹配网络， 通过所述关键点分 组层， 提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个 所述关键点。 0023 一实施例中， 所述驾驶员状态检测装置， 使所述姿势匹配网络通过所述关键点分 组层， 参考所述部分亲和字段， 分别连接在所述被提取的关键点对中具有。

29、最高相互连接概 率的对， 从而对所述被提取的关键点进行分组。 0024 一实施例中， 在所述步骤(a)中， 当所述特定驾驶员的所述眼睛闭合， 且所述眼睛 的闭合时间为预设第一阈值以上时， 所述驾驶状态检测装置执行， 使所述睡意检测网络判 断所述特定驾驶员为所述睡意状态的过程。 0025 一实施例中， 在所述步骤(a)中， 当所述身体关键点不与所述任一驾驶姿势匹配， 并且， 所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值 以上时， 所述驾驶员状态检测装置， 使所述姿势匹配网络， 判断所述驾驶员处于所述异常状 态。 0026 根据本发明的另一个方面， 公开了一种驾驶员状态。

30、检测装置， 其基于深度学习检 测特定车辆的特定驾驶员的睡意状态和异常状态， 并给予警告， 其特征在于， 包括： 至少一 个存储器， 存储指令； 以及至少一个处理器， 被配置执行所述指令用于执行过程(I)和(II)， 其中， 过程(I)， 当获取所述特定车辆内部的至少一个室内图像时执行过程(i)和过程(ii) 中的至少一个， 过程(i)， 将所述室内图像输入到睡意检测网络中， 使所述睡意检测网络， 在 所述室内图像中检测所述特定驾驶员的至少一个面部， 在所述面部中检测所述特定驾驶员 的至少一个眼部， 并检测所述特定驾驶员的至少一个眼睛的眨眼状态， 从而判断所述特定 驾驶员的所述睡意状态， 过程(。

31、ii)， 将所述室内图像输入到姿势匹配网络中， 使所述姿势匹 配网络， 在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点 (body key point)， 并判断所述身体关键点是否与预设驾驶姿势中的一个匹配， 从而判断 所述特定驾驶员的所述异常状态； 以及过程(II)， 当参考所述睡意检测网络输出的所述特 定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态 中的至少一个， 判断所述特定驾驶员处于危险状态时， 通过车对车(vehicle-to-vehicle， V2V)通信， 将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆， 使。

32、 所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。 0027 一实施例中， 在所述过程(I)中， 所述处理器， 使所述睡意检测网络， (i)(i-1)通过 人脸检测器的卷积(convolution)层， 将至少一个卷积运算适用于所述室内图像中， 生成至 少一个特征图， (i-2)通过所述人脸检测器的区域建议网络(Region Proposal Network， RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框， (i-3)通过所述 人脸检测器的池化层， 对与所述特征图上的所述建议框相对应的一个以上的区域适用至少 一个池化运算， 生成至少一个特征矢量， (i。

33、-4)通过所述人脸检测器的全连接(Fully connected， FC)层， 对所述特征矢量适用至少一个FC运算， 生成至少一个FC输出值， (i-5)对 所述FC层的所述FC输出值， 适用至少一个分类运算和至少一个回归运算， 输出每个所述对 说明书 3/9 页 8 CN 111507170 A 8 象的类别信息和回归信息之后， 通过所述人脸检测器的分类层和回归层检测所述室内图像 上的所述特定驾驶员的所述面部， 其中， 每个所述对象对应于每个所述建议框， (ii)通过眼 睛检测器将所述面部转换为至少一个修正统计变换(Modified Census Transform， MCT)图 像， 其中。

34、， 所述面部的亮度与局部的平均亮度之间的差异被编码成所述MCT图像， 使用自适 应提升(Adaboost)算法， 根据从所述MCT图像中获取的眼睛检测用特征数据， 检测所述特定 驾驶员的所述眼部， 并参考所述眼部的所述眼睛的睁闭状态， 检测所述眼睛的所述眨眼状 态。 0028 一实施例中， 在所述过程(I)中， 所述处理器， 使所述姿势匹配网络， (i)通过特征 提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量， (ii)通过关键 点热图(key point heatmap)和部分亲和字段(part affinity field)提取器生成与每个 所述特征张量相对应的一个以上的。

35、关键点热图和一个以上的部分亲和字段， (iii)在每个 所述关键点热图中提取一个以上的关键点， 并参考每个所述部分对亲和字段， 对提取的关 键点进行分组(grouping)， 从而通过关键点分组层， 生成与位于所述室内图像的所述特定 驾驶员相对应的所述身体关键点。 0029 一实施例中， 所述处理器， 使所述姿势匹配网络， 通过所述特征提取器的至少一个 卷积层， 对所述室内图像适用至少一个卷积运算， 从而生成所述特征张量。 0030 一实施例中， 所述处理器， 其特征在于， 所述处理器， 使所述姿势匹配网络， 通过所 述关键点热图和部分亲和字段提取器的全卷积(fully convolution。

36、)网络或至少一个11 卷积层， 对所述特征张量适用至少一个全卷积运算或至少一个11卷积运算， 从而生成对 应每个所述特征张量的所述关键点热图和所述部分亲和字段。 0031 一实施例中， 所述处理器， 使所述姿势匹配网络， 通过所述关键点分组层， 提取每 个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。 0032 一实施例中， 所述处理器， 使所述姿势匹配网络通过所述关键点分组层， 参考所述 部分亲和字段， 分别连接在所述被提取的关键点对中具有最高相互连接概率的对， 从而对 所述提取的关键点进行分组。 0033 一实施例中， 在所述过程(I)中， 所述特定驾驶员的所。

37、述眼睛闭合， 且所述眼睛的 闭合时间为预设第一阈值以上时， 所述处理器执行， 使所述睡意检测网络判断所述特定驾 驶员为所述睡意状态的过程。 0034 一实施例中， 在所述过程(I)中， 当所述身体关键点不与所述任一驾驶姿势匹配， 并且， 所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值 以上时， 所述处理器， 使所述姿势匹配网络， 判断所述驾驶员处于所述异常状态。 0035 另外， 还提供了一种用于存储计算机程序的计算机可读介质， 所述计算机程序用 于执行本发明的方法。 0036 本发明具有能够通过分别评估特定驾驶员的眨眼状态和驾驶姿势来有效地检测 所述特定驾驶员的睡意。

38、状态和异常状态的效果。 0037 本发明具有的另一效果为， 能够通过V2V通信， 向周边车辆传输关于所述特定驾驶 员的危险状态的信息， 向所述周边驾驶员警告所述特定驾驶员的危险状态。 0038 本发明具有的另一效果为， 能够通过V2V通信向周边车辆传输关于所述特定驾驶 员的危险状态的信息， 防止由于所述特定驾驶员的危险状态而发生的交通事故。 说明书 4/9 页 9 CN 111507170 A 9 附图说明 0039 用于描述本发明实施例的附图仅是本发明实施例的一部分， 并且本发明所属领域 的普通技术人员， 无需进行创造性劳动即可基于这些附图获得其他附图。 0040 图1是示意性示出根据本发明。

39、一实施例检测特定车辆的特定驾驶员的至少一个异 常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。 0041 图2是示意性示出根据本发明一实施例检测所述特定车辆的所述特定驾驶员的所 述异常状态和所述睡意状态并给予警告的方法的图。 0042 图3是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所 述异常状态的方法中， 判断所述特定车辆的所述特定驾驶员的所述睡意状态的过程的图。 0043 图4是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所 述异常状态的方法中， 检测所述特定驾驶员的人脸的过程的图。 0044 图5是示意性示出根据本发明一实施例检测所述特定。

40、驾驶员的所述睡意状态和所 述异常状态的方法中， 通过运用所述特定驾驶员的姿势来判断所述特定驾驶员的所述异常 状态的过程的图。 0045 图6是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所 述异常状态的方法中， 检测所述特定驾驶员的身体关键点的过程的图。 具体实施方式 0046 对于后述的本发明的详细描述， 为使本发明的目的、 技术方案、 以及优点清楚， 可 以将实施本发明的特定实施例作为示例而参考示出的附图。 将会详细描述这些实施例， 以 使本领域技术人员能够足以实施本发明。 0047 另外， 在本发明的详细描述以及权利要求中， 术语 “包括” 及其变形并不意旨在排 除其他。

41、技术特征、 添加物、 组件或步骤。 对于本领域普通技术人员来说， 本发明的其他目的、 优点以及特征中一部分从本说明书中、 一部分从本发明的实施中揭示。 以下示例和附图将 作为示例提供， 但并不意旨限制本发明。 0048 尤其， 本发明涵盖了本说明书中指示的实施例的所有可能的组合。 应理解， 即使本 发明的各种实施例不同， 但不一定是相互排斥的。 例如， 在不脱离与一实施例有关的本发明 的精神和范围的情况下， 可在其他实施例中实现本文中所记载的特定形状、 结构或特性。 并 且， 应理解， 在不脱离本发明的精神和范围的情况下， 可以修改每个公开的实施例的各元件 的位置和配置。 因此， 以下详细描述。

42、不应被理解为限制性的， 并且本发明的范围在适当地解 释的情况下， 仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。 附图中 相似的附图标记是指经过多方面考虑后具有相同或相似的功能。 0049 本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像， 在这种情况 下， 可以假设可能会出现在道路环境中的物体(例如， 汽车、 人、 动物、 植物、 物体、 建筑物、 诸 如飞机或无人机的飞行器、 其他障碍物)， 但不限于此， 本发明中涉及的各种图像可以是与 道路无关的图像(例如， 土路、 小巷、 空地、 海、 湖泊、 河流、 山脉、 森林、 沙漠、 天空、 室内)， 在 这种情况下， 可。

43、以推断土路、 小巷、 空地、 海、 湖泊、 河流、 山脉、 森林、 沙漠、 天空、 室内环境中 可能出现的物体(例如， 汽车、 人、 动物、 植物、 物体、 建筑物、 诸如飞机或无人机的飞行器、 其 他障碍物等)， 但不限于此。 说明书 5/9 页 10 CN 111507170 A 10 0050 以下， 为便于本发明所属的技术领域的普通技术人员实施本发明， 将参考附图详 细描述本发明的优选实施例。 0051 图1是示意性示出根据本发明一实施例检测特定车辆的特定驾驶员的至少一个异 常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。 参考图1， 所述驾驶员 状态检测装置1000可以包。

44、括， 存储器1100， 用于存储检测所述特定车辆的所述特定驾驶员 的所述异常状态和所述睡意状态并给予警告的指令； 以及处理器1200， 执行与用于检测所 述特定驾驶员的所述睡意状态和所述异常状态的、 存储于所述存储器1100的指令相对应的 过程。 0052 具体地， 所述驾驶员状态检测装置1000通常可以是利用至少一个计算装置(例如， 可以包括计算机处理器、 存储器、 储存器、 输入/输出装置、 其他现有计算装置的组件的装 置； 诸如路由器或交换机的电子通信装置； 诸如网络附加存储(NAS)以及存储区域网络 (SAN)的电子信息存储系统)和至少一个计算机软件(具体为使所述计算装置以特定方式运 。

45、行的指令)的组合来实现所期望的系统性能。 0053 所述计算装置的处理器可包括微处理单元(Micro Processing Unit， MPU)或中央 处理单元(Central Processing Unit， CPU)、 高速缓冲存储器存储器(Cache Memory)、 数据 总线(Data Bus)等硬件结构。 并且， 计算装置还可以包括操作系统以及执行特定目的应用 程序的软件结构。 0054 但是， 这些对所述计算装置的描述并不排除集成为了实施本发明的过程、 存储器、 介质或其他计算组件的形式的集成处理器的情况。 0055 参考图2， 描述利用如上所述构成的根据本发明一实施例的所述驾驶。

46、员状态检测 装置1000， 从特定车辆的至少一个室内图像中检测所述特定驾驶员的所述睡意状态和所述 异常状态并给予警告的方法如下。 0056 首先， 当获取由至少一个相机10拍摄的所述特定车辆的室内图像时， 所述驾驶员 状态检测装置1000执行， 过程(i)， 将所述室内图像输入到睡意检测网络100中， 使所述睡意 检测网络100， 在所述室内图像中检测所述特定驾驶员的至少一个面部， 在所述检测到的面 部中检测所述特定驾驶员的至少一个眼部， 以及过程(ii)， 检测所述特定驾驶员的至少一 个眼睛的眨眼状态， 从而判断所述特定驾驶员的所述睡意状态。 此时， 所述驾驶员状态检测 装置1000执行在所。

47、述室内图像中剪裁(cropping)所述特定驾驶员的人脸所在的上半身的 过程以及将所述室内图像的所述已剪裁的上半身输入到所述睡意检测网络100中的过程， 使所述睡意检测网络100， 从所述室内图像的所述已剪裁的上半身中， 检测所述特定驾驶员 的面部， 从而相比于从所述全部室内图像中检测所述面部， 可减少所述睡意检测网络100的 运算量。 0057 作为一例， 参考图3， 所述睡意检测网络100将所述室内图像输入到人脸检测器 110， 使所述人脸检测器110， 分析基于深度学习的所述室内图像， 从而检测在所述室内图像 上的所述特定驾驶员的所述人脸。 0058 此时， 所述人脸检测器110可以是基。

48、于CNN(Convolutional Neural Network)的检 测器， 但是本发明的范围不限于此。 0059 另一方面， 参考图4， 基于所述CNN的所述人脸检测器110可以执行如下过程， 即， 通 过至少一个卷积层111， 对所述室内图像适用至少一个卷积运算， 来生成至少一个特征图， 说明书 6/9 页 11 CN 111507170 A 11 并通过区域建议网络(Region Proposal Network， RPN)112， 来生成与所述特征图上的一个 以上的对象相对应的一个以上的建议框。 并且， 所述人脸检测器110通过池化层113可以执 行如下过程， 即， 对与所述特征图。

49、上的所述建议框相对应的一个以上的区域适用至少一个 池化运算， 来生成至少一个特征矢量的过程， 以及通过FC层114， 对所述特征矢量适用至少 一个FC运算， 来生成至少一个FC输出值的过程。 此后， 所述人脸检测器110， 将至少一个分类 运算与至少一个回归运算适用于所述FC层114的所述FC输出值， 输出关于每个所述对象的 类别信息与回归信息， 可以通过每个所述对象对应于每个建议框的分类层115以及回归层 116， 检测所述室内图像上的所述特定驾驶员的所述面部。 0060 再次参考图3， 所述睡意检测网络100将所述人脸检测器110检测到的所述特定驾 驶员的所述面部输入到眼睛检测器120， 。

50、使所述眼睛检测器120， (i)将所述面部转换为至少 一个MCT(Modified Census Transform)图像， 以便对所述面部的亮度与局部平均亮度之间 的差异进行编码， (ii)使用自适应提升(Adaboost)算法， 从所述MCT图像中获取的眼睛检测 用特征数据中检测所述特定驾驶员的所述眼部， (iii)参考所述眼部的所述眼睛的睁闭状 态， 检测所述眼睛的所述眨眼状态。 此时， 可以用所述MCT图像的眼部上的瞳孔的闭合状态 来确认所述眨眼状态， 所述睁闭状态可以表示眼睛， 即瞳孔是睁开还是闭合。 作为一例， 检 测出的所述特定驾驶员的眼睛完全睁开时的瞳孔大小与所述特定驾驶员的眼。