基于边缘云计算的驾驶员接管保障方法及系统.pdf

《基于边缘云计算的驾驶员接管保障方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于边缘云计算的驾驶员接管保障方法及系统.pdf（15页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010220590.4 (22)申请日 2020.03.25 (71)申请人 东风汽车集团有限公司 地址 430056 湖北省武汉市武汉经济技术 开发区东风大道特1号 (72)发明人 沈骏裴双红杨祖煌李红林 程梁柱 (74)专利代理机构 武汉开元知识产权代理有限 公司 42104 代理人 俞鸿 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/40(2006.01) G06K 9/62(2006.01) H04L 29/08(2006.01) B6。

2、0W 50/08(2020.01) (54)发明名称 一种基于边缘云计算的驾驶员接管保障方 法及系统 (57)摘要 本发明公开了一种基于边缘云计算的驾驶 员接管保障方法， 步骤如下： S1、 启用接管保障流 程； S2、 设置资源请求优先级H2； S3、 调用车辆就 近边缘计算单元与车辆直连进行高优先图像处 理； S4、 处理单元判断接管保障流程运行时长是 否超过智能驾驶设计接管时长。 本发明还公开了 一种基于边缘云计算的驾驶员接管保障系统， 包 括： 启动模块； 资源请求优先级模块： 设置资源请 求优先级H2； 图像处理及传输模块： 调用车辆就 近边缘计算单元与车辆直连进行高优先图像处 理；。

3、 流程退出模块： 判断接管保障流程运行时长 是否超过智能驾驶设计接管时长。 本发明能够辅 助驾驶员回到正常驾驶水平， 合理分配图像处理 计算资源， 可以广泛应用于车辆智能驾驶领域。 权利要求书2页 说明书6页 附图6页 CN 111428646 A 2020.07.17 CN 111428646 A 1.一种基于边缘云计算的驾驶员接管保障方法， 其特征在于： 包括如下步骤： S1、 根据天气信息和摄像头(1)信息， 决定是否启用接管保障流程； S2、 如果智能驾驶处理单元(2)没有故障， 则由其通过总线(4)和5G通信模块(6)设置资 源请求优先级H2， 并高速传输图像/视频信息至云计算平台(。

4、7)； S3、 云计算平台(7)的边缘云计算资源调度模块(9)会调用车辆就近边缘计算单元(8) 通过5G通信模块(6)与车辆直连进行高优先图像处理， 同时将处理后的图像/视频经H高优 先级高速回传给车辆， 并通过总线(4)传送给图像显示模块(3)显示； S4、 智能驾驶处理单元(2)、 雷达处理单元(5)或摄像头(1)的处理单元判断接管保障流 程运行时长是否超过智能驾驶设计接管时长， 或直到接管保障流程退出完成， 如果达到接 管时长则向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保障流程退出， 如果选择是则降低图像处理及传输优先级至L， 维持低帧图像处理辅助。 2.根据权利要求1。

5、所述的基于边缘云计算的驾驶员接管保障方法， 其特征在于： 所述步 骤S1具体流程如下： S11、 当需要退出L3智能驾驶系统时， 首先判断是否是极端天气， 如果否则驾驶员进入 无辅助接管流程； S12、 如果是则进一步判断是否是摄像头(1)的故障， 如果是则驾驶员进入无辅助接管 流程， 如果否则启用接管保障流程。 3.根据权利要求2所述的基于边缘云计算的驾驶员接管保障方法， 其特征在于： 所述步 骤S2还包括： 如果智能驾驶处理单元(2)有故障， 则后备ECU接管并设置资源请求优先级H1， 并高速 传输图像/视频信息至云计算平台(7)。 4.根据权利要求3所述的基于边缘云计算的驾驶员接管保障方。

6、法， 其特征在于： 所述步 骤S3中， 所述高优先图像处理流程如下： 首先判断是否有雾霾， 如果有则调用去雾霾算法， 如果否判断是否有雨雪天气， 如果有 则调用去雨雪算法， 做完去雾霾或去雨雪计算后将处理后的图像/视频经H高优先级高速回 传给车辆。 5.根据权利要求4所述的基于边缘云计算的驾驶员接管保障方法， 其特征在于： 所述步 骤S3的高优先图像处理流程中， 所述去雾霾算法应用暗通道先验/大气光值自适应/偏微分 方程/Retinex算法， 所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰。 6.根据权利要求5所述的基于边缘云计算的驾驶员接管保障方法， 其特征在于： 所述步 骤S3中， 所。

7、述高优先图像处理流程还包括： 如果雨雪天气判定为否， 或者提高图片的亮度、 对比度和轮廓清晰度， 或者调用计算机学习图像识别算法， 根据附近及相似场景道路历史 采集数据的机器学习结果， 用AI判断前方目标及道路特征， 进行图像/视频优化， 标注说明 并进行回传。 7.根据权利要求5所述的基于边缘云计算的驾驶员接管保障方法， 其特征在于： 所述步 骤S4中， 所述高优先图像处理流程完成后， 如果接受图像处理及回传时延， 启用智能驾驶处 理模块(2)、 摄像头(1)、 图像显示模块(3)或边缘计算单元(8)的目标识别功能， 经过目标高 亮或框图追踪处理后再显示给图像显示模块(3)， 进一步判断接管。

8、保障流程运行时长或直 到接管保障流程退出完成。 权利要求书 1/2 页 2 CN 111428646 A 2 8.一种基于边缘云计算的驾驶员接管保障系统， 其特征在于： 包括如下部分： 启动模块： 根据天气信息和摄像头(1)信息， 决定是否启用接管保障流程； 资源请求优先级模块： 如果智能驾驶处理单元(2)没有故障， 则由其通过总线(4)和5G 通信模块(6)设置资源请求优先级H2， 并高速传输图像/视频信息至云计算平台(7)； 图像处理及传输模块： 云计算平台(7)的边缘云计算资源调度模块(9)会调用车辆就近 边缘计算单元(8)通过5G通信模块(6)与车辆直连进行高优先图像处理， 同时将处理。

9、后的图 像/视频经H高优先级高速回传给车辆， 并通过总线(4)传送给图像显示模块(3)显示； 流程退出模块： 智能驾驶处理单元(2)、 雷达处理单元(5)或摄像头(1)的处理单元判断 接管保障流程运行时长是否超过智能驾驶设计接管时长， 或直到接管保障流程退出完成， 如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保 障流程退出， 如果选择是则降低图像处理及传输优先级至L， 维持低帧图像处理辅助。 9.根据权利要求8所述的基于边缘云计算的驾驶员接管保障系统， 其特征在于： 所述启 动模块中， 包括如下部分： 天气判断子模块： 当需要退出L3智能驾驶系统时， 首先判断。

10、是否是极端天气， 如果否则 驾驶员进入无辅助接管流程； 摄像头(1)故障判断子模块： 如果是则进一步判断是否是摄像头(1)的故障， 如果是则 驾驶员进入无辅助接管流程， 如果否则启用接管保障流程； 所述资源请求优先级模块还包括： 如果智能驾驶处理单元(2)有故障， 则后备ECU接管并设置资源请求优先级H1， 并高速 传输图像/视频信息至云计算平台(7)； 所述流程退出模块还包括： 所述高优先图像处理流程完成后， 如果接受图像处理及回 传时延， 启用智能驾驶处理模块(2)、 摄像头(1)、 图像显示模块(3)或边缘计算单元(8)的目 标识别功能， 经过目标高亮或框图追踪处理后再显示给图像显示模块。

11、(3)， 进一步判断接管 保障流程运行时长或直到接管保障流程退出完成。 10.根据权利要求9所述的基于边缘云计算的驾驶员接管保障系统， 其特征在于： 所述 图像处理及传输模块中， 所述高优先图像处理流程如下： 首先判断是否有雾霾， 如果有则调用去雾霾算法， 所述去雾霾算法应用暗通道先验/大 气光值自适应/偏微分方程/Retinex算法； 如果否判断是否有雨雪天气， 如果有则调用去雨 雪算法， 所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰； 如果雨雪天气判定为 否， 或者提高图片的亮度、 对比度和轮廓清晰度， 或者调用计算机学习图像识别算法， 根据 附近及相似场景道路历史采集数据的机器学习。

12、结果， 用AI判断前方目标及道路特征， 进行 图像/视频优化， 标注说明并进行回传； 然后将处理后的图像/视频经H高优先级高速回传给 车辆。 权利要求书 2/2 页 3 CN 111428646 A 3 一种基于边缘云计算的驾驶员接管保障方法及系统 技术领域 0001 本发明涉及车辆智能驾驶， 特别是涉及一种基于边缘云计算的驾驶员接管保障方 法及系统。 背景技术 0002 随着智能网联技术的发展， 量产智能驾驶产品等级将越来越高， 根据SAE(Society of Automotive Engineers， 美国机动车工程师学会)划分规则， L3级别的自动驾驶将在设 计运行区域(operati。

13、onal design domain， ODD)内由智能驾驶系统完成驾驶操作， 人类驾 驶员负责动态驾驶任务支援(Dynamic driving task Fallback， DDT Fallback)， 在必要的 时候根据系统要求接管驾驶车辆。 智能系统需要在退出前确保留有足够时间让驾驶员介入 并安全地控制车辆。 0003 面对雾霾， 严重雨雪等极端气候， 当摄像头难以继续识别车道线， 障碍物等对象， 或者此时主控ECU(Electronic Control Unit， 电子控制单元， 又称行车电脑或车载电脑) 出现故障， 辅助处理模块如雷达处理器开启备份驾驶辅助功能， L3(有条件自治网络。

14、， 在L2 的能力基础上， 系统可以实时感知环境变化， 在特定领域内基于外部环境动态优化调整， 实 现基于意图的闭环管理)级别智能驾驶系统需要提示驾驶员注意力回归， 重新操作方向盘 及油门刹车踏板。 但在此情况下驾驶员突然从其他事件(如看手机， 面向车内其他成员交 谈)回到对路面的关注， 眼睛接收外界环境刺激变化较大， 且本身雨雪雾霾视野较差， 导致 在系统预留接管时间内不能很好地识别道路上的各种障碍物， 易引起交通事故。 0004 目前公开的L3智能驾驶接管系统 ， 更多地关注于接管时机和条件 ， 例如 CN110422169A 一种车辆控制方法、 系统及设备 等专利， 关注驾驶员接管时机，。

15、 CN109298719A 智能汽车的接管方法、 装置及存储介质 等专利， 只关注接管条件， 不关注驾 驶员接管能力， 并没有辅助驾驶员从非驾驶到驾驶的状态切换。 0005 对于公开的智能驾驶图像处理技术， 更多的在于对基础算法的改进和车端系统的 调整， 例如CN109584176A 机动车驾驶视觉增强系统 主要通过车内的主控模块来进行常态 图像处理， 对主控模块算力要求高。 而结合了云计算的技术关注点在于云端融合的体系搭 建， 没有限制单车在线使用算力时间， 对公共资源占用较多。 例如CN109714730A 用于车车 及车路协同的云控平台系统及协同系统和方法 关注收集车-车-路信息进行平台。

16、融合， 以 提供面向范围较广的服务。 0006 由此可知， 现有的技术方案存在如下技术问题： 1、 L3智能驾驶进行动态驾驶任务 支援/接管的时候， 在极端天气下， 对于驾驶员状态切换的辅助不足。 驾驶员即使手重新握 住方向盘， 也并不能当即回到正常驾驶水平。 0007 2、 当前用于驾驶员辅助的图像处理算法占用计算资源较多。 若放在车载处理单元 导致成本升高， 且占用过多算力， 当出现故障， 系统由后备处理器承接功能时保持图像处理 效率尤其困难。 若一直放在云端处理， 当道路车辆较多时占用过多带宽资源及云端计算资 源， 不利于公共资源的合理分配。 说明书 1/6 页 4 CN 1114286。

17、46 A 4 发明内容 0008 本发明的目的是为了克服上述背景技术的不足， 提供一种基于边缘云计算的驾驶 员接管保障方法及系统， 使其能够辅助驾驶员回到正常驾驶水平， 合理分配图像处理计算 资源。 0009 本发明提供的一种基于边缘云计算的驾驶员接管保障方法， 包括如下步骤： S1、 根 据天气信息和摄像头信息， 决定是否启用接管保障流程； S2、 如果智能驾驶处理单元没有故 障， 则由其通过总线和5G通信模块设置资源请求优先级H2， 并高速传输图像/视频信息至云 计算平台； S3、 云计算平台的边缘云计算资源调度模块会调用车辆就近边缘计算单元通过 5G通信模块与车辆直连进行高优先图像处理，。

18、 同时将处理后的图像/视频经H高优先级高速 回传给车辆， 并通过总线传送给图像显示模块显示； S4、 智能驾驶处理单元、 雷达处理单元 或摄像头的处理单元判断接管保障流程运行时长是否超过智能驾驶设计接管时长， 或直到 接管保障流程退出完成， 如果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保障流程退出， 如果选择是则降低图像处理及传输优先级至L， 维持低 帧图像处理辅助。 0010 在上述技术方案中， 所述步骤S1具体流程如下： S11、 当需要退出L3智能驾驶系统 时， 首先判断是否是极端天气， 如果否则驾驶员进入无辅助接管流程； S12、 如果是则进一步 判断。

19、是否是摄像头的故障， 如果是则驾驶员进入无辅助接管流程， 如果否则启用接管保障 流程。 0011 在上述技术方案中， 所述步骤S2还包括： 如果智能驾驶处理单元有故障， 则后备 ECU接管并设置资源请求优先级H1， 并高速传输图像/视频信息至云计算平台。 0012 在上述技术方案中， 所述步骤S3中， 所述高优先图像处理流程如下： 首先判断是否 有雾霾， 如果有则调用去雾霾算法， 如果否判断是否有雨雪天气， 如果有则调用去雨雪算 法， 做完去雾霾或去雨雪计算后将处理后的图像/视频经H高优先级高速回传给车辆。 0013 在上述技术方案中， 所述步骤S3的高优先图像处理流程中， 所述去雾霾算法应用。

20、 暗通道先验/大气光值自适应/偏微分方程/Retinex(一种颜色恒常知觉的计算理论)算法， 所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰。 0014 在上述技术方案中， 所述步骤S3中， 所述高优先图像处理流程还包括： 如果雨雪天 气判定为否， 或者提高图片的亮度、 对比度和轮廓清晰度， 或者调用计算机学习图像识别算 法， 根据附近及相似场景道路历史采集数据的机器学习结果， 用AI判断前方目标及道路特 征， 进行图像/视频优化， 标注说明并进行回传。 0015 在上述技术方案中， 所述步骤S4中， 所述高优先图像处理流程完成后， 如果接受图 像处理及回传时延， 启用智能驾驶处理模块、 。

21、摄像头、 图像显示模块或边缘计算单元的目标 识别功能， 经过目标高亮或框图追踪处理后再显示给图像显示模块， 进一步判断接管保障 流程运行时长或直到接管保障流程退出完成。 0016 本发明还提供的一种基于边缘云计算的驾驶员接管保障系统， 包括如下部分： 启 动模块： 根据天气信息和摄像头信息， 决定是否启用接管保障流程； 资源请求优先级模块： 如果智能驾驶处理单元没有故障， 则由其通过总线和5G通信模块设置资源请求优先级H2， 并高速传输图像/视频信息至云计算平台； 图像处理及传输模块： 云计算平台的边缘云计算 资源调度模块会调用车辆就近边缘计算单元通过5G通信模块与车辆直连进行高优先图像 说明。

22、书 2/6 页 5 CN 111428646 A 5 处理， 同时将处理后的图像/视频经H高优先级高速回传给车辆， 并通过总线传送给图像显 示模块显示； 流程退出模块： 智能驾驶处理单元、 雷达处理单元或摄像头的处理单元判断接 管保障流程运行时长是否超过智能驾驶设计接管时长， 或直到接管保障流程退出完成， 如 果达到接管时长则向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保障 流程退出， 如果选择是则降低图像处理及传输优先级至L， 维持低帧图像处理辅助。 0017 在上述技术方案中， 所述启动模块中， 包括如下部分： 天气判断子模块： 当需要退 出L3智能驾驶系统时， 首先判断是。

23、否是极端天气， 如果否则驾驶员进入无辅助接管流程； 摄 像头故障判断子模块： 如果是则进一步判断是否是摄像头的故障， 如果是则驾驶员进入无 辅助接管流程， 如果否则启用接管保障流程； 所述资源请求优先级模块还包括： 如果智能驾 驶处理单元有故障， 则后备ECU接管并设置资源请求优先级H1， 并高速传输图像/视频信息 至云计算平台； 所述流程退出模块还包括： 所述高优先图像处理流程完成后， 如果接受图像 处理及回传时延， 启用智能驾驶处理模块、 摄像头、 图像显示模块或边缘计算单元的目标识 别功能， 经过目标高亮或框图追踪处理后再显示给图像显示模块， 进一步判断接管保障流 程运行时长或直到接管保。

24、障流程退出完成。 0018 在上述技术方案中， 所述图像处理及传输模块中， 所述高优先图像处理流程如下： 首先判断是否有雾霾， 如果有则调用去雾霾算法， 所述去雾霾算法应用暗通道先验/大气光 值自适应/偏微分方程/Retinex算法； 如果否判断是否有雨雪天气， 如果有则调用去雨雪算 法， 所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰； 如果雨雪天气判定为否， 或 者提高图片的亮度、 对比度和轮廓清晰度， 或者调用计算机学习图像识别算法， 根据附近及 相似场景道路历史采集数据的机器学习结果， 用AI判断前方目标及道路特征， 进行图像/视 频优化， 标注说明并进行回传； 然后将处理后的图像。

25、/视频经H高优先级高速回传给车辆。 0019 本发明一种基于边缘云计算的驾驶员接管保障方法及系统， 具有以下有益效果： 首先， 解决了当前L3智能驾驶在极端天气下驾驶员接管的保障问题。 当摄像头因雾霾雨雪 无法提供正确输入的情况下， 应用边缘云快速完成图像去雾霾及其他干扰因素处理， 提供 道路清晰视频或图像为驾驶员接管适应期提供辅助。 当智能驾驶处理单元出现故障， 可以 迅速把图像处理工作转移到边缘云， 减轻后备接管单元的负担， 实现平稳过度， 为驾驶员适 应期提供辅助。 0020 其次， 解决了图像去雾处理算法占用计算资源过高的问题， 并提高了处理效率。 因 为把车端图像去雾处理模块移到了运。

26、算能力更加强大的云端， 且由5G通信优化了和实际驾 驶状态的时延匹配。 之后通过优先级判定的方法， 为紧急情况下图像处理任务保证了算力， 确保公共资源合理分配， 从而不被浪费。 由此极大地降低了车端处理器所需成本和云端基 础设施铺设成本。 附图说明 0021 图1为本发明基于边缘云计算的驾驶员接管保障方法的整体流程示意图； 0022 图2为本发明基于边缘云计算的驾驶员接管保障方法中接管保障系统作为智能驾 驶系统一部分时的流程示意图； 0023 图3为本发明基于边缘云计算的驾驶员接管保障方法中调用计算机学习图像识别 算法时的流程示意图； 说明书 3/6 页 6 CN 111428646 A 6 。

27、0024 图4为本发明基于边缘云计算的驾驶员接管保障方法中车端/云端处理器有目标 识别功能时的流程示意图； 0025 图5为本发明基于边缘云计算的驾驶员接管保障系统的组织架构示意图； 0026 图6为本发明基于边缘云计算的驾驶员接管保障系统的结构示意图； 0027 图7为本发明基于边缘云计算的驾驶员接管保障系统中启动模块的结构示意图。 具体实施方式 0028 下面结合附图及实施例对本发明作进一步的详细描述， 但该实施例不应理解为对 本发明的限制。 0029 参见图1， 本发明基于边缘云计算的驾驶员接管保障方法， 包括如下步骤： 0030 S1、 根据天气信息和摄像头1信息， 决定是否启用接管保。

28、障流程， 所述步骤S1具体 流程如下： 0031 S11、 当需要退出L3智能驾驶系统时， 首先判断是否是极端天气， 如果否则驾驶员 进入无辅助接管流程； 0032 S12、 如果是则进一步判断是否是摄像头1的故障， 如果是则驾驶员进入无辅助接 管流程， 如果否则启用接管保障流程； 0033 S2、 如果智能驾驶处理单元2没有故障， 则由其通过总线4和5G通信模块6设置资源 请求优先级H2(其中资源请求优先级包含H1、 H2、 L或更细划分， 优先级依次降低)， 并高速传 输图像/视频信息至云计算平台7， 参见图2， 如果智能驾驶处理单元2有故障， 则后备ECU接 管并设置资源请求优先级H1，。

29、 并高速传输图像/视频信息至云计算平台7， 在本实施例中， 将 接管保障系统作为智能驾驶系统的一部分， 在确认满足恶劣天气条件、 摄像头没有内部故 障的情况下， 直接选择智能驾驶处理单元2， 或者后备ECU接管， 进行图像优先级的传输处 理。 其中如果仅由于图像清晰度或识别度问题导致接管保障启动， 设置优先级为H2， 如果是 由于后备ECU接管， 则设置优先级为H1； 0034 S3、 云计算平台7的边缘云计算资源调度模块9会调用车辆就近边缘计算单元8通 过5G通信模块6与车辆直连进行高优先图像处理， 同时将处理后的图像/视频经H高优先级 高速回传给车辆， 并通过总线4传送给图像显示模块3显示。

30、， 辅助驾驶员快速了解当前道路 状况， 恢复驾驶精神状态， 其中， 所述高优先图像处理流程如下： 0035 首先判断是否有雾霾， 如果有则调用去雾霾算法， 所述去雾霾算法应用暗通道先 验/大气光值自适应/偏微分方程/Retinex算法； 如果否判断是否有雨雪天气， 如果有则调 用去雨雪算法， 所述去雨雪算法则使用基于低维流形学习算法去雨雪干扰； 如果雨雪天气 判定为否即不能判定干扰因素， 或者提高图片的亮度、 对比度和轮廓清晰度， 参见图3， 或者 调用计算机学习图像识别算法， 根据附近及相似场景道路历史采集数据的机器学习结果， 用AI判断前方目标及道路特征， 进行图像/视频优化， 标注说明并。

31、进行回传； 然后将处理后 的图像/视频经H高优先级高速回传给车辆， 在本实施例中， 在边缘计算单元8判断图像既不 是雾霾、 也不是雨雪的情况下， 调用计算机学习图像识别算法， 根据附近及相似场景道路历 史采集数据的机器学习结果， 尝试用AI判断前方目标及道路特征、 进行图像/视频优化、 标 注说明并进行回传； 0036 参见图4， S4、 如果接受图像处理及回传时延， 启用智能驾驶处理模块2、 摄像头1、 说明书 4/6 页 7 CN 111428646 A 7 图像显示模块3或边缘计算单元8的目标识别功能， 经过目标高亮或框图追踪处理后再显示 给图像显示模块3， 在本实施例中， 如果图像处理。

32、及回传时延在可接受的范围内， 若车端/云 端处理器(包括但不限于智能驾驶处理模块2、 摄像头1的处理单元、 图像显示模块3的处理 单元、 边缘计算单元8)有目标识别功能， 可以经过目标高亮或框图追踪处理后再显示给驾 驶员； 智能驾驶处理单元2、 雷达处理单元5或摄像头1的处理单元判断接管保障流程运行时 长是否超过智能驾驶设计接管时长， 或直到接管保障流程退出完成， 如果达到接管时长则 向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保障流程退出， 如果选择 是则降低图像处理及传输优先级至L， 维持低帧图像处理辅助。 0037 参见图5至图6， 本发明基于边缘云计算的驾驶员接管保障系。

33、统， 包括如下部分： 0038 启动模块： 根据天气信息和摄像头1信息， 决定是否启用接管保障流程， 参见图7， 所述启动模块包括如下部分： 0039 天气判断子模块： 当需要退出L3智能驾驶系统时， 首先判断是否是极端天气， 如果 否则驾驶员进入无辅助接管流程； 0040 摄像头1故障判断子模块： 如果是则进一步判断是否是摄像头1的故障， 如果是则 驾驶员进入无辅助接管流程， 如果否则启用接管保障流程； 0041 资源请求优先级模块： 如果智能驾驶处理单元2没有故障， 则由其通过总线4和5G 通信模块6设置资源请求优先级H2， 并高速传输图像/视频信息至云计算平台7； 如果智能驾 驶处理单元。

34、2有故障， 则后备ECU接管并设置资源请求优先级H1， 并高速传输图像/视频信息 至云计算平台7； 0042 图像处理及传输模块： 云计算平台7的边缘云计算资源调度模块9会调用车辆就近 边缘计算单元8通过5G通信模块6与车辆直连进行高优先图像处理， 同时将处理后的图像/ 视频经H高优先级高速回传给车辆， 并通过总线4传送给图像显示模块3显示， 所述高优先图 像处理流程如下： 0043 首先判断是否有雾霾， 如果有则调用去雾霾算法， 所述去雾霾算法应用暗通道先 验/大气光值自适应/偏微分方程/Retinex算法； 如果否判断是否有雨雪天气， 如果有则调 用去雨雪算法， 所述去雨雪算法则使用基于低。

35、维流形学习算法去雨雪干扰； 如果雨雪天气 判定为否， 或者提高图片的亮度、 对比度和轮廓清晰度， 或者调用计算机学习图像识别算 法， 根据附近及相似场景道路历史采集数据的机器学习结果， 用AI判断前方目标及道路特 征， 进行图像/视频优化， 标注说明并进行回传； 然后将处理后的图像/视频经H高优先级高 速回传给车辆； 0044 流程退出模块： 如果接受图像处理及回传时延， 启用智能驾驶处理模块2、 摄像头 1、 图像显示模块3或边缘计算单元8的目标识别功能， 经过目标高亮或框图追踪处理后再显 示给图像显示模块3； 智能驾驶处理单元2、 雷达处理单元5或摄像头1的处理单元判断接管 保障流程运行时。

36、长是否超过智能驾驶设计接管时长， 或直到接管保障流程退出完成， 如果 达到接管时长则向驾驶员询问是否继续提供辅助图像/视频， 驾驶员选择否则接管保障流 程退出， 如果选择是则降低图像处理及传输优先级至L， 维持低帧图像处理辅助。 0045 本发明提供了一种基于边缘云计算、 应对极端天气的驾驶员接管保障系统， 车载 装置包括了车辆各方位摄像头1、 毫米波雷达5、 图像显示模块3、 智能驾驶处理单元2以及后 备处理单元即后备ECU， 其中处理单元不一定为独立零件， 可能集成于摄像头或雷达等零部 说明书 5/6 页 8 CN 111428646 A 8 件中。 公共端需要有支持5G V2X通信的基础。

37、设施， 云端有边缘云计算架构设计。 0046 当车辆在严重雾霾或雨雪天气中行驶过程中， 能见度过低将导致摄像头系统无法 继续识别车道线或障碍物， 或者智能驾驶处理单元2出现故障， 系统判断当前无法再继续维 持横纵向控制， 需要发出接管警告， 由驾驶员接管车辆， 准备退出。 同时， 摄像头1接收的图 像信息经5G通信模块6发给云端附件的边缘云基站(即云计算平台7)， 附带高优先级请求信 息， 边缘云计算资源调度模块9在接收到附带高优先级的图像流后， 优先调用云计算平台7 的边缘计算单元8算力通过暗通道先验、 对比度增强、 改进BPDN(Basis Pursuit De- Noising， 基追踪。

38、降噪)或者局部流型结构等适合的方法， 进行图像去雾或者去雨雪， 并优先 通过5G通信模块6将5G信号进行超低延时传输发回车辆。 此时车辆在正常执行接管警告的 同时， 将图像流或视频投到显示模块3上， 显示模块3包括但不限于仪表、 中控大屏、 抬头显 示HUD(Heads Up Display,抬头显示)或AR虚拟挡风玻璃投影， 辅助驾驶员了解当前路面环 境和周围物体。 如果智能驾驶处理单元2支持图像动态识别， 则可在处理后的图像上进行对 象追踪识别， 予以标记。 当退出接管时长达到上限， 如30秒后， 系统默认驾驶员已适应当前 天气下的道路能见度和摩擦力等等条件， 将退出投影， 或者由驾驶员选。

39、择通知云端进行降 级图像处理辅助， 以低分辨率或低帧率进行投影。 0047 显然， 本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。 这样， 倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内， 则本发明也意图包含这些改动和变型在内。 0048 本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。 说明书 6/6 页 9 CN 111428646 A 9 图1 说明书附图 1/6 页 10 CN 111428646 A 10 图2 说明书附图 2/6 页 11 CN 111428646 A 11 图3 说明书附图 3/6 页 12 CN 111428646 A 12 图4 说明书附图 4/6 页 13 CN 111428646 A 13 图5 图6 说明书附图 5/6 页 14 CN 111428646 A 14 图7 说明书附图 6/6 页 15 CN 111428646 A 15 。