基于TrustZone的自动驾驶载具的安全控制方法.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010199553.X (22)申请日 2020.03.20 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 戴鸿君李彬 (74)专利代理机构 济南金迪知识产权代理有限 公司 37219 代理人 许德山 (51)Int.Cl. H04L 29/06(2006.01) H04L 29/08(2006.01) G06K 9/00(2006.01) G06T 5/00(2006.01) B60W 50/00(2006.01) B6

2、0T 7/12(2006.01) (54)发明名称 一种基于TrustZone的自动驾驶载具的安全 控制方法 (57)摘要 本发明涉及一种基于TrustZone的自动驾驶 载具的安全控制方法， 包括步骤如下： (1)实时采 集数据并发送至非可信域； (2)在非可信域， 依次 进行预处理操作、 持久化操作； (3)在非可信域， 进行加密， 并加入数据来源校验标识后， 发送至 可信域； (4)在可信域， 根据数据来源校验算法对 数据的来源进行校验， 判断数据是否安全， 如果 安全， 进入步骤(5)， 否则， 数据不安全， 可信域发 出报警， 要求用户手动操作或停车避险； (5)在可 信域， 对数据

3、进行解密， 并通过解密后的数据实 现对自动驾驶载具的控制。 本发明降低了自动驾 驶载具在遭受网络攻击时， 失控的可能性。 极大 程度上减少了自动驾驶载具的能源消耗。 切实保 障了系统的计算效率。 权利要求书1页 说明书5页 附图1页 CN 111212094 A 2020.05.29 CN 111212094 A 1.一种基于TrustZone的自动驾驶载具的安全控制方法， 其特征在于， 包括步骤如下： (1)实时采集数据并发送至非可信域； 数据是指通过传感器获取的实时数据及网络控 制中心的控制数据， 实时数据包括图像及障碍物的大小、 移动速度、 移动方向， 网络控制中 心的控制数据是指网络控

4、制中心发出的控制请求指令， 包括timestamp和res； (2)在非可信域， 对步骤(1)发送的数据依次进行预处理操作、 持久化操作； (3)在非可信域， 对步骤(2)操作后的数据进行加密， 并加入数据来源校验标识后， 发送 至可信域； 数据来源标识是指网络控制中心向载具发送的控制请求中携带的标识， 即包括 数据来源校验算法中的timestamp和res， timestamp是指发送消息时的时间戳， res是指车 辆信息加密运算后的结果； (4)在可信域， 根据数据来源校验算法对步骤(3)发送来的数据的来源进行校验， 判断 数据是否安全， 如果安全， 进入步骤(5)， 否则， 数据不安全，

5、 可信域发出报警， 要求用户手动 操作或停车避险； (5)在可信域， 对数据进行解密， 并通过解密后的数据实现对自动驾驶载具的控制。 2.根据权利要求1所述的一种基于TrustZone的自动驾驶载具的安全控制方法， 其特征 在于， 所述步骤(4)， 包括步骤如下： a、 每当载具收到消息时， 根据网络控制中心发送的timestamp以及载具内存中nonce、 length、 signature信息求得res， res的计算公式如式( )所示： resMD5(noncetimestamplength+signature) ( ) 式()中， MD5是一种加密算法； signature是指车辆的唯

6、一标识， nonce是指以 signature作为随机数种子生成的一组随机数， length是指一组随机数nonce的长度； b、 将步骤a求取的res与网络控制中心发出的res进行比较， 如果一致， 则确认消息来自 正确的服务器， 数据安全， 否则， 确认消息来自恶意的服务器， 数据不安全。 3.根据权利要求1所述的一种基于TrustZone的自动驾驶载具的安全控制方法， 其特征 在于， 所述步骤(1)中， 通过数据采集设备实时采集数据， 数据采集设备是指传感器， 传感器 摄像头、 毫米波雷达和激光雷达。 4.根据权利要求1所述的一种基于TrustZone的自动驾驶载具的安全控制方法， 其特

7、征 在于， 所述步骤(2)中， 预处理操作包括： A、 图像增强 依次采用暗光增强、 超分辨率、 去噪、 去除运动模糊方法进行图像增强； B、 障碍物对齐 采用贝叶斯估计法或递归估计法对障碍物做对齐校准。 5.根据权利要求1所述的一种基于TrustZone的自动驾驶载具的安全控制方法， 其特征 在于， 所述步骤(2)中， 持久化操作是指： 即将预处理操作后的图像保存至数据库或文件。 6.根据权利要求1所述的一种基于TrustZone的自动驾驶载具的安全控制方法， 其特征 在于， 所述步骤(3)中， 采用AES加密算法对步骤(2)操作后的数据进行加密。 7.根据权利要求1-6任一所述的一种基于T

8、rustZone的自动驾驶载具的安全控制方法， 其特征在于， 所述步骤(5)中， 包括： A、 将解密后的数据发送至自动驾驶载具中的决策模块， 决策模块做出决策结果； B、 将决策结果传送至载具控制模块， 对自动驾驶载具进行控制。 权利要求书 1/1 页 2 CN 111212094 A 2 一种基于TrustZone的自动驾驶载具的安全控制方法 技术领域 0001 本发明涉及一种安全控制方法， 尤其涉及一种基于TrustZone的自动驾驶载具的 安全控制方法。 背景技术 0002 TrustZone在概念上将运行可信执行环境的硬件和软件资源划分为安全和非安全 两个世界， 所有需要保密的操作在

9、安全世界执行(如指纹识别、 密码处理、 数据加解密、 安全 认证等)， 其余操作在非安全世界执行(如用户操作系统、 各种应用程序等)， 安全世界和非 安全世界通过一个名为Monitor Mode的模式进行转换。 目前trustzone主要应用与手机、 平 板等移动设备， 由于自动驾驶技术逐渐倾向于采取耗电低的arm架构， 使得trustzone作为 自动驾驶安全控制方法成为可能。 0003 目前自动驾驶载具普遍使用对同一份数据进行多次计算的方式， 保证计算结果的 准确性。 但仍无法应对网络攻击带来的威胁。 0004 由于网络的延迟与不稳定性， 自动驾驶载具的计算大部分发生在载具端。 载具对 节

10、能的要求比较高， 一般采用arm架构的cpu提供计算服务。 自动驾驶车辆使用了数百万行 代码和各种相互连接的系统和传感器所有这些都有可能被操纵或被破坏。 自动驾驶可 能受到的威胁包括传感器干扰、 伪造的车辆通信、 数据泄漏和物理攻击， 这些可能会影响车 辆本身及其安全系统或车主的数据。 并且， 现有的技术并不能检测出其正遭受网络攻击， 从 而无法做出任何规避反应。 在更严重的情况下， 安全问题会影响乘客和其他人的安全。 发明内容 0005 针对现有技术的不足， 本发明提供了一种基于TrustZone的自动驾驶载具的安全 控制方法； 0006 本发明的目的旨在保证自动驾驶载具在遭受网络攻击时的安

11、全。 0007 术语解释： 0008 1、 数据来源校验算法， 通过检验请求头和请求体的内容进行校验确认此次请求来 自正确的服务器， 而非其它服务器模拟。 0009 2、 图像增强， 是计算机的一种术语， 是将原来不清晰的图像变得清晰或强调某些 感兴趣的特征， 抑制不感兴趣的特征， 使之改善图像质量、 丰富信息量， 加强图像判读和识 别效果的图像处理方法。 0010 3、 AES加密算法， 密码学中的高级加密标准(Advanced Encryption Standard， AES)， 又称Rijndael加密法， 是美国联邦政府采用的一种区块加密标准。 这个标准用来替代 原先的DES， 已经被

12、多方分析且广为全世界所使用。 0011 本发明的技术方案为： 0012 一种基于TrustZone的自动驾驶载具的安全控制方法， 包括步骤如下： 0013 (1)实时采集数据并发送至非可信域； 数据是指通过传感器获取的实时数据及网 说明书 1/5 页 3 CN 111212094 A 3 络控制中心的控制数据， 实时数据包括图像及障碍物的大小、 移动速度、 移动方向， 网络控 制中心的控制数据是指网络控制中心发出的控制请求指令， 包括timestamp和res； 例如， 多 个摄像头在某一时刻获得的图像信息， 以及获得此图像的摄像头在载具上的位置信息。 0014 (2)在非可信域， 对步骤(1

13、)发送的数据依次进行预处理操作、 持久化操作； 0015 (3)在非可信域， 对步骤(2)操作后的数据进行加密， 并加入数据来源校验标识后， 发送至可信域； 数据来源标识是指网络控制中心向载具发送的控制请求中携带的标识， 即 包括数据来源校验算法中的timestamp和res， timestamp是指发送消息时的时间戳， res是 指车辆信息加密运算后的结果； 0016 (4)在可信域， 根据数据来源校验算法对步骤(3)发送来的数据的来源进行校验， 判断数据是否安全， 如果安全， 进入步骤(5)， 否则， 数据不安全， 可信域发出报警， 要求用户 手动操作或停车避险； 以确保安全。 0017

14、(5)在可信域， 对数据进行解密， 并通过解密后的数据实现对自动驾驶载具的控 制。 0018 在非可信域， 对数据进行了加密， 在可信域使用与加密算法对应的解密算法解密 即可。 例如， AES加密算法。 可信域通过对非可信域传入(传感器获取、 网络控制中心发送)的 数据使用普通的自动驾驶相关算法进行决策控制。 0019 本发明通过数据来源校验算法， 可以确定网络请求数据是否来自于正确的网络控 制中心， 而不是恶意的攻击者。 从而检测出载具是否正遭受网络攻击。 当检测到网络攻击 时， 载具可以选择忽略当前网络控制请求或发出警告甚至紧急停车。 0020 根据本发明优选的， 所述步骤(4)， 包括步

15、骤如下： 0021 a、 每当载具收到消息时， 根据网络控制中心发送的timestamp以及载具内存中 nonce、 length、 signature信息求得res， res的计算公式如式( )所示： 0022 resMD5(noncetimestamplength+signature)( ) 0023 式( )中， MD5是一种加密算法； signature是指车辆的唯一标识， nonce是指以 signature作为随机数种子生成的一组随机数， 载具与服务端都具有相同的拷贝。 length是 指一组随机数nonce的长度； 0024 b、 将步骤a求取的res与网络控制中心发出的res进

16、行比较， 如果一致， 则确认消息 来自正确的服务器， 数据安全， 否则， 确认消息来自恶意的服务器， 数据不安全。 0025 根据本发明优选的， 所述步骤(1)中， 通过数据采集设备实时采集数据， 数据采集 设备是指传感器， 传感器摄像头、 毫米波雷达和激光雷达。 0026 预处理操作的主要目的是消除图像中无关的信息， 恢复有用的真实信息， 增强有 关信息的可检测性和最大限度地简化数据， 从而改进特征抽取、 图像分割、 匹配和识别的可 靠性。 根据本发明优选的， 所述步骤(2)中， 预处理操作包括： 0027 A、 图像增强 0028 针对低质量的图像， 依次采用暗光增强、 超分辨率、 去噪、

17、 去除运动模糊方法进行 图像增强； 0029 B、 障碍物对齐 0030 采用贝叶斯估计法或递归估计法对障碍物做对齐校准。 0031 障碍物对齐需要通过障碍物关键点实现， 根据这些障碍物关键点对障碍物做对齐 说明书 2/5 页 4 CN 111212094 A 4 校准； 0032 根据本发明优选的， 所述步骤(2)中， 持久化操作是指： 即将预处理操作后的图像 保存至数据库或文件。 例如， 系统执行过程中log日志、 网络控制信息、 摄像头采集的视频、 激光雷达测得的障碍位置速度等信息。 0033 根据本发明优选的， 所述步骤(3)中， 采用AES加密算法对步骤(2)操作后的数据进 行加密。

18、 0034 根据本发明优选的， 所述步骤(5)中， 包括： 0035 A、 将解密后的数据发送至自动驾驶载具中的决策模块， 决策模块做出决策结果； 0036 决策模块是指通过各传感器采集的数据， 决定载具在下一刻的动作的模块。 现有 的自动驾驶载具都具有决策模块。 例如： 通过摄像头传来的数据， 计算出前方有行人， 决策 模块可能会做出让车辆减速的决定。 决策模块通过机器学习使用大量训练集经过充分的训 练之后根据传感器传入的数据分析周围情况， 对车辆下一刻的动作进行决策。 0037 B、 将决策结果传送至载具控制模块， 对自动驾驶载具进行控制。 0038 载具控制模块用于进行载具的方向、 速度

19、控制， 不同的载具控制模块有所不同。 现 有的自动驾驶载具都具有载具控制模块。 0039 本发明的有益效果为： 0040 1、 本发明可以通过在可信域校验网络请求携带的signature和res参数， 以检测网 络攻击。 当载具受到网络攻击时， 可以选择忽略此次控制请求或及时提醒乘客甚至或停车 避险， 极大程度的保障乘客的安全， 降低了自动驾驶载具在遭受网络攻击时失控的可能性。 0041 2、 本发明中， trustzone基于arm架构， arm架构比其他架构更加省电。 另外， 目前为 了保证自动驾驶载具的安全， 普遍使用处理器对设备获取的同样数据进行多次计算， 此方 法无需对同样的数据进行

20、多次计算， 降低了计算的工作量， 从而节约更多的能源。 附图说明 0042 图1为本发明基于TrustZone的自动驾驶载具的安全控制方法的流程框图； 0043 图2为网络控制中心的控制数据在自动驾驶载具上的流向示意图。 具体实施方式 0044 下面结合说明书附图和实施例对本发明作进一步限定， 但不限于此。 0045 实施例1 0046 一种基于TrustZone的自动驾驶载具的安全控制方法， 如图1所示， 包括步骤如下： 0047 (1)实时采集数据并发送至非可信域； 数据是指通过传感器获取的实时数据及网 络控制中心的控制数据， 实时数据包括图像及障碍物的大小、 移动速度、 移动方向， 网络

21、控 制中心的控制数据是指网络控制中心发出的控制请求指令， 包括timestamp和res； 例如， 多 个摄像头在某一时刻获得的图像信息， 以及获得此图像的摄像头在载具上的位置信息。 0048 步骤(1)中， 通过数据采集设备实时采集数据， 数据采集设备是指传感器， 传感器 摄像头、 毫米波雷达和激光雷达。 0049 (2)在非可信域， 对步骤(1)发送的数据依次进行预处理操作、 持久化操作； 0050 预处理操作的主要目的是消除图像中无关的信息， 恢复有用的真实信息， 增强有 说明书 3/5 页 5 CN 111212094 A 5 关信息的可检测性和最大限度地简化数据， 从而改进特征抽取、

22、 图像分割、 匹配和识别的可 靠性。 步骤(2)中， 预处理操作包括： 0051 A、 图像增强 0052 针对低质量的图像， 依次采用暗光增强、 超分辨率、 去噪、 去除运动模糊方法进行 图像增强； 0053 B、 障碍物对齐 0054 采用贝叶斯估计法或递归估计法对障碍物做对齐校准。 0055 障碍物对齐需要通过障碍物关键点实现， 根据这些障碍物关键点对障碍物做对齐 校准； 0056 步骤(2)中， 持久化操作是指： 即将预处理操作后的图像保存至数据库或文件。 例 如， 系统执行过程中log日志、 网络控制信息、 摄像头采集的视频、 激光雷达测得的障碍位置 速度等信息。 0057 (3)在

23、非可信域， 对步骤(2)操作后的数据进行加密， 并加入数据来源校验标识后， 发送至可信域； 数据来源标识是指网络控制中心向载具发送的控制请求中携带的标识， 即 包括数据来源校验算法中的timestamp和res， timestamp是指发送消息时的时间戳， res是 指车辆信息加密运算后的结果； 0058 (4)在可信域， 根据数据来源校验算法对步骤(3)发送来的数据的来源进行校验， 判断数据是否安全， 如果安全， 进入步骤(5)， 否则， 数据不安全， 可信域发出报警， 要求用户 手动操作或停车避险； 以确保安全。 0059 (5)在可信域， 对数据进行解密， 并通过解密后的数据实现对自动驾

24、驶载具的控 制。 包括： 0060 A、 将解密后的数据发送至自动驾驶载具中的决策模块， 决策模块做出决策结果； 0061 决策模块是指通过各传感器采集的数据， 决定载具在下一刻的动作的模块。 现有 的自动驾驶载具都具有决策模块。 例如： 通过摄像头传来的数据， 计算出前方有行人， 决策 模块可能会做出让车辆减速的决定。 决策模块通过机器学习使用大量训练集经过充分的训 练之后根据传感器传入的数据分析周围情况， 对车辆下一刻的动作进行决策。 0062 B、 将决策结果传送至载具控制模块， 对自动驾驶载具进行控制。 0063 载具控制模块用于进行载具的方向、 速度控制， 不同的载具控制模块有所不同

25、。 现 有的自动驾驶载具都具有载具控制模块。 0064 在非可信域， 对数据进行了加密， 在可信域使用与加密算法对应的解密算法解密 即可。 例如， AES加密算法。 可信域通过对非可信域传入(传感器获取、 网络控制中心发送)的 数据使用普通的自动驾驶相关算法进行决策控制。 0065 本发明通过数据来源校验算法， 可以确定网络请求数据是否来自于正确的网络控 制中心， 而不是恶意的攻击者。 从而检测出载具是否正遭受网络攻击。 当检测到网络攻击 时， 载具可以选择忽略当前网络控制请求或发出警告甚至紧急停车。 0066 实施例2 0067 根据实施例1所述的一种基于TrustZone的自动驾驶载具的安

26、全控制方法， 其区别 在于： 0068 步骤(4)， 包括步骤如下： 说明书 4/5 页 6 CN 111212094 A 6 0069 a、 每当载具收到消息时， 根据网络控制中心发送的timestamp以及载具内存中 nonce、 length、 signature信息求得res， res的计算公式如式( )所示： 0070 resMD5(noncetimestamplength+signature)( ) 0071 式( )中， MD5是一种加密算法； signature是指车辆的唯一标识， nonce是指以 signature作为随机数种子生成的一组随机数， 载具与服务端都具有相同的拷贝。 length是 指一组随机数nonce的长度； 0072 b、 将步骤a求取的res与网络控制中心发出的res进行比较， 如果一致， 则确认消息 来自正确的服务器， 数据安全， 否则， 确认消息来自恶意的服务器， 数据不安全。 网络控制中 心的控制数据在自动驾驶载具上的流向如图2所示。 说明书 5/5 页 7 CN 111212094 A 7 图1 图2 说明书附图 1/1 页 8 CN 111212094 A 8