基于智能交通模型正确性的蜕变测试方法.pdf

《基于智能交通模型正确性的蜕变测试方法.pdf》由会员分享，可在线阅读，更多相关《基于智能交通模型正确性的蜕变测试方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010712772.3 (22)申请日 2020.07.23 (71)申请人 深圳慕智科技有限公司 地址 518057 广东省深圳市南山区粤海街 道高新区社区高新南九道10号深圳湾 科技生态园10栋903A (72)发明人 陈振宇常家鑫夏志龙 (51)Int.Cl. G06F 11/36(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于智能交通模型正确性的蜕变测试 方法 (57)摘要 本发明采用蜕变测试。

2、技术对智能交通模型 进行正确性测试， 设计应用于智能交通模型的蜕 变关系并从多个方面判定程序功能的正确性， 使 用原始用例和基于蜕变关系生成的衍生用例对 智能交通模型进行测试， 检查原始和衍生用例的 输出是否满足相应的蜕变关系， 得出测试结果。 发明能够采用新的软件测试方法对智能交通模 型正确性进行合理度量与评估。 权利要求书1页 说明书4页 附图4页 CN 111858347 A 2020.10.30 CN 111858347 A 1.一种基于智能交通模型稳定性的蜕变测试方法， 其特征在于， 根据蜕变关系生成测 试样本， 从多个方面对智能交通模型进行正确性测试， 得出最终测试结果， 包含几个。

3、功能步 骤： （1） 原始测试用例获取： 原始测试用例的生成是蜕变测试过程中的一个重要环节首先， 使用其他测试用例生成策略如特殊值选取、 随机值选取和迭代测试等方法为待测程序生成 原始测试用例， 判断这些原始用例是否均通过测试， 若这些原始用例均通过测试， 则将为待 测模型构造一组蜕变关系， （2） 基于非等价蜕变关系构建测试样本生成： 首先从智能交通领域知识中获取非等价 蜕变关系， 通过ConditionalGAN 学习条件生成模型， 根据指定的条件生成另外的 “组件” ， 最后将其与原始图片融合， 形成新的非等价蜕变关系图， （3） 基于等价蜕变关系的测试样本生成： 智能交通领域知识中获取。

4、等价蜕变关系， 对自 动驾驶测试样本图像流进行修改， 按照时序蜕变关系， 对当前图像进行修改、 选择和组合， 检测自动驾驶汽车系统的反应是否满足预期时序要求， （4） 获取测试结果， 判断两种测试用例的输出是否满足相应的蜕变关系。 2.根据权利要求1中的一种基于智能交通模型稳定性的蜕变测试方法， 其特征是， 基于 非等价蜕变关系构建测试样本生成方法， 首先从智能交通领域知识中获取非等价蜕变关系 MRineq， 通过采样获取带有标记的场景数据集， 通过Unet 网络学习语义分割模型， 自动 分割需要进行非等价蜕变的 “组件” ， 然后通过CondiotnalGAN 学习条件生成模型， 根据指 定。

5、的条件生成另外的 “组件” ， 最后将新生成的 “组件” 组合到原始图片中， 形成新的非等价 蜕变关系图。 3.根据权利要求1中的一种基于智能交通模型稳定性的蜕变测试方法， 其特征在于， 基 于等价蜕变关系的测试样本生成方法， 从智能交通领域知识中获取等价蜕变关系MReq， 通 过采样获取两类场景图片1, 2， 其中1为普通场景样本集， 2满足等价蜕变关系MReq的 样本集， 通过CycleGAN 网络对上述两类场景进行学习训练， 得到满足要求的生成器MReq， 一个新的场景样本， 通过MReq将其变成满足等价蜕变关系MReq的样本MReq ()。 权利要求书 1/1 页 2 CN 11185。

6、8347 A 2 一种基于智能交通模型正确性的蜕变测试方法 技术领域 0001 本发明属于模型测试领域， 特别是涉及到智能交通模型正确性的测试。 依据智能 交通模型输入及输出结果建立蜕变关系， 利用蜕变关系来生成新的测试用例， 通过验证蜕 变关系是否被保持来决定测试是否通过并最终形成一份测试报告。 背景技术 0002 深度学习技术在计算机系统中的应用越来越广泛， 在智能交通领域， 深度学习模 型也在发挥极其重要的作用。 与此同时， 对其软件做质量保证的测试势必日益受到重视。 传 统的测试方法通常比较程序预期输出和实际输出是否一致来判定测试结果。 但在很多情况 下， 被测程序的预期输出难以确定，。

7、 难以确定执行结果与期望结果是否相同。 这种测试人员 无法确定程序的执行结果与期望结果是否相同， 或者很难构造预期输出的现象被称为 “oracle” 问题。 这是深度学习软件和其他传统软件很重要的区别， 所以传统的测试方法对 深度学习类软件不一定适用。 0003 在智能交通领域， 模型的正确性至关重要， 细微数据的差异都有可能导致重大交 通事故的发生。 针对智能交通模型的正确性进行合理验证与评估能够最大程度地维护智能 交通软件产品的安全性与稳定性。 然而， 智能交通模型中， 预先没有预期值， 输出即是某种 预测， 难以通过比较或验证预测与预先未知的某种预期值来测试。 因此， 传统的测试方法难 。

8、以适应智能交通模型正确性测试。 0004 在智能交通模型应用场景中所出现的 “oracle” 未知的情况， 使得传统软件测试难 以实施。 蜕变测试(Metamorphic Testing)是一种能够有效地解决此类问题的特殊黑盒测 试方法。 蜕变测试是指依据被测软件的领域知识和软件的实现方法建立蜕变关系， 利用蜕 变关系来生成新的测试用例， 通过验证蜕变关系是否被保持来决定测试是否通过的一种软 件测试方法。 蜕变测试通过检查这些成功样本及由它们构造的新样本所对应的程序执行结 果之间的关系来测试程序。 经过二十年的研究， 蜕变测试技术取得了广泛的应用。 如果智能 交通模型的输入和输出之间能建立某种。

9、蜕变关系， 那么可以运用蜕变测试来进行深度学习 模型的黑盒测试。 因此， 我们希望建立这种模型输入与输出之间的蜕变关系实现对智能交 通模型的变异测试。 0005 基于上述工作， 本发明采用蜕变测试技术对智能交通模型进行正确性测试， 设计 应用于智能交通模型的蜕变关系并从多个方面判定程序功能的正确性， 使用原始用例和基 于蜕变关系生成的衍生用例对智能交通模型进行测试， 检查原始和衍生用例的输出是否满 足相应的蜕变关系， 得出测试结果。 因此， 本发明基于这些已有的研究成果， 重点采用智能 交通领域真实应用场景驱动各类蜕变关系产生， 并生成满足蜕变关系的测试样本。 发明内容 0006 本发明要解决。

10、的问题是： 在智能交通软件领域， 传统软件测试方法主要采用比较 程序预期输出和实际输出是否一致的方法来度量软件系统的准确率、 可靠性等。 针对智能 说明书 1/4 页 3 CN 111858347 A 3 交通领域中的深度学习模型， 这种传统软件测试方法并不能有效发现可能出错的极端行 为。 与传统的软件不同， 深度学习系统的决策逻辑是从训练样本中学习而成， 这种黑箱模式 使得极端场景的错误行为比传统软件更难预测和解释。 我们的发明能够采用新的软件测试 方法对智能交通模型正确性进行合理度量与评估。 0007 本发明的技术方案为： 一种基于智能交通模型稳定性的蜕变测试方法， 其特征是 能够根据蜕变。

11、关系生成测试样本， 从多个方面对智能交通模型进行正确性测试， 得出最终 测试结果。 该生成方法包含以下几个模块/步骤： 1） 原始测试用例获取： 原始测试用例的生成是蜕变测试过程中的一个重要环节首先， 使用其他测试用例生成策略如特殊值选取、 随机值选取和迭代测试等方法为待测程序生成 原始测试用例， 一般来说， 特殊值和随机值的生成效率较高， 容易获得， 所以在进行蜕变测 试时经常选取他们作为原始测试用例。 然后判断这些原始用例是否均通过测试， 若这些原 始用例均通过测试， 则将为待测模型构造一组蜕变关系。 为获得较好测试效果， 本发明将构 造非等价蜕变关系、 等价蜕变关系和时序蜕变关系三种蜕变。

12、关系用于生成新的测试样本。 0008 2） 基于非等价蜕变关系构建测试样本生成： 首先从智能交通领域知识中获取非 等价蜕变关系MRineq。 我们通过采样获取带有标记的场景数据集， 通过Unet 网络学习语 义分割模型， 自动分割需要进行非等价蜕变的 “组件” 。 然后通过ConditionalGAN 学习条 件生成模型， 根据指定的条件生成另外的 “组件” 。 最后将新生成的 “组件” 组合到原始图片 中， 形成新的非等价蜕变关系图。 以红绿灯为例， 获取原始样本集合中包含红绿灯的图像测 试样本， 结合卷积神经网络中的目标定位技术， 训练目标定位模型， 自动对红绿灯场景进行 变换， 自动生成。

13、非等价蜕变关系的批量测试样本图像候选集。 是否满足非等价蜕变关系， 需 要更多的监督信息进行训练， 实现自动化选择。 0009 3） 基于等价蜕变关系的测试样本生成： 同样需要从智能交通领域知识中获取等 价蜕变关系MReq。 通过采样获取两类场景图片1, 2， 其中1为普通场景样本集， 2满足等 价蜕变关系MReq的样本集。 通过CycleGAN 网络对上述两类场景进行学习训练， 得到满足要 求的生成器MReq。 一个新的场景样本， 通过MReq将其变成满足等价蜕变关系MReq的样本 MReq ()。 以天气背景为例， 获取原始的测试样本图像后， 采用训练好的CycleGAN 模型 为原始图片。

14、添加晴天、 雨天、 阴天等背景。 0010 4） 基于时序蜕变关系的测试样本生成： 同样需要从智能交通领域知识中获取时 序蜕变关系MRtimeseries。 根据实际需求对自动驾驶测试样本图像流进行修改， 按照时序蜕变 关系， 对当前图像的前N 帧图像进行修改、 选择和组合， 检测自动驾驶汽车系统的反应是否 满足预期时序要求。 时序帧本质上可以看成是单一帧图的叠加， 因此可以综合运用上述技 术对时序测试样本进行变异， 产生满足时序蜕变关系的批量测试样本。 0011 5） 获取测试结果： 首先， 经过以上三种蜕变关系所衍生出的新的测试用例需要与 原始用例相比较， 判断两种测试用例的输出是否满足相。

15、应的蜕变关系。 之后， 测试结果获 取： 蜕变测试的结果可以分为三类： 待测程序中没有错误， 则原始用例和衍生用例的执行结 果均无误， 它们满足相应的蜕变关系， 测试通过； 待测程序中存在着错误,且原始用例和衍 生用例的执行结果不满足相应的蜕变关系， 测试未通过； 待测程序中存在着错误， 但原始用 例和衍生用例的执行结果满足相应的蜕变关系， 错误没有被发现。 其中， 有效的蜕变关系将 使得前两种中情况尽可能多得出现， 而第三种情况尽可能少得出现。 说明书 2/4 页 4 CN 111858347 A 4 0012 本发明的特点在于： 1. 为了检验智能交通模型的执行结果， 测试时需要构造蜕变关。

16、系。 0013 2. 为了从多个方面判定智能交通模型功能的正确性， 为待测模型构造多条蜕变 关系。 0014 3. 首次将智能交通模型正确性度量结果书写自动化。 附图说明 0015 图1为本发明实施总流程图。 0016 图2为关键步骤2流程图。 0017 图3为关键步骤3流程图。 0018 图4为关键步骤4流程图。 具体实施方式 0019 本专利通过蜕变测试来实施智能交通模型正确性测试， 主要采用了测试样例自动 生成技术， 涉及到的具体关键技术有CycleGAN模型、 深度卷积神经网络 （CNN） 、 目标检测技 术等。 0020 CycleGAN模型 在本发明中， 我们采用CycleGAN 。

17、模型对普通场景样本和满足等价蜕变关系样本进行 学习训练， 得到满足要求的生成器， 并通过生成器产生新的满足等价蜕变关系的样本。 CycleGAN是图像转换的代表作， 样本数据无需配对即可实现转换。 例如斑马转换成马、 将模 特转换成卡通人物等。 CycleGAN特点就是通过一个循环， 首先将图像从一个域转换到另一 个域， 然后， 再转回来， 如果两次转换都很精准的话， 那么， 转换后的图像应该与输入的图像 基本一致。 通过这样的一个循环， CycleGAN将转换前后图片的配对， 类似于有监督学习， 提 升了转换效果。 0021 1.深度卷积神经网络 （CNN） 本发明中， 我们采用循环神经网络。

18、， 将卷积神经网络所生成的图像特征向量转化为自 然语言描述。 卷积神经网络 （Convolutional Neural Networks） 是一种深度学习模型或类 似于人工神经网络的多层感知器， 常用来分析视觉图像。 基于深度神经网络， 可以实现多种 普通数学或数据科学的固定变换达不到的蜕变实现。 0022 2.目标检测技术 在本发明中我们采用目标检测技术训练目标定位模型， 自动生成非等价蜕变关系的批 量测试样本图像候选集。 目标检测的任务是找出图像中所有感兴趣的目标 （物体） ， 确定它 们的位置和大小， 是机器视觉领域的核心问题之一。 目标检测技术被广泛应用于行人检测、 车辆检测等领域。 。

19、常见的目标检测算法有R-CNN、 Fast R-CNN、 Faster R-CNN、 YOLO等。 0023 在本实例中， 针对领域知识进行学习， 分析在同一场景中的状态变化， 从三个方面 构建蜕变关系： 等价蜕变关系、 非等价蜕变关系、 时序蜕变关系。 其中， 等价蜕变关系指要求 深度学习系统输出相同的测试样本关系； 非等价蜕变关系指要求深度学习系统输出不同的 测试样本关系； 时序蜕变关系指满足一定的时序依赖关系的深度学习系统的测试样本关 系。 根据领域知识， 确定等价、 非等价和时序蜕变关系的场景描述， 并对原有测试样本进行 说明书 3/4 页 5 CN 111858347 A 5 修改、 扰动和组合， 从而生成一系列满足蜕变关系的测试样本。 利用以上测试样本对智能 交通模型进行正确性度量并生成最终测试报告。 说明书 4/4 页 6 CN 111858347 A 6 图1 说明书附图 1/4 页 7 CN 111858347 A 7 图2 说明书附图 2/4 页 8 CN 111858347 A 8 图3 说明书附图 3/4 页 9 CN 111858347 A 9 图4 说明书附图 4/4 页 10 CN 111858347 A 10 。