用于功能测试的所涉及生成机器学习模型.pdf

《用于功能测试的所涉及生成机器学习模型.pdf》由会员分享，可在线阅读，更多相关《用于功能测试的所涉及生成机器学习模型.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010119948.4 (22)申请日 2020.02.26 (30)优先权数据 16/287579 2019.02.27 US (71)申请人 罗伯特博世有限公司 地址 德国斯图加特 (72)发明人 李南翔B.阿尔萨拉赫任骝 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 毕铮刘春元 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/00(2006.01) (54)发明名称 用于功能测试的所涉及生成机器学习模型 (57。

2、)摘要 提供了用于功能测试的所涉及生成机器学 习模型。 一种系统包括： 显示设备； 存储器， 被配 置为存储视觉分析应用和包括多个图像的图像 数据， 所述多个图像包括可检测对象； 以及处理 器， 操作性地连接到存储器和显示设备。 处理器 被配置为： 执行视觉分析应用以从在所述多个图 像中检测到的对象学习生成因子， 在提供给显示 设备的用户接口中可视化生成因子， 接收生成因 子的分组组合和要应用于生成因子的值来控制 对象特征， 通过将生成因子的值应用于在所述多 个图像中检测到的对象来创建所生成对象， 将所 生成对象组合到原始图像中以创建所生成图像， 以及将鉴别器应用于所生成图像以拒绝不真实 图像。

3、。 权利要求书3页 说明书8页 附图6页 CN 111626429 A 2020.09.04 CN 111626429 A 1.一种系统， 包括： 显示设备； 存储器， 被配置为存储视觉分析应用和包括多个图像的图像数据， 所述多个图像包括 可检测对象； 以及 处理器， 操作性地连接到存储器和显示设备， 并且被配置为执行视觉分析应用以 从在所述多个图像中检测到的对象学习生成因子， 在提供给显示设备的用户接口中可视化生成因子， 接收生成因子的分组组合和要应用于生成因子的值来控制对象特征， 通过将生成因子的值应用于在所述多个图像中检测到的对象来创建所生成对象， 将所生成对象组合到原始图像中以创建所生。

4、成图像， 以及 将鉴别器应用于所生成图像以拒绝不真实图像。 2.根据权利要求1所述的系统， 其中， 处理器还被配置为执行视觉分析应用， 以将所生 成图像应用于人工智能 （AI） 模型， 以确定所生成对象是否被正确检测。 3.根据权利要求2所述的系统， 其中处理器还被编程为在用户接口中包括： 使用AI模型 的指示在原始图像之一中是否正确检测到对象的检测结果， 以及使用AI模型的指示在所生 成图像之一中是否正确检测到所生成对象的检测结果。 4.根据权利要求1所述的系统， 其中处理器还被编程为利用使用变分自动编码器 （VAE） 的解缠结表示学习来学习生成因子。 5.根据权利要求1所述的系统， 其中，。

5、 处理器还被编程为在用户接口中包括生成因子的 因子显示， 其中， 每个生成因子被显示为检测到的对象的平均图像， 所述检测到的对象对于 沿着相应生成因子的值的标度的多个值中每一个被扰动。 6.根据权利要求1所述的系统， 其中， 处理器还被编程为在用户接口中针对所选因子包 括： 具有在第一值处的所选因子的值的所生成图像集和在第二值处的所选因子的值的第二 所生成图像集。 7.根据权利要求1所述的系统， 其中， 处理器还被编程为在用户接口中包括用于将生成 因子的值调整为多个生成因子的组合的控件。 8.根据权利要求1所述的系统， 其中处理器还被编程为在用户接口中包括： 来自所述多 个图像的包括可检测对象。

6、的原始图像， 以及包括替代原始图像中可检测对象的所生成对象 的所生成图像。 9.一种方法， 包括： 从在多个图像中检测到的对象学习生成因子； 在提供给显示设备的用户接口中可视化生成因子； 接收生成因子的分组组合和要应用于生成因子的值来控制对象特征； 通过将生成因子的值应用于在所述多个图像中检测到的对象来创建所生成对象； 将所生成对象组合到原始图像中以创建所生成图像； 以及 将鉴别器应用于所生成图像以拒绝不真实图像。 10.根据权利要求9所述的方法， 还包括将所生成图像应用于人工智能 （AI） 模型， 以确 定所生成对象是否被正确检测。 11.根据权利要求10所述的方法， 还包括在用户接口中包括。

7、： 使用AI模型的指示在原始 权利要求书 1/3 页 2 CN 111626429 A 2 图像之一中是否正确检测到对象的检测结果， 以及使用AI模型的指示在所生成图像之一中 是否正确检测到所生成对象的检测结果。 12.根据权利要求9所述的方法， 还包括利用使用变分自动编码器 （VAE） 的解缠结表示 学习来学习生成因子。 13.根据权利要求9所述的方法， 还包括在用户接口中包括生成因子的因子显示， 其中， 每个生成因子被显示为检测到的对象的平均图像， 所述检测到的对象对于沿着相应生成因 子的值的标度的多个值中每一个被扰动。 14.根据权利要求9所述的方法， 还包括在用户接口中针对所选因子包括。

8、： 具有在第一 值处的所选因子的值的所生成图像集和在第二值处的所选因子的值的第二所生成图像集。 15.根据权利要求9所述的方法， 还包括在用户接口中包括用于将生成因子的值调整为 多个生成因子的组合的控件。 16.根据权利要求9所述的方法， 还包括在用户接口中包括： 来自所述多个图像的包括 可检测对象的原始图像， 以及包括替代原始图像中可检测对象的所生成对象的所生成图 像。 17.一种非暂时性计算机可读介质， 包括视觉分析应用的指令， 所述指令当由一个或多 个处理器执行时使得所述一个或多个处理器： 利用变分自动编码器 （VAE） 执行解缠结表示学习， 以从在多个图像中检测到的对象学 习生成因子，。

9、 在提供给显示设备的用户接口中可视化生成因子， 接收生成因子的分组组合和要应用于生成因子的值来控制对象特征， 通过将生成因子的值应用于在所述多个图像中检测到的对象来创建所生成对象， 将所生成对象组合到原始图像中以创建所生成图像； 以及 将鉴别器应用于所生成图像以拒绝不真实图像。 18.根据权利要求17所述的介质， 还包括使得所述一个或多个处理器进行如下各项的 指令： 将所生成图像应用于人工智能 （AI） 模型， 以确定所生成对象是否被正确检测； 以及 在用户接口中包括： 使用AI模型的指示在原始图像之一中是否正确检测到对象的检测 结果， 以及使用AI模型的指示在所生成图像之一中是否正确检测到所。

10、生成对象的检测结 果。 19.根据权利要求17所述的介质， 还包括使得所述一个或多个处理器进行如下各项的 指令： 在用户接口中包括生成因子的因子显示， 其中， 每个生成因子被显示为检测到的对象 的平均图像， 所述检测到的对象对于沿着相应生成因子的值的标度的多个值中每一个被扰 动； 以及 在用户接口中针对来自因子显示的所选因子包括： 具有在第一值处的所选因子的值的 所生成图像集和在第二值处的所选因子的值的第二所生成图像集。 20.根据权利要求17所述的介质， 还包括使得所述一个或多个处理器进行如下各项的 指令： 在用户接口中包括用于将生成因子的值调整为多个生成因子的组合的控件； 以及 权利要求书。

11、 2/3 页 3 CN 111626429 A 3 在用户接口中包括： 来自所述多个图像的包括可检测对象的原始图像， 以及包括替代 原始图像中可检测对象的所生成对象的所生成图像。 权利要求书 3/3 页 4 CN 111626429 A 4 用于功能测试的所涉及生成机器学习模型 技术领域 0001 本公开涉及用于功能测试的所涉及的生成机器学习模型。 背景技术 0002 自主驾驶研究旨在建立安全且可靠的系统， 所述系统在除了其原始设计环境之外 操作。 这是因为在设计时对环境进行完整的解释是不可能的。 大多数当前系统仅在有限情 形集合内良好执行。 除了这些情形外， 性能潜在地是未知和不可预测的。 。

12、确保人工智能 （AI） 系统在所有情形中都将做出合理的决策成为关键任务。 0003 深度神经网络 （DNN） 是当今最广泛部署的机器学习模型之一， 这归因于它在诸如 图像中的对象识别、 从音频信号中的事件检测、 机器翻译等许多具有挑战性的任务中的优 异性能。 DNN的除了训练数据外的学习和归纳能力使得它特别适合于开放上下文系统。 事实 上， 深度学习使得计算机能够学习以前对计算机程序而言似乎难以处理的任务。 0004 然而， 该途径仍然面临挑战。 例如， 它的归纳限于训练数据范围。 作为结果， 对于罕 见事件或未看见的案例， 大规模黑盒深度学习模型的行为仍然是不可预测的。 作为另一个 挑战， 。

13、深度学习模型容易受到被称为对抗性示例的精制扰动影响， 所述对抗性示例当被添 加到自然示例中时， 导致深度神经网络模型做出错误的预测。 发明内容 0005 在一个或多个说明性示例中， 一种系统包括： 显示设备； 存储器， 被配置为存储视 觉分析应用和包括多个图像的图像数据， 所述多个图像包括可检测对象； 以及处理器， 操作 性地连接到存储器和显示设备。 处理器被配置为： 执行视觉分析应用以从在所述多个图像 中检测到的对象学习生成因子， 在提供给显示设备的用户接口中可视化生成因子， 接收生 成因子的分组组合和要应用于生成因子的值来控制对象特征， 通过将生成因子的值应用于 在所述多个图像中检测到的对。

14、象来创建所生成对象， 将所生成对象组合到原始图像中以创 建所生成图像， 以及将鉴别器应用于所生成图像以拒绝不真实图像。 0006 在一个或多个说明性示例中， 一种方法包括： 从在多个图像中检测到的对象学习 生成因子； 在提供给显示设备的用户接口中可视化生成因子； 接收生成因子的分组组合和 要应用于生成因子的值来控制对象特征； 通过将生成因子的值应用于在所述多个图像中检 测到的对象来创建所生成对象； 将所生成对象组合到原始图像中以创建所生成图像； 以及 将鉴别器应用于所生成图像以拒绝不真实图像。 0007 在一个或多个说明性示例中， 非暂时性计算机可读介质包括视觉分析应用的指 令， 所述指令当由。

15、一个或多个处理器执行时， 使得所述一个或多个处理器利用变分自动编 码器 （VAE） 执行解缠结表示学习以： 从在多个图像中检测到的对象学习生成因子； 在提供给 显示设备的用户接口中可视化生成因子； 接收生成因子的分组组合和要应用于生成因子的 值来控制对象特征； 通过将生成因子的值应用于在所述多个图像中检测到的对象来创建所 生成对象； 将所生成对象组合到原始图像中以创建所生成图像； 以及将鉴别器应用于所生 说明书 1/8 页 5 CN 111626429 A 5 成图像以拒绝不真实图像。 附图说明 0008 图1是系统的示例性实施例的示意图， 所述系统用于使用生成机器学习模型来系 统地生成真实图。

16、像， 以改进用于功能测试的AI模型的数据覆盖； 图2是图示了交通灯的所生成图像的创建的示例数据流； 图3是用于生成因子的解释的视觉分析应用的示例用户接口； 图4是用于多个生成因子的组合的操控的视觉分析应用的用户接口的示例部分； 图5是控制交通灯状态、 箭头形状和主体暗度的四个所选生成因子的所生成组合的示 例概要； 以及 图6是用于使用生成机器学习模型来系统地生成真实图像的示例过程的图示。 具体实施方式 0009 本文描述了本公开的实施例。 然而， 要理解， 所公开的实施例仅仅是示例， 并且其 他实施例可以采取各种和可替换形式。 各图不一定是按比例的； 一些特征可以被放大或最 小化以示出特定组件。

17、的细节。 因此， 本文公开的具体结构和功能细节不要被解释为限制性 的， 而仅仅作为用于教导本领域技术人员以各种方式采用实施例的代表性基础。 如本领域 的普通技术人员将理解的， 参考任何一个图而说明和描述的各种特征可以与在一个或多个 其他图中说明的特征相组合， 以产生没有明确说明或描述的实施例。 所说明的特征的组合 为典型应用提供代表性实施例。 然而， 与本公开的教导一致的特征的各种组合和修改对于 特定的应用或实现可以是被期望的。 0010 自主驾驶涉及穿过难以控制的开放环境的车辆。 随着AI系统中的新近发展， 标识 AI模型在罕见的和先前未看见的环境中如何表现在确保安全且可靠的自主驾驶中起着重。

18、 要的作用。 对模型将如何执行进行标识需要在除了训练数据中可获得的测试案例外的宽泛 测试案例集上测试模型的能力。 AI技术可以在生成机器学习中被运用来解决这些问题。 0011 为了解决这些挑战， 合成道路场景图像可以用于测试AI模型而不在现实世界中经 历它。 利用最少用户交互， 可以系统地生成改进AI模型的数据覆盖并揭示模型中的弱点和 边角案例的真实图像。 视觉分析解决方案可以用于操纵这类图像的数据生成。 0012 解缠结表示学习可以供变分自动编码器 （VAE） 使用， 以自动发现用于道路对象的 生成因子。 这些生成因子可以允许基于应用于因子的特定设置来在外观方面改变对象。 在 交通灯示例中，。

19、 生成因子可以包括颜色、 取向、 背景对比度、 符号等。 利用经学习的VAE， 现实 世界图像中的现有交通灯可以被修改为从绿灯改变为红灯、 从圆形灯改变为箭头指示等 等。 0013 这些所生成图像可以被生成并用于测试AI模型。 因此， 所生成图像可以用于以更 全面和有原则的方式理解对象检测器的性能。 以交通灯示例继续， 如果检测器对于具有箭 头标志的交通灯执行不佳， 则经修改的图像可以通过与原始检测到的交通灯相比观察错过 的检测来揭示该弱点。 虽然本文的许多示例涉及图像中交通灯的建模， 但是应当注意， 本文 描述的技术对于其他应用也是有用的， 在其他应用中， 附加的图像对于标识AI模型中的弱 。

20、点或者对于改进AI模型的训练或操作可以是有用的。 说明书 2/8 页 6 CN 111626429 A 6 0014 图1是系统100的示例性实施例的示意图， 该系统100用于使用生成机器学习模型 来系统地生成真实图像， 以改进用于功能测试的AI模型的数据覆盖。 系统100包括操作性地 连接到存储器110、 人机接口 （HMI） 设备118和显示设备108的处理器102。 如下面更详细描述 的， 在操作期间， 系统100 （i） 基于图像数据114学习生成因子122，（ii） 可视化生成因子 122，（iii） 将生成因子122的组合分组以控制图像特征，（iv） 基于生成因子122的分组组合 。

21、的应用来创建所生成对象，（v） 将所生成对象组合到图像数据114的原始场景中以创建所生 成图像124， 以及 （vi） 应用鉴别器以确保所生成图像124的真实性。 一旦完成， 这些附加图像 可以供AI模型112使用， 以改进AI模型112的测试覆盖和/或改进AI模型112的训练。 0015 在系统100中， 处理器102包括实现中央处理单元 （CPU） 104和图形处理单元 （GPU） 106的功能性的一个或多个集成电路。 在一些示例中， 处理器102是片上系统 （SoC） ， 其将CPU 104和GPU 106以及可选地包括例如存储器110、 网络设备和定位系统的其他组件的功能性 集成到单个。

22、集成设备中。 在其他示例中， CPU 104和GPU 106经由外围连接设备 （诸如， 快速 PCI或另一合适的外围数据连接） 彼此连接。 在一个示例中， CPU 104是商业可获得的中央处 理设备， 其实现指令集， 诸如x86、 ARM、 Power或MIPS指令集系列之一。 0016 GPU 106可以包括用于向显示设备108显示至少二维 （2D） 和可选地三维 （3D） 图形 的硬件和软件。 显示设备108可以包括电子显示屏、 投影仪、 打印机或再现图形显示的任何 其他合适的设备。 在一些示例中， 处理器102使用GPU 106中的硬件功能性来执行包括驱动 程序和其他软件指令的软件程序，。

23、 以加速本文描述的人类移动模型的图形描绘和定量计算 的可视化的生成和显示。 0017 在操作期间， CPU 104和GPU 106执行从存储器110检索的所存储程序指令。 所存储 程序指令包括控制CPU 104和GPU 106的操作以执行本文描述的操作的软件。 显示设备108 可以包括电子显示屏、 投影仪、 打印机或再现经由CPU 104和GPU 106生成的图形显示的任 何其他合适的设备。 0018 虽然图1将处理器102描绘为包括CPU 104和GPU 106两者， 但是可替换实施例可以 省略GPU 106， 例如处理器102可以是如下服务器： 该服务器仅使用CPU 104生成输出可视化 。

24、数据， 并将输出可视化数据传输到使用GPU 106和显示设备108来显示数据的远程客户端计 算设备。 附加地， 处理器102的可替换实施例可以包括微控制器、 专用集成电路 （ASIC） 、 现场 可编程门阵列 （FPGA） 、 数字信号处理器 （DSP） 或者附加于CPU 104和GPU 106或作为CPU 104 和GPU 106的替代的任何其他合适的数字逻辑设备。 0019 在系统100中， 存储器110包括非易失性存储器和易失性存储器设备两者。 非易失 性存储器包括固态存储器， 诸如NAND闪速存储器、 磁和光存储介质， 或者当系统100被去激 活或失去电力时保留数据的任何其他合适的数据。

25、存储设备。 易失性存储器包括静态和动态 随机存取存储器 （RAM） ， 其在系统100的操作期间存储程序指令和数据， 包括AI模型112、 图 像数据114和视觉分析应用116。 在一些实施例中， CPU 104和GPU 106每个能访问单独的RAM 设备 （例如， 针对CPU 104的DDR SDRAM的变体以及针对GPU 106的GDDR、 HBM或其他RAM的变 体） ， 而在其他实施例中， CPU 104和GPU 106访问共享的存储器设备。 存储器110可以存储AI 模型112、 图像数据114和视觉分析应用116， 以供维护和检索。 存储器110还可以存储生成因 子122和所生成图。

26、像124。 0020 人机接口 （HMI） 设备118可以包括使得系统100能够接收控制输入的各种设备中的 说明书 3/8 页 7 CN 111626429 A 7 任何设备。 合适的输入设备的示例包括诸如键盘、 鼠标、 触摸屏、 语音输入设备等人机接口 输入。 0021 网络设备120可以包括使得系统100能够接收AI模型112、 图像数据114和/或视觉 分析应用116的各种设备中的任何设备。 合适的网络设备120的示例包括从另一计算机或外 部数据存储设备接收数据的网络适配器或外围互连设备， 所述网络适配器或外围互连设备 对于以高效的方式接收大集合的图像数据114可以是有用的。 0022 。

27、在AI系统中， 基于模型的推理指代基于物理世界的AI模型112操作的推论方法。 一 般地， AI模型112被训练来学习提供输入值和输出值之间的精确相关性的函数。 在运行时， AI引擎使用针对观察到的数据在AI模型中编码的知识来导出结论， 诸如诊断或预测。 因此， AI应用开发的主要焦点是开发AI模型112。 为此， 需要基于尽可能完整的输入数据集来训练 AI模型112。 0023 图像数据114指代多个记录， 每个记录代表物理世界的图像。 在本文的许多示例 中， 图像数据114包括由相机设备捕获并以各种基于计算机的图像格式维护的二维图像。 在 一些实例中， 可以从数据存储设备接收一些或所有图像。

28、数据114。 图像数据114可以包括可 以用作输入以训练AI模型112的图像。 图像数据114还可以包括可以用作输入的图像， 所述 输入要由AI模型112标识以确定AI模型112的行为。 0024 值得注意的是， 对AI模型112将如何执行进行标识需要在除了训练数据中可获得 的测试案例外的宽泛测试案例集上测试AI模型112的能力。 为了解决图像数据114中不包括 现实世界情形的足够变化的样本的限制， 合成图像可以用于测试AI模型112而不在现实世 界中经历它。 利用最少用户交互， 可以系统地生成改进AI模型112的数据覆盖并揭示AI模型 112中的弱点和边角案例的真实图像。 0025 视觉分析。

29、应用116包括指令， 所述指令当由系统100的处理器102执行时使得系统 100执行本文相对于从图像数据114对所生成图像124的系统生成所描述的过程和操作。 这 些过程和操作包括要 （i） 基于图像数据114学习生成因子122，（ii） 可视化生成因子122， （iii） 对生成因子122的组合进行分组以控制图像特征，（iv） 基于生成因子122的分组组合 的应用来创建所生成对象，（v） 将所生成对象组合到图像数据114的原始场景中以创建所生 成图像124， 以及 （vi） 应用鉴别器以确保所生成图像124的真实性。 一旦完成， 这些附加图像 可以供AI模型112使用， 以改进AI模型112。

30、的测试覆盖并改进AI模型112的训练。 0026 视觉分析应用116可以利用使用VAE的解缠结表示学习来自动发现用于道路对象 的生成因子122。 生成因子122与被分析的对象的独立特性相关。 在交通灯的示例中， 这些生 成因子122可以与诸如交通灯的颜色 （红、 黄、 绿等） 、 交通灯被照亮部分的形状或符号 （例 如， 圆形、 三角形、 箭头等） 、 交通灯与其周围环境的背景对比度、 交通灯的旋转等方面相关。 0027 这些生成因子122允许基于应用于生成因子122的特定值设置来在外观方面改变 对象。 以交通灯作为示例， 利用经学习的VAE， 视觉分析应用116可以用于修改在图像数据 114。

31、的现实世界图像中检测到的现有交通灯， 以将图像中的交通灯从绿灯改变为红灯， 从圆 形改变为箭头等等。 使用生成因子执行的处理的结果导致所生成对象， 所述所生成对象可 以被重新插入到原始图像中以创建所生成图像124， 所生成图像124并入原始图像的基本特 征， 但是具有使用应用于生成因子122的输入而扰动的检测到对象的更改版本。 0028 所生成图像124可以用于以更全面和有原则的方式理解AI模型112的对象检测器 说明书 4/8 页 8 CN 111626429 A 8 的性能。 以交通灯示例继续， 如果AI模型112检测器对于具有箭头标志的交通灯执行不佳， 则所生成图像124可以通过与没有修。

32、改的图像数据114的图像检测相比观察错过的检测来 揭示该弱点。 0029 在学习生成因子122之后， 视觉分析应用116可以用于可视化每个生成因子122学 习何物。 这有助于对生成因子122如何独立地改变所生成图像124的理解。 可视化是通过在 生成因子的不同值 （负和正两者） 下将生成模型应用于大集合的现实对象来完成的。 检查在 负端和正端两者的所生成图像揭示生成因子122学习何物。 对这两端上的图像求平均给出 生成因子122的视觉概要。 0030 附加地， 视觉分析应用116可以用于可视化生成因子122如何组合地修改图像。 虽 然每个生成因子122控制对象的特定独立特征， 但是组合的生成因。

33、子122可能导致不同的结 果， 其中一些可能导致不真实的对象 （例如， 既红又绿的交通灯） 。 通过使用由视觉分析应用 116提供的可视化， 生成因子122可以被缩窄到要在生成过程中使用的相关组合。 0031 然后可以在将所修改的生成对象与原始图像中该区处的图像值进行匹配之后， 将 它们嵌入其原始场景中。 因此， 这导致所生成图像124。 然后， 被训练来确定最终结果生成的 图像124是否看起来真实并且与自然图像不可区分的鉴别器可以被应用来确认所生成图像 124的适用性， 从而保证真实的结果。 0032 虽然示出了使用并入显示设备108的单个计算设备的所图示的系统100， 但是其他 示例系统1。

34、00可以包括多个计算设备。 作为一个示例， 处理器102生成生成因子122， 并使用 网络设备120经由数据网络将生成因子122传输到远程计算设备。 远程计算设备然后可以显 示视觉分析应用116的用户接口。 在另一个非限制性示例中， 处理器102被实现在执行视觉 分析应用116以实现web服务器的服务器计算设备中， 该web服务器经由数据网络将数据传 输到远程客户端计算设备中的web浏览器。 客户端计算设备实现web浏览器或其他合适的图 像显示软件， 以使用客户端计算设备的显示设备108显示从服务器接收的数据。 0033 图2是图示了交通灯的所生成图像124的创建的示例数据流200。 如所示出。

35、的， 可以 包括图像数据114的图像集的训练数据202被应用于对象检测器204。 在该示例中， 对象检测 器204可以包括AI模型112， AI模型112已经被教导检测图像内交通灯的位置。 训练数据202 也可以被应用于VAE 206， 以自动发现用于由对象检测器204检测到的对象的生成因子122。 这可以导致对象数据208， 诸如关于由对象检测器204根据生成因子122检测到的对象的外 观和变化的信息。 对象检测器204还可以提供对象检测器性能数据210， 对象检测器性能数 据210可以用于分析对象检测器204在标识训练数据202中的对象方面的成功。 0034 在212处， 通过使用对象数据。

36、208， 视觉分析应用116提供用户接口， 从该用户接口 可以生成真实数据。 用户接口的用户的结果可以包括可以用于允许AI模型112从附加情形 学习的附加训练数据214， 以及可以用于确定AI模型112在所生成情形中的性能的测试数据 216。 0035 图3是用于生成因子122的解释的视觉分析应用116的示例用户接口300。 该用户接 口300一般提供经学习的生成因子122的概述， 每个因子如何修改检测到的对象， 以及结果 在最终场景中看起来如何。 在示例中， 用户接口300可以由执行视觉分析应用116的处理器 102提供给显示设备108。 0036 如所示出的， 用户接口300提供图像数据1。

37、14的集合的分析结果的可视化。 分析的 说明书 5/8 页 9 CN 111626429 A 9 一般方面可以在信息控件302中图示。 作为一些示例， 这些方面可以包括加载的数据集的名 称 （例如， BSTLD （附加训练） ） 、 数据集中对象的实例数量 （例如， 321个实例） 、 用于分析数据 集的模型 （例如， 解缠结VAE） 以及模型mAP （例如， 66%） 。 0037 用户接口300还可以包括因子栏标控件304， 从因子栏标控件304可以选择用户接 口300来显示关于由模型 （这里为解缠结VAE， 但是在其他示例中可以使用其他算法） 标识的 特定生成因子122的数据， 或者显示。

38、生成因子122之间的多因子交互。 如所示出的， 从因子栏 标控件304选择个体因子。 因此， 用户接口300图示了个体生成因子122的因子显示306。 在该 示例中， 在因子显示306的X轴中显示有二十二个生成因子122。 每个生成因子122可以被显 示为数据集的对象的平均图像， 所述数据集沿着生成因子122的值的标度具有值集合。 如所 示出的， 在因子显示306的Y轴中针对每个生成因子122示出了五个不同的值， 从生成因子 122的一个极值到中间值、 到另一个极值 （例如-3 ， -1 ， 0， 1 ， 3 ） 。 虽然在用户接口300中示 出了五个值， 但这仅仅是示例， 并且可以使用更多、。

39、 更少或不同的值。 0038 可以从因子显示306选择生成因子122。 例如， 可以通过到因子显示306的鼠标或触 摸输入来选择因子。 如因子显示306中的因子选择308所示， 选择第三因子F3以供进一步分 析。 附加地， 在选择标签310中指示所选生成因子122。 0039 与选择标签310相邻的可以是相对于所选生成因子122的选项， 例如来比较所选生 成因子122的值的极限或者比较原始图像和所生成图像。 如所示出的， 选择比较值的极限的 选项。 因此， 用户接口300图示了来自数据集的对象集， 该对象集具有从一个极值扰动到另 一个的所选生成因子122。 例如， 第一所生成图像集312被示出。

40、有在一个极限处为-3 的因子 值， 并且第二所生成图像集314被示出有在一个极限处为3 的因子值。 在用户接口300中还 提供每个所生成图像集312、 314的平均精度均值 （mAP） 。 0040 附加地， 对于所选生成因子122， 用户接口300可以提供所选生成因子122对数据集 的图像之一中检测到的特定对象的操作的细节。 在一个示例中， 用户可以选择要使用的图 像， 而在其他情况下， 可以在用户接口300中预选择图像。 如所示出的， 在图像316中示出了 图像中检测到的对象的原始图像， 连同针对从一个极限到另一个的因子值而使用图像的所 生成图像的范围。 如可以看到的， 原始图像具有绿交通。

41、灯， 其中因子F3在第一极值处示出红 交通灯， 而在另一个极值处示出绿交通灯。 因此， 因子F3可以表示交通灯对象的红/绿颜色 的因子。 通过调整用于所选输入图像中的对象的生成因子122的值， 该对象可以从绿灯更改 为红灯。 在其他示例中， 可以使用F3生成因子122将红交通灯更改成绿交通灯。 0041 此外， 用户接口300还可以包括允许显示针对所生成图像的检测结果的选项。 如在 318处所示出的， 选择显示检测结果的选项， 并且为包括检测到的对象的原始未更改图像以 及包括根据所选生成因子122修改的对象的所生成图像两者提供示例检测结果。 如在用户 接口300中可以看到的， 包括绿交通信号的。

42、原始场景被AI模型112正确地检测， 而具有红交 通灯的所生成图像的经修改的场景被AI模型112错误地检测。 0042 该信息在其中AI模型112可从进一步训练中受益的标识领域中可以是有用的。 例 如， 如果AI模型112不擅长检测红灯 （或者在另一个示例中， 交通灯中的绿箭头） ， 则可以生 成附加的图像数据来训练AI模型以更好地检测那些变化。 0043 图4是用于多个生成因子122的组合的操控的视觉分析应用116的用户接口400的 示例部分。 组合的生成因子122的操控可以是合期望的， 这是因为对象的某个特性可能需要 说明书 6/8 页 10 CN 111626429 A 10 对多个生成。

43、因子122的调整以做出清楚且相关的改变。 如所示出的， 用户接口400示出了可 以如何组合不同的生成因子122来生成具有特定属性的交通灯的示例。 例如， 通过使用生成 因子122的组合， 选择黄状态的样本交通灯并将其修改成具有箭头的绿交通灯。 在示例中， 用户接口400可以由执行视觉分析应用116的处理器102提供给显示设备108。 0044 用户接口400可以允许针对生成因子122的集合设置的值的监督组合。 例如， 一个 生成因子122可以表示使交通灯更绿， 另一个生成因子122可以表示使交通灯更像箭头， 并 且另一个生成因子122可以允许对交通灯的背景对比前景颜色的调整。 如在402处所示。

44、出 的， 七个生成因子122的集合可以被组合调整以提供对图像生成的更大控制。 在该示例中， 七个生成因子122的该特定集合包括： 捕获交通灯形状 （从圆形到箭头） 的F1； 捕获右侧照 明/取向的F2； 捕获交通灯是绿灯还是红灯亮的F3； 捕获交通灯主体是暗还是亮的F4； 捕获 橙灯是开还是关的F5； 捕获左侧照明/取向的F6； 以及捕获沿蓝橙维度的色度偏移的F7。 如 402处的图示中所示出的， 因子F1、 F3、 F4和F5每个被设置为一个极值， 而因子F2、 F6和F7被 设置为中间值。 0045 如在404处所示出的， 用户接口400可以包括现实样本集合， 所述现实样本集合要 使用来自。

45、402处的生成值集合的所选值来控制。 在404处的所显示样本可以接收用户选择， 诸如触摸或鼠标点击。 如选择406所示出的， 黄交通灯对象已经被选择用于操控。 在408处， 用户接口400示出在原始图像的上下文中的所选黄交通灯对象。 在410处， 用户接口400示出 在原始图像的上下文中的所选交通灯对象， 但是具有根据如在402处示出那样调整的生成 因子122而被扰动的对象。 因此， 可以看到， 通过使用设置为生成因子122的组合的上面提及 的值， 黄状态的样本交通灯已经在场景中被修改成具有箭头的绿交通灯。 0046 图5是控制交通灯状态、 箭头形状和主体暗度的四个所选生成因子122的所生成组。

46、 合的示例概要500。 虽然一些组合导致非常真实的结果， 但一些导致不清楚或语义不相关的 组合。 在最终测试案例的生成中可以排除后者图像。 鉴别器可以用于选择性地排除异常图 像。 在一个示例中， 鉴别器可以包括被训练来识别对象的有效特征的模型， 所述有效特征诸 如仅照亮交通灯的单个颜色。 在另一个示例中， 鉴别器可以包括用户输入的接收。 0047 图6是用于使用生成机器学习模型来系统地生成真实图像的示例过程600的图示。 在示例中， 过程600可以由如本文详细讨论的系统100执行。 0048 在操作602处， 处理器102学习生成因子122。 在示例中， 并且如示例数据流200所示 出的， 处。

47、理器102可以执行视觉分析应用116， 以利用使用VAE 206的解缠结表示学习来从训 练数据202中自动发现生成因子122。 生成因子122可以与被分析的图像中的对象的独立特 性相关。 0049 在604处， 处理器102可视化生成因子122。 在示例中， 处理器102可以执行视觉分析 应用116以提供用于显示经学习的生成因子122的接口， 诸如用户接口300。 在606处， 处理器 102对生成因子122的组合进行分组， 以控制图像特征。 在示例中， 处理器102可以执行视觉 分析应用116， 以提供用于对经学习的生成因子122进行分组的接口， 诸如用户接口400。 0050 在操作608。

48、处， 处理器102创建所生成对象。 在示例中， 处理器102可以利用视觉分 析应用116和训练数据202来创建所生成对象。 在用户接口300、 用户接口400和示例概要500 中示出了所生成对象的示例。 在操作610处， 处理器102将所生成对象组合到被改变以创建 所生成图像124的对象的原始场景中。 在用户接口400中的410处， 将所生成对象组合到原始 说明书 7/8 页 11 CN 111626429 A 11 场景中的示例被示出为所生成图像124。 因此， 所生成图像124可以用作附加训练数据214或 测试数据216。 0051 在612处， 处理器102应用鉴别器来确保所生成图像12。

49、4的真实性。 例如， 并且如概 要500中所示出的， 鉴别器可以包括被训练来识别对象的有效特征的模型， 所述有效特征诸 如仅照亮交通灯的单个颜色。 在另一个示例中， 鉴别器可以包括用户输入。 在操作612之后， 过程600结束。 0052 总之， 利用VAE的解缠结表示学习可以被应用以自动学习对象 （诸如自主车辆在道 路上遇到的对象） 的生成因子122。 这些生成的道路对象可以以不同的变体嵌入到场景图像 （例如， 道路场景图像） 中， 以测试AI模型112并在现实世界中经历失败案例之前标识它们。 利用最少的用户交互， 可以系统地生成真实图像， 所述真实图像改进数据覆盖并揭示AI模 型112弱点。

50、和边角案例。 0053 本文公开的过程、 方法或算法可以可交付到处理设备、 控制器或计算机/由处理设 备、 控制器或计算机实现， 所述处理设备、 控制器或计算机可以包括任何现有的可编程电子 控制单元或专用电子控制单元。 类似地， 过程、 方法或算法可以以许多形式存储为可由控制 器或计算机执行的数据和指令， 所述形式包括但不限于永久存储在不可写存储介质 （诸如 ROM设备） 上的信息以及可更改地存储在可写存储介质 （诸如软盘、 磁带、 CD、 RAM设备以及其 他磁和光介质） 上的信息。 过程、 方法或算法也可以在软件可执行对象中实现。 可替换地， 可 以使用合适的硬件组件 （诸如专用集成电路 。