追踪产品部件的计算机实现方法、系统和计算机程序产品.pdf

《追踪产品部件的计算机实现方法、系统和计算机程序产品.pdf》由会员分享，可在线阅读，更多相关《追踪产品部件的计算机实现方法、系统和计算机程序产品.pdf（33页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910843888.8 (22)申请日 2019.09.06 (30)优先权数据 16/126,292 2018.09.10 US (71)申请人 西门子股份公司 地址 德国慕尼黑 (72)发明人 崔韬贾斯蒂尼安罗斯卡 哈桑西南班科 (74)专利代理机构 北京康信知识产权代理有限 责任公司 11240 代理人 陈方鸣 (51)Int.Cl. G06Q 30/00(2012.01) G06Q 50/04(2012.01) G01D 21/02(2006.01) G06K 17。

2、/00(2006.01) (54)发明名称 追踪产品部件的计算机实现方法、 系统和计 算机程序产品 (57)摘要 本发明涉及一种用于追踪产品部件的计算 机实现方法、 系统和计算机程序产品。 在一些实 施方式中， 追踪和可跟踪性生成从记录工业设备 中的制造过程的执行的成像传感器系统获得的 语义数据流。 制造过程的执行从原材料和/或部 件产生成品。 追踪和可跟踪性还实施关于制造过 程的执行的人工推理， 以生成表征制造过程的执 行的声明。 语义数据和声明可被聚集到数字跟踪 记录中， 该数字跟踪记录在制造过程的整个执行 过程中追踪成品的限定部件， 并允许将该部件追 溯到制造过程内的限定事件。 权利要求。

3、书3页 说明书21页 附图8页 CN 110889707 A 2020.03.17 CN 110889707 A 1.一种用于追踪产品部件的计算机实现的方法， 包括： 通过包括至少一个处理器的计算系统， 接收指示用于形成产品的制造过程的各部分的 视频片段的集合的成像信息； 通过所述计算系统， 使所述视频片段的集合相对于所述制造过程的开始时刻同步； 由所述计算系统， 通过至少使用所述制造过程分析所述视频片段的同步集合， 生成观 察组； 通过所述计算系统， 至少使用所述观察组和对应于所述制造过程的组装规则， 生成声 明组； 以及 通过所述计算系统， 至少使用所述观察组和所述声明组， 生成所述产品的。

4、数字跟踪记 录。 2.根据权利要求1所述的计算机实现的方法， 还包括： 将所述数字跟踪记录提供给包括 至少一个第二处理器的第二计算系统， 所述第二计算系统包括在制造执行系统(MES)和生 产生命周期管理(PLM)系统之一中。 3.根据权利要求1所述的计算机实现的方法， 其中， 所述接收包括： 从定位在执行所述 制造过程的作业的机器附近的限定位置处的成像传感器设备接收所述成像信息的第一部 分， 所述成像传感器设备包括相机、 红外电磁辐射光电检测器设备和光检测和测距(LIDAR) 传感器设备之一。 4.根据权利要求1所述的计算机实现的方法， 其中， 生成所述观察组包括： 识别所述视 频片段的集合的。

5、第一视频片段的图像帧中的限定特征。 5.根据权利要求1所述的计算机实现的方法， 其中， 限定特征对应于构成组件的限定部 件和所述组件之一， 并且其中， 识别包括： 执行识别所述限定部件和所述组件之一的机器视 觉技术。 6.根据权利要求1所述的计算机实现的方法， 其中， 生成所述声明组包括： 通过所述计算系统， 接收第一数据， 所述第一数据指示所述制造过程的作业中的各输 入部件的第一观察组； 通过所述计算系统， 接收第二数据， 所述第二数据指示来自所述作业的输出组件的第 二观察组； 以及 将所述组装规则中的第一组装规则应用于所述第一数据和所述第二数据。 7.根据权利要求6所述的计算机实现的方法，。

6、 还包括： 使用信号时间逻辑来生成所述声 明组的第一声明， 所述第一声明包括所述输出组件由所述输入部件以限定概率形成的说 明。 8.一种计算机程序产品， 包括可由至少一个处理电路读取的至少一个非暂时性储存介 质， 所述非暂时性储存介质上编码有可由所述至少一个处理电路执行以进行或促进以下操 作的指令， 所述操作包括： 接收指示用于形成产品的制造过程的各部分的视频片段的集合的成像信息； 使所述视频片段的集合相对于所述制造过程的开始时刻同步； 通过至少使用所述制造过程分析视频片段的同步集合， 生成观察组； 至少使用所述观察组和对应于所述制造过程的组装规则， 生成声明组； 以及 至少使用所述观察组和所。

7、述声明组， 生成所述产品的数字跟踪记录。 权利要求书 1/3 页 2 CN 110889707 A 2 9.根据权利要求8所述的计算机程序产品， 所述操作还包括： 将所述数字跟踪记录提供 给包括至少一个第二处理器的第二计算系统， 所述第二计算系统包括在制造执行系统 (MES)和生产生命周期管理(PLM)系统之一中。 10.根据权利要求8所述的计算机程序产品， 其中， 所述接收包括： 从定位在执行所述制 造过程的作业的机器附近的限定位置处的成像传感器设备接收所述成像信息的第一部分， 所述成像传感器设备包含相机、 红外电磁辐射光检测器设备和光检测及测距(LIDAR)传感 器设备之一。 11.根据权。

8、利要求8所述的计算机程序产品， 生成所述观察组包括： 识别所述视频片段 的集合的第一视频片段的图像帧中的限定特征。 12.根据权利要求8所述的计算机程序产品， 其中， 限定特征对应于构成组件的限定部 件和所述组件之一， 并且其中， 识别包括执行识别所述限定部件和所述组件之一的机器视 觉技术。 13.根据权利要求8所述的计算机程序产品， 其中， 生成所述声明组包括： 接收第一数据， 所述第一数据指示所述制造过程的作业中的各输入部件的第一观察 组； 接收第二数据， 所述第二数据指示来自所述作业的输出组件的第二观察组； 以及 将所述组装规则的第一组装规则应用于所述第一数据和所述第二数据。 14.根据。

9、权利要求13所述的计算机程序产品， 所述操作还包括： 使用信号时间逻辑生成 所述声明组的第一声明， 所述第一声明包括所述输出组件由所述输入部件以限定概率形成 的说明。 15.一种用于追踪产品部件的系统， 包括： 至少一个存储器设备， 其中储存有计算机可执行指令； 以及 至少一个处理器， 被配置为访问所述至少一个存储器设备且还被配置为执行所述计算 机可执行指令以： 接收监控信息， 所述监控信息包括指示用于形成产品的制造过程的各部分的视频片段 的集合的成像信息； 使至少所述视频片段的集合相对于所述制造过程的开始时刻同步； 通过至少使用所述制造过程至少分析视频片段的同步的集合来生成观察组； 至少使用。

10、所述观察组和对应于所述制造过程的组装规则生成声明组； 以及 至少使用所述观察组和所述声明组， 生成所述产品的数字跟踪记录。 16.根据权利要求15所述的系统， 所述至少一个处理器还被配置为执行所述计算机可 执行指令， 以向包括至少一个第二处理器的第二计算系统提供所述数字跟踪记录， 所述第 二计算系统包括在制造执行系统(MES)和生产生命周期管理(PLM)系统之一中。 17.根据权利要求15所述的系统， 其中， 为了接收所述监控信息， 所述至少一个处理器 还被配置为执行计算机可读指令以从第一成像传感器设备和第二成像传感器设备中的至 少一个接收成像信息的第一部分， 所述第一成像传感器设备位于执行所。

11、述制造过程的工作 的机器附近的限定位置， 所述第二成像传感器设备被安装在移动无人机器人上， 所述成像 传感器设备包括摄像头、 红外电磁辐射光电探测器装置， 或光探测和测距(LIDAR)传感器设 备。 权利要求书 2/3 页 3 CN 110889707 A 3 18.根据权利要求15所述的系统， 其中， 为了生成所述观察组， 所述至少一个处理器还 被配置为执行所述计算机可执行指令， 以识别所述视频片段的集合的第一视频片段的图像 帧中的限定特征。 19.根据权利要求15所述的系统， 其中， 为了生成所述声明组， 所述至少一个处理器还 被配置为执行所述计算机可执行指令以： 接收第一数据， 所述第一。

12、数据指示所述制造过程的作业中的各输入部件的第一观察 组； 接收第二数据， 所述第二数据指示来自所述作业的输出组件的第二观察组； 以及 将所述组装规则的第一组装规则应用于所述第一数据和所述第二数据。 20.根据权利要求19所述的系统， 所述至少一个处理器还被配置为执行所述计算机可 执行指令， 以使用信号时间逻辑生成所述声明组的第一声明， 所述第一声明包括所述输出 组件是由所述输入部件以限定概率形成的说明。 权利要求书 3/3 页 4 CN 110889707 A 4 追踪产品部件的计算机实现方法、 系统和计算机程序产品 技术领域 0001 本发明涉及一种追踪产品部件的计算机实现方法、 系统和计算。

13、机程序产品。 背景技术 0002 在制造工业中， 在从原始部件到最终成品的生产生命周期内的部件的追踪和可跟 踪性对于有效的生产和供应管理是关键的。 在一些工业部门， 比如汽车部门中， 来自成品的 部件的可跟踪性是法律要求， 因为它允许制造商在制造过程之后在任何召回或其他缺陷的 情况下查明产品。 因此， 追踪和可跟踪性在大多数制造执行系统(MES)和生产生命周期管理 (PLM)系统中是重要和必要的功能。 0003 实现追踪和可跟踪性功能的常用技术主要依靠人工分拣和/或贴标签； 条码扫描； 部件激光雕刻； 附接射频识别(RFID)标签； 等等。 在一些情况下， 在一些PLM系统和MES中， 可 用。

14、基本界面和解决方案以记录和跟踪数据库内添加的标签或条形码， 以在部件在生产线上 移动直到成为成品的同时实现部件追踪和可跟踪性。 0004 因此， 在生产生命周期内实现部件追踪和可跟踪性的技术仍有待改进。 发明内容 0005 在至少一些实施方式中， 本公开认识并解决了在普通制造系统中缺乏有效且可靠 的追踪和可跟踪性。 经由附加标签或条形码的部件追踪和可跟踪性通常是耗时、 劳动密集 且技能低的任务。 它是侵入性的， 因为需要附接或雕刻额外的标签。 这由于需要额外的工序 也使整个生产过程变得缓慢。 为了解决这个问题， 在大多数行业中， 部件的追踪和可跟踪性 是强制性的， 而不是可选性的。 因此， 本。

15、公开提供了通过物理制造过程的自动化和数字副本 形成产品， 单独地或组合地提供有效的追踪和可跟踪性过程的技术。 更具体地， 本公开的一 些实施方式提供了一种基于数字的方法， 其将成像传感器设备和机器视觉技术无缝地集成 到制造系统中， 以跟踪成品的构成部件。 然而， 本公开不受限于这方面， 并且在一些实施方 式中， 可以实施成像传感器设备和/或监控设备(例如， 麦克风和/或触觉设备)以及相关感 知技术(例如， 听觉识别技术)。 基于数字的方法生成数字跟踪记录， 该数字跟踪记录聚集时 间信息、 空间信息和表征工业设备中产品的完整生产周期的人工推理声明。 可以在不依赖 于常见的侵入性的、 耗时的基于标。

16、签和基于条形码的方法的情况下生成数字跟踪记录。 0006 如以下更详细描述的， 本公开的实施方式包括系统、 技术和计算机程序产品， 这些 系统、 技术和计算机程序产品单独地或组合地允许根据在此描述的方面来实现数字跟踪记 录的生成。 更具体地， 但不排他地， 本公开的至少一些实施方式允许或以其他方式促进实现 追踪和可跟踪性技术， 所述追踪和可跟踪性技术将从成像传感器系统获得的语义数据流与 人工推理集成， 以便生成表征从原材料和/或部件产生成品的作业序列的丰富信息。 0007 因此， 本公开的实施方式可使用或利用关于关键对象、 机器、 时间戳、 空间戳和相 关联概率信息的感知， 且可以携带用于形成。

17、成品的制造过程的数字双胞胎的多个组件上的 相关且丰富的信息。 数字双胞胎中的丰富信息可允许或促进有效可靠的自动化控制、 优良 说明书 1/21 页 5 CN 110889707 A 5 的服务质量(QoS)和操作完整性。 0008 在数字跟踪记录的生成中包含的追踪和可跟踪性情报中没有一个依赖于传统昂 贵且不能灵活的安装和管理的物理标签(例如， RFID标签)和/或条形码解决方案。 实际上， 本公开的数字跟踪记录利用低成本相机和追踪和可跟踪性平台， 例如， 该追踪和可跟踪性 平台可以是形成成品的制造过程的数字双胞胎的一部分。 因此， 本公开的实施方式可以提 供优于传统技术的用于生产协调、 效率和。

18、完整性的许多技术改进和益处。 例如， 本公开的实 施方式构成了基于无源传感器的技术， 其放弃了物理标签、 具有条形码的标签、 RFID标签的 任何附接以及针对识别产品的构成部件的任何类型的处理。 因此， 本公开的实施方式允许 实施优于常规制造过程的制造过程。 0009 更具体地， 在不依赖于组成部件的物理标识符的附接或集成的情况下， 本公开的 实施方式允许实现制造包含操作成本和其他成本的产品。 此外， 通过在制造过程中消除标 签的附接和随后的标签扫描， 本公开的实施方式允许除了加速产品的制造之外的其他效 率。 在不处理物理标签的情况下， 本公开的实施方式允许制造过程至少比常规制造过程消 耗更少。

19、的时间。 0010 作为另一实例， 利用制造/组装过程的完全同步的视频记录， 可以通过分析视频并 将视频与制造过程相关联来精确地实现追踪和可跟踪性。 在又一实例中， 视频记录和相应 的可跟踪性结果不仅跟踪部件， 而且包括关于如何制造产品的重要制造信息。 在一些情况 下， 这种信息可以是与产品缺陷相关的关键信息。 因此， 这可以帮助制造商更准确地跟踪缺 陷和发出召回。 附图说明 0011 附图是本公开的组成部分并且并入本说明书中。 未按比例绘制的附图示出了本公 开的示例性实施方式， 并且结合说明书和权利要求书至少部分地解释本公开的各种原理、 特征或方面。 下面参考附图更全面地描述本公开的一些实施。

20、方式。 然而， 本公开的各方面可 以许多不同形式来实施， 且不应解释为限于本文所阐述的实施方式。 相同的附图标记始终 表示相似但不一定相同或同样的元件。 0012 图1示出根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的 操作环境的实例。 0013 图2示出根据本公开的一个或多个实施方式的允许或促进产品部件的追踪和可跟 踪性的视频片段的记录的示意图。 0014 图3示出根据本公开的一个或多个实施方式的执行汽车组装过程的工厂的实例的 示意图。 相机和其他监控设备位于工厂中限定位置以记录汽车组装过程的执行。 还包括漫 游监控设备。 0015 图4A呈现根据本公开的一个或多个实施方式的。

21、用于产品部件的追踪和可跟踪性 的系统的实例。 0016 图4B呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性 的计算系统的实例。 0017 图5示出根据本公开的一个或多个实施方式的制造过程的作业的示意图。 0018 图6至图7示出根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟 说明书 2/21 页 6 CN 110889707 A 6 踪性的方法的相应实例。 0019 图8呈现根据本公开的一个或多个实施方式的其中可以实现产品组件的追踪和可 跟踪性的操作环境的实例。 具体实施方式 0020 参考附图， 图1呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和 可跟。

22、踪性的操作环境100的实例。 所示的操作环境100包括具有硬件114的工业设备110， 该 硬件容许以其它方式促进特定功能。 工业设备110可以包括一组机器并且可以实施或执行 限定的工业过程， 该限定的工业过程允许由原材料/部件112形成产品116。 产品116可以具 有必要的部件以提供一个或多个期望的功能。 因此， 产品116可以被称为成品。 产品116可以 实施为多种工业范围内的物体， 例如， 飞行器； 汽车； 农业机械； 涡轮机； 发动机； 工业振动器 (例如， 振动进料器设备)； 消费电子设备； 或类似物。 构成硬件114的机器可具有允许机器执 行限定作业的限定能力(或技能)组。 限定。

23、作业的执行产生产品116的组成产品， 或者取决于 机器， 产生最终产品116。 0021 限定的工业过程包括由硬件114内的各个机器执行的限定操作(或步骤)S1， S2， SM(M为自然数)的序列。 限定操作序列Sk(k1， 2， M)中的每一个可以包括其他操作1， 2， m(其中m是小于M的自然数)。 工业过程的实行(或执行)可以是自动的。 为此， 可以将一 组传感器设备集成到硬件114中或以其他方式耦接到硬件114， 以收集指示或表示工业设备 110的操作状态的数据。 在一些实施方式中， 该组传感器设备可以是同种类的， 包括多个相 同类型的传感器设备(例如， 压力计或温度计)。 在其他实施。

24、方式中， 该组传感器设备可以是 不同种类的， 其中， 该组传感器设备的第一子集对应于第一类型的传感器设备， 该组传感器 设备的第二子集对应于第二类型的传感器设备。 例如， 这种传感器设备组可以包括压力计 和温度计。 如图1所示， 该组传感器设备包括传感器设备1181、 第二设备1182、 传感器设备 D-1 18D-1和传感器设备D 118D。 这里D是大于1的自然数。 链接各个传感器和硬件114的空心 块箭头一般描述将传感器设备集成到硬件114中或者将传感器设备耦接到硬件114。 0022 此外， 为了自动化可由工业设备110实现的工业过程， 过程控制系统120可功能性 地耦接(例如， 通信。

25、耦接、 电耦接、 电磁耦接和/或机电耦接)到工业设备110。 通信架构124可 以允许或促进过程控制系统120和工业设备110之间的信息(数据、 元数据和/或信令)交换。 通信架构124可以被实施为几种类型的网络元件或者可以包括几种类型的网络元件， 包括 基站； 路由器设备； 开关设备； 服务器设备； 聚合器设备； 总线架构； 前述的组合； 或类似物。 一个或多个总线架构可以包括工业总线架构， 比如基于以太网的工业总线、 控制器局域网 (CAN)总线、 Modbus、 其他类型的现场总线架构等。 0023 过程控制系统120可以实现用于可以由工业设备110执行的工业过程的自动化的 控制逻辑。 。

26、在一些实施方式中， 过程控制系统120还可以应用其他类型的规则， 这些规则指 示对工业设备的物理访问、 操作工业设备110的命令的限定序列的实现， 其组合， 或类似的。 0024 为此， 过程控制系统120可以实时操作， 从传感器设备1181-118D收集或接收观察到 的数据。 在一些情况下， 过程控制系统120可以使用观察到的数据来实现控制逻辑和/或其 他控制算法(或过程)。 至少基于所实现的逻辑和/或算法， 过程控制系统120可以向构成过 程控制系统120的致动器设备(未示出)或其他类型的控制器设备(未示出)发送执行命令 说明书 3/21 页 7 CN 110889707 A 7 和/或设。

27、定点。 过程控制系统120还可以包括一个或多个人机界面(HMI； 未示出)， 其可以向 操作者呈现(视觉上或听觉上)实时状态或接近实时状态。 HMI还可以从运营商接收命令。 在 一些实施方式中， 过程控制系统120可以被实施为或可以包括分布式控制系统(DCS)或监控 和数据采集(SCADA)系统。 0025 工业设备110可以至少部分地基于工业设备110所属的工业类型具有限定的复杂 度(架构或其他)。 对于工业而言， 工业设备110的复杂性还可以至少基于工业设备110可以 实现的工业过程的类型。 在一些实施方式中， 工业设备110可以专用于制造业。 在其他实施 方式中， 工业设备110可以专用。

28、于汽车工业。 然而， 本公开在这方面不受限制， 并且本公开的 原理和实际元件可以应用于实现可以自动化的工业过程的任何工业设备。 0026 所示操作环境100包括一组相机， 包括相机1 1301、 相机2 1302、 相机N-1 130N-1 和相机N 130N。 如上所述， 本公开不限于固定相机， 并且另外地或作为替代地， 其他成像设 备(例如， 红外传感器设备、 光检测和测距(LIDAR)设备等)； 配备有成像设备的移动式无人 机器人(例如， 无人驾驶机)； 和/或收集环境信息的其他类型的监控设备(例如， 麦克风、 触 觉设备和/或其他传感设备)可以被包括在操作环境100中。 在一个实施方式。

29、中， 操作环境 100可以包括配备有成像传感器的移动无人机器人(图1中未示出)， 和/或麦克风可以穿过 容纳工业设备110的设施， 以在执行制造过程期间生成成像数据和/或音频数据。 这种机器 人可以自主地移动或者由过程控制系统120控制。 例如， 过程控制系统120可以在功能上无 线耦接到移动无人机器人以引导机器人的运动。 过程控制系统120可以利用或至少依赖于 过程逻辑(例如， 制造加工计划)来引导这种运动。 移动无人机器人还可以无线地耦接到追 踪和可跟踪性引擎140以提供成像数据和/或音频数据。 0027 在一些实施方式中， 该组相机可以生成指示由工业设备110进行的工业过程的执 行的至少。

30、一些部分的成像数据。 为此， 该组相机中的每个相机被定位在车间、 工厂、 仓库或 容纳工业设备110的其他设施的占地面积内的限定位置处。 例如， 相机1301-130N中的每一个 可以定位在组装线内的位置处， 硬件114的机器部署在该组装线上。 例如， 该组相机可以被 部署在组装点附近或组装点处， 其中在每个组装点中， 多个部件可以被组装成一个构成(或 中间)部件。 具体地， 相机可以位于组装点的入口区域附近， 或者位于组装点的出口区域附 近。 相机组中的相机的位置可以在某个组装点之前或之后。 0028 此外， 或在其他实施方式中， 音频感测设备(例如， 麦克风， 图1中未示出)可与相机 13。

31、01-130N组合部署， 以产生指示工业设备110所进行的工业过程的执行的至少一些部分的 音频段。 在某些情况下， 这样的音频段也可以被称为音频签名。 音频感测设备可部署在计划 工厂、 仓库或容纳工业设备110的其他类型设施的占地面积内的相应限定位置处。 至少一些 (或者， 在一些实施方式中， 每一个)音频感测设备可以与包括相机1301-130N的相机组放在 一起。 0029 当部件穿过包括硬件114的组装线时， 该组相机可以记录一批中的一些或所有部 件(例如， 材料112)。 照此， 这些相机中的一些可以将部件(并且在一些情况下， 一些构成组 件)的输入记录到组装点中。 当处理后的输出移出组。

32、装点时， 其他相机可以记录构成组件的 输出。 图2示出了根据本公开的方面的记录执行实例制造加工计划的视频片段的示意图 200。 如上所述， 其他监控设备(例如， 安装有传感设备的移动无人机器人； 麦克风； 触觉设 备； 其组合； 或类似的)可被包含于示意图200中以产生成像数据、 音频数据和/或指示制造 说明书 4/21 页 8 CN 110889707 A 8 加工计划的执行的其他类型的数据。 这种不同类型的数据的组合可以被称为监控信息。 制 造加工计划包括确定由原材料112形成成品116的方式的限定过程和规则。 更具体地， 相机 2201可以位于执行制造过程的第一步骤S1的第一机器(或包括。

33、第一机器的第一站S1)附近。 当部件1 2101和部件2 2102进入第一机器时， 相机2201可以产生部件1 2101和部件2 2102的 成像数据(例如， 数字图像帧的集合)。 相机2202 也可以位于第一机器附近。 相机2202可定位 成产生指示由第一机器从部件1 2101和部件2 2102形成的组成组件1 2301的成像数据。 相 机2202可以记录组件1 2301到第二机器(或包括第二机器的第二站S2)的行进。 0030 相机2203可以位于第二机器附近， 并且可以在部件3 2103和部件4 2104进入第二 机器时生成这些部件的成像数据。 另一相机2204可以位于第二机器附近， 并。

34、且可以生成由 第二机器从部件3 2103和部件4 2104形成的组成组件2 2302的成像数据。 当制造过程的自 动执行继续时， 相机2204可以记录部件2 2302到另一机器的移动。 0031 相机2205可以位于接收组成组件M-1 230M-1、 部件210Q-1和部件Q 210Q的机器(或包 括该机器的站SM)附近。 这样的机器可以执行产生成品240的作业。 位于机器出口附近的相 机2206可以生成成品240的成像数据。 0032 作为更具体的说明， 图3示出简化的汽车组装线的示意图， 其中执行组装汽车的过 程的两个阶段。 相机3101、 3102、 3103、 3104和3105可以定。

35、位在选定的位置以同步地记录该过 程的这些阶段的执行。 在一些实施方式中， 除了这些相机之一或多个之外， 或者作为这些相 机之一或多个的替代， 配备有相机和/或麦克风的移动无人机器人312可以经过(用单箭头 线表示)该组装线的至少一部分以在该汽车的组装过程中生成成像数据和/或音频数据。 这 种机器人可以自主地移动或者由过程控制系统(例如， 过程控制系统120)控制。 麦克风 3151、 3152、 3153和3154还可定位在其他选定位置处， 或在一些实施方式中， 此类麦克风可与 相应相机并置。 这种相机产生与以组装汽车的制造过程中的各种操作相对应的成像数据。 麦克风产生对应于至少一些这样的操作。

36、的音频数据。 更具体地， 该过程的第一阶段对应于 前轮的组装。 这种阶段可以在站3051中实现。 相机3101可以位于靠近站3051的第一位置， 以 记录站3051中的第一组件320的进入。 第二相机3104也可以放置在站3051附近， 以记录站 3051中的第一部件325(例如， 车轮)的进入。 在该过程的执行过程中， 车轮330可以安装到第 一组件320中的车轴组件(未示出)上。 第二组件340可以离开站3051。 因此， 放置在站3051附 近的相机3102可以记录站3051的输出。 0033 该方法的第二阶段是扰流器组件的组装。 站3052(或其中的机器)可以实现第二阶 段。 相机31。

37、02还可以靠近第二站3052， 并且可以记录第二站3052中的第二组件340的进入。 相 机3105也可以靠近站3052放置， 并且可以记录第二部分345(阻流器组件)在这样的站中的进 入。 由站3052执行第二阶段可以产生第三组件360(其可以是成品汽车)。 相机3103可以记录 站3052的输出。 0034 进一步参考图1， 工业设备110、 通信架构124、 过程控制系统120和相机1301-130N (以及， 在一些实施方式中， 其他成像传感器设备)构成其中实现工业过程的物理过程域。 如 图1所示， 操作环境100还包括数字副本域， 该数字副本域包括计算机实现的环境， 物理过程 域中的。

38、工业过程(例如， 整个生产周期)可以映射到该计算机实现的环境上。 数字副本域包 括并利用多种建模、 计算和人工智能(AI)技术， 这些技术可以单独地或组合地允许实现物 理工业过程的数字副本。 这种数字副本实施或构成物理工业过程的动态仿真模型。 说明书 5/21 页 9 CN 110889707 A 9 0035 高性能计算可准许或促进执行数字副本。 为此， 数字副本域可以包括计算系统， 该 计算系统可以接收工业过程的模型， 该模型可以由过程控制系统120自动化并且至少部分 地由工业设备110实现。 因此， 计算系统可以接收数据、 元数据和/或代码指令(其可以构成 库和/或其他类型的软件部件)，。

39、 所述数据、 元数据和/或代码指令可以允许在物理过程域中 模拟工业过程的限定方面。 计算系统可以执行数字副本。 0036 这种数字副本可以被称为 “数字双胞胎” ， 并且实施或构成物理过程的动态仿真模 型。 在一些实施方式中， 数字副本集成物理过程的物理中的至少一些； 控制物理过程的逻 辑； 物理过程的仿真模型。 数字副本可以使用或利用使用了基于机器学习方法的数据驱动 方法。 另外， 或在一些实施方式中， 数字副本可以基于工业过程的物理现象和这种过程的规 则来使用或利用模型驱动的方法。 因此， 在一些情况下， 通过结合物理工业过程的模型， 数 字副本可以几乎实时地与其物理副本同步。 数字副本还。

40、允许或便于在对应物理系统中实现 该状态之前仿真和评估该过程的状态。 数字双胞胎能够几乎连续地学习并且能够从多个源 更新其自身以改进其物理过程的实时表示。 0037 如所示出的， 数字副本域包括追踪和可跟踪性引擎140， 其可准许实现根据本公开 各方面的追踪和可跟踪性过程。 为此， 在一个方面中， 追踪和可跟踪性引擎140可从相应相 机(例如， 相机1301-130N)接收视频片段的集合。 如上所述， 视频片段记录允许由材料112形 成成品116的工业过程的执行。 在一些实施方式中， 如图4A中示出的框图400所示， 追踪和可 跟踪性引擎可以包括摄取模块410， 该摄取模块可接收指示由相机生成的。

41、视频片段的成像 信息。 例如， 对于相机1301-130N中的每一个， 摄取模块410可以接收指示由相应相机生成的 数字帧的第一信息。 这样的信息可以包括例如， 时间戳信息和/或表征数字帧的其他类型的 元数据(例如， 相机位置)。 0038 如图4A中的实施方式所示， 追踪和可跟踪性引擎140还可以包括同步模块420， 其 可以聚集由摄取模块410接收的成像信息。 因此， 在一个方面中， 同步模块420可以相对于由 工业设备110执行的制造加工计划的开始时刻而同步视频片段的集合。 另外， 在同步方面 中， 同步模块420还可处理成像信息以将接收的视频片段整理成制造加工计划的执行的单 个视频记录。

42、建立从原始部件形成成品的方式的限定程序和规则。 0039 进一步参考图1， 追踪和可跟踪性引擎140可以在一个或多个数据结构144(一般称 为视频片段144)内的一个或多个存储设备142中保留视频片段(如接收和同步的)。 此外， 追 踪和可跟踪性引擎140可在一个或多个存储器设备146中在一个或多个数据结构148内保持 一个或多个产品清单(一般称为加工清单148)。 产品加工清单(BOP)可包括例如， 由材料112 形成产品116的制造加工计划。 追踪和可跟踪性引擎140可以结合制造加工计划来分析同步 的视频片段。 照此， 可以获得与组装到成品116中的所有部件(或者， 在一些实施方式中， 至。

43、 少一些部件)相关的时间空间信息。 此外， 如这里所公开的， 追踪和可跟踪性引擎140还可以 执行人工推理。 在一些实施方式中， 人工推理利用来自视频片段的分析的语义感知信息和 制造过程的先验知识(例如， 规则)来生成表征制造加工计划的执行的声明。 0040 至少基于语义感知信息和推理， 追踪和可跟踪性引擎140可以为成品116生成数字 跟踪记录150。 可以重建数字跟踪记录150以精确地追踪和跟踪成品116的所有部件(或者， 在一些实施方式中， 至少一些部件)。 包含在数字跟踪记录150的生成中的追踪和可跟踪性 情报中没有一个依赖于传统昂贵且不灵活的安装和管理的物理标签(例如， RFID标签。

44、)和/ 说明书 6/21 页 10 CN 110889707 A 10 或条形码解决方案。 实际上， 数字跟踪记录150可以利用低成本相机和追踪和可跟踪性引擎 140， 该追踪和可跟踪性引擎可以是形成成品116的制造过程的数字双胞胎的一部分。 照此， 数字跟踪记录150可以被移植到数字副本域中的许多现有MES/PLM追踪和跟踪应用并在其 中使用。 0041 在成品116中识别出异常情况的情况下， 数字跟踪记录150可允许或促进根本原因 分析。 例如， 对数字跟踪记录150的分析允许或有助于识别制造过程执行中的错误点。 此外， 或者在某些情况下， 对数字跟踪记录150的分析可以允许识别导致成品1。

45、16出现故障的不适 当的过程和/或控制逻辑。 因此， 在一些方面， 可以发现和跟踪缺陷， 可以通过操作员界面 (SCADA、 HMI)可视化信息， 和/或可以确保整个生产过程符合现有的规定。 0042 更具体地， 在一些实施方式中， 如图4A所示， 追踪和可跟踪性引擎140可包括分析 模块430， 其可结合制造加工计划来分析同步视频片段的集合。 此外， 或者在一些实施方式 中， 分析模块430可以结合制造加工计划来分析音频段的集合。 例如， 分析模块430可执行语 义感知分析。 照此， 分析模块430可生成说明或其他类型的结论， 其对应于关于在指定时间 或在时间间隔内在所限定位置中存在限定对象。

46、的观察。 例如， 这种观察是概率性的， 并且对 应于指示一个或多个视频帧中的各个对象的第一特征和指示与视频帧相关联的位置的第 二特征。 在一个实例中， 这样的位置可以是生成视频帧的相机或成像传感器的位置。 在另一 实例中， 此位置可对应于从视频帧中的至少一者收集的位置。 在又一实例中， 所述位置可对 应于在执行制造加工计划期间产生音频段的麦克风或另一类型的环境音频感测设备的位 置。 0043 因此， 在一些实施方式中， 分析模块430可以包括感知模块432， 比如机器视觉模块 (未示出)， 其可以将与机器学习技术相关的一种或多种机器视觉技术应用于同步视频片段 的视频帧， 以生成视频帧的观察组。。

47、 本公开不限于使用机器视觉技术的图像处理和特征识 别。 在一些实施方式中， 感知模块432可以应用其他技术来识别限定声音或声音序列， 比如 人类话语或机器发起的声音。 分析模块430可应用多种机器学习技术， 其可依赖于对应于可 由工业设备110执行的制造加工计划的数字双胞胎的数据驱动模型。 感知模块432可以使用 或利用例如， 追踪和可跟踪性引擎140之一或多个存储设备内的一个或多个数据结构440 (一般称为过程逻辑440)中保留的信息。 这种信息的至少一部分可以指示或表示可以由工 业设备110执行的制造过程。 此外， 在一些实施方式中， 这种机器学习技术也可以保留在过 程逻辑440中。 00。

48、44 数字双胞胎的数据驱动模型可以通过使用或利用工业过程的历史输入数据、 历史 输出数据、 状态信息(例如， 数据、 元数据和/或信令)、 其组合等来生成， 以确定限定模型(例 如， 回归模型、 卷积网络、 生成式对抗网络等)的、 相对于目标函数求解限定优化问题的合适 参数组。 例如， 数据驱动模型可以被实施为或可以包括基于深度卷积神经网络的机器学习 模型。 因此， 分析模块430可以使用或利用深度卷积神经网络用于视频帧中的对象检测。 照 此， 由分析模块430(例如， 经由机器视觉模块)生成的观测结果可以是概率性的。 例如， 在限 定位置处， 机器视觉模块以85的可能性 “感知” 观察。 0。

49、045 此外， 或者在一些实施方式中， 分析模块430可以通过应用概率图形模型(PGM)推 理模块来消除冲突的观察的歧义， 该推理模块可以生成解决观察矛盾的推断。 类似地， 在遮 挡导致一系列视频帧上的观察不一致的场景中， PGM推理模块可以生成关于遮挡对象或其 说明书 7/21 页 11 CN 110889707 A 11 他类型的丢失信息的推断。 0046 分析模块430可使用实际时间线来实施制造加工计划以形成成品116和/或位置信 息， 以便产生对应于在限定时间(或时间段)和限定位置处的观察的说明。 说明也是概率性 的， 因为说明是基于观察的概率本质。 结果， 尤其是， 分析模块430可。

50、以生成语义数据流， 即， 对应于关于在指定时间或时间段在限定位置中存在限定对象的观察的限定说明的时间序 列。 0047 如上所述， 例如， 图1所示的操作环境100中的硬件114可以分布在工厂楼层上。 在 语义感知分析中， 工厂楼层的状态可被视为包含关于基本对象的动态说明或结论的黑板， 这些基本对象在包含最近过去至当前的时间间隔上或在限定的时间间隔(例如， 用于在包 括在硬件114中的限定机器处完成限定作业的处理时间)上为真。 0048 此外， 如上所述， 制造加工计划(或制造过程)包括限定处理对象的动态特性的操 作和规则。 这种计划可以构成分析模块430从表示用于处理对象(变换、 组装等)的。