基于模型编排的多模型协作系统及方法.pdf

《基于模型编排的多模型协作系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于模型编排的多模型协作系统及方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010419296.6 (22)申请日 2020.05.18 (71)申请人 南京认知物联网研究院有限公司 地址 210001 江苏省南京市秦淮区永智路5 号南京白下高新技术产业园区科技创 业研发孵化综合楼 （五号楼） 419室 (72)发明人 刘鹤辉王黎明李国志滕华 (74)专利代理机构 广州润禾知识产权代理事务 所(普通合伙) 44446 代理人 林伟斌欧秋望 (51)Int.Cl. G06F 8/35(2018.01) G06N 20/00(2019.01) (54)。

2、发明名称 基于模型编排的多模型协作系统及方法 (57)摘要 本发明公开了基于模型编排的多模型协作 系统及方法， 其中系统包括第一客户端、 模型管 理后台和模型库： 模型库用于存储若干个标准化 模型； 第一客户端用于构建模型编排树节点， 并 将模型库中的标准化模型设在模型编排树节点 上以构建模型编排树， 将模型编排树节点上的标 准化模型绑定至图形处理器； 模型管理后台根据 模型编排树、 编排树节点上的标准化模型和模型 绑定的图形处理器生成模型调度关系表； 本发明 提供的系统中设有独立通用的模型调度引擎， 利 用模型编排树这一直观的编排方式， 本系统可应 用于多种利用模型进行计算的场景， 且本系统。

3、在 更新或替换模型时无需通过修改代码实现。 权利要求书2页 说明书7页 附图2页 CN 111752554 A 2020.10.09 CN 111752554 A 1.一种基于模型编排的多模型协作系统， 其特征在于， 所述系统包括模型库、 第一客户 端和模型管理后台： 所述模型库用于存储若干个标准化模型； 所述第一客户端用于构建模型编排树节点， 并将所述模型库所存储的所述标准化模型 设在所述模型编排树节点上以形成模型编排树； 所述第一客户端还用于将所述模型编排树节点上所设有的所述标准化模型绑定至图 形处理器， 以使所述标准化模型采用所绑定的所述图像处理器运行； 所述模型管理后台用于根据所述第一。

4、客户端所形成的所述模型编排树、 所述模型编排 树节点上所设有的所述标准化模型和所述标准化模型所绑定的所述图形处理器生成模型 调度关系表。 2.根据权利要求1所述的基于模型编排的多模型协作系统， 其特征在于， 所述系统还包 括第二客户端和模型调度引擎， 所述第二客户端还用于向所述模型调度引擎发送视觉检测任务； 所述模型调度引擎用于在接收到所述视觉检测任务之后， 根据所述模型管理后台所生 成的所述模型调度关系表， 从所述模型库中获取并调用所述标准化模型以执行所述视觉检 测任务， 并将所述视觉检测任务的执行结果返回至所述第二客户端。 3.根据权利要求2所述的基于模型编排的多模型协作系统， 其特征在于。

5、， 所述第二客户端用于向模型调度引擎发送视觉检测任务， 具体为： 所述第二客户端用 于向模型调度引擎发送视觉检测内容以及执行所述视觉检测内容所需调用的所述标准化 模型的模型ID； 所述模型调度引擎用于在接收到所述视觉检测任务之后， 根据所述模型管理后台所生 成的所述模型调度关系表， 从所述模型库中获取并调用所述标准化模型以执行所述视觉检 测任务， 具体为： 所述模型调度引擎用于在接收到所述视觉检测内容和所述模型ID之后， 根 据所述模型管理后台所生成的所述模型调度关系表， 从所述模型库中获取并调用所述模型 ID对应的所述标准化模型以执行所述视觉检测内容。 4.根据权利要求3所述的基于模型编排的。

6、多模型协作系统， 其特征在于， 所述模型库为 模型镜像仓库； 所述第一客户端还用于向所述模型管理后台上传若干个标准化模型； 所述模型管理后台还用于在接收到所述第一客户端上传的所述标准化模型之后， 生成 所述标准化模型的镜像文件， 将所述镜像文件存储至所述镜像仓库； 所述模型调度引擎用于根据所述模型管理后台所生成的所述模型调度关系表， 从所述 模型库中获取并调用所述模型ID对应的所述标准化模型以执行所述视觉检测内容， 具体 为： 所述模型调度引擎根据所述模型管理后台所生成的所述模型调度关系表， 从所述模型 镜像仓库中拉取并启动所述模型ID对应的所述标准化模型的镜像文件以执行所述视觉检 测内容。 。

7、5.根据权利要求4所述的基于模型编排的多模型协作系统， 其特征在于， 所述第一客户端还用于向所述模型管理后台上传所述镜像文件对应的运行测试任务； 所述模型管理后台还用于在接收到所述镜像文件对应的运行测试任务并且在生成所 述标准化模型的镜像文件之后， 启动所生成的所述镜像文件以执行所述运行测试任务， 并 权利要求书 1/2 页 2 CN 111752554 A 2 将所述运行测试任务的执行结果返回至所述第一客户端； 所第一述客户端还用于在接收到所述运行测试任务的执行结果之后， 根据所述运行测 试任务的执行结果判断所述镜像文件是否成功执行所述运行测试任务； 所述模型管理后台还用于当所述第一客户端判。

8、定所述镜像文件成功执行所述运行测 试任务时， 将所述镜像文件存储至所述模型镜像仓库。 6.根据权利要求4或5任一项所述的基于模型编排的多模型协作系统， 其特征在于， 所 述模型管理后台还用于在接收到所述第一客户端上传的所述标准化模型之后、 生成所述标 准化模型的镜像文件之前， 对接收到的所述标准化模型的接口进行Restful封装。 7.根据权利要求2、 3、 4、 5任一项所述的基于模型编排的多模型协作系统， 其特征在于， 所述第一客户端和所述第二客户端为同一客户端。 8.一种基于模型编排的多模型协作方法， 其特征在于， 应用于第一客户端， 步骤包括： 构建模型编排树节点， 并将模型库中的若干。

9、个标准化模型设在所述模型编排树节点上 以形成模型编排树； 所述标准化模型存储在所述模型库中； 将所述模型编排树节点上所设有的所述标准化模型绑定至图形处理器， 以使所述标准 化模型采用所绑定的所述图像处理器运行。 9.一种基于模型编排的多模型协作方法， 其特征在于， 应用于第二客户端， 步骤包括： 向模型调度引擎发送视觉检测任务， 以使所述模型调度引擎根据模型调度关系表从模 型库中获取并调用标准化模型以执行所述视觉检测任务； 所述模型调度关系表由模型管理后台根据第一客户端所形成的模型编排树、 所述第一 客户端在所述模型编排树的节点上所设的所述标准化模型， 以及所述第一客户端绑定于所 述标准化模型。

10、的图形处理器而生成； 所述标准化模型存储在所述模型库中， 所述标准化模 型采用所绑定的所述图像处理器运行； 接收所述模型调度引擎返回的所述视觉检测任务的执行结果。 10.一种基于模型编排的多模型协作方法， 其特征在于， 应用于模型调度引擎， 包括： 接收第二客户端发出的视觉检测任务； 获取模型调度关系表， 所述模型调度关系表由模型管理后台根据第一客户端形成的模 型编排树、 所述第一客户端设置在所述模型编排树的节点上的标准化模型， 以及所述第一 客户端绑定于所述标准化模型的图形处理器而生成， 所述标准化模型采用所绑定的所述图 像处理器运行， 所述标准化模型存储在模型库中； 根据所述模型调度关系表。

11、， 从所述模型库中获取并调用所述标准化模型以执行所述视 觉检测任务， 并将所述视觉检测任务的执行结果返回至所述第二客户端。 权利要求书 2/2 页 3 CN 111752554 A 3 基于模型编排的多模型协作系统及方法 技术领域 0001 本发明涉及工业智能领域， 更具体地， 涉及基于模型编排的多模型协作系统和方 法。 背景技术 0002 目前机器学习应用的开发过程基本都是准备数据， 选择模型， 调整优化模型， 最后 上线供外部应用调用。 通常都是基于竖井式的方法进行模型应用开发， 将基于场景的数据 输入输出处理、 模型调度逻辑、 模型算法、 算法执行框架等几个层面的技术以及代码逻辑强 绑定。

12、， 形成一个不可分割的完整模块， 从而导致整个应用场景的计算、 模型、 调度、 数据全部 都绑定在一起。 而这样的模型应用开发方案中， 存在着以下的缺陷： (1)基于业务场景建模的数据模型与图片数据、 算法糅合在一起， 导致业务建模一旦变 动， 算法的调度逻辑和算法本身也需要变动， 由此容易出错， 且开发效率低； (2)整个方案与特定的模型执行框架(caffee或者mmdection)绑定在一起， 升级改造难 度大， 成本高， 难以适应现有深度学习模型框架快速发展变化的技术背景； (3)整个方案的代码逻辑融合在一起， 一旦某个或某些模型需要更新， 则需要全部停 机， 无法实现模型的在线更新维护。

13、； (4)如涉及到多个模型一起参与计算的场景下， 通常是把多个模型合并到一起进行调 用， 或者是分开地逐一通过API进行不同模型的调用， 当需要部分更换模型时， 只能去修改 代码， 进行整体版本的迭代； (5)没有独立出来形成一个通用的模型调度引擎， 每拿到一个新的模型， 开发、 训练好 就直接集成使用， 需要更新或者替换的时候牵扯到代码很多地方， 效率低下， 同时每次在应 用到新的场景时， 整个方案都得从头到尾重新开发、 测试、 部署， 耗费人力和时间。 发明内容 0003 本发明旨在克服上述现有技术的至少一种缺陷， 提供基于模型编排的多模型协作 系统和方法， 用于解决现有模型集成使用后在调。

14、用和更替模型过程中带来不便和繁琐的问 题。 0004 本发明提供的技术方案为： 0005 一种基于模型编排的多模型协作系统， 所述系统包括第一客户端、 模型管理后台 和模型库： 0006 模型库用于存储若干个标准化模型； 所述第一客户端用于构建模型编排树节点， 并将模型库所存储的若干个标准化模型设在所述模型编排树节点上以形成模型编排树； 所 述第一客户端还用于将所有所述模型编排树节点上的若干个所述标准化模型绑定至图形 处理器， 以使若干个标准化模型采用所述图形处理器运行； 0007 模型管理后台根据第一客户端所形成的所述模型编排树、 所述模型编排树节点上 的所设有的所述标准化模型和所述标准化模。

15、型绑定的图形处理器生成模型调度关系表； 说明书 1/7 页 4 CN 111752554 A 4 0008 客户端利用模型编排树对模型库中的若干个标准化模型进行编排， 标准化模型指 已进行输入和输出格式标准化的模型。 客户端首先添加模型编排树节点， 节点之间有前后 顺序连接或并列连接， 客户端可在模型编排树节点上设置标准化模型， 通过模型编排树节 点间的关系编排标准化模型之间的执行关系， 如两个标准化模型所在的两个节点为前后顺 序关系， 则两个标准化模型的执行次序为前后顺序执行。 客户端在利用编排树对标准化模 型进行编排后， 需要将模型编排树上的标准化模型与图形处理器绑定， 以用于运行标准化 。

16、模型。 模型管理后台在客户端构建模型编排树后， 根据该模型编排树、 模型编排树节点上的 标准化模型以及模型所绑定的图形处理器生成模型调度关系表， 该表中包含了模型编排树 的树形结构， 模型编排树中每一个节点对应的标准化模型， 以及执行模型编排树时所需的 图形处理器。 0009 本发明提供的系统中所形成的模型调度关系表记录了模型树的编排信息， 因此可 被利用于后续对模型的调度。 当客户端需要更新现有的模型时， 只需要在模型库中更新该 标准化模型， 当客户端需要更改现有模型的调度顺序， 可直接更改模型编排树中的编排顺 序， 由此本系统可应用于多种利用模型进行计算的场景， 且本系统在更新或替换模型时。

17、无 需通过修改代码实现。 由于模型的输入和输出已标准化， 因此在更换模型后对应的调用代 码也无需更改。 再者， 本系统通过模型编排树编排的方式， 使客户端更加直观地控制标准化 模型的执行顺序， 且编排的结果通过编排树显示更加直截了当。 0010 进一步， 所述系统还包括第二客户端和模型调度引擎， 所述第二客户端用于向所 述模型调度引擎发送视觉检测任务； 0011 所述模型调度引擎用于在接收到所述视觉检测任务后， 根据所述模型管理后台所 生成的所述模型调度关系表， 从模型库中获取并调用所述标准化模型以执行所述视觉检测 任务， 并将所述视觉检测任务后的执行结果返回至第二客户端。 0012 第一客户。

18、端主要用于对标准化模型的编排， 使模型管理后台生成模型调度关系 表， 第二客户端主要用于在模型管理后台生成模型调度关系表后， 向模型调度引擎发送视 觉检测任务以调用标准化模型。 本系统中设有一个独立的模型调度引擎， 在接收到客户端 发出的视觉检测任务后， 获取模型管理后台的模型调度关系表， 按照该表中模型编排树的 树形结构， 即每个节点之间的排序关系， 调用对应节点上的标准化模型， 以完成第二客户端 发来的视觉检测任务， 在模型完成该任务后， 将结果返回至第二客户端。 0013 进一步， 第二客户端用于向模型调度引擎发送视觉检测任务， 具体为： 第二客户端 用于向模型调度引擎发送视觉检测内容以。

19、及执行所述视觉检测内容所需调用的标准化模 型的模型ID； 0014 模型调度引擎用于在接收到所述视觉检测内容之后， 根据模型管理后台所生成的 所述模型调度关系表， 从所述模型库中获取并调用所述标准化模型以执行所述视觉检测任 务， 具体为： 模型调度引擎用于在接收到所述视觉检测内容和所述模型ID之后， 根据模型管 理后台所生成的所述模型调度关系表， 从所述模型库中获取并调用所述模型ID对应的标准 化模型以执行所述视觉检测内容。 0015 第一客户端可在模型编排树节点上设置多于一个标准化模型， 在向模型调度引擎 发送视觉检测任务时， 如第二客户端需要调用的是模型编排树节点上的其中一个标准化模 型，。

20、 可以通过模型ID进行调用， 标准化模型在其初始化接口时已定义参数ID作为其模型ID， 说明书 2/7 页 5 CN 111752554 A 5 为该标准化模型的唯一标识。 0016 因此第二客户端在向模型调度引擎发送视觉检测任务时， 视觉检测任务包括视觉 检测内容和完成该视觉检测内容所需的标准化模型的模型ID， 模型调度引擎根据后台的模 型调度关系表获取模型编排树的树形结构后， 根据第二客户端发出的模型ID对应调用模型 编排树节点上的某一标准化模型。 0017 在多模型协作调度过程中， 常有根据不同输入调度不同模型的情况， 惯用的处理 方式是使用不同的模型编排， 每个模型编排对应一种情况， 。

21、通过在模型编排树节点上设置 多个标准化模型， 在实际调用的过程中可调用节点上的其中一个标准化模型， 可使一个模 型编排满足多种模型调用的场景。 0018 进一步， 所述模型库为模型镜像仓库； 所述第一客户端还用于向模型管理后台上 传若干个标准化模型； 模型管理后台还用于在接收到所述第一客户端上传的所述标准化模 型后， 生成所述标准化模型的镜像文件， 将所述镜像文件存储至所述镜像仓库； 0019 所述模型调度引擎用于根据所述模型管理后台所生成的所述模型调度关系表， 从 所述模型库中获取并调用所述模型ID对应的所述标准化模型以执行所述视觉检测内容， 具 体为： 所述模型调度引擎根据所述模型管理后台。

22、所生成的所述模型调度关系表， 从所述模 型镜像仓库中拉取并启动所述模型ID对应的所述标准化模型的镜像文件以执行所述视觉 检测内容。 0020 第一客户端还用于标准化模型在编排前的上传和准备， 第一客户端可向模型管理 后台上传已标准化的模型， 模型管理后台接收到标准化模型后， 将第一客户端上传的模型 打包为镜像文件， 并将其推送至镜像仓库， 利用镜像仓库进行模型的管理实现模型的共享， 同时将模型构建为容器镜像， 可降低模型的运维难度， 提高模型在任何端的部署效率， 且模 型的运行不受运行环境的影响。 由此， 模型调度引擎如需要调用标准化模型以完成视觉检 测任务， 需要通过在镜像仓库中调用模型， 。

23、通过拉取该模型的镜像文件至本地并将其启动， 即成功调用标准化模型。 0021 进一步， 所述第一客户端还用于向模型管理后台上传所述镜像文件对应的运行测 试任务； 0022 所述模型管理后台还用于在接收到所述镜像文件对应的运行测试任务并且生成 所述标准化模型的镜像文件之后， 启动所生成的所述镜像文件以执行所述运行测试任务， 并将所述运行测试任务的执行结果返回至所述第一客户端。 0023 所述第一客户端还用于在接收到所述运行测试任务的执行结果之后， 根据所述运 行测试任务的执行结果判断所述镜像文件是否成功执行所述运行测试任务； 0024 所述模型管理后台还用于当所述第一客户端判定所述镜像文件成功执。

24、行所述运 行测试任务时， 将所述镜像文件存储至所述模型镜像仓库。 0025 第一客户端在上传标准化模型后， 模型管理后台将该标准化模型打包为镜像文 件， 此时第一客户端需要测试上传的模型是否能够正常运行， 以保证镜像文件在后续调用 过程中不出现问题。 因此第一客户端需要向模型管理后台上传测试任务， 模型后台在接收 到测试任务后， 启动标准化模型的镜像文件以运行该模型， 该模型在完成测试任务后将输 出结果至客户端， 第一客户端判断该模型是否成功完成测试任务， 如是， 模型管理后台将该 镜像文件推送至镜像仓库， 如不是， 则镜像文件推送失败， 第一客户端可采取重新上传模型 说明书 3/7 页 6 。

25、CN 111752554 A 6 等措施解决。 0026 进一步， 所述模型管理后台还用于在接收到所述客户端上传的所述标准化模型之 后在生成所述标准化模型的镜像文件之前， 对接收到的所述标准化模型的接口进行 Restful封装。 模型管理后台负责对标准化模型的接口进行Restful封装， 使该标准化模型 可被远程调用， 实现标准化模型的服务化。 0027 进一步， 所述第一客户端和所述第二客户端为同一客户端。 由上述技术方案的描 述可见， 第一客户端主要用于标准化模型的上传、 测试和编排， 即主要用于标准化模型在被 调用前的准备工作， 而第二客户端主要用于上传模型测试任务以调用标准化模型， 即。

26、主要 用于标准化模型的调用工作； 当第二客户端在调用的过程中认为需要更替新模型或新模型 编排时， 可通过第一客户端进行重新上传和编排的工作， 因此作为优选方案， 两个客户端为 同一客户端时， 更方便用户高效调用和更替模型。 0028 本发明提供的技术方案还为： 0029 一种基于模型编排的多模型协作方法， 应用于第一客户端， 步骤包括： 构建模型编 排树节点， 并将模型库中的若干个标准化模型设在所述模型编排树节点上以形成模型编排 树； 将所述模型编排树节点上所设有的所述标准化模型绑定至图形处理器， 以使所述标准 化模型采用所绑定的所述图像处理器运行， 所述标准化模型存储在所述模型库中。 003。

27、0 本发明提供的技术方案还为： 0031 一种基于模型编排的多模型协作方法， 应用于第二客户端， 步骤包括： 0032 向模型调度引擎发送视觉检测任务， 以使所述模型调度引擎根据模型调度关系表 从模型库中获取并调用标准化模型以执行所述视觉检测任务， 所述模型调度关系表由模型 管理后台根据第一客户端所形成的模型编排树、 所述第一客户端在所述模型编排树的节点 上所设的所述标准化模型， 以及所述第一客户端绑定于所述标准化模型的图形处理器而生 成； 所述标准化模型存储在所述模型库中， 所述标准化模型采用所绑定的所述图像处理器 运行； 0033 接收所述模型调度引擎返回的所述视觉检测任务的执行结果。 0。

28、034 本发明提供的技术方案还为： 0035 一种基于模型编排的多模型协作方法， 应用于模型管理后台， 步骤包括： 根据第一 客户端构建的模型编排树、 所述第一客户端设置在所述模型编排树的节点上的标准化模型 和所述第一客户端绑定于所述标准化模型的图形处理器生成模型调度关系表， 以使模型调 度引擎在接收到第二客户端发出的视觉检测任务后， 根据所述模型调度关系表从模型库中 调用所述标准化模型以执行所述视觉检测任务， 并将所述视觉检测任务的执行结果返回至 所述第二客户端。 0036 所述模型编排树的节点由所述第一客户端构建， 所述标准化模型由所述第一客户 端设置在已构建的所述模型编排树的节点上， 所。

29、述模型编排树由已设置所述标准化模型的 所述模型编排树的节点形成， 所述标准化模型采用所绑定的所述图像处理器运行， 所述标 准化模型存储在所述模型库中。 0037 本发明提供的技术方案还为： 0038 一种基于模型编排的多模型协作方法， 应用于模型调度引擎， 步骤包括： 接收第二 客户端发出的视觉检测任务， 获取模型调度关系表， 所述模型调度关系表由模型管理后台 说明书 4/7 页 7 CN 111752554 A 7 根据第一客户端构建的模型编排树、 所述第一客户端设置在所述模型编排树的节点上的标 准化模型， 以及所述第一客户端绑定于所述标准化模型的图形处理器生成， 所述标准化模 型采用所绑定。

30、的所述图像处理器运行， 所述标准化模型存储在模型库中； 0039 根据所述模型调度关系表在模型库中获取并调用所述标准化模型以执行所述视 觉检测任务， 并将所述视觉检测任务后的执行结果返回至第二客户端。 0040 进一步， 接收第二客户端发出的视觉检测任务的步骤， 具体为： 接收第二客户端发 出的视觉检测内容以及需要完成所述视觉检测内容的标准化模型的模型ID； 0041 从模型库中获取并调用标准化模型以执行所述视觉检测任务， 具体为： 从模型库 中获取并调用所述模型ID对应的标准化模型以执行所述视觉检测内容。 0042 与现有技术相比， 本发明的有益效果为： 1)本发明中提供的基于模型编排的多模。

31、型协作系统中设有独立通用的模型调度引擎， 且模型管理后台、 模型库与模型调度引擎相互独立， 使客户端在需要更换或更新模型时不 需要通过修改整体程序的代码， 只需要向模型库直接更替模型， 或在模型编排树上直接修 改模型的调度顺序， 模型管理后台将根据更改处生成新的模型调度关系表， 模型调度引擎 只需根据关系表进行模型调度， 整个系统大大提高模型调度过程的效率； 2)本发明中利用模型编排树为用户提供的模型编排方式直观了当， 且操作简便； 3)本发明中对模型进行输入和输出的标准化， 使对不同模型调用时可利用相同的调用 代码， 并对模型接口进行Restful封装， 有利于模型的远程调用； 4)本发明对。

32、模型的管理采用镜像文件管理的方式， 将模型容器化有利于模型在调用时 能够直接在符合要求的环境下进行。 附图说明 0043 图1为本发明实施例1的系统结构示意图。 0044 图2为本发明中实施例1部件模型的结构示意图。 0045 图3为本发明中实施例1第一客户端上传标准化模型的流程示意图。 具体实施方式 0046 本发明附图仅用于示例性说明， 不能理解为对本发明的限制。 为了更好说明以下 实施例， 附图某些部件会有省略、 放大或缩小， 并不代表实际产品的尺寸； 对于本领域技术 人员来说， 附图中某些公知结构及其说明可能省略是可以理解的。 实施例1 0047 如图1所示， 本实施例提供一种基于模型。

33、编排的多模型协作系统， 所述系统包括第 一客户端1、 第二客户端2、 模型管理后台3、 模型库4和模型调度引擎5。 0048 第一客户端1用于构建模型编排树节点， 模型库4用于存储若干个标准化模型； 第 一客户端1用于将模型库4存储的若干个标准化模型设在模型编排树节点上以构建模型编 排树， 编排树节点之间有前后顺序连接或并列连接， 第一客户端1可在模型编排树节点上设 置标准化模型， 通过模型编排树节点间的关系编排标准化模型之间的执行关系， 如两个标 准化模型所在的两个节点为前后顺序关系， 则两个标准化模型的执行次序为前后顺序执 行。 优选地， 第一客户端1编排模型可为在图形化界面上进行模型的编。

34、排， 通过拖拽模型至 说明书 5/7 页 8 CN 111752554 A 8 模型编排树节点的方式对模型进行编排， 在界面上简单拖拽即可实现模型编排， 对于编排 者来说既直观清晰， 操作也十分简易便捷。 0049 第一客户端1还用于将所有模型编排树节点上的若干个所述标准化模型绑定至图 形处理器， 以使所述标准化模型采用所绑定的所述图像处理器运行； 0050 模型管理后台2根据第一客户端1构建的模型编排树、 所有模型编排树节点上的对 应标准化模型， 以及标准化模型绑定的图形处理器生成模型调度关系表。 0051 模型调度关系表中包含模型编排树的树形结构， 模型编排树中每个节点对应有的 标准化模型。

35、， 以及模型所绑定的图形处理器。 0052 在本实施例的系统中， 第二客户端2用于向模型调度引擎5发送视觉检测任务； 0053 模型调度引擎5用于在接收到所述视觉检测任务后， 根据模型管理后台3中的模型 调度关系表， 在模型库4中调用标准化模型执行该视觉检测任务， 调用的方式是按照模型调 度关系表中的模型编排树的树形结构， 顺序调用编排树上每一个节点对应的标准化模型。 在模型完成视觉检测任务之后， 模型调度引擎5用于将完成的结果返回至第二客户端2。 0054 作为可选方案， 本实施例中所提及的 “模型” 可为深度学习模型， 视觉检测任务可 为图片或影像等。 0055 在本实施例中所提及的标准化。

36、模型均为已对模型进行输入和输出标准化的模型， 对模型的初始化接口的输入和输出分别进行标准化规范， 以下仅对该标准化规范进行举例 说明， 但本实施例中提供的系统中模型的标准化的方式不应限制于以下的示例说明： 0056 模型初始化接口进行标准化规范， 可将模型的输入规范为： 任何一个模型的输入， 只需要一个参数为id， 表示模型id， 类型为long。 模型初始化接口用于提前将模型装载到 GPU 或者CPU中， 从而加快后续模型的检测速度。 可将模型的输出规范为： 任何一个模型的 输出， 输出格式为json类型， 均需要包括两个基本字段， msg， 表示模型初始化的结果； code， 表示初始化请。

37、求的响应状态返回值。 0057 视觉检测接口进行标准化规范， 可将模型的输入规范为： 任何一个模型的输入， 只 需要两个参数： data， 表示照片数据， 类型byte数组； id， 表示模型id， 类型long。 0058 可将模型的输出规范为： 任何一个模型的输出， 均需要包括两个基本字段， timestamp， 表示模型分析结束的时间戳； detections， 表示模型分类或者识别的结果。 对于 模型分类的 detections， 需要包括probableTypes分别对每个分类结果标注出confidence 和type； 而对于模型检测的detections， 则需要在probabl。

38、eTypes的基础上， 包括表示识别 对象位置的position。 0059 作为优选方案， 第一客户端1可在每一个模型编排树节点上设置一个部件模型， 如 图 2所示， 该部件模型包含至少一个标准化模型， 即模型编排树节点上设有至少一个标准 化模型， 部件模型为客户端1根据计算场景将特定的标准化模型组合而成。 0060 由此， 第一客户端1在向模型调度引擎5发送视觉检测任务时， 视觉检测任务中包 含了视觉检测内容和指定调用部件模型中标准化模型的模型ID， 因此第二客户端2在向模 型调度引擎5发送视觉检测任务时， 具体过程应为： 第二客户端2向模型调度引擎5发送视觉 检测内容， 以及需要完成所述。

39、视觉检测内容的标准化模型的模型ID。 模型ID为标准化模型 的唯一标识。 0061 模型调度引擎5在接收到该视觉检测内容和模型ID后， 对应调用模型库中的标准 说明书 6/7 页 9 CN 111752554 A 9 化模型， 具体调用的过程为： 获取模型调度关系表中模型编排树的树形结构， 按照该树形结 构顺序调用编排树节点上的部件模型， 由于每个节点上的部件模型中有至少一个标准化模 型， 因此模型调度引擎5根据第二客户端2发出的模型ID准确调用节点上的其中一个标准化 模型。 0062 引入部件模型的概念， 在每一个模型编排树节点上设置一个部件模型， 而部件模 型中含有至少一个标准化模型， 在。

40、调用时可选择其中一个标准化模型进行调用， 由此使一 种模型编排方式适用于更多的计算场景。 0063 作为优选方案， 模型库4可为一镜像仓库， 如图3所示， 第一客户端1还用于向模型 管理后台3上传若干个标准化模型； 优选地， 第一客户端1在上传标准化模型时可一并上传 模型对应的模型属性， 如模型类型、 模型版本号、 模型类别、 模型名称、 运行最低硬件需求、 模型检测的照片类型、 模型运行环境、 照片特征和检测分配结果等。 0064 当第一客户端1上传模型以及属性成功后， 模型管理后台3用于调用Docker命令将 第一客户端1上传的标准化模型以及对应的模型属性打包为镜像文件； 0065 在模型。

41、管理后台4成功保存模型并将其打包为镜像文件后， 第一客户端1向模型管 理后台3上传对应所述标准化模型的测试任务； 该测试任务用于检测模型上传后是否能够 正常运行。 0066 模型管理后台3在接收到对应所述标准化模型的测试任务之后， 启动该标准化模 型的镜像文件完成所述测试任务， 将所述测试任务的完成结果返回至第一客户端1； 0067 第一客户端1在接收到所述测试任务的完成结果之后， 根据结果判断所述标准化 模型是否成功完成所述测试任务； 模型管理后台3会根据第一客户端1所判定的结果确定是 否将所述镜像文件推送至镜像仓库： 如第一客户端1判定标准化模型成功完成所述测试任 务， 则模型管理后台2将。

42、所述镜像文件推送至镜像仓库； 反之， 模型管理后台2则不会将该镜 像文件推送， 第一客户端1可选择重新上传该模型。 0068 如模型镜像已成功推送至镜像仓库， 则模型调度引擎5在调用模型时， 具体为向模 型镜像仓库中拉取并启动对应的标准化模型， 且调用的顺序按照所述模型调度关系表中的 模型编排树的树形结构， 并需要根据第一客户端1发出的模型ID启动对应的标准化模型的 镜像文件， 以完成所述视觉检测任务， 最后将完成的结果返回至第一客户端1。 0069 利用镜像仓库进行模型的管理实现模型的共享， 同时将模型构建为容器镜像， 可 降低模型的运维难度， 提高模型在任何端的部署效率， 且模型的运行不受。

43、运行环境的影响。 0070 作为优选方案， 模型管理后台3还用于在调用Docker命令将第一客户端1上传的标 准化模型和模型属性打包为镜像文件之前， 对接收到的所标准化模型的接口进行Restful 封装。 模型管理后台3负责对标准化模型的接口进行Restful封装， 使该标准化模型可被远 程调用， 实现标准化模型的服务化。 0071 显然， 本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例， 而 并非是对本发明的具体实施方式的限定。 凡在本发明权利要求书的精神和原则之内所作的 任何修改、 等同替换和改进等， 均应包含在本发明权利要求的保护范围之内。 说明书 7/7 页 10 CN 111752554 A 10 图1 图2 说明书附图 1/2 页 11 CN 111752554 A 11 图3 说明书附图 2/2 页 12 CN 111752554 A 12 。