资源调度方法、装置及系统.pdf

《资源调度方法、装置及系统.pdf》由会员分享，可在线阅读，更多相关《资源调度方法、装置及系统.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010247515.7 (22)申请日 2020.03.31 (71)申请人 京东方科技集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 (72)发明人 王晓红 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 李娜 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06N 20/00(2019.01) (54)发明名称 一种资源调度方法、 装置及系统 (57)摘要 本发明提供了一。

2、种资源调度方法、 装置及系 统， 涉及计算机技术领域。 本发明通过接收客户 端发送的资源获取请求， 根据资源获取请求， 按 照预设的资源调度策略从资源管理列表中确定 目标服务器对应的第一标识以及目标服务器中 的目标GPU对应的第二标识， 将第一标识和第二 标识发送至客户端， 以使客户端根据第一标识和 第二标识， 启动目标服务器中的目标GPU执行客 户端发送的服务请求对应的应用服务。 当客户端 需要发起AI服务请求时， 首先要按照预设的资源 调度策略为该AI服务请求分配GPU， 提高每个GPU 的使用效率， 并且使得每个GPU能够高效、 可靠的 执行AI服务。 权利要求书2页 说明书11页 附图。

3、3页 CN 111400051 A 2020.07.10 CN 111400051 A 1.一种资源调度方法， 其特征在于， 包括： 接收客户端发送的资源获取请求； 根据所述资源获取请求， 按照预设的资源调度策略从资源管理列表中确定目标服务器 对应的第一标识以及所述目标服务器中的目标GPU对应的第二标识； 将所述第一标识和所述第二标识发送至所述客户端， 以使所述客户端根据所述第一标 识和所述第二标识， 启动所述目标服务器中的所述目标GPU执行所述客户端发送的服务请 求对应的应用服务。 2.根据权利要求1所述的方法， 其特征在于， 所述资源管理列表包括多个服务器对应的 服务器标识， 每个所述服务。

4、器中的多个GPU对应的GPU标识， 以及每个所述GPU的资源使用情 况， 所述资源使用情况包括执行的应用服务对应的服务类型和服务数量。 3.根据权利要求2所述的方法， 其特征在于， 所述资源获取请求包括目标服务类型； 所 述根据所述资源获取请求， 按照预设的资源调度策略从资源管理列表中确定目标服务器对 应的第一标识以及所述目标服务器中的目标GPU对应的第二标识的步骤， 包括： 确定所述资源管理列表中是否存在， 当前执行的应用服务对应的服务类型为所述目标 服务类型的GPU对应的GPU标识； 当存在时， 从执行所述目标服务类型的GPU对应的GPU标识中， 选取执行的服务数量最 少的GPU对应的GP。

5、U标识作为所述第二标识； 将所述第二标识对应的服务器标识， 确定为所述第一标识。 4.根据权利要求3所述的方法， 其特征在于， 在所述确定所述资源管理列表中是否存 在， 当前执行的应用服务对应的服务类型为所述目标服务类型的GPU对应的GPU标识的步骤 之后， 还包括： 当不存在时， 从所述资源管理列表中选取任意一个未执行应用服务的GPU对应的GPU标 识作为所述第二标识； 将所述第二标识对应的服务器标识， 确定为所述第一标识。 5.根据权利要求2所述的方法， 其特征在于， 在所述根据所述资源获取请求， 按照预设 的资源调度策略从资源管理列表中确定目标服务器对应的第一标识以及所述目标服务器 中的。

6、目标GPU对应的第二标识的步骤之前， 还包括： 接收服务器发送的每个GPU的资源使用情况； 根据所述资源使用情况， 更新所述资源管理列表。 6.根据权利要求5所述的方法， 其特征在于， 所述服务器包括监控代理模块； 所述接收 服务器发送的每个GPU的资源使用情况的步骤， 包括： 接收所述服务器中的所述监控代理模块在所述GPU的资源使用情况发生变更时发送的 所述GPU的资源使用情况； 其中， 所述监控代理模块实时监控每个所述GPU的资源使用情况。 7.根据权利要求6所述的方法， 其特征在于， 在所述接收服务器发送的每个GPU的资源 使用情况的步骤之前， 还包括： 接收所述服务器中的所述监控代理模。

7、块发送的所述多个服务器对应的服务器标识以 及每个所述服务器中的多个GPU对应的GPU标识； 根据所述服务器标识和所述GPU标识， 对所述服务器和所述GPU进行注册。 权利要求书 1/2 页 2 CN 111400051 A 2 8.一种资源调度装置， 其特征在于， 包括： 资源获取请求接收模块， 被配置为接收客户端发送的资源获取请求； 标识确定模块， 被配置为根据所述资源获取请求， 按照预设的资源调度策略从资源管 理列表中确定目标服务器对应的第一标识以及所述目标服务器中的目标GPU对应的第二标 识； 标识发送模块， 被配置为将所述第一标识和所述第二标识发送至所述客户端， 以使所 述客户端根据所。

8、述第一标识和所述第二标识， 启动所述目标服务器中的所述目标GPU执行 所述客户端发送的服务请求对应的应用服务。 9.一种资源调度系统， 其特征在于， 包括多个服务器以及如权利要求8所述的资源调度 装置； 所述服务器， 被配置为发送每个GPU的资源使用情况至所述资源调度装置。 10.根据权利要求9所述的系统， 其特征在于， 所述服务器包括监控代理模块和多个 GPU； 所述GPU， 被配置为执行客户端发送的服务请求对应的应用服务， 以及向所述客户端发 送执行完成所述应用服务后得到的执行结果； 所述监控代理模块， 被配置为实时监控每个所述GPU的资源使用情况， 以及在所述GPU 的资源使用情况发生变。

9、更时， 发送所述GPU的资源使用情况至所述资源调度装置； 所述监控代理模块， 还被配置为发送多个服务器对应的服务器标识以及每个所述服务 器中的多个GPU对应的GPU标识至所述资源调度装置。 权利要求书 2/2 页 3 CN 111400051 A 3 一种资源调度方法、 装置及系统 技术领域 0001 本发明涉及计算机技术领域， 特别是涉及一种资源调度方法、 装置及系统。 背景技术 0002 近年来， AI(Artificial Intelligence， 人工智能)技术得以快速发展和成熟， 逐 渐被应用到零售、 医疗、 教育等行业中， AI技术主要依赖于服务器中的CPU(Graphic Pr。

10、ocessing Unit， 图形处理器)作为执行AI服务的主要资源。 0003 目前， 是将GPU与具体的AI服务绑定， 当客户端发起AI服务请求时， 直接调动绑定 的GPU执行该AI服务请求对应的AI服务。 0004 但是， 目前绑定GPU与AI服务的方法， 当AI服务的种类较多时， 随着AI服务访问的 不均衡性， 将会导致访问量少的AI服务绑定的GPU的使用率低， 而访问量多的AI服务绑定的 GPU将会出现GPU资源不足的情况。 发明内容 0005 本发明提供一种资源调度方法、 装置及系统， 以解决现有的绑定GPU与AI服务的方 法， 会导致访问量少的AI服务绑定的GPU的使用率低， 而。

11、访问量多的AI服务绑定的GPU将会 出现GPU资源不足的问题。 0006 为了解决上述问题， 本发明公开了一种资源调度方法， 包括： 0007 接收客户端发送的资源获取请求； 0008 根据所述资源获取请求， 按照预设的资源调度策略从资源管理列表中确定目标服 务器对应的第一标识以及所述目标服务器中的目标GPU对应的第二标识； 0009 将所述第一标识和所述第二标识发送至所述客户端， 以使所述客户端根据所述第 一标识和所述第二标识， 启动所述目标服务器中的所述目标GPU执行所述客户端发送的服 务请求对应的应用服务。 0010 可选的， 所述资源管理列表包括多个服务器对应的服务器标识， 每个所述服。

12、务器 中的多个GPU对应的GPU标识， 以及每个所述GPU的资源使用情况， 所述资源使用情况包括执 行的应用服务对应的服务类型和服务数量。 0011 可选的， 所述资源获取请求包括目标服务类型； 所述根据所述资源获取请求， 按照 预设的资源调度策略从资源管理列表中确定目标服务器对应的第一标识以及所述目标服 务器中的目标GPU对应的第二标识的步骤， 包括： 0012 确定所述资源管理列表中是否存在， 当前执行的应用服务对应的服务类型为所述 目标服务类型的GPU对应的GPU标识； 0013 当存在时， 从执行所述目标服务类型的GPU对应的GPU标识中， 选取执行的服务数 量最少的GPU对应的GPU。

13、标识作为所述第二标识； 0014 将所述第二标识对应的服务器标识， 确定为所述第一标识。 0015 可选的， 在所述确定所述资源管理列表中是否存在， 当前执行的应用服务对应的 说明书 1/11 页 4 CN 111400051 A 4 服务类型为所述目标服务类型的GPU对应的GPU标识的步骤之后， 还包括： 0016 当不存在时， 从所述资源管理列表中选取任意一个未执行应用服务的GPU对应的 GPU标识作为所述第二标识； 0017 将所述第二标识对应的服务器标识， 确定为所述第一标识。 0018 可选的， 在所述根据所述资源获取请求， 按照预设的资源调度策略从资源管理列 表中确定目标服务器对应。

14、的第一标识以及所述目标服务器中的目标GPU对应的第二标识的 步骤之前， 还包括： 0019 接收服务器发送的每个GPU的资源使用情况； 0020 根据所述资源使用情况， 更新所述资源管理列表。 0021 可选的， 所述服务器包括监控代理模块； 所述接收服务器发送的每个GPU的资源使 用情况的步骤， 包括： 0022 接收所述服务器中的所述监控代理模块在所述GPU的资源使用情况发生变更时发 送的所述GPU的资源使用情况； 0023 其中， 所述监控代理模块实时监控每个所述GPU的资源使用情况。 0024 可选的， 在所述接收服务器发送的每个GPU的资源使用情况的步骤之前， 还包括： 0025 接。

15、收所述服务器中的所述监控代理模块发送的所述多个服务器对应的服务器标 识以及每个所述服务器中的多个GPU对应的GPU标识； 0026 根据所述服务器标识和所述GPU标识， 对所述服务器和所述GPU进行注册。 0027 为了解决上述问题， 本发明还公开了一种资源调度装置， 包括： 0028 资源获取请求接收模块， 被配置为接收客户端发送的资源获取请求； 0029 标识确定模块， 被配置为根据所述资源获取请求， 按照预设的资源调度策略从资 源管理列表中确定目标服务器对应的第一标识以及所述目标服务器中的目标GPU对应的第 二标识； 0030 标识发送模块， 被配置为将所述第一标识和所述第二标识发送至所。

16、述客户端， 以 使所述客户端根据所述第一标识和所述第二标识， 启动所述目标服务器中的所述目标GPU 执行所述客户端发送的服务请求对应的应用服务。 0031 可选的， 所述资源管理列表包括多个服务器对应的服务器标识， 每个所述服务器 中的多个GPU对应的GPU标识， 以及每个所述GPU的资源使用情况， 所述资源使用情况包括执 行的应用服务对应的服务类型和服务数量。 0032 可选的， 所述资源获取请求包括目标服务类型； 所述标识确定模块， 包括： 0033 GPU标识确定子模块， 被配置为确定所述资源管理列表中是否存在， 当前执行的应 用服务对应的服务类型为所述目标服务类型的GPU对应的GPU标。

17、识； 0034 第二标识第一确定子模块， 被配置为当存在时， 从执行所述目标服务类型的GPU对 应的GPU标识中， 选取执行的服务数量最少的GPU对应的GPU标识作为所述第二标识； 0035 第一标识第一确定子模块， 被配置为将所述第二标识对应的服务器标识， 确定为 所述第一标识。 0036 可选的， 所述资源调度装置， 还包括： 0037 第二标识第二确定子模块， 被配置为当不存在时， 从所述资源管理列表中选取任 意一个未执行应用服务的GPU对应的GPU标识作为所述第二标识； 说明书 2/11 页 5 CN 111400051 A 5 0038 第一标识第二确定子模块， 被配置为将所述第二标。

18、识对应的服务器标识， 确定为 所述第一标识。 0039 可选的， 所述资源调度装置， 还包括： 0040 资源使用情况接收模块， 被配置为接收服务器发送的每个GPU的资源使用情况； 0041 资源管理列表更新模块， 被配置为根据所述资源使用情况， 更新所述资源管理列 表。 0042 可选的， 所述服务器包括监控代理模块； 所述资源使用情况接收模块， 包括： 0043 资源使用情况接收子模块， 被配置为接收所述服务器中的所述监控代理模块在所 述GPU的资源使用情况发生变更时发送的所述GPU的资源使用情况； 0044 其中， 所述监控代理模块实时监控每个所述GPU的资源使用情况。 0045 可选的。

19、， 所述资源调度装置， 还包括： 0046 标识接收模块， 被配置为接收所述服务器中的所述监控代理模块发送的所述多个 服务器对应的服务器标识以及每个所述服务器中的多个GPU对应的GPU标识； 0047 注册模块， 被配置为根据所述服务器标识和所述GPU标识， 对所述服务器和所述 GPU进行注册。 0048 为了解决上述问题， 本发明还公开了一种资源调度系统， 包括多个服务器以及上 述的资源调度装置； 0049 所述服务器， 被配置为发送每个GPU的资源使用情况至所述资源调度装置。 0050 可选的， 所述服务器包括监控代理模块和多个GPU； 0051 所述GPU， 被配置为执行客户端发送的服务。

20、请求对应的应用服务， 以及向所述客户 端发送执行完成所述应用服务后得到的执行结果； 0052 所述监控代理模块， 被配置为实时监控每个所述GPU的资源使用情况， 以及在所述 GPU的资源使用情况发生变更时， 发送所述GPU的资源使用情况至所述资源调度装置； 0053 所述监控代理模块， 还被配置为发送多个服务器对应的服务器标识以及每个所述 服务器中的多个GPU对应的GPU标识至所述资源调度装置。 0054 为了解决上述问题， 本发明还公开了一种电子设备， 包括处理器、 存储器及存储在 所述存储器上并可在所述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行 时实现上述的资源调度方法的步。

21、骤。 0055 为了解决上述问题， 本发明还公开了一种计算机可读存储介质， 其上存储有计算 机程序， 所述计算机程序被处理器执行时实现上述的资源调度方法的步骤。 0056 与现有技术相比， 本发明包括以下优点： 0057 通过接收客户端发送的资源获取请求， 根据资源获取请求， 按照预设的资源调度 策略从资源管理列表中确定目标服务器对应的第一标识以及目标服务器中的目标GPU对应 的第二标识， 将第一标识和第二标识发送至客户端， 以使客户端根据第一标识和第二标识， 启动目标服务器中的目标GPU执行客户端发送的服务请求对应的应用服务。 当客户端需要 发起AI服务请求时， 首先要按照预设的资源调度策略。

22、为该AI服务请求分配GPU， 当AI服务的 种类较多时， 即使AI服务访问不均衡， 也会合理的为每个AI服务请求分配GPU， 避免因GPU与 AI服务绑定， 导致访问量少的AI服务绑定的GPU的使用率低， 而访问量多的AI服务绑定的 GPU将会出现GPU资源不足的情况， 提高每个GPU的使用效率， 并且使得每个GPU能够高效、 可 说明书 3/11 页 6 CN 111400051 A 6 靠的执行AI服务。 附图说明 0058 图1示出了本发明实施例的一种资源调度方法的流程图； 0059 图2示出了本发明实施例的一种资源调度方法的交互图； 0060 图3示出了本发明实施例的一种资源调度方法的。

23、具体流程图； 0061 图4示出了本发明实施例的一种资源调度装置的结构框图； 0062 图5示出了本发明实施例的一种资源调度系统的结构图。 具体实施方式 0063 为使本发明的上述目的、 特征和优点能够更加明显易懂， 下面结合附图和具体实 施方式对本发明作进一步详细的说明。 0064 实施例一 0065 参照图1， 示出了本发明实施例的一种资源调度方法的流程图， 具体可以包括如下 步骤： 0066 步骤101， 接收客户端发送的资源获取请求。 0067 在本发明实施例中， 用户在客户端中触发相应的应用服务， 如AI服务， 则客户端发 送资源获取请求至资源调度装置， 如图2所示， 资源调度装置接。

24、收客户端发送的资源获取请 求。 0068 需要说明的是， 本发明实施例中的客户端可以是浏览器， 例如电脑中的浏览器或 手机中的浏览器， 当然， 还可以是其他包括页面的应用， 本发明实施例不对其加以限制。 0069 步骤102， 根据所述资源获取请求， 按照预设的资源调度策略从资源管理列表中确 定目标服务器对应的第一标识以及所述目标服务器中的目标GPU对应的第二标识。 0070 在本发明实施例中， 预先在资源调度装置中存储有资源管理列表， 如图2所示， 资 源调度装置在接收到客户端发送的资源获取请求后， 根据资源获取请求， 按照预设的资源 调度策略从资源管理列表中确定目标服务器对应的第一标识以及。

25、目标服务器中的目标GPU 对应的第二标识， 也就是从资源管理列表中， 确定需要执行用户在客户端触发的应用服务 的服务器对应的服务器标识和GPU对应的GPU标识。 0071 其中， 资源管理列表包括多个服务器对应的服务器标识， 每个服务器中的多个GPU 对应的GPU标识， 以及每个GPU的资源使用情况， 资源使用情况包括执行的应用服务对应的 服务类型和服务数量。 资源管理列表具体如下表一所示： 说明书 4/11 页 7 CN 111400051 A 7 0072 0073 表一 0074 如上表一所示， 资源管理列表包括服务器标识A1和服务器标识A2， 每个服务器包 括多个GPU， 服务器标识A。

26、1对应的服务器包括3个GPU， 其对应的GPU标识分别为GPU标识A10、 GPU标识A11和GPU标识A12， 服务器标识A2对应的服务器包括3个GPU， 其对应的GPU标识分别 为GPU标识A20、 GPU标识A21和GPU标识A22。 当前在GPU标识A10对应的GPU上执行的应用服务 对应的服务类型为AI服务B1， 其对应的服务数量为1个； 当前在GPU标识A11对应的GPU上执 行的应用服务对应的服务类型为AI服务B2， 其对应的服务数量为2个； 当前在GPU标识A12对 应的GPU上执行的应用服务对应的服务数量为0个， 即GPU标识A12对应的GPU处于空闲状态； 当前在GPU标识。

27、A20对应的GPU上执行的应用服务对应的服务类型为AI服务B1， 其对应的服 务数量为2个； 当前在GPU标识A21对应的GPU上执行的应用服务对应的服务类型为AI服务 B3， 其对应的服务数量为2个； 当前在GPU标识A22对应的GPU上执行的应用服务对应的服务 数量为0个， 即GPU标识A22对应的GPU处于空闲状态。 0075 需要说明的是， 上表一仅示出了两个服务器组成的服务器集群对应的资源管理列 表， 在实际应用中， 服务器集群中的服务器数量不局限于两个， 还可以为10个、 20个等。 0076 此外， 本发明实施例中的每个GPU执行一种服务类型对应的应用服务， 以提高GPU 的运行。

28、效率， 并且， 每个GPU执行的应用服务对应的服务数量可以为多个。 0077 步骤103， 将所述第一标识和所述第二标识发送至所述客户端， 以使所述客户端根 据所述第一标识和所述第二标识， 启动所述目标服务器中的所述目标GPU执行所述客户端 发送的服务请求对应的应用服务。 0078 在本发明实施例中， 在确定了目标服务器对应的第一标识以及目标服务器中的目 标GPU对应的第二标识之后， 如图2所示， 将第一标识和第二标识发送至客户端， 客户端在接 收到第一标识和第二标识之后， 根据第一标识和第二标识向目标服务器中的目标GPU发送 服务请求。 0079 具体的， 客户端是基于URL(Uniform。

29、 Resource Locator， 统一资源定位符)向目标 服务器中的目标GPU发送服务请求的。 0080 如图2所示， 目标服务器中的目标GPU在接收到客户端发送的服务请求后， 执行客 户端发送的服务请求对应的应用服务， 并在执行完成客户端发送的服务请求对应的应用服 务之后， 向客户端发送执行完成应用服务后得到的执行结果。 0081 其中， 应用服务可以为AI服务， 是在GPU上利用GPU资源执行该AI服务的， AI服务通 说明书 5/11 页 8 CN 111400051 A 8 常为与图像处理相关的应用服务， 如图片识别、 图片拉伸等； 当然， 可以理解的是， 本发明实 施例中的应用服。

30、务不局限于AI服务， 在GPU上可以执行的应用服务都适用。 0082 在本发明一种可选的实施方式中， 在步骤102之前， 还包括步骤S11和步骤S12： 0083 步骤S11， 接收服务器发送的每个GPU的资源使用情况； 0084 步骤S12， 根据所述资源使用情况， 更新所述资源管理列表。 0085 由于本发明实施例是按照预设的资源调度策略从资源管理列表中确定目标服务 器对应的第一标识以及目标服务器中的目标GPU对应的第二标识， 因此， 在步骤102之前， 需 要预先确定资源管理列表。 0086 首先， 服务器将每个GPU的资源使用情况发送至资源调度装置， 资源调度装置在接 收到服务器发送的。

31、每个GPU的资源使用情况之后， 根据每个GPU的资源使用情况， 更新资源 调度装置中的资源管理列表。 0087 进一步的， 服务器包括监控代理模块， 步骤S11具体可以包括子步骤S111： 0088 子步骤S111， 接收所述服务器中的所述监控代理模块在所述GPU的资源使用情况 发生变更时发送的所述GPU的资源使用情况； 其中， 所述监控代理模块实时监控每个所述 GPU的资源使用情况。 0089 在本发明实施例中， 在服务器中设置监控代理模块， 服务器中的监控代理模块实 时监控每个GPU的资源使用情况， 当服务器中的监控代理模块监控到某个GPU的资源使用情 况发生变更时， 服务器中的监控代理模。

32、块将这个GPU的资源使用情况发送至资源调度装置， 则资源调度装置接收服务器中的监控代理模块在GPU的资源使用情况发生变更时发送的 GPU的资源使用情况， 资源调度装置根据这个GPU的资源使用情况更新资源管理列表。 0090 其中， GPU的资源使用情况发生变更具体指的是， GPU执行的应用服务对应的服务 数量增加或减小时的情况， 如GPU需要执行的应用服务对应的服务数量增加， 或者GPU执行 的某一应用服务结束。 0091 当GPU需要执行的应用服务对应的服务数量从N变为N+1时， GPU的资源使用情况发 生变化； 当GPU执行的某一应用服务结束时， GPU需要执行的应用服务对应的服务数量从M。

33、+1 变为M时， GPU的资源使用情况也发生变化。 0092 因此， 目标服务器中的目标GPU在接收到客户端发送的服务请求， 并执行客户端发 送的服务请求对应的应用服务时， 此时， 目标GPU需要执行的应用服务对应的服务数量增 加。 如图2所示， 由于服务器中的监控代理模块实时监控目标GPU的资源使用情况， 当监控代 理模块监控到目标GPU开始执行客户端发送的服务请求对应的应用服务时， 服务器中的监 控代理模块将目标GPU的资源使用情况发送至资源调度装置， 资源调度装置根据目标GPU的 资源使用情况， 更新资源管理列表。 0093 并且， 目标服务器中的目标GPU在执行完成客户端发送的服务请求。

34、对应的应用服 务， 并向客户端发送执行完成应用服务后得到的执行结果时， 此时， 目标GPU需要执行的应 用服务对应的服务数量减小。 如图2所示， 由于服务器中的监控代理模块实时监控目标GPU 的资源使用情况， 当监控代理模块监控到目标GPU执行完成客户端发送的服务请求对应的 应用服务时， 服务器中的监控代理模块将目标GPU的资源使用情况发送至资源调度装置， 资 源调度装置根据目标GPU的资源使用情况， 更新资源管理列表。 0094 例如， 如上表一所示， GPU标识A10对应的GPU为目标GPU， 当监控代理模块监控到目 说明书 6/11 页 9 CN 111400051 A 9 标GPU开始。

35、执行客户端发送的服务请求对应的应用服务时， 则确定目标GPU的资源使用情况 发生变化， 目标GPU执行的应用服务对应的服务数量增加了一个， 若资源管理列表中GPU标 识A10对应的GPU原本执行的应用服务对应的服务数量为1个， 则将资源管理列表中GPU标识 A10对应的GPU执行的应用服务对应的服务数量更新为2个； 当监控代理模块监控到目标GPU 执行完成客户端发送的服务请求对应的应用服务时， 则确定目标GPU的资源使用情况发生 变化， 目标GPU执行的应用服务对应的服务数量减少了一个， 若资源管理列表中GPU标识A10 对应的GPU原本执行的应用服务对应的服务数量为2个， 则将资源管理列表中。

36、GPU标识A10对 应的GPU执行的应用服务对应的服务数量更新为1个。 0095 通过在服务器中设置监控代理模块， 以监控该服务器中包括的所有GPU的资源使 用情况， 并在GPU的资源使用情况发生变更时， 发送GPU的资源使用情况至资源调度装置， 以 降低资源调度装置的运行复杂度， 提高资源调度装置的可靠性。 0096 若不在服务器中设置监控代理模块， 服务器也可以将所有GPU的资源使用情况发 送至资源调度装置， 但是， 由于服务器需要实时监控每个GPU的资源使用情况， 并将每个GPU 的资源使用情况都实时发送至资源调度装置， 使得资源调度装置需要处理的资源使用情况 的数据量大幅度增加， 则会。

37、导致资源调度装置的运行复杂。 因此， 通过在服务器中设置监控 代理模块， 可以降低资源调度装置的运行复杂度， 提高资源调度装置的可靠性。 0097 需要说明的是， 服务器中的监控代理模块还可以监控每个GPU的异常使用情况等。 0098 在步骤S11之前， 还包括步骤S13和步骤S14： 0099 步骤S13， 接收所述服务器中的所述监控代理模块发送的所述多个服务器对应的 服务器标识以及每个所述服务器中的多个GPU对应的GPU标识； 0100 步骤S14， 根据所述服务器标识和所述GPU标识， 对所述服务器和所述GPU进行注 册。 0101 为了实现资源调度装置可以采集每个GPU的资源使用情况，。

38、 服务器中的监控代理 模块需要获取多个服务器对应的服务器标识以及每个服务器中的多个GPU对应的GPU标识， 将每个服务器标识和每个GPU标识都发送至资源调度装置， 资源调度装置接收监控代理模 块发送的服务器标识和GPU标识， 根据该服务器标识和该GPU标识， 对每个服务器和每个GPU 进行注册， 以实现后续对每个GPU的资源使用情况的采集。 0102 在本发明实施例中， 当客户端需要发起AI服务请求时， 首先要按照预设的资源调 度策略为该AI服务请求分配GPU， 当AI服务的种类较多时， 即使AI服务访问不均衡， 也会合 理的为每个AI服务请求分配GPU， 避免因GPU与AI服务绑定， 导致访。

39、问量少的AI服务绑定的 GPU的使用率低， 而访问量多的AI服务绑定的GPU将会出现GPU资源不足的情况， 提高每个 GPU的使用效率， 并且使得每个GPU能够高效、 可靠的执行AI服务。 0103 实施例二 0104 参照图3， 示出了本发明实施例的一种资源调度方法的具体流程图， 具体可以包括 如下步骤： 0105 步骤301， 接收客户端发送的资源获取请求。 0106 此步骤与上述实施例一中的步骤101原理类似， 在此不在赘述。 0107 步骤302， 确定所述资源管理列表中是否存在， 当前执行的应用服务对应的服务类 型为所述目标服务类型的GPU对应的GPU标识。 说明书 7/11 页 1。

40、0 CN 111400051 A 10 0108 在本发明实施例中， 客户端发送的资源获取请求中包括需要执行的应用服务对应 的目标服务类型， 在接收到客户端发送的资源获取请求后， 判断资源管理列表中是否存在， 当前执行的应用服务对应的服务类型为目标服务类型的GPU对应的GPU标识， 也就是判断各 个GPU中当前执行的应用服务对应的服务类型是否包含目标服务类型。 0109 其中， 资源管理列表包括多个服务器对应的服务器标识， 每个服务器中的多个GPU 对应的GPU标识， 以及每个GPU的资源使用情况， 资源使用情况包括执行的应用服务对应的 服务类型和服务数量。 0110 例如， 目标服务类型为A。

41、I服务B1， 上表一中的GPU标识A10对应的GPU上执行的应用 服务对应的服务类型为目标服务类型， 上表一中的GPU标识A20对应的GPU上执行的应用服 务对应的服务类型也为目标服务类型， 即确定资源管理列表中存在当前执行的应用服务对 应的服务类型为目标服务类型的GPU对应的GPU标识， 其分别为GPU标识A10和GPU标识A20。 0111 步骤303， 当存在时， 从执行所述目标服务类型的GPU对应的GPU标识中， 选取执行 的服务数量最少的GPU对应的GPU标识作为所述第二标识。 0112 在本发明实施例中， 当资源管理列表中存在当前执行的应用服务对应的服务类型 为目标服务类型的GPU。

42、对应的GPU标识时， 从执行的目标服务类型的GPU对应的GPU标识中， 选取执行的服务数量最少的GPU对应的GPU标识， 并将执行的服务数量最少的GPU对应的GPU 标识确定为第二标识， 则执行的服务类型为目标服务类型， 且执行的服务数量最少的GPU为 目标GPU。 0113 例如， 目标服务类型为AI服务B1， 上表一中的GPU标识A10对应的GPU上执行的应用 服务对应的服务类型为目标服务类型， 上表一中的GPU标识A20对应的GPU上执行的应用服 务对应的服务类型也为目标服务类型， 并且， GPU标识A10对应的GPU上执行的应用服务对应 的服务数量为1个， GPU标识A20对应的GPU。

43、上执行的应用服务对应的服务数量为2个， 则将 GPU标识A10作为第二标识。 0114 步骤304， 当不存在时， 从所述资源管理列表中选取任意一个未执行应用服务的 GPU对应的GPU标识作为所述第二标识。 0115 在本发明实施例中， 资源管理列表中不存在当前执行的应用服务对应的服务类型 为目标服务类型的GPU对应的GPU标识时， 即服务器集群中的所有服务器中包括的GPU当前 都没有执行服务类型为目标服务类型的应用服务， 则从资源管理列表中选取任意一个未执 行应用服务的GPU对应的GPU标识作为第二标识， 则第二标识对应的GPU为目标GPU。 0116 例如， 目标服务类型为AI服务B4， 。

44、上表一中的各个GPU当前执行的应用服务对应的 服务类型分别为AI服务B1、 AI服务B2和AI服务B3， 则确定资源管理列表中不存在当前执行 的应用服务对应的服务类型为目标服务类型的GPU对应的GPU标识， 则任意选取一个未执行 应用服务的GPU对应的GPU标识作为第二标识， 如选取GPU标识A22作为第二标识， GPU标识 A22对应的GPU为目标GPU。 0117 步骤305， 将所述第二标识对应的服务器标识， 确定为所述第一标识。 0118 在本发明实施例中， 在步骤303或步骤304中确定了第二标识之后， 第二标识对应 的GPU为目标GPU， 将目标GPU所属的服务器确定为目标服务器，。

45、 然后将目标服务器对应的服 务器标识确定为第一标识， 即将第二标识对应的服务器标识确定为第一标识。 0119 例如， GPU标识A10为第二标识， 则第一标识为服务器标识A1； 若GPU标识A22为第二 说明书 8/11 页 11 CN 111400051 A 11 标识， 则第一标识为服务器标识A2。 0120 步骤306， 将所述第一标识和所述第二标识发送至所述客户端， 以使所述客户端根 据所述第一标识和所述第二标识， 启动所述目标服务器中的所述目标GPU执行所述客户端 发送的服务请求对应的应用服务。 0121 此步骤与上述实施例一中的步骤103原理类似， 在此不在赘述。 0122 在本发。

46、明实施例中， 当客户端需要发起AI服务请求时， 首先确定资源管理列表中 是否存在， 当前执行的应用服务对应的服务类型为目标服务类型的GPU对应的GPU标识， 当 存在时， 从执行目标服务类型的GPU对应的GPU标识中， 选取执行的服务数量最少的GPU对应 的GPU标识作为第二标识， 当不存在时， 从资源管理列表中选取任意一个未执行应用服务的 GPU对应的GPU标识作为第二标识， 然后再将第二标识对应的服务器标识确定为第一标识， 根据第一标识和第二标识为该AI服务请求分配GPU， 当AI服务的种类较多时， 即使AI服务访 问不均衡， 也会合理的为每个AI服务请求分配GPU， 避免因GPU与AI服。

47、务绑定， 导致访问量少 的AI服务绑定的GPU的使用率低， 而访问量多的AI服务绑定的GPU将会出现GPU资源不足的 情况， 提高每个GPU的使用效率， 并且使得每个GPU能够高效、 可靠的执行AI服务。 0123 实施例三 0124 参照图4， 示出了本发明实施例的一种资源调度装置的结构框图。 0125 该资源调度装置400包括： 0126 资源获取请求接收模块401， 被配置为接收客户端发送的资源获取请求； 0127 标识确定模块402， 被配置为根据所述资源获取请求， 按照预设的资源调度策略从 资源管理列表中确定目标服务器对应的第一标识以及所述目标服务器中的目标GPU对应的 第二标识； 。

48、0128 标识发送模块403， 被配置为将所述第一标识和所述第二标识发送至所述客户端， 以使所述客户端根据所述第一标识和所述第二标识， 启动所述目标服务器中的所述目标 GPU执行所述客户端发送的服务请求对应的应用服务。 0129 可选的， 所述资源管理列表包括多个服务器对应的服务器标识， 每个所述服务器 中的多个GPU对应的GPU标识， 以及每个所述GPU的资源使用情况， 所述资源使用情况包括执 行的应用服务对应的服务类型和服务数量。 0130 可选的， 所述资源获取请求包括目标服务类型； 所述标识确定模块402， 包括： 0131 GPU标识确定子模块， 被配置为确定所述资源管理列表中是否存。

49、在， 当前执行的应 用服务对应的服务类型为所述目标服务类型的GPU对应的GPU标识； 0132 第二标识第一确定子模块， 被配置为当存在时， 从执行所述目标服务类型的GPU对 应的GPU标识中， 选取执行的服务数量最少的GPU对应的GPU标识作为所述第二标识； 0133 第一标识第一确定子模块， 被配置为将所述第二标识对应的服务器标识， 确定为 所述第一标识。 0134 可选的， 所述资源调度装置400， 还包括： 0135 第二标识第二确定子模块， 被配置为当不存在时， 从所述资源管理列表中选取任 意一个未执行应用服务的GPU对应的GPU标识作为所述第二标识； 0136 第一标识第二确定子模。

50、块， 被配置为将所述第二标识对应的服务器标识， 确定为 所述第一标识。 说明书 9/11 页 12 CN 111400051 A 12 0137 可选的， 所述资源调度装置400， 还包括： 0138 资源使用情况接收模块， 被配置为接收服务器发送的每个GPU的资源使用情况； 0139 资源管理列表更新模块， 被配置为根据所述资源使用情况， 更新所述资源管理列 表。 0140 可选的， 所述服务器包括监控代理模块； 所述资源使用情况接收模块， 包括： 0141 资源使用情况接收子模块， 被配置为接收所述服务器中的所述监控代理模块在所 述GPU的资源使用情况发生变更时发送的所述GPU的资源使用情。