离线混部作业的资源调度方法及服务器系统.pdf

《离线混部作业的资源调度方法及服务器系统.pdf》由会员分享，可在线阅读，更多相关《离线混部作业的资源调度方法及服务器系统.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911282169.X (22)申请日 2019.12.13 (71)申请人 深圳先进技术研究院 地址 518055 广东省深圳市南山区西丽大 学城学苑大道1068号 (72)发明人 叶可江陈文艳须成忠 (74)专利代理机构 深圳市科进知识产权代理事 务所(普通合伙) 44316 代理人 曹卫良 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 离线混部作业的资源调度方法及服务器系 统 (57)摘要 本发明提供一种离线混部作业的资源调度 方法，。

2、 包括： 监测服务器中负载的数据请求类型； 在监测到所述负载为离线型负载时， 采集所述离 线型负载在不同设置参数下的运行时间， 所述设 置参数包括输入数据量大小、 Map、 Reduce数据大 小、 迭代次数、 BatchSize大小等； 采用LWLR模型 对所述运行时间进行训练， 预测所述离线型负载 的运行时间； 根据预测的所述运行时间， 选择相 应的服务器资源对所述离线型负载进行处理。 考 虑了离线型负载在不同参数设置下的运行时间 的预测， 有效实现了服务器中负载资源的合理调 度， 在合理的资源配置和混部状态下， 缩短离线 应用的运行时间也能在一定程度上提升容器云 服务系统性能， 保证用户。

3、服务体验的质量。 权利要求书1页 说明书4页 附图2页 CN 111026553 A 2020.04.17 CN 111026553 A 1.一种离线混部作业的资源调度方法， 其特征在于， 所述方法包括： 监测服务器中负载的数据请求类型； 在监测到所述负载为离线型负载时， 采集所述离线型负载在不同设置参数下的运行时 间， 所述设置参数包括输入数据量大小、 Map、 Reduce数据大小、 迭代次数、 BatchSize大小 等； 采用LWLR模型对所述运行时间进行训练， 预测所述离线型负载的运行时间； 根据预测的所述运行时间， 选择相应的服务器资源对所述离线型负载进行处理。 2.如权利要求1所。

4、述的方法， 其特征在于， 所述监测服务器中负载的数据请求类型的步 骤包括： 监控运行在服务器中负载的数据读写请求和响应延迟需求； 根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型。 3.如权利要求2所述的方法， 其特征在于， 所述根据所述数据读写请求和响应延迟需求 判断所述负载的数据请求类型的步骤包括： 若所述负载的数据读写请求和响应延迟需求均小于相应的预设阈值， 则判定所述负载 为在线型负载， 否则判定所述负载为离线型负载。 4.如权利要求1所述的方法， 其特征在于， 所述采用LWLR模型对所述运行时间进行训 练， 预测所述离线型负载的运行时间的步骤之前， 所述方法还包括： 对所。

5、述离线型负载在不同设置参数下的运行时间进行预处理。 5.如权利要求1所述的方法， 其特征在于， 所述方法还包括： 在监测到所述负载为在线型负载时， 采集所述服务器中运行负载的历史资源利用率； 分析所述历史资源利用率的变化趋势； 根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测； 根据预测的资源利用率选择相应的服务器资源进行处理。 6.如权利要求5所述的方法， 其特征在于， 所述分析所述历史资源利用率的变化趋势的 步骤包括： 采用统计分析方法对所述历史资源利用率进行特征画像； 根据所述特征画像确定所述历史资源利用率的变化趋势。 7.如权利要求5所述的方法， 其特征在于， 所述变化趋势包。

6、括周期性变化趋势和非周期 性变化趋势， 所述根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测的步 骤包括： 若为周期性变化趋势， 则采用Prophet模型对所述历史资源利用率进行训练， 预测未来 时刻的资源利用率； 若为非周期性变化趋势， 则采用Seq2Seq模型对所述历史资源利用率进行训练， 预测未 来时刻的资源利用率。 8.一种服务器系统， 其特征在于， 所述服务器系统包括： 处理器； 以及 与所述处理器通信连接的存储器； 其中， 所述存储器存储有可读性指令， 所述可读性指令被所述处理器执行时实现如权利要求 1-7任一项所述的方法。 权利要求书 1/1 页 2 CN 111026。

7、553 A 2 离线混部作业的资源调度方法及服务器系统 技术领域 0001 本发明属于云计算和网络技术领域， 尤其涉及一种离线混部作业的资源调度方法 及服务器系统。 背景技术 0002 云计算服务和容器技术出现以来， 云服务器通常采用容器云作为降低成本和提高 效率的一种方式。 容器易于移植、 轻量级等特征大大简化了虚拟化的处理过程， 但由于容器 的隔离性较弱， 在离线服务混合部署时会产生将极大的干扰问题。 一方面， 用户的资源请求 非常频繁且多样化， 而现有的资源分配策略相对静态， 不能实时准确的获取负载的资源需 求量， 集群管理节点在进行资源分配时难以适应上层应用的动态资源需求的变化以及资源。

8、 使用的不均衡性， 从而降低了云集群的资源利用率； 另一方面， 基于容器的实时在线服务与 离线批处理作业的混合部署在一定程度上提升了容器云集群的性能， 但由于容器的弱隔离 性， 使得这种混部方式也造成了严重的资源碎片和资源抢占问题， 进一步增加了作业调度 的复杂性。 0003 因此， 如何解决容器云中混部负载的资源分配和作业调度问题非常关键。 发明内容 0004 本发明的目的在于提供一种离线混部作业的资源调度方法及服务器系统， 旨在解 决现有技术中无法合理分配服务器资源的技术问题。 0005 第一方面， 本发明提供了一种离线混部作业的资源调度方法， 包括： 0006 监测服务器中负载的数据请求。

9、类型； 0007 在监测到所述负载为离线型负载时， 采集所述离线型负载在不同设置参数下的运 行时间， 所述设置参数包括输入数据量大小、 Map、 Reduce数据大小、 迭代次数、 BatchSize大 小等； 0008 采用LWLR模型对所述运行时间进行训练， 预测所述离线型负载的运行时间； 0009 根据预测的所述运行时间， 选择相应的服务器资源对所述离线型负载进行处理。 0010 优选的， 所述监测服务器中负载的数据请求类型的步骤包括： 0011 监控运行在服务器中负载的数据读写请求和响应延迟需求； 0012 根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型。 0013 优选。

10、的， 所述根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类 型的步骤包括： 0014 若所述负载的数据读写请求和响应延迟需求均小于相应的预设阈值， 则判定所述 负载为在线型负载， 否则判定所述负载为离线型负载。 0015 优选的， 所述采用LWLR模型对所述运行时间进行训练， 预测所述离线型负载的运 行时间的步骤之前， 所述方法还包括： 0016 对所述离线型负载在不同设置参数下的运行时间进行预处理。 说明书 1/4 页 3 CN 111026553 A 3 0017 优选的， 所述方法还包括： 0018 在监测到所述负载为在线型负载时， 采集所述服务器中运行负载的历史资源利用 率；。

11、 0019 分析所述历史资源利用率的变化趋势； 0020 根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测； 0021 根据预测的资源利用率选择相应的服务器资源进行处理。 0022 优选的， 所述分析所述历史资源利用率的变化趋势的步骤包括： 0023 采用统计分析方法对所述历史资源利用率进行特征画像； 0024 根据所述特征画像确定所述历史资源利用率的变化趋势。 0025 优选的， 所述变化趋势包括周期性变化趋势和非周期性变化趋势， 所述根据所述 变化趋势选择相应模型对未来时刻的资源利用率进行预测的步骤包括： 0026 若为周期性变化趋势， 则采用Prophet模型对所述历史资源利用。

12、率进行训练， 预测 未来时刻的资源利用率； 0027 若为非周期性变化趋势， 则采用Seq2Seq模型对所述历史资源利用率进行训练， 预 测未来时刻的资源利用率。 0028 第二方面， 本发明提供了一种服务器系统， 包括： 0029 处理器； 以及 0030 与所述处理器通信连接的存储器； 其中， 0031 所述存储器存储有可读性指令， 所述可读性指令被所述处理器执行时实现如第一 方面所述的方法。 0032 第三方面， 本发明提供了一种计算机可读性存储介质， 其上存储有计算机程序， 所 述计算机程序在被执行时实现如第一方面的方法。 0033 由于考虑了离线型负载在不同参数设置下的运行时间的预测。

13、， 虽然离线型负载对 延迟要求不高， 但在合理的资源配置和混部状态下， 缩短离线应用的运行时间也能在一定 程度上提升容器云服务系统性能， 保证用户服务体验的质量。 附图说明 0034 图1是实施例一示出的离线混部作业的资源调度方法的实现流程图； 0035 图2为根据实施例一所示出的离线混部作业的资源调度方法的具体应用流程图。 具体实施方式 0036 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。 0037 以下结合具体实施例对本发明的具体实现进行详细描述：。

14、 0038 实施例一： 0039 图1是实施例一示出的离线混部作业的资源调度方法的实现流程图。 实施例一示 出的离线混部作业的资源调度方法适用于服务器系统中， 服务器系统中设置处理器， 以进 行离线混部作业时资源的合理调度。 为了便于说明， 仅示出了与本发明实施例相关的部分， 说明书 2/4 页 4 CN 111026553 A 4 详述如下： 0040 步骤S110， 监测服务器中负载的数据请求类型。 0041 步骤S120， 在监测到所述负载为离线型负载时， 采集所述离线型负载在不同设置 参数下的运行时间。 0042 步骤S130， 采用LWLR模型对所述运行时间进行训练， 预测所述离线型。

15、负载的运行 时间。 0043 步骤S140， 根据预测的所述运行时间， 选择相应的服务器资源对所述离线型负载 进行处理。 0044 数据请求类型包括在线型负载和离线型负载类型。 由于在线型负载和离线型负载 对服务器资源的需求不同， 因此， 通过预先检测服务器中负载的数据请求类型， 判断是在线 型负载还是离线型负载类型， 在根据具体的数据请求类型进行相应处理， 能够更有效提高 资源的利用率， 实现服务器资源的合理分配。 0045 在监测服务器中负载的数据请求类型时， 可监控运行在服务器中负载的数据读写 请求和响应延迟需求， 进而根据所述数据读写请求和响应延迟需求判断所述负载的数据请 求类型。 0。

16、046 具体的， 若所述负载的数据读写请求和响应延迟需求均小于相应的预设阈值， 则 判定所述负载为在线型负载， 否则判定所述负载为离线型负载。 0047 例如， 判断当前负载的数据读写请求q和响应延迟需求t， 若q小于给定阈值Q且t小 于给定阈值T， 则为在线型负载， 否则为离线型负载。 0048 不同设置参数包括输入数据量大小D， Map大小M， Reduce数据大小R， 迭代次数E， BatchSize大小B。 输入数据用x表示， 则 0049(i为第i条记录) 0050 则采集的不同参数的集合为Xx1 x2 xn； 运行时间是指离线型负载从发起请 求到获取最终结果的时间， 与不同参数对应。

17、的负载运行时间用集合Y表示， 则Yy1 y2 yn(n为记录条数)。 0051 在采用LWLR模型对所述运行时间进行训练之前， 还可对所述离线型负载在不同设 置参数下的运行时间进行预处理， 例如， 包括删除无效数据、 数据格式的转换等， 避免因无 效数据对训练过程的干扰而降低准确度， 以及采用统一格式进行数据的训练， 能够有效提 高处理效率。 0052 LWLR模型是一种对离散型数据进行回归预测的模型， 将处理后的数据输入到LWLR 模型进行多次训练后， 可作为后续进行离线型负载运行时间的预测模型。 0053 在监测到所述负载为在线型负载时， 采集所述服务器中运行负载的历史资源利用 率， 分析。

18、所述历史资源利用率的变化趋势， 根据所述变化趋势选择相应模型对未来时刻的 资源利用率进行预测， 根据预测的资源利用率选择相应的服务器资源进行处理。 0054 具体的， 在分析所述历史资源利用率的变化趋势时， 采用统计分析方法对所述历 说明书 3/4 页 5 CN 111026553 A 5 史资源利用率进行特征画像， 进而根据所述特征画像确定所述历史资源利用率的变化趋 势。 0055 通过特征画像， 对CPU利用率、 内存利用率、 磁盘IO大小、 网络带宽等时序数据进行 处理和可视化， 大大提高历史资源利用率变化趋势的分析效率。 0056 可选的， 所述变化趋势包括周期性变化趋势和非周期性变化。

19、趋势。 0057 在根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测时， 若为周 期性变化趋势， 则采用Prophet模型对所述历史资源利用率进行训练， 预测未来时刻的资源 利用率， 由于Prophet模型可以设置节假日、 特殊时段作为趋势突变点， 从而更能适应周期 性时序数据的预测； 若为非周期性变化趋势， 则采用Seq2Seq模型对所述历史资源利用率进 行训练， 预测未来时刻的资源利用率， 由于Seq2Seq模型可以通过修改模型参数， 因而更能 适应于具有短期突变点的负载资源预测。 0058 例如， 图2为根据实施例一所示出的离线混部作业的资源调度方法的具体应用流 程图。 005。

20、9 由于考虑了离线型负载在不同参数设置下的运行时间的预测， 虽然离线型负载对 延迟要求不高， 但在合理的资源配置和混部状态下， 缩短离线应用的运行时间也能在一定 程度上提升容器云服务系统性能， 保证用户服务体验的质量。 0060 实施例二： 0061 本发明实施例二提供了一种服务器系统， 该服务器系统可执行上述任一所示的离 线混部作业的资源调度方法的全部或者部分步骤。 该服务器系统包括： 0062 处理器； 以及 0063 与所述处理器通信连接的存储器； 其中， 0064 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一 个处理器执行， 以使所述至少一个处理器能够执行如。

21、上述任一示例性实施例所述的方法， 此处将不做详细阐述说明。 0065 在本实施例中， 还提供了一种存储介质， 该存储介质为计算机可读存储介质， 例如 可以为包括指令的临时性和非临时性计算机可读存储介质。 该存储介质例如包括指令的存 储器， 上述指令可由服务器系统的处理器执行以完成上述离线混部作业的资源调度方法。 0066 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保护范围之内。 说明书 4/4 页 6 CN 111026553 A 6 图1 说明书附图 1/2 页 7 CN 111026553 A 7 图2 说明书附图 2/2 页 8 CN 111026553 A 8 。