扩容方法、预测模型创建方法、装置、设备及介质.pdf
![扩容方法、预测模型创建方法、装置、设备及介质.pdf_第1页](https://img.zhuanlichaxun.net/fileroot5/2021-8/8/6062df14-3ff6-41f4-bd42-e3b21fe4eb01/6062df14-3ff6-41f4-bd42-e3b21fe4eb011.gif)
![扩容方法、预测模型创建方法、装置、设备及介质.pdf_第2页](https://img.zhuanlichaxun.net/fileroot5/2021-8/8/6062df14-3ff6-41f4-bd42-e3b21fe4eb01/6062df14-3ff6-41f4-bd42-e3b21fe4eb012.gif)
![扩容方法、预测模型创建方法、装置、设备及介质.pdf_第3页](https://img.zhuanlichaxun.net/fileroot5/2021-8/8/6062df14-3ff6-41f4-bd42-e3b21fe4eb01/6062df14-3ff6-41f4-bd42-e3b21fe4eb013.gif)
《扩容方法、预测模型创建方法、装置、设备及介质.pdf》由会员分享,可在线阅读,更多相关《扩容方法、预测模型创建方法、装置、设备及介质.pdf(19页完成版)》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910146524.4 (22)申请日 2019.02.27 (71)申请人 深信服科技股份有限公司 地址 518055 广东省深圳市南山区学苑大 道1001号南山智园A1栋一层 (72)发明人 崔晓飞 (74)专利代理机构 深圳市深佳知识产权代理事 务所(普通合伙) 44285 代理人 王仲凯 (51)Int.Cl. G06F 11/34(2006.01) G06N 20/00(2019.01) (54)发明名称 一种扩容方法、 预测模型创建方法、 装置、 设 备及介质 。
2、(57)摘要 本申请公开了一种扩容方法、 预测模型创建 方法、 装置、 设备及介质, 该扩容方法包括: 获取 第一预测模型; 其中, 第一预测模型为利用基于 存储系统的历史容量消耗量的时序数据构建的 训练样本, 对基于机器学习算法构建的待训练模 型进行训练后得到的; 利用第一预测模型, 预测 与容量消耗时长期望值对应的待扩充容量信息; 根据待扩充容量信息对存储系统进行相应的扩 容操作。 本申请是基于历史容量消耗量的时序数 据来训练上述基于机器学习算法的预测模型, 由 于历史容量消耗量的时序数据能够客观地反映 出容量消耗量的实际变化趋势, 从而使得利用上 述第一预测模型预测的待扩充容量信息更加符。
3、 合用户的日常实际容量需求, 提高了扩充容量的 预测准确度。 权利要求书3页 说明书11页 附图4页 CN 109885469 A 2019.06.14 CN 109885469 A 1.一种扩容方法, 其特征在于, 包括: 获取第一预测模型; 其中, 所述第一预测模型为利用基于存储系统的历史容量消耗量 的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模型进行训练后得到的; 利用所述第一预测模型, 预测与容量消耗时长期望值对应的待扩充容量信息; 根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。 2.根据权利要求1所述的扩容方法, 其特征在于, 所述获取第一预测模型之前, 还包。
4、括: 获取所述存储系统的历史容量消耗量的第一时序数据; 利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量, 构建第一训练 样本; 利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练, 得到所述第 一预测模型。 3.根据权利要求2所述的扩容方法, 其特征在于, 所述利用所述第一训练样本对基于机 器学习算法构建的待训练模型进行训练, 得到所述第一预测模型, 包括: 将所述第一训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第一训练样 本中的历史容量消耗量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型进行 训练, 得到所述第一预测模型。 4.根据权利要求2所。
5、述的扩容方法, 其特征在于, 所述利用所述第一训练样本对基于机 器学习算法构建的待训练模型进行训练, 得到所述第一预测模型, 包括: 将所述第一训练样本中的历史容量消耗量作为模型输入侧数据, 以及将所述第一训练 样本中的时间片段信息作为模型输出侧数据, 对基于机器学习算法构建的待训练模型进行 训练, 得到所述第一预测模型。 5.根据权利要求1至4任一项所述的扩容方法, 其特征在于, 所述预测与容量消耗时长 期望值对应的待扩充容量信息之后, 以及所述根据所述待扩充容量信息对所述存储系统进 行相应的扩容操作之前, 还包括: 获取第二预测模型; 其中, 所述第二预测模型为利用第二训练样本对基于机器学。
6、习算 法构建的待训练模型进行训练后得到的, 并且, 所述第二训练样本包括存储系统硬件信息、 历史扩充容量信息以及相应的扩容时长信息; 采集所述存储系统的当前硬件信息, 并将所述待扩充容量信息和所述当前硬件信息输 入至所述第二预测模型, 以得到所述第二预测模型输出的扩容时长预测值。 6.根据权利要求5所述的扩容方法, 其特征在于, 所述获取第二预测模型之前, 还包括: 获取所述第二训练样本; 将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数 据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数据, 对基于机器学习算法构 建的待训练模型进行训练, 得到所述第二预测模型。。
7、 7.根据权利要求5所述的扩容方法, 其特征在于, 所述根据所述待扩充容量信息对所述 存储系统进行相应的扩容操作之前, 还包括: 获取第三预测模型; 其中, 所述第三预测模型为利用基于所述存储系统的历史读写吞 吐量的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模型进行训练后得到 的; 权利要求书 1/3 页 2 CN 109885469 A 2 将扩容时间段期望值输入至所述第三预测模型, 得到所述第三预测模型输出的所述扩 容时间段期望值上的每一时间点的读写吞吐量预测值; 根据所述扩容时间段期望值和所述读写吞吐量预测值之间的对应关系, 创建相应的曲 线图; 从所述曲线图中选取出对应时。
8、间段的时长与所述扩容时长预测值相一致的, 并且与时 间轴之间所形成的面积最小的一个曲线段作为目标曲线段; 将所述目标曲线段对应的时间段确定为最佳扩容时间段。 8.根据权利要求7所述的扩容方法, 其特征在于, 所述获取第三预测模型之前, 还包括: 获取所述存储系统的历史读写吞吐量的第二时序数据; 利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量, 构建第三训练 样本; 将所述第三训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第三训练样 本中的历史读写吞吐量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型进行 训练, 得到所述第三预测模型。 9.根据权利要求7所述的扩。
9、容方法, 其特征在于, 所述根据所述待扩充容量信息对所述 存储系统进行相应的扩容操作, 包括: 根据所述待扩充容量信息和所述最佳扩容时间段, 对所述存储系统进行相应的扩容操 作。 10.一种预测模型创建方法, 其特征在于, 包括: 获取存储系统的历史容量消耗量的第一时序数据; 利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量, 构建第一训练 样本; 利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练, 得到第一预 测模型。 11.根据权利要求10所述的预测模型创建方法, 其特征在于, 还包括: 获取第二训练样本; 其中, 所述第二训练样本包括存储系统硬件信息、 历史扩充。
10、容量信 息以及相应的扩容时长信息; 将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数 据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数据, 对基于机器学习算法构 建的待训练模型进行训练, 得到第二预测模型。 12.根据权利要求11所述的预测模型创建方法, 其特征在于, 还包括: 获取所述存储系统的历史读写吞吐量的第二时序数据; 利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量, 构建第三训练 样本; 将所述第三训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第三训练样 本中的历史读写吞吐量作为模型输出侧数据, 对基于机器学习算法构建的待训练模。
11、型进行 训练, 得到第三预测模型。 13.一种扩容装置, 其特征在于, 包括: 第一模型获取模块, 用于获取第一预测模型; 其中, 所述第一预测模型为利用基于存储 权利要求书 2/3 页 3 CN 109885469 A 3 系统的历史容量消耗量的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模 型进行训练后得到的; 第一预测模块, 用于利用所述第一预测模型, 预测与容量消耗时长期望值对应的待扩 充容量信息; 扩容模块, 用于根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。 14.一种预测模型创建装置, 其特征在于, 包括: 第一数据获取模块, 用于获取存储系统的历史容量消耗。
12、量的第一时序数据; 第一样本构建模块, 用于利用所述第一时序数据中的时间片段信息以及相应的历史容 量消耗量, 构建第一训练样本; 第一模型训练模块, 用于利用所述第一训练样本对基于机器学习算法构建的待训练模 型进行训练, 得到第一预测模型。 15.一种扩容设备, 其特征在于, 包括: 存储器, 用于保存计算机程序; 处理器, 用于执行所述计算机程序, 以实现如权利要求1至9任一项所述的扩容方法。 16.一种预测模型创建设备, 其特征在于, 包括: 存储器, 用于保存计算机程序; 处理器, 用于执行所述计算机程序, 以实现如权利要求10至12任一项所述的预测模型 创建方法。 17.一种计算机可读。
13、存储介质, 其特征在于, 用于存储计算机程序; 其中, 所述计算机程 序被处理器执行时实现如权利要求1至9任一项所述的扩容方法。 18.一种计算机可读存储介质, 其特征在于, 用于存储计算机程序; 其中, 所述计算机程 序被处理器执行时实现如权利要求10至12任一项所述的预测模型创建方法。 权利要求书 3/3 页 4 CN 109885469 A 4 一种扩容方法、 预测模型创建方法、 装置、 设备及介质 技术领域 0001 本申请涉及存储技术领域, 特别涉及一种扩容方法、 预测模型创建方法、 装置、 设 备及介质。 背景技术 0002 当前, 对于一个存储产品来说, 随着时间的推移, 扩容是。
14、必不可少的。 但是需要扩 容多少, 才能保证满足后续几年甚至十几年的使用需求, 是一个比较难的问题。 现有常规的 做法是, 根据历史使用情况, 做一个大致的估计, 而估计方法也基本采用等比例估计法。 0003 然而, 通过上述等比例估计法确定出来的需扩充容量并非十分准确, 经常会出现 估计的需扩充容量明显过多或过少的问题。 发明内容 0004 有鉴于此, 本申请的目的在于提供一种扩容方法、 预测模型创建方法、 装置、 设备 及介质, 能够有效提高扩充容量的预测准确度。 其具体方案如下: 0005 第一方面, 本申请公开了一种扩容方法, 包括: 0006 获取第一预测模型; 其中, 所述第一预测。
15、模型为利用基于存储系统的历史容量消 耗量的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模型进行训练后得到 的; 0007 利用所述第一预测模型, 预测与容量消耗时长期望值对应的待扩充容量信息; 0008 根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。 0009 可选的, 所述获取第一预测模型之前, 还包括: 0010 获取所述存储系统的历史容量消耗量的第一时序数据; 0011 利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量, 构建第一 训练样本; 0012 利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练, 得到所 述第一预测模型。 0013 。
16、可选的, 所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行 训练, 得到所述第一预测模型, 包括: 0014 将所述第一训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第一训 练样本中的历史容量消耗量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型 进行训练, 得到所述第一预测模型。 0015 可选的, 所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行 训练, 得到所述第一预测模型, 包括: 0016 将所述第一训练样本中的历史容量消耗量作为模型输入侧数据, 以及将所述第一 训练样本中的时间片段信息作为模型输出侧数据, 对基于机器学习算法构建的待训练。
17、模型 进行训练, 得到所述第一预测模型。 说明书 1/11 页 5 CN 109885469 A 5 0017 可选的, 所述预测与容量消耗时长期望值对应的待扩充容量信息之后, 以及所述 根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前, 还包括: 0018 获取第二预测模型; 其中, 所述第二预测模型为利用第二训练样本对基于机器学 习算法构建的待训练模型进行训练后得到的, 并且, 所述第二训练样本包括存储系统硬件 信息、 历史扩充容量信息以及相应的扩容时长信息; 0019 采集所述存储系统的当前硬件信息, 并将所述待扩充容量信息和所述当前硬件信 息输入至所述第二预测模型, 以得到所。
18、述第二预测模型输出的扩容时长预测值。 0020 可选的, 所述获取第二预测模型之前, 还包括: 0021 获取所述第二训练样本; 0022 将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入 侧数据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数据, 对基于机器学习算 法构建的待训练模型进行训练, 得到所述第二预测模型。 0023 可选的, 所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之 前, 还包括: 0024 获取第三预测模型; 其中, 所述第三预测模型为利用基于所述存储系统的历史读 写吞吐量的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模。
19、型进行训练后 得到的; 0025 将扩容时间段期望值输入至所述第三预测模型, 得到所述第三预测模型输出的所 述扩容时间段期望值上的每一时间点的读写吞吐量预测值; 0026 根据所述扩容时间段期望值和所述读写吞吐量预测值之间的对应关系, 创建相应 的曲线图; 0027 从所述曲线图中选取出对应时间段的时长与所述扩容时长预测值相一致的, 并且 与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段; 0028 将所述目标曲线段对应的时间段确定为最佳扩容时间段。 0029 可选的, 所述获取第三预测模型之前, 还包括: 0030 获取所述存储系统的历史读写吞吐量的第二时序数据; 0031 利用所述第。
20、二时序数据中的时间片段信息以及相应的历史读写吞吐量, 构建第三 训练样本; 0032 将所述第三训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第三训 练样本中的历史读写吞吐量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型 进行训练, 得到所述第三预测模型。 0033 可选的, 所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作, 包 括: 0034 根据所述待扩充容量信息和所述最佳扩容时间段, 对所述存储系统进行相应的扩 容操作。 0035 第二方面, 本申请公开了一种预测模型创建方法, 包括: 0036 获取存储系统的历史容量消耗量的第一时序数据; 0037 利用。
21、所述第一时序数据中的时间片段信息以及相应的历史容量消耗量, 构建第一 训练样本; 说明书 2/11 页 6 CN 109885469 A 6 0038 利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练, 得到第 一预测模型。 0039 可选的, 所述预测模型创建方法, 还包括: 0040 获取第二训练样本; 其中, 所述第二训练样本包括存储系统硬件信息、 历史扩充容 量信息以及相应的扩容时长信息; 0041 将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入 侧数据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数据, 对基于机器学习算 法构建的待训练模型进。
22、行训练, 得到第二预测模型。 0042 可选的, 所述预测模型创建方法, 还包括: 0043 获取所述存储系统的历史读写吞吐量的第二时序数据; 0044 利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量, 构建第三 训练样本; 0045 将所述第三训练样本中的时间片段信息作为模型输入侧数据, 以及将所述第三训 练样本中的历史读写吞吐量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型 进行训练, 得到第三预测模型。 0046 第三方面, 本申请公开了一种扩容装置, 包括: 0047 第一模型获取模块, 用于获取第一预测模型; 其中, 所述第一预测模型为利用基于 存储系统的历史。
23、容量消耗量的时序数据构建的训练样本, 对基于机器学习算法构建的待训 练模型进行训练后得到的; 0048 第一预测模块, 用于利用所述第一预测模型, 预测与容量消耗时长期望值对应的 待扩充容量信息; 0049 扩容模块, 用于根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。 0050 第四方面, 本申请公开了一种预测模型创建装置, 包括: 0051 第一数据获取模块, 用于获取存储系统的历史容量消耗量的第一时序数据; 0052 第一样本构建模块, 用于利用所述第一时序数据中的时间片段信息以及相应的历 史容量消耗量, 构建第一训练样本; 0053 第一模型训练模块, 用于利用所述第一训练样。
24、本对基于机器学习算法构建的待训 练模型进行训练, 得到第一预测模型。 0054 第五方面, 本申请公开了一种扩容设备, 包括: 0055 存储器, 用于保存计算机程序; 0056 处理器, 用于执行所述计算机程序, 以实现前述公开的扩容方法。 0057 第六方面, 本申请公开了一种预测模型创建设备, 包括: 0058 存储器, 用于保存计算机程序; 0059 处理器, 用于执行所述计算机程序, 以实现前述公开的预测模型创建方法。 0060 第七方面, 本申请公开了一种计算机可读存储介质, 用于存储计算机程序; 其中, 所述计算机程序被处理器执行时实现前述公开的扩容方法。 0061 第八方面, 。
25、本申请公开了一种计算机可读存储介质, 用于存储计算机程序; 其中, 所述计算机程序被处理器执行时实现前述公开的预测模型创建方法。 0062 可见, 本申请先获取到第一预测模型, 其中, 上述第一预测模型为利用基于存储系 说明书 3/11 页 7 CN 109885469 A 7 统的历史容量消耗量的时序数据构建的训练样本进行机器学习训练之后得到的预测模型, 然后利用上述第一预测模型预测与容量消耗时长期望值对应的待扩充容量信息。 由此可 见, 本申请是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型 的, 由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化。
26、 趋势, 这种变化趋势通常是一种非线性的变化趋势, 相比于现有的基于简单的等比例线性 变化趋势进行估计的方式, 本申请由于能够在预测的过程中考虑了存储系统的容量消耗量 的实际非线性变化趋势, 所以使得利用上述第一预测模型预测的待扩充容量信息能够更加 符合用户的日常实际容量需求, 避免出现明显过多或过少的情况, 提高了扩充容量的预测 准确度。 附图说明 0063 为了更清楚地说明本申请实施例或现有技术中的技术方案, 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍, 显而易见地, 下面描述中的附图仅仅是本 申请的实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下, 还。
27、可以根据 提供的附图获得其他的附图。 0064 图1为本申请公开的一种扩容方法流程图; 0065 图2为本申请公开的一种扩容方法子流程图; 0066 图3为本申请公开的一种扩容方法子流程图; 0067 图4为本申请公开的一种扩容方法子流程图; 0068 图5为本申请公开的一种扩容方法子流程图; 0069 图6为本申请公开的一种扩容装置结构示意图; 0070 图7为本申请公开的一种扩容装置部分结构示意图; 0071 图8为本申请公开的一种扩容装置部分结构示意图; 0072 图9为本申请公开的一种扩容装置部分结构示意图; 0073 图10为本申请公开的一种扩容装置部分结构示意图; 0074 图11。
28、为本申请公开的一种扩容装置部分结构示意图。 具体实施方式 0075 下面将结合本申请实施例中的附图, 对本申请实施例中的技术方案进行清楚、 完 整地描述, 显然, 所描述的实施例仅仅是本申请一部分实施例, 而不是全部的实施例。 基于 本申请中的实施例, 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例, 都属于本申请保护的范围。 0076 当前, 对于一个存储产品来说, 需要扩容多少, 才能保证满足后续几年甚至十几年 的使用需求, 是一个比较难的问题。 现有常规的做法是采用等比例估计法。 然而, 通过上述 等比例估计法确定出来的需扩充容量并非十分准确, 经常会出现估计的需扩。
29、充容量明显过 多或过少的问题。 为此, 本申请提供了一种扩容方案, 能够使得预测的待扩充容量信息能够 更加符合用户的日常实际容量需求, 避免出现明显过多或过少的情况, 提高了扩充容量的 预测准确度。 0077 参见图1所示, 本申请实施例公开了一种扩容方法, 包括: 说明书 4/11 页 8 CN 109885469 A 8 0078 步骤S11: 获取第一预测模型; 其中, 所述第一预测模型为利用基于存储系统的历 史容量消耗量的时序数据构建的训练样本, 对基于机器学习算法构建的待训练模型进行训 练后得到的。 0079 可以理解的是, 在上述步骤S11之前, 已经预先将上述第一预测模型训练完毕。
30、, 后 续只需直接调用上述第一预测模型即可。 本实施例具体是基于存储系统的历史容量消耗量 的时序数据来训练上述第一预测模型的, 其中, 存储系统的历史容量消耗量的时序数据具 体是指存储系统的历史容量消耗量随着使用时长的变化情况, 能够客观地反映出存储系统 的容量消耗量的实际变化趋势, 例如, 存储系统在过去5年内的容量消耗量变化情况, 或存 储系统在过去10年内的容量消耗量变化情况等。 0080 本实施例中, 上述存储系统具体可以是基于存储集群的形式构建的存储系统。 另 外, 本实施例中的机器学习算法可以根据实际情况来进行选择, 在此不对其进行具体限定。 0081 步骤S12: 利用所述第一预。
31、测模型, 预测与容量消耗时长期望值对应的待扩充容量 信息。 0082 步骤S13: 根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。 0083 由此可见, 本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器 学习算法的预测模型的, 由于历史容量消耗量的时序数据能够客观地反映出存储系统的容 量消耗量的实际变化趋势, 这种变化趋势通常是一种非线性的变化趋势, 相比于现有的基 于简单的等比例线性变化趋势进行估计的方式, 本申请实施例由于能够在预测的过程中考 虑了存储系统的容量消耗量的实际非线性变化趋势, 所以使得利用上述第一预测模型预测 的待扩充容量信息能够更加符合用户的日常实际容。
32、量需求, 避免出现明显过多或过少的情 况, 提高了扩充容量的预测准确度, 从而具备更高的可靠性。 0084 在前述实施例的基础上, 本申请实施例对技术方案进行进一步的说明和优化。 具 体的: 0085 参见图2所示, 所述获取第一预测模型之前, 还包括: 0086 步骤S21: 获取所述存储系统的历史容量消耗量的第一时序数据。 0087 可以理解的是, 上述步骤S21中, 可以获取存储系统在不同的容量消耗时间段内的 历史容量消耗量的第一时序数据, 相应地得到多组第一时序数据。 其中, 上述不同的容量消 耗时间段之间可以相互重叠, 当然也可以不重叠, 并且, 通过上述步骤S21得到的第一时序 数。
33、据的组数越大, 也有利于提高第一预测模型的预测准确度。 0088 本实施例中, 上述第一时序数据具体可以用diamond、 zabbix等开源工具来获取, 也可以直接利用iostat来采集, 另外, 对于CEPH等软件定义存储系统, 也可以直接从对应软 件中获取。 0089 步骤S22: 利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量, 构建第一训练样本。 0090 需要指出的是, 上述第一时序数据中的时间片段可以与上述第一时序数据对应的 时间段相同, 也可以是上述第一时序数据对应的时间段的随机节选片段。 0091 步骤S23: 利用所述第一训练样本对基于机器学习算法构建的待训练。
34、模型进行训 练, 得到所述第一预测模型。 0092 在第一种具体实施方式中, 所述利用所述第一训练样本对基于机器学习算法构建 说明书 5/11 页 9 CN 109885469 A 9 的待训练模型进行训练, 得到所述第一预测模型, 具体可以包括: 将所述第一训练样本中的 时间片段信息作为模型输入侧数据, 以及将所述第一训练样本中的历史容量消耗量作为模 型输出侧数据, 对基于机器学习算法构建的待训练模型进行训练, 得到所述第一预测模型。 0093 可以理解的是, 通过上述第一种具体实施方式得到的第一预测模型, 在实际预测 应用时, 向该第一预测模型输入的信息是时间信息, 该第一预测模型输出的则。
35、是容量信息。 0094 在第二种具体实施方式中, 所述利用所述第一训练样本对基于机器学习算法构建 的待训练模型进行训练, 得到所述第一预测模型, 具体可以包括: 将所述第一训练样本中的 历史容量消耗量作为模型输入侧数据, 以及将所述第一训练样本中的时间片段信息作为模 型输出侧数据, 对基于机器学习算法构建的待训练模型进行训练, 得到所述第一预测模型。 0095 可以理解的是, 通过上述第二种具体实施方式得到的第一预测模型, 在实际预测 应用时, 向该第一预测模型输入的信息是容量信息, 该第一预测模型输出的则是时间信息。 0096 进一步的, 本实施例中, 所述预测与容量消耗时长期望值对应的待扩。
36、充容量信息 之后, 以及所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前, 还可 以包括: 0097 获取第二预测模型; 其中, 所述第二预测模型为利用第二训练样本对基于机器学 习算法构建的待训练模型进行训练后得到的, 并且, 所述第二训练样本包括存储系统硬件 信息、 历史扩充容量信息以及相应的扩容时长信息; 0098 采集所述存储系统的当前硬件信息, 并将所述待扩充容量信息和所述当前硬件信 息输入至所述第二预测模型, 以得到所述第二预测模型输出的扩容时长预测值。 0099 需要指出的是, 本实施例中的上述待扩充容量信息具体可以通过容量数值大小来 直接表示, 也可以通过磁盘数量或。
37、其他存储节点的数量来间接表示。 0100 参见图3所示, 所述获取第二预测模型之前, 还可以包括: 0101 步骤S31: 获取第二训练样本; 其中, 所述第二训练样本包括存储系统硬件信息、 历 史扩充容量信息以及相应的扩容时长信息。 0102 本实施例中, 所述存储系统硬件信息具体可以包括硬件参数信息和集群规模信 息。 其中, 硬件参数信息的获取过程具体可以包括通过现有开源方法、 工具或直接读取系统 配置文件的方式, 来获取CPU、 内存、 网口、 硬盘等对象的详细参数信息。 集群规模信息的获 取过程具体可以通过存储产品提供的接口来进行获取, 以确定存储集群中存储节点的构成 信息。 0103。
38、 步骤S32: 将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为 模型输入侧数据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数据, 对基于机 器学习算法构建的待训练模型进行训练, 得到所述第二预测模型。 0104 需要指出的是, 上述步骤S32中的机器学习算法可以根据实际情况进行选择, 在此 不对其进行限定。 0105 进一步的, 参见图4所示, 本实施例中, 所述根据所述待扩充容量信息对所述存储 系统进行相应的扩容操作之前, 还可以包括: 0106 步骤S41: 获取第三预测模型; 其中, 所述第三预测模型为利用基于所述存储系统 的历史读写吞吐量的时序数据构建的训练样本,。
39、 对基于机器学习算法构建的待训练模型进 行训练后得到的。 说明书 6/11 页 10 CN 109885469 A 10 0107 可以理解的是, 本实施例中所述存储系统的历史读写吞吐量的时序数据具体是指 存储系统的历史读写吞吐量随时间的变化情况, 能够客观地反映出读写吞吐量的实际变化 趋势, 例如, 存储系统在每天下午5点至晚上12点之间的读写吞吐量变化情况, 或存储系统 在每周周末的读写吞吐量变化情况等。 0108 步骤S42: 将扩容时间段期望值输入至所述第三预测模型, 得到所述第三预测模型 输出的所述扩容时间段期望值上的每一时间点的读写吞吐量预测值。 0109 步骤S43: 根据所述扩。
40、容时间段期望值和所述读写吞吐量预测值之间的对应关系, 创建相应的曲线图。 0110 步骤S44: 从所述曲线图中选取出对应时间段的时长与所述扩容时长预测值相一 致的, 并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段。 0111 可以理解的是, 本实施例之所以要选取与时间轴之间所形成的面积最小的一个曲 线段作为目标曲线段, 目的是在于为了尽量确保相应时间段内的读写吞吐量处于较低水 平, 从而降低了后续扩容操作对正常的读写业务所产生的干扰影响。 0112 进一步的, 本实施例还可以基于上述目标曲线段与时间轴之间所形成的面积, 估 算出后续扩容操作对正常的读写操作所产生的干扰影响程度, 。
41、并可以对上述干扰影响程度 进行输出, 以便用户进行查看。 0113 步骤S45: 将所述目标曲线段对应的时间段确定为最佳扩容时间段。 0114 本实施例中的上述扩容时间段确定方式, 相对于现有的基于业务侧工程师的个人 经验来确定扩容时间段的方式, 具有更高的准确度和稳定性。 0115 本实施例中, 在得到上述最佳扩容时间段之后, 可以将上述最佳扩容时间段在上 述曲线图中标注出来。 0116 可以理解的是, 本实施例中, 上述扩容时间段期望值具体可以由用户进行设定, 例 如可以设为当天晚上8点至次日凌晨4点, 并假设扩容时长预测值为3小时, 则可以将上述扩 容时间段期望值输入至上述第三预测模型,。
42、 以得到所述第三预测模型输出的当天晚上8点 至次日凌晨4点之间的每一时间点的读写吞吐量预测值, 然后根据所述扩容时间段期望值 和读写吞吐量预测值之间的对应关系, 创建相应的曲线图, 并从上述曲线图中选取出对应 时间段的时长为3小时的, 并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲 线段, 进而将所述目标曲线段对应的时间段确定为最佳扩容时间段。 0117 进一步的, 所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作, 具体可以包括: 根据所述待扩充容量信息和所述最佳扩容时间段, 对所述存储系统进行相 应的扩容操作。 这样可以使得能够在最佳的扩容时间段内将存储系统的容量扩充至合。
43、适水 平。 0118 参见图5所示, 所述获取第三预测模型之前, 还可以包括: 0119 步骤S51: 获取所述存储系统的历史读写吞吐量的第二时序数据。 0120 本实施例中, 上述第二时序数据具体可以用diamond、 zabbix等开源工具来获取, 也可以直接利用iostat来采集, 另外, 对于CEPH等软件定义存储系统, 也可以直接从对应软 件中获取。 0121 步骤S52: 利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量, 构建第三训练样本。 说明书 7/11 页 11 CN 109885469 A 11 0122 需要指出的是, 上述第二时序数据中的时间片段可以与上述。
44、第二时序数据对应的 时间段相同, 也可以是上述第二时序数据对应的时间段的随机节选片段。 0123 步骤S53: 将所述第三训练样本中的时间片段信息作为模型输入侧数据, 以及将所 述第三训练样本中的历史读写吞吐量作为模型输出侧数据, 对基于机器学习算法构建的待 训练模型进行训练, 得到所述第三预测模型。 0124 另外, 上述步骤S53中的机器学习算法可以根据实际情况来进行选择, 在此不对其 进行具体限定。 0125 另外, 本申请实施例还公开了一种预测模型创建方法, 包括: 0126 获取存储系统的历史容量消耗量的第一时序数据; 利用所述第一时序数据中的时 间片段信息以及相应的历史容量消耗量,。
45、 构建第一训练样本; 利用所述第一训练样本对基 于机器学习算法构建的待训练模型进行训练, 得到第一预测模型。 0127 由此可见, 本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器 学习算法的预测模型的, 由于历史容量消耗量的时序数据能够客观地反映出存储系统的容 量消耗量的实际变化趋势, 这种变化趋势通常是一种非线性的变化趋势, 相比于现有的基 于简单的等比例线性变化趋势进行估计的方式, 本申请实施例由于能够在预测的过程中考 虑了存储系统的容量消耗量的实际非线性变化趋势, 所以使得利用上述第一预测模型预测 的待扩充容量信息能够更加符合用户的日常实际容量需求, 避免出现明显过多或过少。
46、的情 况, 提高了扩充容量的预测准确度, 从而具备更高的可靠性。 0128 进一步的, 本实施例中的预测模型创建方法, 还可以包括: 0129 获取第二训练样本; 其中, 所述第二训练样本包括存储系统硬件信息、 历史扩充容 量信息以及相应的扩容时长信息; 将所述第二训练样本中的存储系统硬件信息和历史扩充 容量信息作为模型输入侧数据, 以及将所述第二训练样本中的扩容时长信息作为输出侧数 据, 对基于机器学习算法构建的待训练模型进行训练, 得到第二预测模型。 0130 进一步的, 本实施例中的预测模型创建方法, 还可以包括: 0131 获取所述存储系统的历史读写吞吐量的第二时序数据; 利用所述第二。
47、时序数据中 的时间片段信息以及相应的历史读写吞吐量, 构建第三训练样本; 将所述第三训练样本中 的时间片段信息作为模型输入侧数据, 以及将所述第三训练样本中的历史读写吞吐量作为 模型输出侧数据, 对基于机器学习算法构建的待训练模型进行训练, 得到第三预测模型。 0132 其中, 关于本实施例的预测模型创建方法的更多细节以及各个预测模型的具体应 用过程可以参考前述实施例中的公开的相应内容, 在此不再进行赘述。 0133 相应的, 参见图6所示, 本申请实施例还公开了一种扩容装置, 包括: 0134 第一模型获取模块11, 用于获取第一预测模型; 其中, 所述第一预测模型为利用基 于存储系统的历史。
48、容量消耗量的时序数据构建的训练样本, 对基于机器学习算法构建的待 训练模型进行训练后得到的; 0135 第一预测模块12, 用于利用所述第一预测模型, 预测与容量消耗时长期望值对应 的待扩充容量信息; 0136 扩容模块13, 用于根据所述待扩充容量信息对所述存储系统进行相应的扩容操 作。 0137 由此可见, 本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器 说明书 8/11 页 12 CN 109885469 A 12 学习算法的预测模型的, 由于历史容量消耗量的时序数据能够客观地反映出存储系统的容 量消耗量的实际变化趋势, 这种变化趋势通常是一种非线性的变化趋势, 相比于现有。
49、的基 于简单的等比例线性变化趋势进行估计的方式, 本申请实施例由于能够在预测的过程中考 虑了存储系统的容量消耗量的实际非线性变化趋势, 所以使得利用上述第一预测模型预测 的待扩充容量信息能够更加符合用户的日常实际容量需求, 避免出现明显过多或过少的情 况, 提高了扩充容量的预测准确度, 从而具备更高的可靠性。 0138 进一步的, 参见图7所示, 所述扩容装置还可以包括: 0139 第一数据获取模块21, 用于获取所述存储系统的历史容量消耗量的第一时序数 据; 0140 第一样本构建模块22, 用于利用所述第一时序数据中的时间片段信息以及相应的 历史容量消耗量, 构建第一训练样本; 0141 。
50、第一模型训练模块23, 用于利用所述第一训练样本对基于机器学习算法构建的待 训练模型进行训练, 得到所述第一预测模型。 0142 在第一种具体实施方式中, 所述第一模型训练模块23, 具体用于将所述第一训练 样本中的时间片段信息作为模型输入侧数据, 以及将所述第一训练样本中的历史容量消耗 量作为模型输出侧数据, 对基于机器学习算法构建的待训练模型进行训练, 得到所述第一 预测模型。 0143 在第二种具体实施方式中, 所述第一模型训练模块23, 具体用于将所述第一训练 样本中的历史容量消耗量作为模型输入侧数据, 以及将所述第一训练样本中的时间片段信 息作为模型输出侧数据, 对基于机器学习算法构。
- 内容关键字: 扩容 方法 预测 模型 创建 装置 设备 介质
相机模块.pdf
具有防堵机构的浆水处理用滤筛装置.pdf
打包设备.pdf
可回收动脉瘤辅助支架及输送系统.pdf
电梯井道相邻房间的复合隔声墙体构造.pdf
灯具的免接电线的导电铜片触点结构.pdf
管式反应器.pdf
陶瓷纤维管.pdf
留孔装置.pdf
冲压机用的送料机构.pdf
玻璃装饰条组装装置.pdf
电缆抗拉强度检测装置.pdf
电网建设的架线机.pdf
家电玻璃多向磨边机.pdf
用于土壤肥料的均匀泼洒机构.pdf
漏电电流检测仪及防护组件.pdf
洁净室多重复合杀菌过滤风口结构.pdf
纸垛自动整理装置.pdf
有机废气、有机废液及烟气的协同处理系统.pdf
铜锭抛光用夹具.pdf
指纹取景器.pdf
新型电动自楔式安全制动器.pdf
新型血糖试纸盒.pdf
中远距离传输零中频接收机电路.pdf
纳米铁强化磺胺废水厌氧消化的方法.pdf
鱼缸除垢机器人.pdf
可变形手持便携式三防平板电脑.pdf
步进电机散热方法、系统及介质.pdf
建筑施工降尘设备.pdf
防水防潮型家用可燃气体探测器.pdf
基于物联网的智能实验室安全管理策略确定方法及装置.pdf
基于双边带光频梳的快速布里渊光学时域分析仪.pdf
一种一孔两用的隧洞排水孔结构.pdf
钢管桩围堰结构.pdf
一种生态砌块.pdf
一种铁路桥梁用泄水管.pdf
一种卷帘门的抗风装置.pdf
一种掺有非预应力钢筋的管桩钢筋笼.pdf
大型沉管隧道管段基础.pdf
汽车手套箱开启装置.pdf
城市道路上空花园式电动跃层停车商务楼.pdf
蒸压加气砌块砌窗结构.pdf
一种升降式旋转室外消火栓.pdf
框架结构T型连接柱.pdf
防静电地板吸板器.pdf
一种建筑用箱体或井口预留孔洞活动模具.pdf
速成拉建房屋.pdf
预制桥面板精轧螺纹钢筋弧形连接构造.pdf
一种内固定式伸缩门滑行导轨及伸缩门.pdf
多用途封井器.pdf
一种新型圆弧建筑模板紧固件.pdf
相关文档
更多![条形中药块切片装置.pdf](/Images/s.gif)
![查表数字电路及其处理方法.pdf](/Images/s.gif)
![纺织物品承载装置.pdf](/Images/s.gif)
![腰椎三向微创牵开器.pdf](/Images/s.gif)
![汽车轮毂盖定位切割装置.pdf](/Images/s.gif)
![具有前后转向功能的农机车架.pdf](/Images/s.gif)
![内科护理用输液计时提醒装置.pdf](/Images/s.gif)
![方便取货的仓储物流货架.pdf](/Images/s.gif)
![污水处理微生物生态槽.pdf](/Images/s.gif)
![路基施工防护装置.pdf](/Images/s.gif)
![功率器件及电器.pdf](/Images/s.gif)
![用于语音交互检索的机器人.pdf](/Images/s.gif)
![轨道板自重力夹紧装置.pdf](/Images/s.gif)
![纵置复合材料板簧悬架锁止装置.pdf](/Images/s.gif)
![不规则金属型材斜向切割机.pdf](/Images/s.gif)
![新型标签分切机.pdf](/Images/s.gif)
![表征润滑脂磨损程度的添加剂及其制备方法.pdf](/Images/s.gif)
![吡啶酮乙醇胺盐封装储存装置.pdf](/Images/s.gif)
![高分子材料管生产用加热保温装置.pdf](/Images/s.gif)
![柔性螺旋机.pdf](/Images/s.gif)