书签 分享 收藏 举报 版权申诉 / 11

用于软件定义储存系统的自适应快速反应控制系统.pdf

  • 上传人:54
  • 文档编号:6378750
  • 上传时间:2019-06-05
  • 格式:PDF
  • 页数:11
  • 大小:727.62KB
  • 摘要
    申请专利号:

    CN201410312060.7

    申请日:

    2014.07.01

    公开号:

    CN105320461A

    公开日:

    2016.02.10

    当前法律状态:

    授权

    有效性:

    有权

    法律详情:

    授权|||实质审查的生效IPC(主分类):G06F 3/06申请日:20140701|||公开

    IPC分类号:

    G06F3/06; G06N3/02; H04L29/08

    主分类号:

    G06F3/06

    申请人:

    先智云端数据股份有限公司

    发明人:

    黄明仁; 黄纯芳; 石宗民; 陈文贤

    地址:

    中国台湾台中市西区民权路219号13F

    优先权:

    专利代理机构:

    北京科龙寰宇知识产权代理有限责任公司11139

    代理人:

    孙皓晨

    PDF完整版下载: PDF下载
    内容摘要

    本发明公开一种用于软件定义储存系统以改善性能参数的自适应快速反应控制系统。该系统包括:一流量监控模块,用以于一储存节点,取得性能参数的观察值;一自适应双神经模块,用以在该观察值与性能参数的特定值间,不同的差值情况下,从储存装置配置的历史记录与相关的观察值中,学习该储存节点中多个储存装置的最佳配置,及当一现有的差值不小于一阈值时,提供该最佳配置;及一快速反应控制模块,如果该现有的差值不小于该阈值,用以改变在储存节点中,储存装置现有的配置为由该自适应双神经模块所提供的储存装置的最佳配置。

    权利要求书

    1.一种用于软件定义储存系统的自适应快速反应控制系统,用以改善性能参
    数,其特征在于,包含:
    一流量监控模块,用以由一储存节点,取得性能参数的一观察值;
    一自适应双神经模块,用以在该观察值与该性能参数的一特定值间,不同的差
    值情况下,从储存装置配置的历史记录与相关的观察值中,学习该储存节点中多个
    储存装置的最佳配置,及当一现有的差值不小于一阈值时,提供该最佳配置;及
    一快速反应控制模块,当该现有的差异值不小于该阈值时,用以改变在该储存
    节点中,该储存装置现有的配置,为由该自适应双神经模块所提供的储存装置的最
    佳配置,
    其中该储存节点由软件定义储存的软件所运作,在该最佳配置采用后,该现有
    的差值将减少。
    2.如权利要求1所述的自适应快速反应控制系统,其特征在于,该自适应双
    神经模块包含:
    一定神经网络组件,当该现有的差值不小于一允许值时,用以提供该些最佳配
    置,而该些最佳配置默认于该自适应快速反应控制系统运行前;及
    一自适应神经网络组件,用以在不同的差值情况下,从该储存装置配置的历史
    记录与一长周期内的相关的观察值,学习该储存节点中储存装置的最佳配置,及当
    现有的差异值小于该允许值但不小于该阈值时,提供该最佳配置。
    3.如权利要求2所述的自适应快速反应控制系统,其特征在于,当该定神经
    网络组件运作时,该自适应神经网络组件停止运作,或当该自适应神经网络组件运
    作时,该定神经网络组件停止工作。
    4.如权利要求2所述的自适应快速反应控制系统,其特征在于,该允许值小
    于或等于一默认值。
    5.如权利要求4所述的自适应快速反应控制系统,其特征在于,该默认值为3
    秒。
    6.如权利要求2所述的自适应快速反应控制系统,其特征在于,该长周期范
    围由数十秒到整个历史记录期间。
    7.如权利要求2所述的自适应快速反应控制系统,其特征在于,该观察值在
    该长周期中不是连续地被记录。
    8.如权利要求2所述的自适应快速反应控制系统,其特征在于,由该定神经
    网络组件所提供的最佳配置与现有的配置间的变化量,大于由该自适应神经网络组
    件所提供的最佳配置与现有的配置间的变化量。
    9.如权利要求2所述的自适应快速反应控制系统,其特征在于,学习该储存
    装置的最佳配置是借由神经网络算法而达成。
    10.如权利要求1所述的自适应快速反应控制系统,其特征在于,该特定值为
    一服务层级协议或一服务质量需求的要求。
    11.如权利要求1所述的自适应快速反应控制系统,其特征在于,该性能参数
    为每秒输入输出操作次数、延迟时间或流通量。
    12.如权利要求1所述的自适应快速反应控制系统,其特征在于,该储存装置
    为硬式磁盘、固态硬盘、随机存取内存或其混成组合。
    13.如权利要求1所述的自适应快速反应控制系统,其特征在于,该最佳配置
    为不同型式储存装置的百分比或单一型式储存装置使用的固定数量。
    14.如权利要求1所述的自适应快速反应控制系统,其特征在于,进一步包含
    一计算模块,用以计算该差值及传递该计算的差值到自适应双神经模块与快速反应
    控制模块。
    15.如权利要求1所述的自适应快速反应控制系统,其特征在于,该流量监控
    模块、自适应双神经模块、快速反应控制模块或计算模块是硬件,或是于该储存节
    点中的至少一个处理器上执行的软件。

    说明书

    用于软件定义储存系统的自适应快速反应控制系统

    技术领域

    本发明关于一种用于软件定义储存的控制系统,特别是关于一种用于软件定义
    储存,以达成在服务层级协议里需求的特定性能指针的控制系统。

    背景技术

    云端服务在最近十年中发展得非常普及。云端服务是基于云端计算,在不增加
    客户端的负担情形下,提供相关的服务或商品。云端计算涉及了大量的计算机主机,
    这些计算机主机彼此经由一个通信网路,比如因特网,而连接。它依赖资源的分享,
    以达成一致性与经济规模。云端计算的概念乃是融合了网络基础设施以及资源共享
    的服务等形成的基础架构。在所有分享的服务中,内存与储存设备绝对是两个需求
    最大的项目。这是因为某些热门的应用,比如视频串流,需要巨大的数据量存储。
    当云端服务运作时,内存和存储设备管理是非常重要的,以为客户维持正常的服务
    质量。

    举例而言,用来提供云端服务的服务器通常管理或连接到数个硬式磁盘上。客
    户使用该服务器,数据自该硬式磁盘读出或写入其中。肇因于硬式磁盘系统的限制
    而产生响应时间的延迟,会引起服务需求上的问题。在正常的硬式磁盘系统的操作
    下,当应用面所需求(即工作量)的访问速度超过硬式磁盘系统所能提供时,过长
    的响应时间因而产生。硬式磁盘系统所能提供的最大负载量通常是整个云端服务系
    统里运作的瓶颈。换句话说,硬式磁盘系统的每秒输入输出操作次数无法满足外在
    需求。针对此问题,有必要移除或减少工作量以达成及改善服务器的效能。实作上,
    部分的工作量能由其它服务器(如果有的话)或硬式磁盘所分担,而该些服务器或
    硬式磁盘会自动或手动地上线加入支持现有的硬式磁盘。不管上述哪种方法用来解
    决该问题,其所增加的成本,是因应无法预期工作情况而事先多储备的大量硬式磁
    盘,以及为了额外的硬设备而必要增添的电力消耗。从经济面来看,实在不值得如
    此做。然而,由于系统的服务层级协议通常会规定最短的延迟时间或最小的每秒输
    入输出操作次数,因此必需要达成。对于以有限的资金来维持云服务的运营商而言,
    如何降低成本是一个重要的问题。

    值得注意的是服务器(硬式磁盘系统)的工作量或多或少可以根据历史记录来
    预测未来一段时间内的演变,云端服务工作量的需求是可以预见的。因此,可以借
    着重新配置在硬式磁盘系统内的硬式磁盘,以用最小代价达到工作量的需求。然而,
    一台机器是不能学会如何与何时进行硬式磁盘的重新配置。在许多情况下,这项工
    作是由授权人员,根据及时状态或按照固定的进度表来完成,实行效果可能不是很
    好。

    另一个和云端服务一样的快速增长需求是软件定义储存。软件定义储存指的是
    可从管理储存基础架构的软件中,独立出储存硬件的计算器数据储存技术。在软件
    定义储存下,可以启动一些功能选项,如重复数据删除、复制、自动精简配置、快
    照,和备份,提供策略管理。借由软件定义储存技术,有几个前案可提供上述问题
    的解决方案。举例而言,在美国专利公开第20130297907号中,揭露了一种用于重
    新配置储存系统的方法。该方法包含两个主要的步骤:接收用户对储存装置的需求
    信息,并由用户的需求信息,自动产生储存装置的功能设定及用于该储存装置的设
    备配置文件;及使用该功能设定,以自动重新配置该储存装置为一或多个具有独立
    行为特征的逻辑设备。该申请案的内容指出了一种借由软件定义储存观念来重新配
    置储存装置的新方法。依照该申请案的方法与系统也能允许用户动态调整一或多个
    逻辑设备的配置,以更弹性地满足用户的需求信息。然而,该申请案却不能提供依
    照应用面需求(即工作量)的变化,能够自动学习如何对储存装置重新配置的一种
    系统。

    因此,本发明揭露一种为软件定义储存实现自动学习和资源重分配的新的系
    统。该系统采用了自适应控制和操作,无需人工干预。

    发明内容

    由于先前技术无法提供储存系统依照应用面需求的变化,自动学习如何对其储
    存装置进行重新配置,造成现有储存系统难以达成服务层级协议(ServiceLevel
    Agreement)或服务质量(QualityofService)需求的要求。故发明人利用神经网络
    算法,配合软件定义储存系统的操作,提出解决前述问题的发明。

    依照本发明的一种态样,一种用于软件定义储存系统以改善性能参数的自适应
    快速反应控制系统,包含:一流量监控模块,用以于一储存节点,取得性能参数的
    一观察值;一自适应双神经模块,用以在该观察值与该性能参数的一特定值间,不
    同的差值情况下,从储存装置配置的历史记录与相关的观察值中,学习该储存节点
    中多个储存装置的最佳配置,及当一现有的差值不小于一阈值时,提供该最佳配置;
    及一快速反应控制模块,如果该现有的差异值不小于该阈值,用以改变在该储存节
    点中,该储存装置现有的配置,为由该自适应双神经模块所提供的储存装置的最佳
    配置。该储存节点由软件定义储存的软件所运作,在该最佳配置采用后,该现有的
    差值将减少。

    自适应双神经模块包含:一定神经网络组件,当该现有的差值不小于一允许值
    时,用以提供该些最佳配置,而该些最佳配置默认于该自适应快速反应控制系统运
    行前;及一自适应神经网络组件,用以在不同的差值情况下,从该储存装置配置的
    历史记录与一长周期内的相关的观察值,学习该储存节点中储存装置的最佳配置,
    及当现有的差值小于该允许值但不小于该阈值时,提供该最佳配置。

    依照本案构想,当该定神经网络组件运作时,该自适应神经网络组件停止运作,
    或当该自适应神经网络组件运作时,该定神经网络组件停止工作。该允许值小于或
    等于一默认值,而该默认值为3秒。该长周期范围由数十秒到整个历史记录期间,
    而该观察值在该长周期中不是连续地被记录。该定神经网络组件所提供的最佳配置
    与现有的配置间的变化量,大于由该自适应神经网络组件所提供的最佳配置与现有
    的配置间的变化量。学习该储存装置的最佳配置是借由神经网络算法而达成,该特
    定值为一服务层级协议或一服务质量需求的要求。该性能参数为每秒输入输出操作
    次数、延迟时间或流通量。该储存装置为硬式磁盘、固态硬盘、随机存取内存或其
    混成组合,而该最佳配置为不同型式储存装置的百分比或单一型式储存装置使用的
    固定数量。

    该自适应快速反应控制系统,进一步包含一计算模块,用以计算该差异值及传
    递该计算的差异值到自适应双神经模块与快速反应控制模块。该流量监控模块、自
    适应双神经模块、快速反应控制模块或计算模块是硬件,或是在该储存节点中的至
    少一个处理器上执行的软件。

    由以上的硬件实现,可以让系统自动学习如何对其储存装置进行重新配置,以
    达成服务层级协议或服务质量需求的要求。

    附图说明

    图1说明依照本发明实施例的自适应快速反应控制系统的方框图;

    图2显示一储存节点的架构;

    图3为自适应双神经模块运作的流程图;

    图4为自适应双神经模块所提供的最佳配置表。

    附图标记说明:10-自适应快速反应控制系统;100-储存节点;102-管理服务器;
    104-硬式磁盘;106-固态硬盘;120-流量监控模块;140-计算模块;160-自适应双神
    经模块;162-定神经网络组件;164-自适应神经网络组件;180-快速反应控制模块。
    具体实施方式

    本发明将参照下列的实施方式而更具体地描述。

    请参阅图1到图4,依照本发明的一实施例进行描述。图1为依照本发明实施
    例,一用于软件定义储存系统的自适应快速反应控制系统10的方框图。该系统能
    改进一网络中,软件定义储存系统的性能参数,诸如每秒输入输出操作次数、延迟
    时间或流通量。在本实施例中,软件定义储存系统为一储存节点100,自软件定义
    储存系统取得数据的延迟时间作为例子而说明。该网络可以是因特网。因而,储存
    节点100可以是一数据库服务器,管理众多的储存设备及提供客户云端服务。它也
    可以是一个文件服务器或邮件服务器,具有专属使用的储存设备。该网络也可能用
    于实验室的局域网络,或用于跨国企业的广域网,本发明并未限定储存节点100的
    应用。然而,储存节点100必须是软件定义储存。换句话说,储存节点100的硬件
    (储存装置)应该能与管理储存节点100的软件分离。储存节点100由软件定义储
    存的软件所运作。因此,储存节点100中储存装置的重配置能借由各别的软件或硬
    件来实现。

    请见图2,图2显示储存节点100的架构。储存节点100包括1个管理服务器
    102、10个硬式磁盘104,与10个固态硬盘106。管理服务器102能接收指令,以
    进行硬式磁盘104与固态硬盘106的重配置。储存节点100的不同配置,即使用的
    硬式磁盘104与固态硬盘106的百分比,能在不同工作量下维持一定的延迟时间。
    固态硬盘106具有比硬式磁盘104更快的储存速度。然而,相同的容量下,固态硬
    盘106的价格较硬式磁盘104贵出许多。易言的,同样的成本,硬式磁盘104的储
    存容量约为固态硬盘106的十倍。对这样的储存节点100而言,因为固态硬盘106
    的生命周期将下降非常快,提供全以固态硬盘106待机的服务是不经济的,且当固
    态硬盘106都用上时,储存容量会成为一个问题。当储存节点100的配置包含一些
    硬式磁盘104与固态硬盘106时,只要延迟时间能满足服务层级协议(ServiceLevel
    Agreement)或服务质量(QualityofService)需求的要求,该储存节点100仍能顺
    利运行及避免前述的问题。

    自适应快速反应控制系统10包含一流量监控模块120、一计算模块140、一自
    适应双神经模块160,与一快速反应控制模块180。流量监控模块120被用来取得
    储存节点100延迟时间的观察值。计算模块140能计算一观察值与延迟时间的一特
    定值间的差值,并传递该计算的差值到自适应双神经模块160与快速反应控制模块
    180。此处,延迟时间的特定值是指在服务层级协议或服务质量需求中所要求的数
    值,它是储存节点100最长的延迟时间,应于正常使用下所提供的服务中实行(例
    外于储存节点100开机时或超大工作量发生时)。对本实施例而言,延迟时间的特
    定值为2秒。任何的特定值皆可行,本发明并未限定。

    自适应双神经模块160被用来自硬式磁盘104与固态硬盘106配置的历史记录
    与相关的观察值中,在不同差值的情况下,学习储存节点100中硬式磁盘104与固
    态硬盘106的最佳配置。差值存在于观察值与延迟时间特定值间,自适应双神经模
    块160也能提供最佳配置给快速反应控制模块180。当现有的差值不小于一阈值时,
    自适应双神经模块160才运作。所谓的现有的差值,指的是来自流量监控模块120
    的观察值与延迟时间特定值(2秒)间的最新的差值。该阈值是对于延迟时间特定
    值预设的超出时间。因为超出延迟时间特定值的时间太短,就不值得改变硬式磁盘
    104与固态硬盘106的配置来减少延迟时间,现有的配置可以持续运作。本实施例
    中该阈值为0.2秒。当然,它可以为储存节点100提供的不同的服务而改变。

    为了实现自适应双神经模块160提供的运作,自适应双神经模块160能进一步
    包含两个主要的部分:一定神经网络组件162与一自适应神经网络组件164。定神
    经网络组件162提供最佳配置,该些最佳配置默认于自适应快速反应控制系统160
    运行前,当现有的差值不小于允许值时,定神经网络组件162启动。此处,该允许
    值为延迟时间特定值外的一额外值。一旦该允许值被察觉到,某些紧急处理就得进
    行,快速地缩短延迟时间,以便客户不必在接着的几秒钟内一直等待储存节点100
    的回复。定神经网络组件162的运作能被视为对随工作量增加而延长的延迟时间的
    一种制约动作。实际上,该允许值应少于或等于一默认值。较佳的情况是少于或等
    于3秒。本实施例以3秒作为该允许值。

    自适应神经网络组件164被用来在不同的差异值情况下,从硬式磁盘104与固
    态硬盘106配置的历史记录与一长周期内的相关的观察值,学习该储存节点100中
    硬式磁盘104与固态硬盘106的最佳配置。它也能提供最佳配置。当现有的差异
    值小于该允许值但不小于阈值时,自适应神经网络组件164才运作。前述的长周期
    可以短到数十秒到,长至储存节点100的整个历史记录期间。能被提供作用于自适
    应神经网络组件164的数据,以学习硬式磁盘104与固态硬盘的最佳配置,储存节
    点100的任何记录都是可行的。最好使用整个历史记录期间的记录数据。可以理解
    的是在该长周期中,某些观察值不是连续地被记录,某些数据也可能遗失,但自适
    应神经网络组件164仍能使用这些不连续的记录。

    因为储存节点100硬件的复杂度及来自客户的需求所产生的不同的工作量,将
    导致储存节点100不同的延迟时间,延迟时间与工作量随着时间,并不存在特定的
    关系。对自适应快速反应控制系统10而言,具有对储存节点100的管理方法的最
    好的方式是靠自身来学习其间的变动关系。因此,神经网络算法是一种达到该目标
    的不错的方法,学习硬式磁盘104与固态硬盘106的最佳配置可借由神经网络算法
    达成。虽然现今有许多的神经网络算法,本发明并不限定于使用哪一种。每一种算
    法的模式中,不同层的参数设定能利用其他系统的经验来建立。

    为了知道自适应双神经模块160如何运作,请参阅图3,图3为自适应双神经
    模块160运作的流程图。在延迟时间的观察值由流量监控模块120取得后(S01),
    及该计算模块140计算延迟时间的现有的差值之后(S02),自适应双神经模块160
    将判断是否现有的差值不小于阈值,0.2秒(S03)。如果为否,硬式磁盘104与固
    态硬盘106现有的配置维持不变(S04);如果是,自适应双神经模块160将判断
    是否现有的差值不小于该允许值,3秒(S05)。如果为否,自适应神经网络组件
    164运作(S06);如果是,定神经网络组件162运作(S07)。很明显的是当定神
    经网络组件162运作时,自适应神经网络组件164停止运作;当自适应神经网络组
    件164运作时,定神经网络组件162停止工作。

    如果现有的差值不小于阈值时,快速反应控制模块180能转变储存节点100中
    硬式磁盘104与固态硬盘106现有的配置,成为自适应双神经模块160提供的硬式
    磁盘104与固态硬盘106的最佳配置。因此,快速反应控制模块180能总是使用自
    适应双神经模块160提供的最佳配置,以调整储存节点100的配置。现有的差异值
    在最佳配置采用后,会变得较少。

    请见第4图,这是本实施例自适应双神经模块160提供的最佳配置表。当储存
    节点100运作,其延迟时间小于2秒时,该配置包含50%的硬式磁盘104与50%的
    固态硬盘106。即使延迟时间差值在0.2秒(延迟时间为2.2秒)内,因为延迟时间
    差值仍小于阈值,自适应双神经模块160将不会运作,配置维持原样。当延迟时间
    差异值增加超过0.2秒时,自适应神经网络组件164运作,以历史记录与某些新接
    受的数据,学习硬式磁盘104与固态硬盘106的最佳配置,前述的新接受的数据将
    被视为历史记录以供学习。同时,基于过去学习的结果,当延迟时间差值不小于0.2
    秒但小于0.5秒时,自适应神经网络组件164提供快速反应控制模块180的最佳配
    置为40%的硬式磁盘104与60%的固态硬盘106;当延迟时间差值不小于0.5秒但
    小于1.0秒时,最佳配置为30%的硬式磁盘与70%的固态硬盘106;当延迟时间差
    值不小于1.0秒但小于3.0秒时,d最佳配置为20%的硬式磁盘104与80%的固态
    硬盘106。当然,因为客户的行为模式可能在未来会变动,最佳配置能从现有历史
    记录学习中,进一步改变。在新的最佳配置于不同的延迟时间差值下应用后,延迟
    时间将快速变成小于该特定值,2秒。要注意的是对最佳配置来说,全部分阶数不
    限于上面所说的6个,可以是大于6个或小于6个。举例而言,延迟时间差异值的
    分阶数量,在阈值与允许值间可以是5个。换句话说,每0.5秒划为一分阶。这样
    一来,在本实施例中,全部分阶数量变成8个,而非6个。这是因为由自适应双神
    经模块160学习来的最佳配置,依赖应用(即工作量)需求的种类,及储存节点100
    中硬式磁盘与固态硬盘的硬件规格。

    当延迟时间差值不小于该允许值时,配置的适度调整为时已晚。在这种情况下,
    应该实施一种强制的手段以快速地减少延迟时间。因此,定神经网络组件162运作
    且自适应神经网络组件164停止运作。定神经网络组件162将提供默认的最佳配置
    于硬式磁盘104与固态硬盘106。依照本实施例,当延迟时间差值不小于3.0秒但
    小于5.0秒时,最佳配置为10%的硬式磁盘104与90%的固态硬盘106;当延迟时
    间差值不小于5.0秒时,最佳配置为0%的硬式磁盘104与100%的固态硬盘106。
    在这极端的案例中,使用了所有的固态硬盘106。

    然而,虽然定神经网络组件162与自适应神经网络组件164能提供最佳配置,
    可以从第4图看见,由定神经网络组件162提供的最佳配置与现有的配置(50%的
    硬式磁盘104与50%的固态硬盘106)间的变化量大于由自适应神经网络组件164
    提供的最佳配置与现有的配置间的变化量。

    如上所述,延迟时间仅是服务层级协议要求的性能参数之一。其它性能参数能
    以相同的方法改变,以调整改变硬式磁盘104与固态硬盘106配置的。举例而言,
    每秒输入输出操作次数与流通量能随着固态硬盘106的增加而增加。

    需要强调的是储存装置并不限定于硬式磁盘与固态硬盘,随机存取内存也能被
    使用。因而,硬式磁盘与随机存取内存,或固态硬盘与随机存取内存的混搭形式也
    是可被应用的。实施例中的最佳配置为使用中不同型式储存装置的百分比。它也能
    是单一型式储存装置使用的固定数量(如储存节点仅包含固态硬盘,重配置借由增
    加新的或待机固态硬盘而完成)。最重要的是,流量监控模块120、计算模块140、
    自适应双神经模块160,及快速反应控制模块180能以硬件,或借由储存节点100
    内的至少一个处理器而执行。

    虽然本发明已以实施方式揭露如上,然其并非用以限定本发明,任何所属技术
    领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润
    饰,因此本发明的保护范围当视后附的申请专利范围所界定者为准。

    关 键  词:
    用于 软件 定义 储存 系统 自适应 快速反应 控制系统
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:用于软件定义储存系统的自适应快速反应控制系统.pdf
    链接地址:https://www.zhuanlichaxun.net/p-6378750.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1