书签 分享 收藏 举报 版权申诉 / 12

一种降低LSMTREE写放大的方法和装置.pdf

  • 上传人:b***
  • 文档编号:6358275
  • 上传时间:2019-06-04
  • 格式:PDF
  • 页数:12
  • 大小:791.30KB
  • 摘要
    申请专利号:

    CN201410086913.X

    申请日:

    2014.03.11

    公开号:

    CN104915145A

    公开日:

    2015.09.16

    当前法律状态:

    授权

    有效性:

    有权

    法律详情:

    授权|||实质审查的生效IPC(主分类):G06F 3/06申请日:20140311|||公开

    IPC分类号:

    G06F3/06

    主分类号:

    G06F3/06

    申请人:

    华为技术有限公司; 中国科学院计算技术研究所

    发明人:

    贾士博; 熊劲; 岳银亮; 张子刚

    地址:

    518129广东省深圳市龙岗区坂田华为总部办公楼

    优先权:

    专利代理机构:

    北京中博世达专利商标代理有限公司11274

    代理人:

    申健

    PDF完整版下载: PDF下载
    内容摘要

    本发明公开了一种降低LSM Tree写放大的方法和装置,涉及数据处理领域,用于解决由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。本发明提供的方法具体包括:通过在有数据写入时,查询所写入的数据的key是否存在于热度表中,当查询结果为否时,将该数据直接写进持久化设备,否则,则将该key的counter加1,并判断该key的counter是否达到热度阈值,当判断结果为是时,将该key对应的数据写入PRAM设备中进行原地更新,否则将该数据直接写入持久化设备中。本发明实施例主要用于数据处理过程中。

    权利要求书

    权利要求书
    1.  一种降低LSM Tree写放大的方法,其特征在于,所述方法包括:
    当有数据写入时,查询所述数据的key是否在热度表中;所述key是指key-value存储模式中的数据索引,所述热度表用于记录多个key对应的数据的更新频度;
    若所述数据的key不在所述热度表中,则将所述数据直接写入到持久化设备中;
    若所述数据的key在所述热度表中,则将所述key的counter加1,并判断所述key的counter是否达到热度阈值;所述counter是指key所对应的数据的更新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限;
    若所述key的counter达到热度阈值,将所述key对应的数据写入PRAM设备中进行原地更新;所述原地更新是指在数据存储的位置直接进行更新;
    若所述key的counter未达到热度阈值,则将所述数据直接写入到持久化设备中。

    2.  根据权利要求1所述的方法,其特征在于,在若所述数据的key不在所述热度表中之后,还包括:
    建立多组布隆过滤器Multi BF,并为每个BF设定权重;所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系;
    根据所述数据的key,计算所述key在BF中对应的标记位;
    轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1;
    根据每个BF的权重对所述数据的key进行热度评分,若所述数据的key的 热度评分达到阈值,则判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值。

    3.  根据权利要求2所述的方法,其特征在于,在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值之外,还包括:
    将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表。

    4.  根据权利要求2所述的方法,其特征在于,在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值之后,还包括:
    若所述key的counter减至热度阈值以下,则告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。

    5.  一种降低LSM Tree写放大的装置,其特征在于,所述装置包括:
    查询模块,用于当有数据写入时,查询所述数据的key是否在热度表中;所述key是指key-value存储模式中的数据索引,所述热度表用于记录多个key对应的数据的更新频度;
    控制模块,用于在所述数据的key不在所述热度表中时,将所述数据直接写入到持久化设备中;在所述数据的key在所述热度表中时,将所述key的counter加1,并判断所述key的counter是否达到热度阈值;所述counter是指key所对应的数据的更新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限;在所述key的counter达到热度阈值时,将所述key对应的数据写入PRAM设备中进行原地更新;所述原地更新是指在数据存储的位置直接进行 更新;在所述key的counter未达到热度阈值时,将所述数据直接写入到持久化设备中。

    6.  根据权利要求5所述的装置,其特征在于,所述装置还包括计算模块;
    所述控制模块,还用于建立多组布隆过滤器Multi BF,并为每个BF设定权重;所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系;根据每个BF的权重对所述数据的key进行热度评分,在所述数据的key的热度评分达到阈值时,判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值;
    所述计算模块,用于根据所述数据的key,计算所述key在BF中对应的标记位;
    所述查询模块,还用于轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1。

    7.  根据权利要求5所述的装置,其特征在于,所述控制模块,还用于将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表。

    8.  根据权利要求5所述的装置,其特征在于,所述控制模块,还用于在所述key的counter减至热度阈值以下时,告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。

    说明书

    说明书一种降低LSM Tree写放大的方法和装置
    技术领域
    本发明涉及数据处理领域,尤其涉及一种降低LSM Tree写放大的方法和装置。
    背景技术
    LSM Tree(Log-structured merge-tree,日志结构合并树)是一种广泛应用于数据存储领域的多层树形数据结构。其为解决随机I/O对持久化存储性能影响的问题,设计了相应的方法,具体为将最上层的数据存放于内存中,其他层次的数据存放于HDD(Hard Disk,机械硬盘)/SSD(Solid State Disk,固态硬盘)等持久化设备中,并采用数据异地更新的方式写入数据,由系统的后台进程不断地将数据从低层到高层merge(合并),将key相同的K-V结构中的较旧的版本删除,保留排序的新版本,这样,随着merge的进行,数据就由内存转向持久化设备,再从持久化设备的低层向高层移动,避免了随机I/O直接对持久化设备的影响。
    但是,仅采用数据异地更新的方式写入数据,就需要频繁地删除本地数据,再存储新的数据,使得在覆盖写较多的场景下,多次写入数据时主控写入的数据量远大于实际写入的数据量,引起严重的写放大,导致存储设备的存储性能严重下降,更缩短了其使用寿命。
    针对这一问题,现有技术提供了的方法为,通过建立Multi BF(Multi Bloom Filter,多组布隆过滤器),并将各BF设置为固定时间间隔轮流清0,而各BF按照清0时与当前时刻的时间间隔的不同,拥有不同的权重,当数据接口中有数据写 入时,使用各BF进行筛选,将第一个被写入数据的key对应的内部标记位为0的BF置1,并找出该key对应的标记为1的BF,将找出的各BF的权重加权得到热度评分,若该热度评分达到预设的阈值,则该key对应的数据被认为是更新频度高的热数据,这样就能够对筛选出的热数据做相应的处理。
    发明人在执行上述方法流程时,发现现有技术方案至少存在如下技术问题:
    由于受到内存大小限制,所能建立的Multi BF的数量有限,而在有数据写入时,若所有Multi BF中该数据的key对应的标记位都被标记为1时,热度评分可能达到最大值,因而无法再将热度评分的阈值设置为更高的数值,进而无法筛选更高更新频度的数据,影响了存储设备的使用性能。
    发明内容
    本发明的实施例提供一种降低LSM Tree写放大的方法和装置,用于解决由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。
    为达到上述目的,本发明的实施例采用如下技术方案:
    第一方面,本发明提供了一种降低LSM Tree写放大的方法,包括:
    当有数据写入时,查询所述数据的key是否在热度表中;所述key是指key-value存储模式中的数据索引,所述热度表用于记录多个key对应的数据的更新频度;
    若所述数据的key不在所述热度表中,则将所述数据直接写入到持久化设备中;
    若所述数据的key在所述热度表中,则将所述key的counter加1,并判断所述key的counter是否达到热度阈值;所述counter是指key所对应的数据的更 新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限;
    若所述key的counter达到热度阈值,将所述key对应的数据写入PRAM设备中进行原地更新;所述原地更新是指在数据存储的位置直接进行更新;
    若所述key的counter未达到热度阈值,则将所述数据直接写入到持久化设备中。
    结合第一方面,在第一方面的第一种可能的实现方式中,在若所述数据的key不在所述热度表中之后,还包括:
    建立多组布隆过滤器Multi BF,并为每个BF设定权重;所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系;
    根据所述数据的key,计算所述key在BF中对应的标记位;
    轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1;
    根据每个BF的权重对所述数据的key进行热度评分,若所述数据的key的热度评分达到阈值,则判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值。
    结合第一方面的第一种可能实现的方式,在第二种可能实现的方式中,在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值之外,还包括:
    将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表;
    结合第一方面的第二种可能的实现方式,在第三种可能实现的方式中,在 所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值之后,还包括:
    若所述key的counter减至热度阈值以下,则告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。
    第二方面,本发明还提供了一种降低LSM Tree写放大的装置,所述装置包括:
    查询模块,用于当有数据写入时,查询所述数据的key是否在热度表中;所述key是指key-value存储模式中的数据索引,所述热度表用于记录多个key对应的数据的更新频度;
    控制模块,用于在所述数据的key不在所述热度表中时,将所述数据直接写入到持久化设备中;在所述数据的key在所述热度表中时,将所述key的counter加1,并判断所述key的counter是否达到热度阈值;所述counter是指key所对应的数据的更新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限;在所述key的counter达到热度阈值时,将所述key对应的数据写入PRAM设备中进行原地更新;所述原地更新是指在数据存储的位置直接进行更新;在所述key的counter未达到热度阈值时,将所述数据直接写入到持久化设备中。
    结合第二方面,在第二方面的第一种可能的实现方式中,所述装置还包括计算模块:
    控制模块,还用于建立多组布隆过滤器Multi BF,并为每个BF设定权重;所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行 清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系;根据每个BF的权重对所述数据的key进行热度评分,在所述数据的key的热度评分达到阈值时,判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值;
    计算模块,用于根据所述数据的key,计算所述key在BF中对应的标记位;
    查询模块,还用于轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1。
    结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述控制模块,还用于将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表。
    结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述控制模块,还用于在所述key的counter减至热度阈值以下时,告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。
    本发明实施例提供的一种降低LSM Tree写放大的方法和装置,通过在有数据写入时,查询所写入的数据的key是否存在于热度表中,当查询结果为否时,将该数据直接写进持久化设备,否则,则将该key的counter加1,并判断该key的counter是否达到热度阈值,当判断结果为是时,将该key对应的数据写入PRAM设备中进行原地更新,否则将该数据直接写入持久化设备中的方法,通过判断数据的key在在热度表中时,该key所累计的counter是否达到阈值来决定是将数据写入持久化设备中,还是写入PRAM设备中进行原定更新,通过在 使用Multi BF进行数据筛选之外,还增加了热度表来继续对数据的热度进行统计,并将筛选出的热度达到阈值的数据写入PRAM设备中进行原地更新,使得数据的热度阈值能够在热度表中进行设置,避免了无法对更新频度较高的数据进行筛选的现象,解决了由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。
    附图说明
    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
    图1为本发明实施例提供的一种降低LSM Tree写放大的方法流程图;
    图2为本发明实施例提供的建立热度表的方法流程图;
    图3为本发明实施例提供的一种降低LSM Tree写放大的装置示意图。
    具体实施方式
    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
    本发明实施例提供了一种降低LSM Tree写放大的方法,其方法流程如图1所示,具体包括:
    101、当有数据写入时,查询所述数据的key是否在热度表中。
    其中,所述key是指key-value存储模式中的数据索引,所述热度表用于记 录多个key对应的数据的更新频度,所述更新频度也可以称为热度,表示key对应的数据在一段时间内更新次数大,更新的时间间隔短。
    102、若所述数据的key不在所述热度表中,则将所述数据直接写入到持久化设备中。
    其中,如果数据的key不在热度表中,则认为该数据的更新频度不大,没有达到筛选的要求,因此可以直接存入持久化设备中,按照常规的方式进行存储和更新,其中,持久化设备包括可能包括HDD、SSD等存储设备。
    103、若所述数据的key在所述热度表中,则将所述key的counter加1,并判断所述key的counter是否达到热度阈值。
    其中,所述counter是指key所对应的数据的更新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限,其中,可以将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表。当key在热度表中时,表明该数据已经被判别为更新频度较高的数据,而counter则记录了该数据在一段时间内的更新次数。
    104、若所述key的counter达到热度阈值,将所述key对应的数据写入PRAM设备中进行原地更新。
    其中,所述原地更新是指在数据存储的位置直接进行更新。当某给key的counter达到热度阈值后,则说明该key的更新频度超出了可接受的范围之外,那么可以采用将该数据写入PRAM设备中进行缓存,而不是直接写入持久化设备中,这样,当该数据的更新频度很高时,就可以直接在PRAM设备中进行更新,而不用在持久化设备中进行更新了。
    105、若所述key的counter未达到热度阈值,则将所述数据直接写入到持久化设备中。
    其中,所述key的counter未达到热度阈值与key不在热度表中为同一种情况,即输入的数据的更新频度在可接受的范围之内,可直接写入到持久化设备当中。
    为了更清楚地描述本发明实施例的方法流程,在此针对查询及后续的步骤举例进行说明,具体如下:假定counter的数值表示的是数据更新的次数,热度阈值设置为15,而counter所设置的自减预设周期为0.5s,即0.5s就将counter的数值减1,那么当有数据输入时,查询到该数据的key在热度表中,且该key的counter为10,即表示该key对应的数据在0.5秒的时间内进行了10次更新,另外,counter的数值小于热度阈值15,那么就说明该数据虽然更新的频度比较高,但是还未超过所要求的更新频度上限,即更新频度虽然很高,但仍在可以接受的范围之内,若该数据的key当前的counter的数值为20,则将该数据写入PRAM设备中进行原地更新。
    本发明实施例提供的一种降低LSM Tree写放大的方法,通过在有数据写入时,查询所写入的数据的key是否存在于热度表中,当查询结果为否时,将该数据直接写进持久化设备,否则,则将该key的counter加1,并判断该key的counter是否达到热度阈值,当判断结果为是时,将该key对应的数据写入PRAM设备中进行原地更新,否则将该数据直接写入持久化设备中的方法,通过判断数据的key在在热度表中时,该key所累计的counter是否达到阈值来决定是将数据写入持久化设备中,还是写入PRAM设备中进行原定更新,通过在使用Multi BF进行数据筛选之外,还增加了热度表来继续对数据的热度进行统计,并将筛选出的热度达到阈值的数据写入PRAM设备中进行原地更新,使得数据的热度阈值能够在热度表中进行设置,避免了无法对更新频度较高的数据进行筛选的现象,解决了由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值 设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。
    此外,本法明实施例还提供了一种筛选热数据并记录数据热度的方法,其方法流程如图2所示,具体包括:
    201、建立多组布隆过滤器Multi BF,并为每个BF设定权重。
    其中,所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系。
    202、根据所述数据的key,计算所述key在BF中对应的标记位。
    其中,具体根据key计算相应标记位的方法可选择通过HASH函数的方式进行计算,每个key在BF中的标记位固定不变,由于具体计算的方式不在本发明的范围之内,在此不再赘述。
    203、轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1。
    其中,由于每个key在每个BF中的标记位为固定不变的,因此,在一个自减预设周期内,该BF只能被标记一次,因此,当写入数据时可通过查询该key的固定标记位来查找未被标记的BF,这样,若写入的数据在一段时间内更新的频度很高时,就会有多个BF的标记位被标记。
    204、根据每个BF的权重对所述数据的key进行热度评分,若所述数据的key的热度评分达到阈值,则判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值。
    其中,在对数据的key进行评分时,可通过每个BF的权重不同对所有BF进行加权评分,若评分达到阈值则将该数据的key和counter作为热度表的 element进行存储,其中counter可初始设置为1或者标记位为1的BF的数量。例如,假设3个BF中该数据的key的标记位被标记为1,且第一个BF的当前时刻与最近一次清零的时刻的时间差为0.2,第二个BF的当前时刻与最近一次清零的时刻的时间差为0.3,第三个BF的当前时刻与最近一次清零的时刻的时间差为0.4,那么评分可通过(0.2+0.3+0.4)/3的方式计算得到,当然这只是所例举的一种可实现的方式,本发明在此不做更多的限制。
    此外,在所述热度表中记录所述数据的key,并将所述数据的key对应的counter标记为固定数值之后,还包括:
    若所述key的counter减至热度阈值以下,则告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。
    在本发明实施例中,通过建立Multi BF,为每个BF设定权重,根绝数据的key计算该key在BF中对应的标记位,并在轮询各BF后,将查找到的第一个所述key对应的标记位为0的BF中相应的述标记位置1,并根据每个BF的权重对所述数据的key进行热度评分,评分达到阈值的key写入热度表中,并继续用counter记录该key的热度的方式,通过对数据进行两次筛选,并给出热度表的建立方式,使得热度表能够用于记录数据的热度,进而为通过热度表来筛选数据提供了可能性和可实施性。
    本发明实施例还提供了一种降低LSM Tree写放大的装置,如图3所示,具体包括:
    查询模块31,用于当有数据写入时,查询所述数据的key是否在热度表中;所述key是指key-value存储模式中的数据索引,所述热度表用于记录多个key 对应的数据的更新频度。
    控制模块32,用于在所述数据的key不在所述热度表中时,将所述数据直接写入到持久化设备中;在所述数据的key在所述热度表中时,将所述key的counter加1,并判断所述key的counter是否达到热度阈值;所述counter是指key所对应的数据的更新频度,所述热度阈值用于表示所述key对应的数据的更新频度上限;在所述key的counter达到热度阈值时,将所述key对应的数据写入PRAM设备中进行原地更新;所述原地更新是指在数据存储的位置直接进行更新;在所述key的counter未达到热度阈值时,将所述数据直接写入到持久化设备中。
    此外,所述装置还包括计算模块33。
    所述控制模块32,还用于建立多组布隆过滤器Multi BF,并为每个BF设定权重;所述BF用于标记一段时间的写入的数据的key,能够定时对内部的标记位进行清零操作,所述权重用于为需要写入持久化设备的数据的key进行热度评分,与所述BF最近一次清0时刻与当前时刻的时间间隔成正相关关系;根据每个BF的权重对所述数据的key进行热度评分,在所述数据的key的热度评分达到阈值时,判定所述数据为热数据,并在所述热度表中记录所述数据的key,将所述数据的key对应的counter标记为固定数值。
    所述计算模块33,用于根据所述数据的key,计算所述key在BF中对应的标记位。
    所述查询模块31,还用于轮询各BF,查找第一个所述key对应的标记位为0的BF,并将所述标记位置1。
    此外,所述控制模块32,还用于将所述counter设置为预设周期自动减1,并在所述counter减至0时,将所述counter对应的key移出热度表。
    此外,所述控制模块32,还用于在所述key的counter减至热度阈值以下时,告知所述PRAM设备所述key的数据已变为冷数据,以使得所述PRAM设备能够累计所述key对应的数据的大小,并当累计的总量达到总量阈值时,触发compact操作,将所述key对应的数据写入持久化设备中。
    本发明实施例提供的一种降低LSM Tree写放大的装置,通过在有数据写入时,查询所写入的数据的key是否存在于热度表中,当查询结果为否时,将该数据直接写进持久化设备,否则,则将该key的counter加1,并判断该key的counter是否达到热度阈值,当判断结果为是时,将该key对应的数据写入PRAM设备中进行原地更新,否则将该数据直接写入持久化设备中的方法,通过判断数据的key在在热度表中时,该key所累计的counter是否达到阈值来决定是将数据写入持久化设备中,还是写入PRAM设备中进行原定更新,通过在使用Multi BF进行数据筛选之外,还增加了热度表来继续对数据的热度进行统计,并将筛选出的热度达到阈值的数据写入PRAM设备中进行原地更新,使得数据的热度阈值能够在热度表中进行设置,避免了无法对更新频度较高的数据进行筛选的现象,解决了由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。
    通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备 等)执行本发明各个实施例所述的方法。
    以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

    关 键  词:
    一种 降低 LSMTREE 放大 方法 装置
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种降低LSMTREE写放大的方法和装置.pdf
    链接地址:https://www.zhuanlichaxun.net/p-6358275.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1