一种合并增量索引与总索引的方法及装置.pdf

本发明公开了一种合并增量索引与总索引的方法及装置。所述合并增量索引与总索引的方法，包括：判断增量索引是否满足第一预设阈值；当所述增量索引满足第一预设阈值的条件下，合并所述增量索引与中间索引；判断所述中间索引是否满足第二预设阈值；当所述中间索引满足第二预设阈值的条件下，合并所述中间索引与总索引。本发明可以减少系统加载文件的数量和减少读取操作与写入操作的次数。

权利要求书
1.  一种合并增量索引与总索引的方法，其特征在于，包括：
判断增量索引是否满足第一预设条件；
当所述增量索引满足第一预设条件时，合并所述增量索引与中间索引；
判断所述中间索引是否满足第二预设条件；
当所述中间索引满足第二预设条件时，合并所述中间索引与总索引。

2.  根据权利要求1的方法，其特征在于，所述判断增量索引是否满足第一预设条件，包括：
判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
或者判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。

3.  根据权利要求1的方法，其特征在于，所述当所述增量索引满足第一预设条件时，合并所述增量索引与中间索引，包括：
将所述增量索引中的所有所述索引信息导入到所述中间索引中；
清空所述增量索引。

4.  根据权利要求1的方法，其特征在于，判断所述中间索引是否满足第二预设条件，包括：
判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
或者判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。

5.  根据权利要求1的方法，其特征在于，所述当中间索引满足第二预设条件时，合并所述中间索引与到总索引，包括：
将所述中间索引中的所有索引信息导入到所述总索引中；
清空所述中间索引。

6.  一种合并增量索引与总索引的装置，其特征在于，包括：
第一判断模块，用于判断增量索引是否满足第一预设阈值；
第一合并模块，用于当所述增量索引满足第一预设阈值的条件下，合并所述增量索引与中间索引；
第二判断模块，用于判断所述中间索引是否满足第二预设阈值；
第二合并模块，用于当所述中间索引满足第二预设阈值的条件下，合并所述中间索引与总索引。

7.  根据权利要求6所述的装置，其特征在于，所述第一判断模块，包括：
第一判断子模块，用于判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
第二判断子模块，用于判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。

8.  根据权利要求6所述的装置，其特征在于，所述第一合并模块，包括：
导入子模块，用于将所述增量索引中的所有所述索引信息导入到所述中间索引中；
清空子模块，用于清空所述增量索引。

9.  根据权利要求6所述的装置，其特征在于，所述第二判断模块，包括：
第一判断子模块，用于判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
第二判断子模块，用于判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。

10.  根据权利要求6所述的装置，其特征在于，所述第二合并模块，包括：
导入子模块，用于将所述中间索引中的所有索引信息导入到所述总索引中；
清空子模块，用于清空所述中间索引。

说明书一种合并增量索引与总索引的方法及装置
技术领域
本公开涉及数据库技术领域，尤其涉及一种合并增量索引与总索引的方法及装置。
背景技术
近年来，数据库得到越来越广泛的应用，其中索引作为数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。
在数据库中，索引相对于数据库的SQL语句执行得更快。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。当数据库中有大量记录时，若要对数据库进行查询，若采用非索引的方式搜索，需要将所有记录一一取出，和查询条件进行一一对比，然后返回满足条件的记录，会消耗大量数据库系统时间，导致大量磁盘I/O操作；若采用索引的方式搜索，在索引中找到符合查询条件的索引值，可快速找到数据库中对应的记录。
数据库中增加新的数据，不仅需要更新数据库本身，还需要更新与数据库对应的索引。新增加的索引会根据新增加的数据而产生，为了使索引与更新后的数据库相匹配，需要同步更新索引，即将新增加的索引合并到总索引中。现有技术中，合并增量索引与总索引是通过将增量索引中的索引直接写入到总索引中，在这个过程中需要加载总索引，即需要完成加载总索引的磁盘I/O操作。因为增量索引所存储的数据量较小，所以就需要频繁的合并增量索引与总索引，而总索引中存储的数据量非常大，频繁的加载总索引会增加系统的运行负担和带来大量的磁盘I/O操作。
发明内容
本发明提供一种合并增量索引与总索引的方法及装置，用在不需要监测工具来实时监测合并的过程的情况下，处理发生合并增量索引和总索引合并失败的情况。
根据本公开实施例的第一方面，提供一种合并增量索引与总索引的方法，包括：
判断增量索引是否满足第一预设条件；
当所述增量索引满足第一预设条件时，合并所述增量索引与中间索引；
判断所述中间索引是否满足第二预设条件；
当所述中间索引满足第二预设条件时，合并所述中间索引与总索引。
本公开的实施例提供的技术方案可以包括以下有益效果：增量索引本身所存储的索引信息量是比较少的，若直接通过增量索引和总索引合并的方式，会带来大量的磁盘I/O操作和文件加载量。采用本申请的方法，可以降低加载总索引的次数，从而降低了磁盘的I/O操作和加载文件的数量。
在一个实施例中，在所述处理失败时，所述判断增量索引是否满足第一预设条件，包括：
判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
或者判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。
本公开的实施例提供的技术方案可以包括以下有益效果：通过设置增量索引中的索引数量作为阈值之外，还设置了当前时间与上一次合并所述增量索引与中间索引的时间间隔的阈值，这两个阈值可以保证增量索引中的新增的索引信息及时的导入中间索引中，可以提高索引的更新效率。
在一个实施例中，所述当所述增量索引满足第一预设条件时，合并所述增量索引与中间索引，包括：
将所述增量索引中的所有所述索引信息导入到所述中间索引中；
清空所述增量索引。
本公开的实施例提供的技术方案可以包括以下有益效果：在合并增量索引与中间索引之后，清空增量索引中的所有索引信息，以便再次使用增量索引，故无需额外创建其他的索引来存储新的索引信息。
在一个实施例中，判断所述中间索引是否满足第二预设条件，包括：
判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
或者判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。
本公开的实施例提供的技术方案可以包括以下有益效果：通过设置中间索引中的索引数量作为阈值之外，还设置了当前时间与上一次合并中间索引与总索引的时间间隔的阈值，这两个阈值可以保证中间索引中的索引信息及时的导入总索引中，可以提高总索引的更新效率，提高用户的查询体验。
在一个实施例中，所述当中间索引满足第二预设条件时，合并所述中间索引与到总索引，包括：
将所述中间索引中的所有索引信息导入到所述总索引中；
清空所述中间索引。
本公开的实施例提供的技术方案可以包括以下有益效果：在合并中间索引与总索引之后，清空中间索引中的所有索引信息，以便再次使用同一个中间索引，故无需额外创建其他的索引来存储增量索引中的索引信息。
根据本公开实施例的第二方面，提供一种合并增量索引与总索引的装置，包括：
第一判断模块，用于判断增量索引是否满足第一预设阈值；
第一合并模块，用于当所述增量索引满足第一预设阈值的条件下，合并所述增量索引与中间索引；
第二判断模块，用于判断所述中间索引是否满足第二预设阈值；
第二合并模块，用于当所述中间索引满足第二预设阈值的条件下，合并所 述中间索引与总索引。
在一个实施例中，其特征在于，所述第一判断模块，包括：
第一判断子模块，用于判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
第二判断子模块，用于判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。
在一个实施例中，所述第一合并模块，包括：
导入子模块，用于将所述增量索引中的所有所述索引信息导入到所述中间索引中；
清空子模块，用于清空所述增量索引。
在一个实施例中，所述第二判断模块，包括：
第一判断子模块，用于判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
第二判断子模块，用于判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。
在一个实施例中，所述第二合并模块，包括：
导入子模块，用于将所述中间索引中的所有索引信息导入到所述总索引中；
清空子模块，用于清空所述中间索引。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一示例性实施例示出的一种合并增量索引与总索引的方法流程图；
图2为本发明一示例性实施例示出的一种合并增量索引与总索引的方法流程图；
图3为本发明一示例性实施例示出的一种合并增量索引与总索引的方法流程图；
图4为本发明一示例性实施例示出的一种合并增量索引与总索引的方法流程图；
图5为本发明一示例性实施例示出的一种合并增量索引与总索引的方法流程图；
图6为本发明一示例性实施例示出的一种合并增量索引与总索引的装置框图；
图7为本发明一示例性实施例示出的一种合并增量索引与总索引的装置框图；
图8为本发明一示例性实施例示出的一种合并增量索引与总索引的装置框图；
图9为本发明一示例性实施例示出的一种合并增量索引与总索引的装置框图；
图10为本发明一示例性实施例示出的一种合并增量索引与总索引的装置框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
数据库中增加新的数据，不仅需要更新数据库本身，还需要更新与数据库对应的索引。新增加的索引会根据新增加的数据而产生，为了使索引与更新后的数据库相匹配，需要同步更新索引，即将新增加的索引合并到总索引中。索引与数据库之间的关系，相当于一本书的目录与正文之间关系。所有索引信息分布在多个服务器下对应数据库中的多个分表中，索引分片是在每个服务器单独进行，根据分片总数，将该服务器数据均匀的分布到各个索引分片中。
当数据库中有大量记录时，对数据库中数据进行查询有两种方式。第一种搜索的方式是搜索整个数据库，将查询条件与数据库中的所有数据进行逐一对比，然后返回符合查询条件的数据；第二种搜索的方式是在搜索引擎中建立索引，在索引中找到符合查询条件的记录，再根据索引与数据库的对应关系，快捷的查询到数据库中对应的记录。采用第一种查询方式，会消耗大量数据库系统资源，同时造成大量磁盘I/O操作；采用第二种方式，虽然索引本身也占据一定的物理存储空间，但是在查询数据时，可以大大加快检索速度，避免大量不必要的磁盘I/O操作。
将新的索引信息导入到增量索引中，在增量索引满足第一预设条件时，即增量索引中的索引信息量达到预设阈值时或当前时间与上一次合并所述增量索引与中间索引的时间间隔达到预设的时间间隔时，合并增量索引与中间索引，合并的过程是将增量索引中的索引信息导入到中间索引中。在增量索引中的所有数据都导入到中间索引后，清空增量索引中的所有索引信息，继续利用增量索引来存储新的索引信息。在中间索引满足第二预设条件时，即中间索引中的索引信息量达到预设阈值时或当前时间与上一次合并所述中间索引与总索引的时间间隔达到预设的时间间隔时，合并中间索引与总索引，合并的过程是将中间索引中的索引信息导入到总索引中。在中间索引中的所有数据都导入到总索引之后，清空中间索引中的所有索引信息，继续利用中间索引来存储增量索引中的索引信息。
图1是根据一示例性实施例示出的一种合并增量索引与总索引的方法流程图，如图1所示，该合并增量索引与总索引的方法，包括以下步骤S11-S14：
在步骤S11中，判断增量索引是否满足第一预设条件；
在步骤S12中，当所述增量索引满足第一预设条件时，合并所述增量索引与中间索引；
在步骤S13中，判断所述中间索引是否满足第二预设条件；
在步骤S14中，当所述中间索引满足第二预设条件时，合并所述中间索引与总索引。
在一个实施例中，当数据库中增加新的数据时，索引也需要实时的做出相应的变更。将新增加的索引信息存储在增量索引中，随着增量索引中的索引信息逐渐增多或者当前时间与上一次合并增量索引与中间索引的时间间隔达逐渐增长，判断增量索引是否满足第一预设条件，当不满足该第一预设条件时，继续将新增加的索引信息存储在增量索引中。当增量索引满足预设条件的时候，合并增量索引与中间索引，在合并的过程中依次将增量索引中的索引信息写入中间索引中的。随着合并增量索引与中间索引的次数的增长或者当前时间与上一次合并中间索引与总索引的时间间隔达逐渐增长，中间索引中的索引信息也渐渐增多，判断中间索引是否满足第二预设条件，当不满足第二预设条件时，继续将存储了新的索引信息的增量索引合并到中间索引中。若满足第二预设条件的时候，将中间索引合并到总索引中，在合并的过程中依次将中间索引的索引信息写入总索引中。
索引信息中的内容包括字段信息、属性信息、索引状态信息、同步时间。查找同步时间在生成上次所述增量索引之后的索引信息，同时需要满足该些索引信息中的索引状态信息为可索引状态，将该些索引信息导入到增量索引中。将导入到增量索引中的索引信息中的索引信息的索引状态标记为已索引。设定一个总索引重建的预设时间周期，比如时间周期为一周时间，在当前时间与上次总索引重建的时间间隔达到总索引重建的预设时间周期时，通过使用所有索 引状态为已索引的索引信息，生成一个新的总索引，用来替换之前的总索引。
本公开的实施例提供的技术方案可以包括以下有益效果：增量索引本身所存储的索引信息量是比较少的，若直接通过增量索引和总索引合并的方式，会带来大量的磁盘I/O操作和文件加载量。采用本申请的方法，可以降低加载总索引的次数，从而降低了磁盘的I/O操作和加载文件的数量。
在一个实施例中，如图2所示，方法包括如下步骤S21-S22：
在步骤S21中，判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
在步骤S22中，或者判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。
在一个实施例中，新的索引信息会不断的添加到增量索引中，增量索引本身是用来将索引信息导入到中间索引中的。设定一个增量索引所存储的索引信息量的上限，当增量索引中的索引信息数量达到该上限的时候，就将增量索引中的全部索引信息导入到中间索引中。
人们查询数据的时候，所能查到的索引信息包括增量索引、中间索引与总索引中的所有索引信息，将最佳索引结果返回给客户端。
如果在较长的一段时间内增量索引中的索引信息量并没有达到预设的增量索引的索引信息量的上限，在当前时间与上一次合并增量索引与中间索引的时间间隔达到预设的时间间隔的时候，合并增量索引与中间索引。
当增量索引中的数据量达到预设的索引信息量的上限时，合并增量索引与中间索引。若增量索引中的数据量未达到预设的索引信息量的上限，但当前时间与上一次合并增量索引与中间索引的时间间隔达到预设的时间间隔的时候，合并增量索引与中间索引。
例如，设定当增量索引中的索引信息条数达到3000条的时候，就合并增量索引与中间索引。当前时间与上一次合并增量索引与中间索引的时间间隔达到5分钟的时候，尽管增量索引中的索引信息量未达到3000条，也合并增 量索引与中间索引。
本公开的实施例提供的技术方案可以包括以下有益效果：设置了增量索引中的索引数量作为阈值，还设置了当前时间与上一次合并增量索引与中间索引的时间间隔的阈值，这两个阈值可以保证增量索引中的新增的索引信息及时的导入中间索引中，可以提高索引的更新效率，提高用户的查询体验。
在一个实施例中，如图3所示，方法包括步骤S31-S32：
在步骤S31中，将所述增量索引中的所有所述索引信息导入到所述中间索引中；
在步骤S32中，清空所述增量索引。
在一个实施例中，当数据库中的增加新的数据时，索引也需要实时的做出相应的变更。将变更的索引信息存储在增量索引中，当增量索引满足预设条件的时候，合并增量索引与中间索引，将增量索引中的所有索引信息导入到中间索引中。在合并成功的情况下，将增量索引中的所有索引信息清空，以便增量索引继续接收新的索引信息。然后开始下一轮的合并增量索引与中间索引的过程，将新的索引信息添加到增量索引中，合并增量索引与中间索引，达到循环利用增量索引来完成将新的索引信息导入到中间索引的操作过程。
本公开的实施例提供的技术方案可以包括以下有益效果：在合并增量索引与中间索引之后，清空增量索引中的所有索引信息，以便再次使用增量索引，故无需额外创建其他的索引来存储新的索引信息。
在一个实施例中，如图4所示，方法包括如下步骤S41-S42：
在步骤S41中，判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
在步骤S42中，或者判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。
在一个实施例中，增量索引会不断与中间索引合并，中间索引所存储的 索引信息也会越来越多。设定一个中间索引所存储的索引信息量的上限，当达到此上限的时候，就将中间索引中的索引信息导入总索引中。
如果在较长的一段时间内，中间索引的索引信息量并没有达到预设的中间索引的索引信息量的上限，通过预设一个时间间隔，在当前时间与上一次合并中间索引与总索引的时间间隔达到预设的时间间隔的时候，合并中间索引和总引。
当中间索引中的数据量达到预设的索引信息量的上限时，合并中间索引与总索引。若中间索引中的数据量未达到预设的中间索引的索引信息量的上限，但当前时间与上一次合并中间索引与总索引的时间间隔达到预设的时间间隔时，合并中间索引与总索引。
例如，设定当中间索引中的索引信息条数达到50000条的时候，就合并中间索引与总索引。当前时间与上一次合并中间索引与总索引的时间间隔达到45分钟的时候，虽然中间索引中的索引信息条数未达到50000条，也合并中间索引与总索引。
本公开的实施例提供的技术方案可以包括以下有益效果：通过设置中间索引的索引数量作为阈值之外，还设置了当前时间与上一次合并中间索引与总索引的时间间隔的阈值，这两个阈值可以保证中间索引中的索引信息及时的导入总索引中，可以提高总索引的更新效率。
在一个实施例中，如图5所示，在重新创建所述增量索引之前，包括如下步骤S51：
在步骤S51中，将所述中间索引中的所有索引信息导入到所述总索引中；
在步骤S52中，清空所述中间索引。
在一个实施例中，当数据库中的增加新的数据时，索引也需要实时的做出相应的更新。在合并中间索引与总索引过程中，首先将中间索引中的所有索引信息导入到总索引中，在合并成功的情况下，再将中间索引中的所有索引信息清空，以便中间索引继续接收的增量索引中的新的索引信息。然后开 始下一轮的合并增量索引与中间索引的过程，然后在满足预设条件下，合并中间索引与总索引，合并结束后，清空中间索引。达到循环利用中间索引来完成将中间索引中的索引信息导入到中间索引的操作。
本公开的实施例提供的技术方案可以包括以下有益效果：在合并中间索引与总索引之后，清空中间索引中的所有索引信息，以便再次使用同一个中间索引，故无需额外创建其他的索引来存储增量索引中的索引信息。
在一个实施例中，图6是根据一示例性实施例示出的一种合并增量索引与总索引的装置框图。如图6所示，该装置包括第一判断模块61、第一合并模块62、第二判断模块63、第二合并模块64。
该第一判断模块61，用于判断增量索引是否满足第一预设阈值；
该第一合并模块62，用于当所述增量索引满足第一预设阈值的条件下，合并所述增量索引与中间索引；
该第二判断模块63，用于判断所述中间索引是否满足第二预设阈值；
该第二合并模块64，用于当所述中间索引满足第二预设阈值的条件下，合并所述中间索引与总索引。
在一个实施例中，图7是根据一示例性实施例示出的一种合并增量索引与总索引的装置框图。如图7所示，该第一判断模块61包括第一判断子模块71和第二判断子模块72。
该第一判断子模块71，用于判断所述增量索引中所记录的索引信息的数量是否达到第一预设数量值；
该第二判断子模块72，用于判断当前时间与上一次合并所述增量索引与中间索引的时间间隔达到第一预设时间间隔。
在一个实施例中，图8是根据一示例性实施例示出的一种合并增量索引与总索引的装置框图。如图8所示，该第一合并模块62包括导入子模块81和清空子模块82。
该导入子模块81，用于将所述增量索引中的所有所述索引信息导入到所 述中间索引中；
该清空子模块82，用于清空所述增量索引。
在一个实施例中，图9是根据一示例性实施例示出的一种合并增量索引与总索引的装置框图。如图9所示，该二判断模块63包括第一判断子模块91和第二判断子模块92。
该第一判断子模块91，用于判断所述中间索引中所记录的索引信息的数量是否达到第二预设数量值；
该第二判断子模块92，用于判断当前时间与上一次合并所述中间索引与总索引的时间间隔达到第二预设时间间隔。
在一个实施例中，图10是根据一示例性实施例示出的一种合并增量索引与总索引的装置框图。如图10所示，该第二合并模块64包括导入子模块101和清空子模块102。
该导入子模块101，用于将所述增量索引中的所有所述索引信息导入到所述中间索引中；
该清空子模块102，用于清空所述增量索引。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。