一种数据压缩存储并检索的方法及系统.pdf

本发明公开了一种数据压缩存储和快速检索的装置和方法。目前对词典进行前缀检索一般采用Trie树(字符树)，它的每一个节点上存储的是一个字符，这样就造成了空间的极大浪费。本发明将字符Trie树改进为字符串Trie树，有效降低了空间浪费问题。在内存要求比较严格的系统中，对字符串Trie树中节点的内容进行压缩处理，给出了压缩算法。该装置可用于对内存空间要求比较严格的移动存储设备中，在词典数据非常大的情况下，越能体现出该方法的优越性。另外该装置还可以用于目前互联网的搜索接口的Suggest功能，存在性检查以及类型的查询功能。

1、  一种数据压缩存储与检索方法，包括步骤：
(1)根据用户检索情况，选择合适类型节点，将词典或特征数据用改进的字符串Trie树结构表示；
(2)对字符串Trie树进行压缩，优化；
(3)根据用户的输入，在字符串Trie树中进行检索。

2、  根据权利要求1所述的数据压缩存储与检索方法，其特征在于：扫描词典数据或特征数据，将数据插入到改进的字符串Trie树中。

3、  根据权利要求1所述的数据压缩存储与检索方法，其特征在于：遍历字符串Trie树中的节点数据，并对节点数据进行统计，并采用压缩算法对字符串Trie树进行压缩处理。

4、  根据权利要求1所述的数据压缩存储与检索方法，其特征在于：将字符串Trie树用于后缀查找。

5、  根据权利要求1所述的数据压缩存储与检索方法，其特征在于：将字符串Trie树用于<key，value>类型的查找。

6、  根据权利要求1所述的数据压缩存储与检索方法，其特征在于：将字符串Trie树用于数据存在性检测。

7、  根据权利要求3所述的数据压缩存储与检索方法，其特征在于，所述压缩算法：统计字符串Trie树中节点内容出现情况，选择可能被替换的字符串，列举出每种字符串所有可能的替换，通过删除候选替换，检测冲突并解决冲突，从而获得字符串Trie树的最佳字符串替换方案，实现对字符串Trie树的压缩处理；当访问字符串Trie树时，检测节点的类型，如果是压缩节点，则从映射表中读取真正内容。

一种数据压缩存储并检索的方法及系统
技术领域
本发明涉及通讯及计算机领域，在移动设备、互联网、输入法等方面均有特定的应用。
背景技术
词典的数据量是几十万甚至上百万，对其进行快速检索是迫切需要解决的问题。快速定位词典中单词所在的记录不仅仅在移动设备上有非常广泛的用途，而且在信息检索领域中也属于基础检索技术。对词典的查询非常频繁，对其查询速度和存储空间的任何改进都具有重大意义。
目前大量应用系统中常常需要给出某字符串的唯一Id标识，该字符串可以为某特征字符串。通常的做法是在数据库中建立一张表，该表的两列分别存储字符串及其对应的Id，并对String建立索引，而且还需要保证Id的唯一性。另外一种比较直接的做法是采用Map结构，但Map结构在处理大数据量时将消耗大量的内存资源。
另一方面，大量系统都需要支持编辑建议和输入建议功能，如目前的许多代码编辑系统中的代码援助功能，都需要支持前缀查询、后缀查询功能，前缀查询一般采用类似于数据库中的Like匹配策略，或者使用Trie树结构或者一些其它检索树(如B-树，B+树以及它们的变形)，但是目前公布的对Trie树的优化算法都无法同时获得较高的查询效率以及消耗较小的内存空间。
存在性检测通常用于检测某数据是否被处理过，例如判断url是否被爬虫程序获取过，以及判断某串是否出现在某词典中，以便判断该串是否是一个词等问题。
数据压缩算法主要分为有损压缩和无损压缩两种。无损压缩就是能够完全还原的压缩算法，通常压缩算法是将数据加载到内存中，对其进行压缩处理后，将其持久化。在实际使用时，需要将持久化的数据解压后放在内存中，所以实际上对内存的消耗并没有真正的减少。本发明采用通过对内存数据进行压缩，然后再对其进行持久化的策略。
有没有一种结构能够同时支持上述功能呢？本发明将公布这种结构。目前对词典进行前缀检索一般采用Trie(字符树)，它的每一个节点上存储的是一个字符，这样就造成了空间的极大浪费。针对空间浪费的问题，我们需要设计一种压缩装置来解决空间浪费问题。
Trie树对一个节点的孩子节点存储时，可以使用数组或者链式结构，并没有考虑查询单词的使用频率，通过采用特定的置换算法可以改善查询命中率。本发明改进了Trie树的结构，将其命名为字符串Trie树，并对其字符串Trie树中的内容进行压缩处理。
发明就是针对上述情况进行处理和解决。
发明内容
目前大部分数据压缩方法不具有查询功能，本发明设计的压缩技术支持前缀查询和存在性检测。本发明提出了一种对Trie树结构进行改进的词典管理和检索方法。将字符Trie树改进为基于字符串的Trie树。在构造Trie树的过程中提出了一种优化策略，将节点中的数据进行替换压缩处理。在对内存要求比较严格或面对大数据量处理时，提出了一种内外存方式来实现对Trie树的动态加载。本发明根据常见需求的不同，给出了在设计Trie树节点时的一些区别。本发明提供了一种快速检索词典，并对词典数据进行压缩存储的方法。该方法能够高度压缩词典数据，并且本身就带有查询功能，在查询速度上也进行了改进，能够取得不错的效果。
实现本发明所采用的技术方案为：一种数据压缩存储与检索方法，包括步骤：
步骤一、根据用户检索情况，选择合适类型节点，将词典或特征数据用改进的字符串Trie树结构表示；
步骤二、对字符串Trie树进行压缩，优化；
步骤三、根据用户的输入，在Trie树中进行检索。
上述的数据压缩存储与检索方法，其进一步特征在于：扫描词典数据或特征数据，将数据插入到改进的字符串Trie树中。
上述的数据压缩存储与检索方法，其进一步特征在于：将字符串Trie树用于前缀查找；将字符串Trie树用于<key，value>类型的查找；将字符串Trie树用于数据存在性检测。
上述的数据压缩存储与检索方法，其更进一步特征在于：遍历字符串Trie树中的节点数据，并对节点数据进行统计，并采用发明中所述的压缩算法对字符串Trie树进行压缩处理。所述的压缩算法是字符串替换算法，即将Tire树中节点存储的单词片段替换为另外一个较短的串，从而节省内存消耗。
本发明的有益效果：解决了现有Trie树结构的缺点，比现有词典方法查询效率更高，占用空间更少。由于每个节点都记录着被访问的次数和访问时间，所以在遍历某节点的孩子节点时，充分利用它们进行排序，加速查找过程。另外本文提出的字符串Trie树解决了传统Trie树的空指针浪费的问题，并且本文采用特定的字符串替换算法进一步压缩了字符串Trie树的内存消耗。
附图说明
图1为本发明实施例的字符串Trie树插入数据示例图。
图2为本发明实施例的字符串Trie树首字节点图。
图3为本发明实施例的根据内存状态动态加载节点图。
图4为本发明实施例的字符串Trie树生成及查询流程图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细陈述。
本发明的目的是为了解决Trie树结构现有的缺点，提供一种比现有词典方法查询效率更高，占用空间更少的词典管理和检索方法。该结构支持如下功能：前缀查询，后缀查询，特征串到Id的映射查询，存在性检查。
1.改进Trie树结构
本发明将Trie树结构改进成字符串Trie树。基本过程如下：
构建字符串Trie树的过程大体上分为下面几步：
A.采用改进的字符串Trie树对词典中的所有数据建立索引
A1.设计字符串Trie树中的节点能够存储单词的片断；
A2.设计字符串Trie树中的节点的孩子节点类型为链式结构
A3.设计字符串Trie树中节点中设置链接类型字段：节点分为过渡节点、数据节点、混合节点。
A4.扫描词典，并将数据存储到改进的结构中。
改进的Trie树具有每个节点至少两个子节点。如图1所示，为本发明实施例的字符串Trie树插入数据示例图，图1展示了字符串Trie树在插入数据时的节点所作出的调整。根据查询需求不同，字符串Trie树每个节点包含不同的内容。节点的kind属性代表了该节点的类型，kind＝2代表该节点是一个过渡节点，kind＝3代表该节点是数据节点，其数据内容是从根节点到当前节点所连接起来的串(不包括根节点)。kind＝6时，代表该节点既是一个过渡节点又是一个数据节点。kind＝kind*7代表该节点中的数据为压缩数据，通过Map可以查询得到该节点的真实数据，什么类型节点中的内容数据需要压缩将在下面进行详细描述，kind＝kind*(-1)代表该节点存储在硬盘上，该节点被动态加载到Cache中。基于上述基本定义，我们在判断节点类型时，将采用表1中所示的规则。