稀疏数据的处理方法、电子设备以及计算机可读存储介质.pdf

《稀疏数据的处理方法、电子设备以及计算机可读存储介质.pdf》由会员分享，可在线阅读，更多相关《稀疏数据的处理方法、电子设备以及计算机可读存储介质.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911156997.9 (22)申请日 2019.11.22 (71)申请人 北京明略软件系统有限公司 地址 100000 北京市海淀区东北旺西路8号 院4号楼310号 (72)发明人 赵岩梁凯博 (74)专利代理机构 北京超成律师事务所 11646 代理人 孔默 (51)Int.Cl. G06F 16/22(2019.01) (54)发明名称 稀疏数据的处理方法、 电子设备以及计算机 可读存储介质 (57)摘要 本申请提供了一种稀疏数据的处理方法、 电 子设备以及计算机可。

2、读存储介质， 其中， 该方法 包括建立底层表结构； 其中， 所述底层表结构包 括： 数据表、 字段表、 数据关联表和值表， 所述数 据表用于存储数据相关信息， 所述字段表用于存 储字段相关信息， 所述数据关联表用于存储数据 和关联数据之间的关系， 所述值表用于存储数据 值和字段值； 将稀疏数据导入所述底层表结构 中； 依据已导入所述稀疏数据的所述底层表结构 和字典表， 对所述稀疏数据进行数据查询、 数据 维护和比对碰撞中至少一项的处理。 本申请通过 上述步骤可以极大地减少公司的开发及维护工 作量。 权利要求书2页 说明书6页 附图1页 CN 110928881 A 2020.03.27 CN 。

3、110928881 A 1.一种稀疏数据的处理方法， 其特征在于， 包括： 建立底层表结构； 其中， 所述底层表结构包括： 数据表、 字段表、 数据关联表和值表， 所 述数据表用于存储数据相关信息， 所述字段表用于存储字段相关信息， 所述数据关联表用 于存储数据和关联数据之间的关系， 所述值表用于存储数据值和字段值； 将稀疏数据导入所述底层表结构中； 依据已导入所述稀疏数据的所述底层表结构和字典表， 对所述稀疏数据进行数据查 询、 数据维护和比对碰撞中至少一项的处理。 2.根据权利要求1所述的处理方法， 其特征在于， 所述数据表包括数据唯一标识、 数据名称、 数据来源、 数据用途、 字段个数和。

4、关联数据 中的至少一项； 所述字段表包括字段表唯一标识、 数据类别唯一标识、 字段名称和字段注释中的至少 一项； 所述数据关联表包括数据关联表唯一标识、 数据唯一标识和关联数据唯一标识中的至 少一项； 所述值表包括值表唯一标识、 数据唯一标识、 字段唯一标识和字段值中的至少一项。 3.根据权利要求2所述的处理方法， 其特征在于， 对所述稀疏数据进行数据查询， 包括： 基于已导入所述稀疏数据的所述数据表、 字段表、 数据关联表、 值表以及字典表， 查询 所需的稀疏数据。 4.根据权利要求2所述的处理方法， 其特征在于， 对所述稀疏数据进行数据维护， 包括： 基于已导入所述稀疏数据的所述数据表、 。

5、字段表以及字典表， 通过所需维护的稀疏数 据的数据名称查询该稀疏数据在所述数据表中的数据相关信息和在所述字段表中的字段 相关信息， 并根据所述数据相关信息和字段相关信息对所述所需维护的稀疏数据进行包括 增加、 读取、 更新和删除中至少一项的数据维护。 5.根据权利要求2所述的处理方法， 其特征在于， 对所述稀疏数据进行比对碰撞， 包括： 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字段值 所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯一标识和字段唯一标识； 基于已导入所述稀疏数据的数据表和字典表， 将所需检索的字段值关联的数据唯一标 识与该数据表中的数据唯一。

6、标识所在的列进行比对碰撞， 得到所需检索的字段值关联的数 据唯一标识所对应的数据相关信息； 基于已导入所述稀疏数据的字段表和字典表， 将所需检索的字段值关联的字段唯一标 识与该数据表中的字段唯一标识所在的列进行比对碰撞， 得到所需检索的字段值关联的字 段唯一标识所对应的字段相关信息。 6.根据权利要求2所述的处理方法， 其特征在于， 对所述稀疏数据进行比对碰撞， 包括： 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字段值 所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯一标识； 基于已导入所述稀疏数据的所述数据关联表和字典表， 确定所需检索的字段值关联的 数据。

7、唯一标识所对应的关联数据唯一标识； 基于已导入所述稀疏数据的数据表和字典表， 将该关联数据唯一标识与该数据表中的 数据唯一标识所在的列进行比对碰撞， 得到该关联数据唯一标识所对应的数据相关信息； 权利要求书 1/2 页 2 CN 110928881 A 2 基于已导入所述稀疏数据的所述值表和字典表， 确定该关联数据唯一标识所对应的字 段唯一标识； 基于已导入所述稀疏数据的字段表和字典表， 将该关联数据唯一标识所对应的字段唯 一标识与该数据表中的字段唯一标识所在的列进行比对碰撞， 得到该关联数据唯一标识所 对应的字段唯一标识所对应的字段相关信息。 7.根据权利要求2所述的处理方法， 其特征在于，。

8、 所述值表中的字段唯一标识对应多个 字段值。 8.根据权利要求2所述的处理方法， 其特征在于， 所述值表中的数据唯一标识对应多个 数据值。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介质存储有所 述处理器可执行的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间通 过总线通信， 所述处理器执行所述机器可读指令， 以执行如权利要求1至8任一所述处理方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求1至8任一所述处理方法的步骤。 权利要求书 2/2 。

9、页 3 CN 110928881 A 3 稀疏数据的处理方法、 电子设备以及计算机可读存储介质 技术领域 0001 本申请涉及稀疏数据处理技术领域， 具体而言， 涉及一种稀疏数据的处理方法、 电 子设备以及计算机可读存储介质。 背景技术 0002 信息技术经过20多年的发展， 已经积累了富含价值的海量数据， 但也形成了大量 的信息孤岛， 随着打破信息孤岛的呼声越来越高， 各政府部门所能获取的数据也越来越多， 其中不可避免的获取到的大量数据属于稀疏数据。 且随着对数据的研判分析层面的不断加 深， 源数据已经无法满足客户的工作需要， 需要基于源数据做大量补充。 一方面需要挖掘稀 疏数据的价值， 另。

10、一方面需要对数据进行大量补充完善， 给公司带来了不少的挑战。 0003 现有的稀疏数据的处理方案为： 在业务库中新建涵盖数据源表结构的表， 使用etl 工具将数据写入业务库， 开发公司开发定制化程序实现新增数据的查询、 维护、 与原有数据 比对碰撞。 0004 现有技术的不足在于： 对稀疏数据进行数据查询、 数据维护和比对碰撞时， 不仅开 发难度很大， 而且工作量也巨大。 发明内容 0005 有鉴于此， 本申请的目的在于提供一种稀疏数据的处理方法、 电子设备以及计算 机可读存储介质， 能够达到极大地减少公司的开发及维护工作量的效果。 0006 第一方面， 本发明实施例提供一种稀疏数据的处理方法。

11、， 包括： 0007 建立底层表结构； 其中， 所述底层表结构包括： 数据表、 字段表、 数据关联表和值 表， 所述数据表用于存储数据相关信息， 所述字段表用于存储字段相关信息， 所述数据关联 表用于存储数据和关联数据之间的关系， 所述值表用于存储数据值和字段值； 0008 将稀疏数据导入所述底层表结构中； 0009 依据已导入所述稀疏数据的所述底层表结构和字典表， 对所述稀疏数据进行数据 查询、 数据维护和比对碰撞中至少一项的处理。 0010 在一个可能的实施例中， 所述数据表包括数据唯一标识、 数据名称、 数据来源、 数 据用途、 字段个数和关联数据中的至少一项； 0011 所述字段表包括。

12、字段表唯一标识、 数据类别唯一标识、 字段名称和字段注释中的 至少一项； 0012 所述数据关联表包括数据关联表唯一标识、 数据唯一标识和关联数据唯一标识中 的至少一项； 0013 所述值表包括值表唯一标识、 数据唯一标识、 字段唯一标识和字段值中的至少一 项。 0014 在一个可能的实施例中， 对所述稀疏数据进行数据查询， 包括： 0015 基于已导入所述稀疏数据的所述数据表、 字段表、 数据关联表、 值表以及字典表， 说明书 1/6 页 4 CN 110928881 A 4 查询所需的稀疏数据。 0016 在一个可能的实施例中， 对所述稀疏数据进行数据维护， 包括： 0017 基于已导入所。

13、述稀疏数据的所述数据表、 字段表以及字典表， 通过所需维护的稀 疏数据的数据名称查询该稀疏数据在所述数据表中的数据相关信息和在所述字段表中的 字段相关信息， 并根据所述数据相关信息和字段相关信息对所述所需维护的稀疏数据进行 包括增加、 读取、 更新和删除中至少一项的数据维护。 0018 在一个可能的实施例中， 对所述稀疏数据进行比对碰撞， 包括： 0019 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字 段值所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯一标识和字段唯一标 识； 0020 基于已导入所述稀疏数据的数据表和字典表， 将所需检索的字段值关联的数据。

14、唯 一标识与该数据表中的数据唯一标识所在的列进行比对碰撞， 得到所需检索的字段值关联 的数据唯一标识所对应的数据相关信息； 0021 基于已导入所述稀疏数据的字段表和字典表， 将所需检索的字段值关联的字段唯 一标识与该数据表中的字段唯一标识所在的列进行比对碰撞， 得到所需检索的字段值关联 的字段唯一标识所对应的字段相关信息。 0022 在一个可能的实施例中， 对所述稀疏数据进行比对碰撞， 包括： 0023 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字 段值所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯一标识； 0024 基于已导入所述稀疏数据的所述数据关联。

15、表和字典表， 确定所需检索的字段值关 联的数据唯一标识所对应的关联数据唯一标识； 0025 基于已导入所述稀疏数据的数据表和字典表， 将该关联数据唯一标识与该数据表 中的数据唯一标识所在的列进行比对碰撞， 得到该关联数据唯一标识所对应的数据相关信 息； 0026 基于已导入所述稀疏数据的所述值表和字典表， 确定该关联数据唯一标识所对应 的字段唯一标识； 0027 基于已导入所述稀疏数据的字段表和字典表， 将该关联数据唯一标识所对应的字 段唯一标识与该数据表中的字段唯一标识所在的列进行比对碰撞， 得到该关联数据唯一标 识所对应的字段唯一标识所对应的字段相关信息。 0028 在一个可能的实施例中，。

16、 所述值表中的字段唯一标识对应多个字段值。 0029 在一个可能的实施例中， 所述值表中的数据唯一标识对应多个数据值。 0030 第二方面， 本发明实施例提供一种电子设备， 包括： 处理器、 存储介质和总线， 所述 存储介质存储有所述处理器可执行的机器可读指令， 当电子设备运行时， 所述处理器与所 述存储介质之间通过总线通信， 所述处理器执行所述机器可读指令， 以执行如上述实施例 中任一所述处理方法的步骤。 0031 第三方面， 本发明实施例还提供一种计算机可读存储介质， 所述计算机可读存储 介质上存储有计算机程序， 所述计算机程序被处理器运行时执行如上述实施例中任一所述 处理方法的步骤。 0。

17、032 本发明提供一种稀疏数据的处理方法、 电子设备以及计算机可读存储介质。 该方 说明书 2/6 页 5 CN 110928881 A 5 法建立用于存储数据相关信息的数据表、 用于存储字段相关信息的字段表、 用于存储数据 和关联数据之间的关系的数据关联表和用于存储数据值和字段值的值表， 并依据导入稀疏 数据的底层表结构和字典表对稀疏数据进行数据查询、 数据维护和比对碰撞中至少一项的 处理， 可以极大地减少公司的开发及维护工作量。 附图说明 0033 为了更清楚地说明本申请实施例的技术方案， 下面将对实施例中所需要使用的附 图作简单地介绍， 应当理解， 以下附图仅示出了本申请的某些实施例， 。

18、因此不应被看作是对 范围的限定， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这 些附图获得其他相关的附图。 0034 图1示出了本申请实施例提供的一种稀疏数据的处理方法的流程图。 具体实施方式 0035 为使本申请实施例的目的、 技术方案和优点更加清楚， 下面将结合本申请实施例 中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 应当理解， 本申请中附图 仅起到说明和描述的目的， 并不用于限定本申请的保护范围。 另外， 应当理解， 示意性的附 图并未按实物比例绘制。 本申请中使用的流程图示出了根据本申请的一些实施例实现的操 作。 应该理解， 流程图的操作。

19、可以不按顺序实现， 没有逻辑的上下文关系的步骤可以反转顺 序或者同时实施。 此外， 本领域技术人员在本申请内容的指引下， 可以向流程图添加一个或 多个其他操作， 也可以从流程图中移除一个或多个操作。 0036 另外， 所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。 通常在 此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。 因 此， 以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的 范围， 而是仅仅表示本申请的选定实施例。 基于本申请的实施例， 本领域技术人员在没有做 出创造性劳动的前提下所获得的所有其他实施例， 都属于本申请保。

20、护的范围。 0037 需要说明的是， 本申请实施例中将会用到术语 “包括” ， 用于指出其后所声明的特 征的存在， 但并不排除增加其它的特征。 0038 请参阅图1， 图1为本申请实施例提供的一种稀疏数据的处理方法的流程图。 如图1 所示， 所述处理方法主要包括： 0039 S101、 建立底层表结构； 其中， 所述底层表结构包括： 数据表、 字段表、 数据关联表 和值表， 所述数据表用于存储数据相关信息， 所述字段表用于存储字段相关信息， 所述数据 关联表用于存储数据和关联数据之间的关系， 所述值表用于存储数据值和字段值。 0040 其中， 所述数据表包括数据唯一标识、 数据名称、 数据来源。

21、、 数据用途、 字段个数和 关联数据中的至少一项。 所述字段表包括字段表唯一标识、 数据类别唯一标识、 字段名称和 字段注释中的至少一项。 所述数据关联表包括数据关联表唯一标识、 数据唯一标识和关联 数据唯一标识中的至少一项。 所述值表包括值表唯一标识、 数据唯一标识、 字段唯一标识和 字段值中的至少一项。 0041 在该步骤中， 基于EVA数据库模型建立底层表结构， 底层表结构不仅限于上述四种 表， 还可以增加新的表。 说明书 3/6 页 6 CN 110928881 A 6 0042 S102、 将稀疏数据导入所述底层表结构中。 0043 在该步骤中， 通过etl工具将稀疏数据导入所述底层。

22、表结构中。 0044 S103、 依据已导入所述稀疏数据的所述底层表结构和字典表， 对所述稀疏数据进 行数据查询、 数据维护和比对碰撞中至少一项的处理。 0045 其中， 对所述稀疏数据进行查询， 具体为： 依据已导入所述稀疏数据的所述底层表 结构和字典表拼装动态结构化查询语言或设置一系列自定义函数来实现数据查询功能。 0046 在一个可能的实施例中， 对所述稀疏数据进行数据维护， 可以包括： 基于已导入所 述稀疏数据的所述数据表、 字段表以及字典表， 通过所需维护的稀疏数据的数据名称查询 该稀疏数据在所述数据表中的数据相关信息和在所述字段表中的字段相关信息， 并根据所 述数据相关信息和字段相。

23、关信息对所述所需维护的稀疏数据进行包括增加、 读取、 更新和 删除中至少一项的数据维护。 0047 其中， 对所述稀疏数据进行数据维护， 具体为： 基于已导入所述稀疏数据的所述数 据表、 字段表以及字典表， 通过所需维护的稀疏数据的数据名称查询该稀疏数据在所述数 据表中的数据相关信息和在所述字段表中的字段相关信息， 根据所述数据相关信息和字段 相关信息拼装动态结构化查询语言来实现数据维护功能。 0048 例如： SELECT GROUP_CONCAT(B.COL_NAME SEPARAOR , )FROM S_VAL A,S_ENTITY B WHERE A.TABLE_IDB.TABLE_I。

24、D。 TABLE_ID表示数据类别唯一标识。 0049 在一个可能的实施例中， 对所述稀疏数据进行比对碰撞， 可以包括： 0050 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字 段值所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯一标识和字段唯一标 识； 0051 基于已导入所述稀疏数据的数据表和字典表， 将所需检索的字段值关联的数据唯 一标识与该数据表中的数据唯一标识所在的列进行比对碰撞， 得到所需检索的字段值关联 的数据唯一标识所对应的数据相关信息； 0052 基于已导入所述稀疏数据的字段表和字典表， 将所需检索的字段值关联的字段唯 一标识与该数据表中的。

25、字段唯一标识所在的列进行比对碰撞， 得到所需检索的字段值关联 的字段唯一标识所对应的字段相关信息。 0053 例如， 所需检索的字段值为 “张三” ， 首先检索与 “张三” 关联的数据唯一标识和字 段唯一标识， 然后检索与 “张三” 关联的数据唯一标识所对应的数据相关信息， 最后检索与 “张三” 关联的字段唯一标识所对应的字段相关信息， 从而定位到 “张三” 在哪些数据中存 在。 0054 在一个可能的实施例中， 对所述稀疏数据进行比对碰撞， 包括： 0055 基于已导入所述稀疏数据的值表和字典表， 将所需检索的字段值与该值表中的字 段值所在的列进行比对碰撞， 得到所需检索的字段值关联的数据唯。

26、一标识； 0056 基于已导入所述稀疏数据的所述数据关联表和字典表， 确定所需检索的字段值关 联的数据唯一标识所对应的关联数据唯一标识； 0057 基于已导入所述稀疏数据的数据表和字典表， 将该关联数据唯一标识与该数据表 中的数据唯一标识所在的列进行比对碰撞， 得到该关联数据唯一标识所对应的数据相关信 息； 说明书 4/6 页 7 CN 110928881 A 7 0058 基于已导入所述稀疏数据的所述值表和字典表， 确定该关联数据唯一标识所对应 的字段唯一标识； 0059 基于已导入所述稀疏数据的字段表和字典表， 将该关联数据唯一标识所对应的字 段唯一标识与该数据表中的字段唯一标识所在的列进。

27、行比对碰撞， 得到该关联数据唯一标 识所对应的字段唯一标识所对应的字段相关信息。 0060 需要说明的是， 本实施例需提前配置好数据之间的关联关系， 维护值表中数据。 例 如， 提前维护案件与涉案人员的关联关系， 根据关联关系生成底层表结构中的数据。 0061 在一个可能的实施例中， 所述值表中的字段唯一标识对应多个字段值。 所述值表 中的数据唯一标识对应多个数据值。 也即， 本实施例可以基于特定维度建立特定的值表， 用 于实现特定的业务模型。 比如通过 “身份证号” 、“车牌号” 维度建立值表， 可实现 “一人多车” 等模型。 0062 本申请的另一个方面涉及一种电子设备， 包括： 处理器、。

28、 存储介质和总线， 所述存 储介质存储有所述处理器可执行的机器可读指令， 当电子设备运行时， 所述处理器与所述 存储介质之间通过总线通信， 所述处理器执行所述机器可读指令， 以执行如上述实施例中 任一所述处理方法的步骤。 0063 本申请的再一个方面还涉及一种计算机可读存储介质， 所述计算机可读存储介质 上存储有计算机程序， 所述计算机程序被处理器运行时执行如上述实施例中任一所述处理 方法的步骤。 0064 本发明实施例提供一种稀疏数据的处理方法、 电子设备以及计算机可读存储介 质。 该方法建立用于存储数据相关信息的数据表、 用于存储字段相关信息的字段表、 用于存 储数据和关联数据之间的关系的。

29、数据关联表和用于存储数据值和字段值的值表， 并依据导 入稀疏数据的底层表结构和字典表对稀疏数据进行数据查询、 数据维护和比对碰撞中至少 一项的处理， 可以极大地减少公司的开发及维护工作量。 0065 所属领域的技术人员可以清楚地了解到， 为描述的方便和简洁， 上述描述的系统 和装置的具体工作过程， 可以参考方法实施例中的对应过程， 本申请中不再赘述。 在本申请 所提供的几个实施例中， 应该理解到， 所揭露的系统、 装置和方法， 可以通过其它的方式实 现。 以上所描述的装置实施例仅仅是示意性的， 例如， 所述模块的划分， 仅仅为一种逻辑功 能划分， 实际实现时可以有另外的划分方式， 又例如， 多。

30、个模块或组件可以结合或者可以集 成到另一个系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些通信接口， 装置或模块的间接耦合或通信连接， 可以是电性， 机械或其它的形式。 0066 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的， 作为模块显 示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个 网络单元上。 可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。 0067 另外， 在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以 是各个单元单独物理存。

31、在， 也可以两个或两个以上单元集成在一个单元中。 0068 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可以 存储在一个处理器可执行的非易失的计算机可读取存储介质中。 基于这样的理解， 本申请 说明书 5/6 页 8 CN 110928881 A 8 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件 产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得 一台计算机设备(可以是个人计算机， 服务器， 或者网络设备等)执行本申请各个实施例所 述方法的全部或部分步骤。 而前述的存储介质包括： U盘、 移动硬盘、 ROM、 RAM、 磁碟或者光盘 等各种可以存储程序代码的介质。 0069 以上仅为本申请的具体实施方式， 但本申请的保护范围并不局限于此， 任何熟悉 本技术领域的技术人员在本申请揭露的技术范围内， 可轻易想到变化或替换， 都应涵盖在 本申请的保护范围之内。 因此， 本申请的保护范围应以权利要求的保护范围为准。 说明书 6/6 页 9 CN 110928881 A 9 图1 说明书附图 1/1 页 10 CN 110928881 A 10 。