大数据分析监察信息处理系统及方法.pdf

《大数据分析监察信息处理系统及方法.pdf》由会员分享，可在线阅读，更多相关《大数据分析监察信息处理系统及方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910148294.5 (22)申请日 2019.02.28 (71)申请人 重庆科技学院 地址 401331 重庆市沙坪坝区大学城东路 20号 (72)发明人 王洪珂王昌酉王晓峰袁玉兴 付靖何勇丁昌华 (74)专利代理机构 重庆市信立达专利代理事务 所(普通合伙) 50230 代理人 包晓静 (51)Int.Cl. G06F 16/951(2019.01) G06F 16/9538(2019.01) (54)发明名称 一种大数据分析监察信息处理系统及方法 (57)摘要 本。

2、发明属于大数据分析监察信息处理技术 领域， 公开了一种大数据分析监察信息处理系统 及方法； 包括： 数据获取模块、 主控模块、 数据源 追踪模块、 监察图绘制模块、 数据检索模块、 备份 存储模块、 监察显示模块。 利用基于一致性哈希 算法的分布式服务器获取网络数据资源； 利用基 于DAG的粗粒度溯源追踪和展现算法的追踪程序 追踪数据信息来源； 利用绘制程序对数据监察信 息进行绘制可视化图； 利用检索程序检索监察目 标数据信息； 利用备份服务器备份存储监察信 息； 利用显示器显示大数据分析监察信息处理系 统界面及数据来源信息、 监察可视化图。 本发明 可以获得更高的数据搜索成功率， 并且对网络。

3、和 各个节点的资源占用较低。 权利要求书2页 说明书6页 附图1页 CN 109857924 A 2019.06.07 CN 109857924 A 1.一种大数据分析监察信息处理方法， 其特征在于， 所述大数据分析监察信息处理方 法包括： 第一步， 利用基于一致性哈希算法的分布式服务器获取网络数据资源； 第二步， 利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源； 利 用绘制程序对数据监察信息进行绘制可视化图； 利用检索程序检索监察目标数据信息； 基 于DAG的粗粒度溯源追踪和展现算法具体包括： (1)接收数据集的路径地址path； (2)根据接收到的路径地址查询缓存Glo。

4、balIndexCache， 判断该记录是否存在， 假如不 存在则转到(3)， 否则转到(7)； (3)初始化用来存储溯源描述的DAG图G， 节点表示溯源元数据节点信息， 有向边表示每 个模型执行前后数据的依赖关系； (4)根据path查询溯源元数据表Metadata， 查询的信息保存对象node， 并将其添加到图 G中， 接着判断该节点node的前驱标识是否为空， 若为空则表示该查询已经追溯到了源头， 执行(5)， 否则执行(6)； (5)溯源追踪完毕， 并将溯源图展示给用户； (6)解析node对象的前驱标识字段， 并将其和该node的关系添加到图G中， 同时依次赋 值给path， 并转到。

5、(4)执行； 第三步， 利用备份服务器备份存储监察信息； 第四步， 利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、 监察可 视化图。 2.如权利要求1所述的大数据分析监察信息处理方法， 其特征在于， 所述第一步中的一 致性哈希算法具体包括： (1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环， 整个空间按顺时针方 向组织， 0和(232)-1在零点中方向重合； (2)将各个服务器的名称作为关键字使用函数H计算哈希值， 将根据服务器名称的计算 的哈希值将各个服务器节点放置在哈希环上； (3)将需要缓存的数据key使用相同的函数H计算出哈希值h， 在哈希环上顺时针查找距 离。

6、这个key值的哈希值距离最近的服务器节点， 完成key到服务器哈希的映射查找， 确定此 需要缓存的数据key在哈希环上的位置。 3.如权利要求2所述的大数据分析监察信息处理方法， 其特征在于， 所述(2)中的函数H 具体包括： 随机取一个不大于数据长度m的数p， 利用数p对关键字名称求余， 结果即为所述根据服 务器名称计算得到的哈希值： H(key)keyp,pm。 4.一种实现权利要求1所述大数据分析监察信息处理方法的大数据分析监察信息处理 系统， 其特征在于， 所述大数据分析监察信息处理系统包括： 数据获取模块， 与主控模块连接， 用于通过分布式服务器获取网络数据资源； 主控模块， 与数据。

7、获取模块、 数据源追踪模块、 监察图绘制模块、 数据检索模块、 备份存 储模块、 监察显示模块连接， 用于通过单片机控制各个模块正常工作； 权利要求书 1/2 页 2 CN 109857924 A 2 数据源追踪模块， 与主控模块连接， 用于通过追踪程序追踪数据信息来源； 监察图绘制模块， 与主控模块连接， 用于通过绘制程序对数据监察信息进行绘制可视 化图； 数据检索模块， 与主控模块连接， 用于通过检索程序检索监察目标数据信息； 备份存储模块， 与主控模块连接， 用于通过备份服务器备份存储监察信息； 监察显示模块， 与主控模块连接， 用于通过显示器显示大数据分析监察信息处理系统 界面及数据来。

8、源信息、 监察可视化图。 5.一种应用权利要求13任意一项所述大数据分析监察信息处理方法的信息数据处 理终端。 6.一种应用权利要求13任意一项所述大数据分析监察信息处理方法的大数据信息 处理平台。 权利要求书 2/2 页 3 CN 109857924 A 3 一种大数据分析监察信息处理系统及方法 技术领域 0001 本发明属于大数据分析监察信息处理技术领域， 尤其涉及一种大数据分析监察信 息处理系统及方法。 背景技术 0002 大数据(big data)， 指无法在一定时间范围内用常规软件工具进行捕捉、 管理和 处理的数据集合， 是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能。

9、力 的海量、 高增长率和多样化的信息资产。 随着云时代的来临， 大数据(Big data)也吸引了越 来越多的关注。 分析师团队认为， 大数据(Big data)通常用来形容一个公司创造的大量非 结构化数据和半结构化数据， 这些数据在下载到关系型数据库用于分析时会花费过多时间 和金钱。 大数据分析常和云计算联系到一起， 因为实时的大型数据集分析需要像MapReduce 一样的框架来向数十、 数百或甚至数千的电脑分配工作。 大数据需要特殊的技术， 以有效地 处理大量的容忍经过时间内的数据。 适用于大数据的技术， 包括大规模并行处理(MPP)数据 库、 数据挖掘、 分布式文件系统、 分布式数据库、。

10、 云计算平台、 互联网和可扩展的存储系统。 然而， 现有大数据分析监察信息处理系统在检索数据时， 搜索成功率低， 占用网络资源大； 同时， 无法备份特定的数据库对象， 备份效率低。 0003 综上所述， 现有技术存在的问题是： 现有大数据分析监察信息处理系统在检索数 据时， 搜索成功率低， 占用网络资源大； 同时， 无法备份特定的数据库对象， 备份效率低。 现 有大数据分析监察信息处理系统无法再监察数据的同时查看数据来源。 发明内容 0004 针对现有技术存在的问题， 本发明提供了一种大数据分析监察信息处理系统及方 法。 0005 本发明是这样实现的， 一种大数据分析监察信息处理方法， 所述大。

11、数据分析监察 信息处理方法包括： 0006 第一步， 利用基于一致性哈希算法的分布式服务器获取网络数据资源； 0007 第二步， 利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来 源； 利用绘制程序对数据监察信息进行绘制可视化图； 利用检索程序检索监察目标数据信 息； 基于DAG的粗粒度溯源追踪和展现算法具体包括： 0008 (1)接收数据集的路径地址path； 0009 (2)根据接收到的路径地址查询缓存GlobalIndexCache， 判断该记录是否存在， 假 如不存在则转到(3)， 否则转到(7)； 0010 (3)初始化用来存储溯源描述的DAG图G， 节点表示溯源元数。

12、据节点信息， 有向边表 示每个模型执行前后数据的依赖关系； 0011 (4)根据path查询溯源元数据表Metadata， 查询的信息保存对象node， 并将其添加 到图G中， 接着判断该节点node的前驱标识是否为空， 若为空则表示该查询已经追溯到了源 说明书 1/6 页 4 CN 109857924 A 4 头， 执行(5)， 否则执行(6)； 0012 (5)溯源追踪完毕， 并将溯源图展示给用户； 0013 (6)解析node对象的前驱标识字段， 并将其和该node的关系添加到图G中， 同时依 次赋值给path， 并转到(4)执行； 0014 第三步， 利用备份服务器备份存储监察信息； 。

13、0015 第四步， 利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、 监 察可视化图。 0016 进一步， 所述第一步中的一致性哈希算法具体包括： 0017 (1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环， 整个空间按顺时 针方向组织， 0和(232)-1在零点中方向重合； 0018 (2)将各个服务器的名称作为关键字使用函数H计算哈希值， 将根据服务器名称的 计算的哈希值将各个服务器节点放置在哈希环上； 0019 (3)将需要缓存的数据key使用相同的函数H计算出哈希值h， 在哈希环上顺时针查 找距离这个key值的哈希值距离最近的服务器节点， 完成key到服务器哈希。

14、的映射查找， 确 定此需要缓存的数据key在哈希环上的位置。 0020 进一步， 所述(2)中的函数H具体包括： 0021 随机取一个不大于数据长度m的数p， 利用数p对关键字名称求余， 结果即为所述根 据服务器名称计算得到的哈希值： 0022 H(key)keyp,pm。 0023 本发明的另一目的在于提供一种实现所述大数据分析监察信息处理方法的大数 据分析监察信息处理系统， 所述大数据分析监察信息处理系统包括： 0024 数据获取模块， 与主控模块连接， 用于通过分布式服务器获取网络数据资源； 0025 主控模块， 与数据获取模块、 数据源追踪模块、 监察图绘制模块、 数据检索模块、 备 。

15、份存储模块、 监察显示模块连接， 用于通过单片机控制各个模块正常工作； 0026 数据源追踪模块， 与主控模块连接， 用于通过追踪程序追踪数据信息来源； 0027 监察图绘制模块， 与主控模块连接， 用于通过绘制程序对数据监察信息进行绘制 可视化图； 0028 数据检索模块， 与主控模块连接， 用于通过检索程序检索监察目标数据信息； 0029 备份存储模块， 与主控模块连接， 用于通过备份服务器备份存储监察信息； 0030 监察显示模块， 与主控模块连接， 用于通过显示器显示大数据分析监察信息处理 系统界面及数据来源信息、 监察可视化图。 0031 本发明的另一目的在于提供一种应用所述大数据分。

16、析监察信息处理方法的信息 数据处理终端。 0032 本发明的另一目的在于提供一种应用所述大数据分析监察信息处理方法的大数 据信息处理平台。 0033 本发明的优点及积极效果为： 本发明通过数据检索模块在由节点网络组成的大数 据系统中， 在有限的搜索时间内， 提高了数据搜索的成功率， 并且对网络和各个节点的资源 占用较低， 从而得到了一个高效且高成功率的数据搜索方法； 该方法包括数据传播过程和 数据搜索过程， 该数据传播过程将节点的数据索引传播到一定范围的节点内， 而数据搜索 说明书 2/6 页 5 CN 109857924 A 5 过程通过数据搜索消息在节点间的传播， 搜索到需要的数据文件。 。

17、与现有技术相比， 该方法 在搜索时间基本相同时， 可以获得更高的数据搜索成功率,并且对网络和各个节点的资源 占用较低； 同时， 通过备份存储模块根据识别与数据备份请求匹配的目标备份树， 按照与目 标备份树对应的数据页之间的逻辑关系匹配的备份规则， 将与该目标备份树中包括的各个 节点对应的数据页进行备份， 得到备份数据页， 并在连续存储空间中顺序存储各备份数据 页， 利用了按照一定备份规则备份并顺序存储的数据页能够保存数据页之间逻辑关系的优 点， 实现了对特定数据库对象进行高效、 无损地数据备份效果。 0034 本发明采用基于一致性哈希算法的分布式服务器解决了节点取余服务器数量变 更导致大量缓存。

18、无法命中的问题， 同时具备良好的容错性和可扩展性。 同时本发明基于DAG 的粗粒度进行溯源追踪和展现能够有效追踪获取网页数据的来源并进行可视化呈现。 附图说明 0035 图1是本发明实施例提供的大数据分析监察信息处理系统结构示意图； 0036 图中： 1、 数据获取模块； 2、 主控模块； 3、 数据源追踪模块； 4、 监察图绘制模块； 5、 数 据检索模块； 6、 备份存储模块； 7、 监察显示模块。 0037 图2是本发明实施例提供的大数据分析监察信息处理方法流程图。 具体实施方式 0038 为能进一步了解本发明的发明内容、 特点及功效， 兹例举以下实施例， 并配合附图 详细说明如下。 0。

19、039 下面结合附图对本发明的结构作详细的描述。 0040 如图1所示， 本发明实施例提供的大数据分析监察信息处理系统包括： 数据获取模 块1、 主控模块2、 数据源追踪模块3、 监察图绘制模块4、 数据检索模块5、 备份存储模块6、 监 察显示模块7。 0041 数据获取模块1， 与主控模块2连接， 用于通过分布式服务器获取网络数据资源； 0042 主控模块2， 与数据获取模块1、 数据源追踪模块3、 监察图绘制模块4、 数据检索模 块5、 备份存储模块6、 监察显示模块7连接， 用于通过单片机控制各个模块正常工作； 0043 数据源追踪模块3， 与主控模块2连接， 用于通过追踪程序追踪数据。

20、信息来源； 0044 监察图绘制模块4， 与主控模块2连接， 用于通过绘制程序对数据监察信息进行绘 制可视化图； 0045 数据检索模块5， 与主控模块2连接， 用于通过检索程序检索监察目标数据信息； 0046 备份存储模块6， 与主控模块2连接， 用于通过备份服务器备份存储监察信息； 0047 监察显示模块7， 与主控模块2连接， 用于通过显示器显示大数据分析监察信息处 理系统界面及数据来源信息、 监察可视化图。 0048 本发明实施例提供的数据检索模块5检索方法如下： 0049 (1)大数据系统中的每个节点定期向所有邻居节点发送自身数据的数据传播消 息， 所述数据传播消息中包括节点自身的数。

21、据文件索引表、 消息标识符和初始传播长度 Lmax， 其中Lmax是一个预先设置的数值； 0050 (2)当一个节点N接收到对一个数据文件的搜索请求时， 该搜索请求中携带了该数 说明书 3/6 页 6 CN 109857924 A 6 据文件的哈希值HF， 该节点N在自身的数据文件索引表中查找HF， 如果查找到， 则数据搜索 过程结束， 否则继续后续步骤； 0051 (3)该节点N向所有邻居节点发送数据搜索消息， 该数据搜索消息中包括该数据文 件的哈希值HF、 节点N的网络地址AddressN、 初始搜索长度Smax， 以及搜索消息标识符ID； 其 中Smax是一个预先设置的数值； 0052 。

22、(4)当一个节点X接收到数据搜索消息时， 根据该数据搜索消息中的搜索消息标识 符ID检查是否已经收到过该数据搜索消息， 如果已经收到过， 则忽略该数据搜索消息； 否则 继续后续步骤； 0053 (5)该节点X检查其存储的所有数据文件索引表， 判断这些数据文件索引表中是否 有HF， 如果有， 则将表中HF对应的节点地址发送给节点N， 否则继续后续步骤； 0054 (6)该节点X计算新的搜索长度SnewS-1， 其中S是该节点X接收到的数据搜索消 息中包括的搜索长度； 如果Snew0， 则该节点X不再继续传播该数据搜索消息； 如果新的搜 索长度Snew0， 则该节点组装一个新的数据搜索消息， 所述。

23、新的数据搜索消息包括该数据 文件的哈希值HF、 节点N的网络地址AddressN、 新的搜索长度Snew， 以及搜索消息标识符ID； 0055 (7)该节点X获取当前所有的邻居节点， 假设其共有M个邻居节点， 则该节点X从中 随机选择个邻居节点， 再将所述新的数据搜索消息发送给所选择的邻 居节点。 0056 本发明实施例提供的备份存储模块6备份方法如下： 0057 (1)根据监察数据备份请求， 识别与监察数据备份请求匹配的目标备份树， 所述目 标备份树中包括至少一个节点， 不同节点对应不同的数据页； 0058 (2)按照与目标备份树对应的数据页之间的逻辑关系匹配的备份规则， 将与目标 备份树中。

24、包括的各个节点对应的数据页进行备份， 得到备份数据页， 数据页中记录有节点 在目标备份树中的位置信息； 0059 (3)在连续存储空间中顺序存储各备份数据页， 存储顺序中携带有各备份数据页 之间的逻辑关系。 0060 步骤(2)中， 本发明实施例提供的与目标备份树对应的数据页之间的逻辑关系匹 配的备份规则具体包括： 0061 将与目标节点对应的全部儿子节点的数据页以及所述目标节点的数据页进行顺 序备份的规则， 所述目标节点为具有儿子节点的中间节点和/或根节点； 0062 相应的， 在所述连续存储空间中， 与同一所述目标节点对应的全部儿子节点的备 份数据页顺序存储， 所述目标节点的备份数据页存储。

25、于对应的所述全部儿子节点的备份数 据页的存储位置的尾部， 所述根节点的备份数据页存储于所述存储空间中的尾部。 0063 步骤(2)中， 本发明实施例提供的将与所述目标备份树中包括的各个节点对应的 数据页进行备份， 得到备份数据页， 具体包括： 0064 将所述目标备份树的根节点对应的第一数据页设置为当前页； 0065 获取所述当前页中记录的位置信息； 0066 如果根据所述位置信息确定所述当前页包括有未备份的儿子页， 则按照设定顺序 获取所述当前页中的一个所述未备份的儿子页作为新的当前页， 并返回执行获取所述当前 页中记录的位置信息的操作； 说明书 4/6 页 7 CN 109857924 A。

26、 7 0067 如果根据所述位置信息确定所述当前页未包括有未备份的儿子页， 则备份所述当 前页， 得到备份数据页， 并在确定所述当前页不为所述第一数据页时， 将所述当前页的父亲 页设置为新的所述当前页后， 返回执行获取所述当前页中记录的位置信息的操作； 0068 在确定所述当前页为所述第一数据页时， 完成对所述目标备份树的备份。 0069 如图2所示， 本发明实施例提供的大数据分析监察信息处理方法包括： 0070 S101： 利用基于一致性哈希算法的分布式服务器获取网络数据资源； 0071 S102： 利用基于DAG的粗粒度溯源追踪和展现算法的追踪程序追踪数据信息来源； 利用绘制程序对数据监察。

27、信息进行绘制可视化图； 利用检索程序检索监察目标数据信息； 0072 S103:利用备份服务器备份存储监察信息； 0073 S104:利用显示器显示大数据分析监察信息处理系统界面及数据来源信息、 监察 可视化图。 0074 步骤S101中， 本发明实施例提供的一致性哈希算法具体包括： 0075 (1)将整个哈希值空间组织成一个虚拟的长度为232的整数圆环， 整个空间按顺时 针方向组织， 0和(232)-1在零点中方向重合； 0076 (2)将各个服务器的名称作为关键字使用函数H计算哈希值， 将根据服务器名称的 计算的哈希值将各个服务器节点放置在哈希环上； 0077 (3)将需要缓存的数据key。

28、使用相同的函数H计算出哈希值h， 在哈希环上顺时针查 找距离这个key值的哈希值距离最近的服务器节点， 完成key到服务器哈希的映射查找， 确 定此需要缓存的数据key在哈希环上的位置。 0078 步骤(2)中， 本发明实施例提供的函数H具体包括： 0079 随机取一个不大于数据长度m的数p， 利用数p对步骤(1)中所述关键字名称求余， 结果即为所述根据服务器名称计算得到的哈希值： 0080 H(key)keyp,pm 0081 步骤S102中， 本发明实施例提供的基于DAG的粗粒度溯源追踪和展现算法具体包 括： 0082 (1)接收数据集的路径地址path； 0083 (2)根据接收到的路径。

29、地址查询缓存GlobalIndexCache， 判断该记录是否存在， 假 如不存在则转到步骤(3)， 否则转到步骤(7)； 0084 (3)初始化用来存储溯源描述的DAG图G， 节点表示溯源元数据节点信息， 有向边表 示每个模型执行前后数据的依赖关系； 0085 (4)根据path查询溯源元数据表Metadata， 查询的信息保存对象node， 并将其添加 到图G中， 接着判断该节点node的前驱标识是否为空， 若为空则表示该查询已经追溯到了源 头， 执行步骤(5)， 否则执行步骤(6)； 0086 (5)溯源追踪完毕， 并将溯源图展示给用户； 0087 (6)解析node对象的前驱标识字段，。

30、 并将其和该node的关系添加到图G中， 同时依 次赋值给path， 并转到步骤(4)执行。 0088 本发明工作时， 首先， 通过数据获取模块1利用分布式服务器获取网络数据资源； 其次， 主控模块2通过数据源追踪模块3利用追踪程序追踪数据信息来源； 通过监察图绘制 模块4利用绘制程序对数据监察信息进行绘制可视化图； 通过数据检索模块5利用检索程序 说明书 5/6 页 8 CN 109857924 A 8 检索监察目标数据信息； 然后， 通过备份存储模块6利用备份服务器备份存储监察信息； 最 后， 通过监察显示模块7利用显示器显示大数据分析监察信息处理系统界面及数据来源信 息、 监察可视化图。 0089 以上所述仅是对本发明的较佳实施例而已， 并非对本发明作任何形式上的限制， 凡是依据本发明的技术实质对以上实施例所做的任何简单修改， 等同变化与修饰， 均属于 本发明技术方案的范围内。 说明书 6/6 页 9 CN 109857924 A 9 图1 图2 说明书附图 1/1 页 10 CN 109857924 A 10 。