基于分布式数据处理的数据采集智能分析系统.pdf

《基于分布式数据处理的数据采集智能分析系统.pdf》由会员分享，可在线阅读，更多相关《基于分布式数据处理的数据采集智能分析系统.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911352603.7 (22)申请日 2019.12.25 (71)申请人 南通金才泰丰信息技术有限公司 地址 226200 江苏省南通市启东市科技创 业园兴龙路1号 (72)发明人 陈晓英 (74)专利代理机构 佛山卓就专利代理事务所 (普通合伙) 44490 代理人 陈雪梅 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/215(2019.01) G06F 16/28(2019.01) (54)发明名称 一种基于分布式数据处理的数据。

2、采集智能 分析系统 (57)摘要 本发明涉及分布式数据处理数据采集系统 技术领域， 且公开了一种基于分布式数据处理的 数据采集智能分析系统， 包括数据输入单元， 所 述数据输入单元的输出端与数据传输单元的输 入端信号连接， 所述数据传输单元的输出端与数 据接收服务器的输入端信号连接， 所述数据接收 服务器的输出端与数据分析单元的输入端信号 连接。 该基于分布式数据处理的数据采集智能分 析系统， 通过错误信息存储单元， 工作人员在使 用的时候可以对这部分数据进行抽检， 而且将错 误的多余数据去除， 避免了数据传输的时候出现 冗余数据， 提高了数据收集的传输速度， 让分布 式数据处理的数据采集智能。

3、分析系统使用的时 候更加符合需求， 增加了分布式数据处理的数据 采集智能分析系统的实用性。 权利要求书1页 说明书4页 附图1页 CN 111104430 A 2020.05.05 CN 111104430 A 1.一种基于分布式数据处理的数据采集智能分析系统， 包括数据输入单元(1)， 其特征 在于： 所述数据输入单元(1)的输出端与数据传输单元(2)的输入端信号连接， 所述数据传 输单元(2)的输出端与数据接收服务器(3)的输入端信号连接， 所述数据接收服务器(3)的 输出端与数据分析单元(4)的输入端信号连接， 所述数据分析单元(4)的输出端与数据分类 单元(5)的输入端信号连接， 所述。

4、数据分类单元(5)的输出端分别与第一发送服务器(8)、 第 二发送服务器(9)和第N发送服务器(10)的输入端信号连接， 所述第一发送服务器(8)、 第二 发送服务器(9)和第N发送服务器(10)的输出端分别与分布式数据接收单元(11)的输入端 信号连接， 所述分布式数据接收单元(11)的输出端与分布式数据处理系统(12)的输入端信 号连接。 2.根据权利要求1所述的一种基于分布式数据处理的数据采集智能分析系统， 其特征 在于： 所述输出分析单元(4)包括数据分类单元(5)和错误信息存储单元(6)， 所述数据分析 单元(4)的输入端与错误信息存储单元(6)的输入端信号连接。 3.根据权利要求1。

5、所述的一种基于分布式数据处理的数据采集智能分析系统， 其特征 在： 所述数据分类单元(5)包括数据自定义单元(7)、 第一发送服务器(8)、 第二发送服务器 (9)和第N发送服务器(10)， 所述数据自动以单元(7)的输出端与数据分类单元(5)的输入端 信号连接。 4.根据权利要求1所述的一种基于分布式数据处理的数据采集智能分析系统， 其特征 在于： 所述数据分类单元(5)包括N个数据流， 且每个数据流用云存储不同的数据信息， 且数 据流的输出端分别与第一发送服务器(8)、 第二发送服务器(9)和第N发送服务器(10)的输 入端信号连接。 5.根据权利要求1所述的一种基于分布式数据处理的数据采。

6、集智能分析系统， 其特征 在于： 所述分布式数据接收单元(11)包括第一数据接收单元(13)、 数据分析匹配模块(14) 和第一存储数据库(15)， 所述第一发送服务器(8)的输出端与第一数据接收单元(13)的输 入端信号连接， 所述第一数据接收单元(13)的输出端与数据分析匹配模块(14)的输入端信 号连接， 所述数据分析匹配模块(14)的输出端与第一存储数据库(15)的输入端信号连接。 6.根据权利要求1所述的一种基于分布式数据处理的数据采集智能分析系统， 其特征 在于： 所述第一发送服务器(8)、 第二发送服务器(9)和第N发送服务器(10)的数据传输方式 相通， 所述数据输入单元(1)。

7、分为多个数据类型存储层， 每个数据存储层包括若干存储设 备。 权利要求书 1/1 页 2 CN 111104430 A 2 一种基于分布式数据处理的数据采集智能分析系统 技术领域 0001 本发明涉及分布式数据处理数据采集系统技术领域， 具体为一种基于分布式数据 处理的数据采集智能分析系统。 背景技术 0002 随着数据量的急剧膨胀， 互联网公司所面对的数据量已经达到了PB级别， 传统集 中式数据处理已经渐渐无法适应市场的需求， 同时个人计算机的性能得到了极大的提高， 普及率也在飞速上升， 这使得将处理能力分布到网络上的所有个人计算机上的设想成为可 能， 于是提出了分布式计算的概念。 0003。

8、 根据中国授权发明CN 201610260783.6提出的分布式数据处理方法及装置， 其有 益效果为将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中， 实 现了分布式系统中的存储资源的充分利用， 但是传统的分布式数据收集装置在进行数据收 集的时候往往收集的数据面很广， 而这些数据不一定能够与所需的数据进行匹配， 多余的 数据将会占用大量的数据存储空间， 造成数据冗余， 影响了数据传输分析速度， 而且在进行 数据分类的时候数据类别固定， 后期使用者难以根据需求自行改变数据类别， 使用起来较 为不便， 故而提出一种基于分布式数据处理的数据采集智能分析系统。 发明内容 0004 (。

9、一)解决的技术问题 0005 针对现有技术的不足， 本发明提供了一种基于分布式数据处理的数据采集智能分 析系统， 具备数据快速分析传输和自定义数据类别等优点， 解决了传统的分布式数据收集 装置在进行数据收集的时候往往收集的数据面很广， 而这些数据不一定能够与所需的数据 进行匹配， 多余的数据将会占用大量的数据存储空间， 造成数据冗余， 影响了数据传输分析 速度， 而且在进行数据分类的时候数据类别固定， 后期使用者难以根据需求自行改变数据 类别， 使用起来较为不便的问题。 0006 (二)技术方案 0007 为实现上述数据快速分析传输和自定义数据类别目的， 本发明提供如下技术方 案： 一种基于分。

10、布式数据处理的数据采集智能分析系统， 包括数据输入单元， 所述数据输入 单元的输出端与数据传输单元的输入端信号连接， 所述数据传输单元的输出端与数据接收 服务器的输入端信号连接， 所述数据接收服务器的输出端与数据分析单元的输入端信号连 接， 所述数据分析单元的输出端与数据分类单元的输入端信号连接， 所述数据分类单元的 输出端分别与第一发送服务器、 第二发送服务器和第N发送服务器的输入端信号连接， 所述 第一发送服务器、 第二发送服务器和第N发送服务器的输出端分别与分布式数据接收单元 的输入端信号连接， 所述分布式数据接收单元的输出端与分布式数据处理系统的输入端信 号连接。 0008 优选的， 。

11、所述输出分析单元包括数据分类单元和错误信息存储单元， 所述数据分 说明书 1/4 页 3 CN 111104430 A 3 析单元的输入端与错误信息存储单元的输入端信号连接。 0009 优选的， 所述数据分类单元包括数据自定义单元、 第一发送服务器、 第二发送服务 器和第N发送服务器， 所述数据自动以单元的输出端与数据分类单元的输入端信号连接。 0010 优选的， 所述数据分类单元包括N个数据流， 且每个数据流用云存储不同的数据信 息， 且数据流的输出端分别与第一发送服务器、 第二发送服务器和第N发送服务器的输入端 信号连接。 0011 优选的， 所述分布式数据接收单元包括第一数据接收单元、 。

12、数据分析匹配模块和 第一存储数据库， 所述第一发送服务器的输出端与第一数据接收单元的输入端信号连接， 所述第一数据接收单元的输出端与数据分析匹配模块的输入端信号连接， 所述数据分析匹 配模块的输出端与第一存储数据库的输入端信号连接。 0012 优选的， 所述第一发送服务器、 第二发送服务器和第N发送服务器的数据传输方式 相通， 所述数据输入单元分为多个数据类型存储层， 每个数据存储层包括若干存储设备。 0013 (三)有益效果 0014 与现有技术相比， 本发明提供了一种基于分布式数据处理的数据采集智能分析系 统， 具备以下有益效果： 0015 1、 该基于分布式数据处理的数据采集智能分析系统。

13、， 通过错误信息存储单元， 数 据输入单元将多种数据汇聚于数据传输单元的内部， 数据传输单元内部储存的数据将会依 次输送至数据接收服务器的内部， 数据接收服务器在接收到数据之后将会把数据第一时间 传输给数据分析单元， 数据分析单元将会对接收到的数据进行需求分析， 数据分析单元将 会判断每个数据的类型， 对有损数据和错误数据去除， 并且将这些数据存储在错误信息存 储单元的内部， 将数据分析单元输出的数据风为两个数据流， 一个数据流将分析所需的数 据直接传输给数据分类单元， 另一个数据流将错误的信息直接存储在错误信息存储单元的 内部， 工作人员在使用的时候可以对这部分数据进行抽检， 而且将错误的多。

14、余数据去除， 避 免了数据传输的时候出现冗余数据， 提高了数据收集的传输速度。 0016 2、 该基于分布式数据处理的数据采集智能分析系统， 通过数据自定义单元， 数据 在传输至数据分类单元的内部之后系统会根据不同数据的类型进行分类， 再将这些分类完 成之后的数据进行输送给不同的输出发送服务器， 在服务器接收到数据之后将会把数据传 输给远程的数据接收服务器上， 这些数据经过数据分析匹配模块的匹配之后将数据存入数 据库的内部， 最后这些数据将会给分布式数据接收单元所接收， 经过分布式数据处理系统 处理之后存储于系统数据库， 在进行数据分类的时候， 使用者可以根据需要并通过数据自 定义单元对所需的。

15、数据进行自定义， 可以根据实际需求来对数据进行自定义分类， 让分布 式数据处理的数据采集智能分析系统使用的时候更加符合需求， 增加了分布式数据处理的 数据采集智能分析系统的实用性。 附图说明 0017 图1为本发明结构示意图； 0018 图2为本发明发送服务器原理框图。 0019 图中： 1数据输入单元、 2数据传输单元、 3数据接收服务器、 4数据分析单元、 5数据 分类单元、 6错误信息存储单元、 7数据自定义单元、 8第一发送服务器、 9第二发送服务器、 10 说明书 2/4 页 4 CN 111104430 A 4 第N发送服务器、 11分布式数据接收单元、 12分布式数据处理系统、 。

16、13第一数据接收单元、 14 数据分析匹配模块、 15第一存储数据库。 具体实施方式 0020 下面将结合本发明的实施例， 对本发明实施例中的技术方案进行清楚、 完整地描 述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于本发明 中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例， 都属于本发明保护的范围。 0021 请参阅图1-2， 一种基于分布式数据处理的数据采集智能分析系统， 包括数据输入 单元1， 数据输入单元1的输出端与数据传输单元2的输入端信号连接， 数据传输单元2的输 出端与数据接收服务器3的输入端信号连接， 数据接。

17、收服务器3的输出端与数据分析单元4 的输入端信号连接， 数据分析单元4的输出端与数据分类单元5的输入端信号连接， 输出分 析单元4包括数据分类单元5和错误信息存储单元6， 数据分析单元4的输入端与错误信息存 储单元6的输入端信号连接， 数据输入单元1将多种数据汇聚于数据传输单元2的内部， 数据 传输单元2内部储存的数据将会依次输送至数据接收服务器3的内部， 数据接收服务器3在 接收到数据之后将会把数据第一时间传输给数据分析单元4， 数据分析单元4将会对接收到 的数据进行需求分析， 数据分析单元4将会判断每个数据的类型， 对有损数据和错误数据去 除， 并且将这些数据存储在错误信息存储单元6的内部。

18、， 将数据分析单元4输出的数据风为 两个数据流， 一个数据流将分析所需的数据直接传输给数据分类单元5， 另一个数据流将错 误的信息直接存储在错误信息存储单元6的内部， 工作人员在使用的时候可以对这部分数 据进行抽检， 而且将错误的多余数据去除， 避免了数据传输的时候出现冗余数据， 提高了数 据收集的传输速度， 数据分类单元5的输出端分别与第一发送服务器8、 第二发送服务器9和 第N发送服务器10的输入端信号连接， 数据分类单元5包括数据自定义单元7、 第一发送服务 器8、 第二发送服务器9和第N发送服务器10， 数据自动以单元7的输出端与数据分类单元5的 输入端信号连接， 数据分类单元5包括N。

19、个数据流， 且每个数据流用云存储不同的数据信息， 且数据流的输出端分别与第一发送服务器8、 第二发送服务器9和第N发送服务器10的输入 端信号连接， 第一发送服务器8、 第二发送服务器9和第N发送服务器10的输出端分别与分布 式数据接收单元11的输入端信号连接， 第一发送服务器8、 第二发送服务器9和第N发送服务 器10的数据传输方式相通， 数据输入单元1分为多个数据类型存储层， 每个数据存储层包括 若干存储设备， 分布式数据接收单元11的输出端与分布式数据处理系统12的输入端信号连 接， 分布式数据接收单元11包括第一数据接收单元13、 数据分析匹配模块14和第一存储数 据库15， 第一发送。

20、服务器8的输出端与第一数据接收单元13的输入端信号连接， 第一数据接 收单元13的输出端与数据分析匹配模块14的输入端信号连接， 数据分析匹配模块14的输出 端与第一存储数据库15的输入端信号连接， 数据在传输至数据分类单元5的内部之后系统 会根据不同数据的类型进行分类， 再将这些分类完成之后的数据进行输送给不同的输出发 送服务器， 在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上， 这些数 据经过数据分析匹配模块14的匹配之后将数据存入数据库的内部， 最后这些数据将会给分 布式数据接收单元11所接收， 经过分布式数据处理系统12处理之后存储于系统数据库， 在 进行数据分类的时候。

21、， 使用者可以根据需要并通过数据自定义单元7对所需的数据进行自 说明书 3/4 页 5 CN 111104430 A 5 定义， 可以根据实际需求来对数据进行自定义分类， 让分布式数据处理的数据采集智能分 析系统使用的时候更加符合需求， 增加了分布式数据处理的数据采集智能分析系统的实用 性。 0022 在使用时， 数据输入单元1将多种数据汇聚于数据传输单元2的内部， 数据传输单 元2内部储存的数据将会依次输送至数据接收服务器3的内部， 数据接收服务器3在接收到 数据之后将会把数据第一时间传输给数据分析单元4， 数据分析单元4将会对接收到的数据 进行需求分析， 数据分析单元4将会判断每个数据的类。

22、型， 对有损数据和错误数据去除， 并 且将这些数据存储在错误信息存储单元6的内部， 将数据分析单元4输出的数据风为两个数 据流， 一个数据流将分析所需的数据直接传输给数据分类单元5， 另一个数据流将错误的信 息直接存储在错误信息存储单元6的内部， 数据在传输至数据分类单元5的内部之后系统会 根据不同数据的类型进行分类， 再将这些分类完成之后的数据进行输送给不同的输出发送 服务器， 在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上， 这些数据 经过数据分析匹配模块14的匹配之后将数据存入数据库的内部， 最后这些数据将会给分布 式数据接收单元11所接收， 经过分布式数据处理系统12处。

23、理之后存储于系统数据库。 0023 本发明的有益效果是： 该基于分布式数据处理的数据采集智能分析系统， 通过错 误信息存储单元6， 数据输入单元1将多种数据汇聚于数据传输单元2的内部， 数据传输单元 2内部储存的数据将会依次输送至数据接收服务器3的内部， 数据接收服务器3在接收到数 据之后将会把数据第一时间传输给数据分析单元4， 数据分析单元4将会对接收到的数据进 行需求分析， 数据分析单元4将会判断每个数据的类型， 对有损数据和错误数据去除， 并且 将这些数据存储在错误信息存储单元6的内部， 将数据分析单元4输出的数据风为两个数据 流， 一个数据流将分析所需的数据直接传输给数据分类单元5， 。

24、另一个数据流将错误的信息 直接存储在错误信息存储单元6的内部， 工作人员在使用的时候可以对这部分数据进行抽 检， 而且将错误的多余数据去除， 避免了数据传输的时候出现冗余数据， 提高了数据收集的 传输速度， 并且通过数据自定义单元7， 数据在传输至数据分类单元5的内部之后系统会根 据不同数据的类型进行分类， 再将这些分类完成之后的数据进行输送给不同的输出发送服 务器， 在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上， 这些数据经 过数据分析匹配模块14的匹配之后将数据存入数据库的内部， 最后这些数据将会给分布式 数据接收单元11所接收， 经过分布式数据处理系统12处理之后存储于。

25、系统数据库， 在进行 数据分类的时候， 使用者可以根据需要并通过数据自定义单元7对所需的数据进行自定义， 可以根据实际需求来对数据进行自定义分类， 让分布式数据处理的数据采集智能分析系统 使用的时候更加符合需求， 增加了分布式数据处理的数据采集智能分析系统的实用性， 解 决了传统的分布式数据收集装置在进行数据收集的时候往往收集的数据面很广， 而这些数 据不一定能够与所需的数据进行匹配， 多余的数据将会占用大量的数据存储空间， 造成数 据冗余， 影响了数据传输分析速度， 而且在进行数据分类的时候数据类别固定， 后期使用者 难以根据需求自行改变数据类别， 使用起来较为不便的问题。 0024 尽管已经示出和描述了本发明的实施例， 对于本领域的普通技术人员而言， 可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、 修改、 替换 和变型， 本发明的范围由所附权利要求及其等同物限定。 说明书 4/4 页 6 CN 111104430 A 6 图1 图2 说明书附图 1/1 页 7 CN 111104430 A 7 。