网络信息处理方法、装置、设备、介质及系统.pdf

《网络信息处理方法、装置、设备、介质及系统.pdf》由会员分享，可在线阅读，更多相关《网络信息处理方法、装置、设备、介质及系统.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910601788.4 (22)申请日 2019.07.04 (71)申请人 杭州吉讯汇通科技有限公司 地址 310051 浙江省杭州市滨江区长河街 道江二路57号1幢A区2503室 (72)发明人 应成龙 (74)专利代理机构 深圳市深联知识产权代理事 务所(普通合伙) 44357 代理人 张琪 (51)Int.Cl. H04L 29/06(2006.01) H04L 29/08(2006.01) (54)发明名称 网络信息处理方法、 装置、 设备、 介质及系统 (57)。

2、摘要 本发明公开了一种网络信息处理方法、 装 置、 设备、 介质及系统， 涉及网络安全技术领域， 用于解决无法查看一个用户名下所有网关信息 及信息难以长期存储的问题， 该方法包括以下步 骤： 根据收集到的网络信息进行网络安全分析， 得到分析结果； 根据所述的分析结果与网关数据 库匹配， 得到匹配结果并根据所述匹配结果将部 分或全部的所述分析结果发送给对应的用户； 将 所述的分析结果与所述的匹配结果存入Hbase数 据库中完成数据全量存储。 本发明还公开了一种 网络信息处理装置、 设备、 存储介质及系统。 本发 明通过网关sn号匹配对应用户并存入数据库， 使 用户可以查看其名下所有网关信息且记录。

3、可长 期储存。 权利要求书2页 说明书6页 附图2页 CN 110365668 A 2019.10.22 CN 110365668 A 1.一种网络信息处理方法， 其特征在于， 包括以下步骤： 根据收集到的网络信息进行网络安全分析， 得到分析结果； 根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所述匹配结果将部分或 全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络信息的网关， 所述网关 数据库包括网关sn号与所述网关sn号对应的用户信息； 将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数据全量存储。 2.如权利要求1所述的网络信息处理方法， 其特征在于， 所述。

4、的分析结果包括网关上下 行流量、 内存CPU占用百分比、 用户上下行流量、 上网行为记录与受威胁记录； 发送给对应用 户的分析结果为上下行流量、 内存CPU占用百分比、 用户上下行流量、 上网行为记录与受威 胁记录中的一种或多种。 3.如权利要求1或2所述的网络信息处理方法， 其特征在于， 所述的网络安全分析步骤， 包括： 根据所述的网络信息进行预处理， 将所述的网络信息转换为JSON格式， 存入消息队列； 通过分布式流计算框架进行内存协调计算得到所述的分析结果。 4.如权利要求3所述的网络信息处理方法， 其特征在于， 所述内存协调计算包括： 通过所述网关lan口和wan口上下行流量汇总计算所。

5、述网关的上下行流量和用户上下 行流量； 根据URL访问记录与URL库匹配， 得到上网行为； 根据IP阻断记录与IP黑名单库匹配， 得到威胁事件。 5.如权利要求3所述的网络信息处理方法， 其特征在于， 所述的预处理通过数据接收集 群对所述的网络信息进行JSON格式化。 6.如权利要求1所述的网络信息处理方法， 其特征在于， 所述网络信息每隔预设时间通 过TR069协议的叶子节点收集， 所述的网络信息包括内存占比、 CPU占比、 上下行速率、 上下 行包数、 URL访问记录、 IP阻断记录。 7.一种网络信息处理装置， 其特征在于， 其包括： 分析模块， 用于根据收集到的网络信息进行网络安全分析。

6、， 得到分析结果； 匹配模块， 用于根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所述匹 配结果将部分或全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络信息的 网关， 所述网关数据库包括网关sn号与所述sn号对应的用户信息； 存储模块， 用于将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数据全 量存储。 8.一种电子设备， 其包括处理器、 存储介质以及计算机程序， 所述计算机程序存储于存 储介质中， 其特征在于， 所述计算机程序被处理器执行时实现权利要求1至8任一项所述的 网络信息处理方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 。

7、所述计算机程序被 处理器执行时实现权利要求1至8任一项所述的网络信息处理方法。 10.一种网络信息处理系统， 其特征在于， 包括网关及云端分析平台： 所述网关内置随开机启动的采集程序， 所述网关每隔预设时间使用预设域名通过 TR069协议访问所述的云端分析平台， 建立连接并上传采集到的本地网络信息， 所述本地网 权利要求书 1/2 页 2 CN 110365668 A 2 络信息实时存储到TR069协议的叶子节点中， 上传到所述的云端分析平台并清空所述的本 地网络信息； 所述云端分析平台根据收集到的网络信息进行网络安全分析， 根据分析结果与网关数 据库匹配， 得到匹配结果并根据所述匹配结果将部。

8、分或全部的所述分析结果发送给对应的 用户。 权利要求书 2/2 页 3 CN 110365668 A 3 网络信息处理方法、 装置、 设备、 介质及系统 技术领域 0001 本发明涉及网络安全技术领域， 尤其涉及一种网络信息处理方法、 装置、 设备、 介 质及系统。 背景技术 0002 网关作为用户与互联网连接的桥梁， 通过网关可以获取到很多网络数据， 这些数 据不仅可以用来进行网络威胁分析与防护， 还可以用来进行上网行为分析、 网关状态分析 等。 在企业中， 由于上网需求量较大， 一个网关通常无法满足多人同时在线的需求， 因此， 一 个企业经常会使用多个网关保证上网速度。 0003 但是， 。

9、如果需要查看网关的相关状态， 需要能直连网关的设备访问管理页面登陆 之后查看相应数据， 这种方式局限于网络环境， 一次性只能查看一台设备的状况， 无法宏观 地查看一个企业用户名下拥有的所有网关状态或者网络威胁防御监测结果， 且受限于网关 内存较小， 通常只能储存最近的网关状态或者网络威胁防御监测结果， 难以查看较早的历 史记录。 发明内容 0004 为了克服现有技术的不足， 本发明的目的之一在于提供一种网络信息处理方法， 其通过将分析结果与网关sn号及sn号对应的用户进行匹配， 并将结果存入Hbase数据库， 进 而使用户可查看其名下所有网关的状态或者网络威胁防御监测结果。 0005 本发明的。

10、目的之一采用以下技术方案实现： 0006 一种网络信息处理方法， 包括以下步骤： 0007 根据收集到的网络信息进行网络安全分析， 得到分析结果； 0008 根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所述匹配结果将部 分或全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络信息的网关， 所述 网关数据库包括网关sn号与所述网关sn号对应的用户信息； 0009 将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数据全量存储。 0010 进一步地， 所述的分析结果包括网关上下行流量、 内存CPU占用百分比、 用户上下 行流量、 上网行为记录与受威胁记录； 发送给对应用。

11、户的分析结果为上下行流量、 内存CPU 占用百分比、 用户上下行流量、 上网行为记录与受威胁记录中的一种或多种。 0011 进一步地， 所述的网络安全分析步骤， 包括： 0012 根据所述的网络信息进行预处理， 将所述的网络信息转换为JSON格式， 存入消息 队列； 0013 通过分布式流计算框架进行内存协调计算得到所述的分析结果。 0014 进一步地， 所述内存协调计算包括： 0015 通过所述网关lan口和wan口上下行流量汇总计算所述网关的上下行流量和用户 上下行流量； 说明书 1/6 页 4 CN 110365668 A 4 0016 根据URL访问记录与URL库匹配， 得到上网行为；。

12、 0017 根据IP阻断记录与IP黑名单库匹配， 得到威胁事件。 0018 进一步地， 所述的预处理通过数据接收集群对所述的网络信息进行JSON 格式化。 0019 进一步地， 所述网络信息每隔预设时间通过TR069协议的叶子节点收集， 所述的网 络信息包括内存占比、 CPU占比、 上下行速率、 上下行包数、 URL 访问记录、 IP阻断记录。 0020 本发明的目的之二在于提供一种网络信息处理装置， 其通过将分析结果与网关sn 号及sn号对应的用户进行匹配， 并将结果存入Hbase数据库， 进而使用户可查看其名下所有 网关的状态或者网络威胁防御监测结果。 0021 本发明的目的之二采用以下技。

13、术方案实现： 0022 一种网络信息处理装置， 其包括： 0023 分析模块， 用于根据收集到的网络信息进行网络安全分析， 得到分析结果； 0024 匹配模块， 用于根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所 述匹配结果将部分或全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络信 息的网关， 所述网关数据库包括网关sn号与所述sn号对应的用户信息； 0025 存储模块， 用于将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数 据全量存储。 0026 本发明的目的之三在于提供执行发明目的之一的电子设备， 其包括处理器、 存储 介质以及计算机程序， 所述计算机程。

14、序存储于存储介质中， 所述计算机程序被处理器执行 时实现上述的网络信息处理方法。 0027 本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质， 其上存储 有计算机程序， 所述计算机程序被处理器执行时实现上述的网络信息处理方法。 0028 本发明的目的之五在于提供一种网络信息处理系统， 包括网关及云端分析平台： 0029 所述网关内置随开机启动的采集程序， 所述网关每隔预设时间使用预设域名通过 TR069协议访问所述的云端分析平台， 建立连接并上传采集到的本地网络信息， 所述本地网 络信息实时存储到TR069协议的叶子节点中， 上传到所述的云端分析平台并清空所述的本 地网络信息； 0。

15、030 所述云端分析平台根据收集到的网络信息进行网络安全分析， 根据分析结果与网 关数据库匹配， 得到匹配结果并根据所述匹配结果将部分或全部的所述分析结果发送给对 应的用户。 0031 相比现有技术， 本发明的有益效果在于： 0032 本发明通过将网关网络信息的分析结果与网关sn号进行匹配， 将分析结果与网关 sn号对应的用户进行匹配， 进而使用户可查看其名下所有网关的状态或者网络威胁防御监 测结果， 且通过Hbase数据库进行数据的全量存储， 使用户可以查看到所有历史记录。 附图说明 0033 图1是实施例一的网络信息处理方法流程图； 0034 图2是实施例二的网络安全分析方法的流程图； 0。

16、035 图3是实施例三的网络信息处理装置的结构框图； 0036 图4是实施例四的电子设备的结构框图。 说明书 2/6 页 5 CN 110365668 A 5 具体实施方式 0037 以下将结合附图， 对本发明进行更为详细的描述， 需要说明的是， 以下参照附图对 本发明进行的描述仅是示意性的， 而非限制性的。 各个不同实施例之间可以进行相互组合， 以构成未在以下描述中示出的其他实施例。 0038 实施例一 0039 实施例一提供了一种网络信息处理方法， 旨在通过将分析结果与网关sn 号对应 的用户进行匹配， 进而使用户可查看其名下所有网关的状态或者网络威胁防御监测结果， 且通过Hbase数据库。

17、进行数据的全量存储， 使用户可以查看到所有历史记录。 0040 每个网关设备都有其对应的sn号(sn码)， 即产品序列号， 当使用网关进行网络威 胁防御时， 云分析平台可以通过sn号识别出对应的网关， 当网关首次开机时， 会将sn号及其 对应的用户信息发送给云分析平台。 0041 根据上述原理， 可以通过sn号及sn号对应的用户信息建立网关数据库。 0042 请参照图1所示， 一种网络信息处理方法， 包括以下步骤： 0043 根据收集到的网络信息进行网络安全分析， 得到分析结果； 0044 根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所述匹配结果将部 分或全部的所述分析结果发送给对。

18、应的用户， 所述网关为上传所述网络信息的网关， 所述 网关数据库包括网关sn号与所述网关sn号对应的用户信息； 0045 将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数据全量存储和存 储持久化。 0046 其中， Hbase是一种分布式列数据， 可以提供海量数据的低延迟查询， 网络安全分 析是通过云分析平台对网关采集到的数据进行分析得到分析结果， 分析结果通常包括网关 上下行流量、 内存CPU占用百分比、 用户上下行流量、 上网行为记录与受威胁记录； 发送给对 应用户的分析结果为上下行流量、 内存CPU占用百分比、 用户上下行流量、 上网行为记录与 受威胁记录中的一种或多种。 0。

19、047 因此， 通过前端提供的查询接口， 使得用户可以通过网页查询自己名下全部网关 的分析结果， 用户可以通过不同的前端页面， 输入日期范围和其他条件， 比如上网行为类 型、 威胁事件类型等， 查询相应的数据； 用户名下全部网关的威胁事件汇总后也可以通过邮 箱、 短信的形式通知给相应的用户， 使网关出现问题时， 用户可以立即感知。 0048 实施例二 0049 实施例二是在实施例一基础上进行的改进， 其主要对网络安全分析方法进行解释 和说明。 0050 此实施例提供一种网络安全分析方法的优选实施例， 也可以用其他网络安全分析 方法进行代替。 0051 请参照图2所示， 网络安全分析步骤， 包括。

20、： 0052 根据所述的网络信息进行预处理， 将所述的网络信息转换为JSON格式， 存入消息 队列； 0053 通过分布式流计算框架进行内存协调计算得到所述的分析结果。 0054 其中， 分布式流计算框架例如Spark streaming可以通过多台服务器使用内存协 调计算提高计算效率， 内存协调计算通常包括但不限于： 通过网关lan口和 wan口上下行流 说明书 3/6 页 6 CN 110365668 A 6 量汇总计算所述网关的上下行流量和用户上下行流量； 根据URL 访问记录与URL库匹配， 得 到上网行为； 根据IP阻断记录与IP黑名单库匹配， 得到威胁事件。 0055 预处理时云环。

21、境使用Nginx作为反向代理服务器， 将请求负载均衡地转发到数据 接收集群各个后台程序中处理， 对所述的网络信息进行JSON格式化； 数据接收集群可以通 过扩展服务器数量的方式来扩展数据接收能力和提高接收组件的高可用性。 0056 网络信息的收集可以每隔预设时间通过TR069协议的叶子节点收集， 所述的网络 信息包括内存占比、 CPU占比、 上下行速率、 上下行包数、 URL访问记录、 IP阻断记录， 预设时 间可以根据实际需求进行设定， 例如每隔5分钟收集网络信息。 0057 实施例三 0058 实施例三公开了一种对应上述实施例的网络信息处理方法对应的装置， 为上述实 施例的虚拟装置结构， 。

22、请参照图3所示， 包括： 0059 分析模块110， 用于根据收集到的网络信息进行网络安全分析， 得到分析结果； 0060 匹配模块120， 用于根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据 所述匹配结果将部分或全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络 信息的网关， 所述网关数据库包括网关sn号与所述 sn号对应的用户信息； 0061 存储模块130， 用于将所述的分析结果与所述的匹配结果存入Hbase数据库中完成 数据全量存储。 0062 优选地， 所述的分析结果包括网关上下行流量、 内存CPU占用百分比、 用户上下行 流量、 上网行为记录与受威胁记录； 发送。

23、给对应用户的分析结果为上下行流量、 内存CPU占 用百分比、 用户上下行流量、 上网行为记录与受威胁记录中的一种或多种。 0063 优选地， 所述的网络安全分析步骤， 包括： 0064 根据所述的网络信息进行预处理， 将所述的网络信息转换为JSON格式， 存入消息 队列； 0065 通过分布式流计算框架进行内存协调计算得到所述的分析结果。 0066 所述内存协调计算包括： 0067 通过所述网关lan口和wan口上下行流量汇总计算所述网关的上下行流量和用户 上下行流量； 0068 根据URL访问记录与URL库匹配， 得到上网行为； 0069 根据IP阻断记录与IP黑名单库匹配， 得到威胁事件。。

24、 0070 优选地， 所述的预处理通过数据接收集群对所述的网络信息进行JSON 格式化。 0071 所述网络信息每隔预设时间通过TR069协议的叶子节点收集， 所述的网络信息包 括内存占比、 CPU占比、 上下行速率、 上下行包数、 URL访问记录、 IP阻断记录。 0072 实施例四 0073 图4为本发明实施例四提供的一种电子设备的结构示意图， 如图4所示， 该电子设 备包括处理器210、 存储器220、 输入装置230和输出装置240； 计算机设备中处理器210的数 量可以是一个或多个， 图4中以一个处理器210为例； 电子设备中的处理器210、 存储器220、 输入装置230和输出装置。

25、240可以通过总线或其他方式连接， 图4中以通过总线连接为例。 0074 存储器220作为一种计算机可读存储介质， 可用于存储软件程序、 计算机可执行程 序以及模块， 如本发明实施例中的网络信息处理方法对应的程序指令/ 模块(例如， 网络信 说明书 4/6 页 7 CN 110365668 A 7 息处理装置中的数据分析模块110、 匹配模块120和存储模块130)。 处理器210通过运行存储 在存储器220中的软件程序、 指令以及模块， 从而执行电子设备的各种功能应用以及数据处 理， 即实现上述实施例一和实施例二的网络数据处理方法。 0075 存储器220可主要包括存储程序区和存储数据区， 。

26、其中， 存储程序区可存储操作系 统、 至少一个功能所需的应用程序； 存储数据区可存储根据终端的使用所创建的数据等。 此 外， 存储器220可以包括高速随机存取存储器， 还可以包括非易失性存储器， 例如至少一个 磁盘存储器件、 闪存器件、 或其他非易失性固态存储器件。 在一些实例中， 存储器220可进一 步包括相对于处理器210 远程设置的存储器， 这些远程存储器可以通过网络连接至电子设 备。 上述网络的实例包括但不限于互联网、 企业内部网、 局域网、 移动通信网及其组合。 0076 输入装置230可用于接收输入的用户身份信息、 网关sn号等。 输出装置240 可包括 显示屏等显示设备。 007。

27、7 实施例五 0078 本发明实施例五还提供一种包含计算机可执行指令的存储介质， 所述计算机可执 行指令在由计算机处理器执行时用于执行网络信息处理方法， 该方法包括： 0079 根据收集到的网络信息进行网络安全分析， 得到分析结果； 0080 根据所述的分析结果与网关数据库匹配， 得到匹配结果并根据所述匹配结果将部 分或全部的所述分析结果发送给对应的用户， 所述网关为上传所述网络信息的网关， 所述 网关数据库包括网关sn号与所述网关sn号对应的用户信息； 0081 将所述的分析结果与所述的匹配结果存入Hbase数据库中完成数据全量存储。 0082 当然， 本发明实施例所提供的一种包含计算机可执。

28、行指令的存储介质， 其计算机 可执行指令不限于如上所述的方法操作， 还可以执行本发明任意实施例所提供的基于网络 信息处理方法中的相关操作。 0083 通过以上关于实施方式的描述， 所属领域的技术人员可以清楚地了解到， 本发明 可借助软件及必需的通用硬件来实现， 当然也可以通过硬件实现， 但很多情况下前者是更 佳的实施方式。 基于这样的理解， 本发明的技术方案本质上或者说对现有技术做出贡献的 部分可以以软件产品的形式体现出来， 该计算机软件产品可以存储在计算机可读存储介质 中， 如计算机的软盘、 只读存储器 (Read-Only Memory， ROM)、 随机存取存储器(Random Acce。

29、ss Memory， RAM)、 闪存(FLASH)、 硬盘或光盘等， 包括若干指令用以使得一台电子设备 (可以是手机， 个人计算机， 服务器， 或者网络设备等)执行本发明各个实施例所述的方法。 0084 实施例六 0085 本发明实施例六还提供一种网络信息处理系统， 包括网关及云端分析平台： 0086 所述网关内置随开机启动的采集程序， 所述网关每隔预设时间使用预设域名通过 TR069协议访问所述的云端分析平台， 建立连接并上传采集到的本地网络信息， 所述本地网 络信息实时存储到TR069协议的叶子节点中， 上传到所述的云端分析平台并清空所述的本 地网络信息； 0087 所述云端分析平台根据。

30、收集到的网络信息进行网络安全分析， 根据分析结果与网 关数据库匹配， 得到匹配结果并根据所述匹配结果将部分或全部的所述分析结果发送给对 应的用户。 0088 网关出厂时采集程序的代码就已经编译到网关中， 并设置程序随开机启动， 从而 说明书 5/6 页 8 CN 110365668 A 8 实现将海量企业网关产生的网络信息， 定时抽取到云端做预处理以后， 存入Hbase数据库 中。 0089 具体地， 采集程序会将设备内存占比、 CPU占比、 上下行速率、 上下行包数、 URL访问 记录、 IP黑名单阻断记录等数据实时追加到TR069协议的叶子节点中， 并从开机开始每隔预 设时间通过TR069。

31、协议上报这些数据到云平台， 待数据上报成功后清空本地数据， 达到数据 更新推送的目的； 预设时间可根据实际需求设定， 例如5分钟； 网关定时用TR069协议通过出 厂预设的域名来访问云平台， 建立连接并上传临时保存本地的数据。 0090 值得注意的是， 上述基于网络信息收集装置的实施例中， 所包括的各个单元和模 块只是按照功能逻辑进行划分的， 但并不局限于上述的划分， 只要能够实现相应的功能即 可； 另外， 各功能单元的具体名称也只是为了便于相互区分， 并不用于限制本发明的保护范 围。 0091 对本领域的技术人员来说， 可根据以上描述的技术方案以及构思， 做出其它各种 相应的改变以及形变， 而所有的这些改变以及形变都应该属于本发明权利要求的保护范围 之内。 说明书 6/6 页 9 CN 110365668 A 9 图1 图2 说明书附图 1/2 页 10 CN 110365668 A 10 图3 图4 说明书附图 2/2 页 11 CN 110365668 A 11 。