一种基于分布式的网络流量分析系统及方法.pdf

本发明公开了一种基于分布式的网络流量分析系统及方法。本发明运用分布式技术，构建了可用于大规模网络流量数据分析的网络流量分析系统。所述系统包括：Web服务器、流量分析系统集群和文件服务器。所述系统首先通过流量采集模块采集网络中流量信息，然后提取出所述原始流量信息中的网络层、传输层和应用层信息，再通过对所述网络层、传输层和应用层信息进行分析处理，主要对总流量情况、IP到IP流量数据、IP层网络数据信息以及应用层协议信息进行分析，为企事业用户提供方便、快捷和安全的网络在线服务。

权利要求书1.  一种基于分布式的网络流量分析系统及方法。该系统注重分布式技术的应用，通过分布式技术能够提升系统的整体性能，使本网络流量分析系统支持大规模网络流量数据分析。本系统首先通过流量采集模块采集网络中流量信息，然后提取出所述原始流量信息中的网络层、传输层和应用层信息，再通过对所述网络层、传输层和应用层信息进行分析处理，主要对总流量情况、IP到IP流量数据、IP层网络数据信息以及应用层协议信息进行分析。本发明的优势之处：(1)帮助企业了解网络上何人、何时、做何事的应用情况；(2)提供网络延时、流量统计、网络服务应用、应用层协议分析等基本情况，能够对网络流的大小、流向、协议细节进行监控和分析；(3)采用分布式技术，使用负载均衡技术，将大量的网络流量数据分摊到多个网络流量分析引擎分析处理，减少用户等待时间，提升系统整体性能。2.  按权利要求1所述的基于分布式的网络流量分析系统，其特征在于，包括：Web服务器、流量分析系统集群和文件服务器。3.  按权利要求2所述系统，其特征在于，所述Web服务器模块具体包括：Web服务器基本功能和分析结果展示模块。为用户提供Web服务器基本功能和每秒流量信息、IP到IP网络延时信息、网络服务信息、IP到IP流量统计信息以及应用层协议分析。4.  按权利要求2所述系统，其特征在于，所述流量分析系统集群模块具体包括：流量分析负载均衡器，用于当接收到用户的流量分析请求后，将分析请求按照一定策略分发给某一个流量分析引擎进行分析处理；流量分析引擎，对每一次用户请求，进行流量分析并反馈分析结果；5.  按权利要求4所述系统，其特征在于，所述流量分析引擎具体包括：流量采集模块，用于采集当前网络中的原始流量信息，并从中提取出网络层、传输层以及应用层的流量信息；流量分析模块，根据所述流量采集模块提取出的网络层、传输层以及应用层的流量信息，进行统计分析；6.  按权利要求5所述系统，其特征在于，所述流量分析模块具体包括：网络点到点流量分析模块，包括进行总流量情况统计、IP到IP流量数据统计，针对IP层网络数据信息的网络基本情况进行分析；网络服务分析模块，根据传输层协议中的端口号，分析网络服务应用列表，并且根据TCP协议的三次握手特性分析出网络服务的客户端节点信息；网络延时分析模块，根据捕获的数据包的基本信息进行网络延时分析，用于统计网络的基本情况；网络应用层分析模块，针对不同的应用层协议进行不同的分析，对协议内部进行分析，记录主机操作内容、操作时间及操作对象。

说明书一种基于分布式的网络流量分析系统及方法
技术领域  本发明涉及一种分布式的网络流量的分析系统及方法，属于计算机技术领域。
背景技术  随着网络应用范围扩大，规模也日渐增长，越来越多的企事业单位通过网络应用系统承载业务。运用网络应用系统来进行业务工作，不仅方便性好，而且效率高。因此，网络所承载的业务量不断增加，业务内容也越来越丰富。企事业单位作为网络应用系统的用户，需要实时了解网络承载的业务和网络流量特征，以便使网络带宽配置最优化；实时调整网络性能使企业管理者能够了解所提供的各种业务或网页服务的用户访问情况等。然而，现有的网络应用系统存在以下不足：(1)由于大多网络流量分析系统是面向提供Internet服务的运营商，其目的是帮助网络运营商了解用户对网络的访问情况，从而调整网络设备架构和业务架构。(2)现有的网络流量分析系统在进行分析的过程中并不对会话进行全程跟踪分析，并不能分析出网络中的行为，因此无法保障网络会话应用层的安全性。(3)现有的网络流量分析系统大多都是部署在单个节点，数据处理能力和分析处理能力较弱，不具备对大规模网络流量信息进行分析处理的能力。上述问题使得网络应用系统的用户及时了解和掌握网络应用系统的业务工作和业务保密难以实现。
发明内容  为了帮助网络应用系统的用户(1)实时了解网络上何人、何时、做何事的应用情况；(2)网络延时、流量统计等基本情况；(3)对网络流量的大小、流向、协议细节进行监控和分析。本发明提供一种基于分布式的、支持大规模网络流量分析系统及方法。通过分布式技术能够提升系统的整体性能，使本网络流量分析系统支持大规模网络流量数据分析。此外，本发明注重分布式技术的应用，网络流量分析系统的界面美观、操作简便、运行安全可靠。
本发明是一种基于分布式的网络流量分析系统，包括：Web服务器、流量分析系统集群和文件服务器。
所述Web服务器包括：Web服务器基本功能和分析结果展示模块。其中分析结果展示模块由每秒流量信息展示模块、IP到IP网络延时信息展示模块、网络服务信息展示模块、IP到IP流量统计信息展示模块以及应用层协议分析模块组成。
所述流量分析系统集群包括：流量分析负载均衡器和多个流量分析引擎，用于流量分析包括总流量情况分析、IP端流量分析、网络服务分析以及网络延时分析。流量分析引擎由流量采集模块和流量分析模块组成。流量采集模块用于采集当前网络中的原始流量信息，并从中提取出网络层、传输层以及应用层的流量信息；流量分析模块用于对所述网络层、传输层以及应用层的流量信息进行流量分析，并统计所述网络层、传输层以及应用层流量信息的分析结果。
其中，所述流量采集模块包括：本地采集模块，用于持续获取通过网络中的原始流量信息，或者通过用户上传网络流量包；网络流量解析模块，用于对所述特定流量信息根据不同协议层进行解析，识别出网络层、传输层和应用层流量信息，并将各种信息保存到数据库中。
其中，流量分析模块具体包括：网络点到点流量分析模块，包括进行总流量情况统计、IP到IP流量数据统计，针对IP层网络数据信息的网络基本情况进行分析；网络服务分析模块，根据传输层协议中的端口号，分析网络服务应用列表，并且根据TCP协议的三次握手特性分析出网络服务的客户端节点信息；网络延时分析模块，根据捕获的数据包的基本信息进行网络延时分析，用于统计网络的基本情况；网络应用层分析模块，针对不同的应用层协议进行不同的分析，对协议内部进行分析，记录主机操作内容、操作 时间及操作对象。
所述文件服务器包括：待分析文件服务器和分析结果文件服务器。
本发明的有益之处：
(1)帮助企业了解网络上何人、何时、做何事的应用情况；
(2)提供网络延时、流量统计、网络服务器应用、应用层协议分析等基本情况，能够对网络流的大小、流向、协议细节进行监控和分析；
(3)采用分布式技术，使用负载均衡技术，将大量的网络流量数据分担到多个网络流量分析引擎分析处理，减少用户等待时间，提升系统整体性能；
(4)能够对网络中的应用、协议、连接、流量、内容等多层次进行全方位的综合分析，达到了通过网络流量的监测分析保障网络中应用系统安全性的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例获现有技术描述中所需要使用的附图作简单介绍。
图1为本发明实施例公开的网络流量分析系统的网络部署示意图；
图2为本发明实施例公开的一种分布式的网络流量分析方法的流程示意图。
图3为本发明实施例一公开的一种分布式的网络流量分析系统的整体结构示意图；
图4为本发明实施例二公开的一种分布式的网络流量分析系统的整体结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
图1为本发明实施例公开的一种分布式的网络流量分析系统的网络部署示意图。本发明实施例公开的网络流量分析系统挂接在企业的网络管理人员所有需要关注的流量必须流经的链路上。网络结构包括Internet、路由器、防火墙、交换机以及企业的Web服务器。本发明实施例公开的网络流量分析系统架设在交换机与企业Web服务器之间。
图2为本发明实施例公开的网络流量分析方法的流程示意图，包括：
流量采集模块，用于采集网络中的流量信息，可以使用tcpdump或者wireshark采集网络流量信息，也可以直接获得用户上传的流量包；
网络流量解析模块，用于从所述流量信息中提取出网络层、传输层和应用层信息，提取网络层IP协议头信息、传输层TCP协议头信息和UDP协议头信息以及应用层HTTP协议头和数据信息等；
流量分析模块，用于对所述网络层、传输层和应用层信息进行流量分析，主要进行网络延时分析、点到点网络流量分析和应用层协议分析等。
图3为本发明实施例公开的一种分布式的网络流量分析系统的整体结构示意图。所述网络流量分析系统整体结构可以包括：
Web服务器，包含Web服务器的基本功能以及网络流量分析系统的分析结果展示模块；
文件服务器，用于保存待分析的网络流量包与分析结果信息；
分析引擎负载均衡器，通过负载均衡调度算法合理分配客户端的网络流量分析请求，并且将请求分配给网络流量分析引擎进行分析处理；
分析引擎，用于对网络流量包进行分析处理，开且生成分析结果反馈给客户端。
实施例二
图4为本发明实施例公开的另一种分布式的网络流量分析系统的整体结构示意图。所述网络流量分析系统整体结构可以包括：
Web服务器负载均衡器，用于合理调度客户端请求，将客户端请求分配给Web服务器，在本发明实施例中，Web服务器负载均衡器采用Apache HTTP服务器；
Web服务器集群，包含多个Web服务器，在本发明实施例中，Web服务器使用的是Tomcat服务器；
文件服务器，用于保存待分析的网络流量包与分析结果信息；
分析引擎负载均衡器，通过负载均衡调度算法合理分配客户端的网络流量分析请求，并且将请求分配给网络流量分析引擎进行分析处理；
分析引擎，用于对网络流量包进行分析处理，开且生成分析结果反馈给客户端。