基于连接对的流量均衡处理方法与装置.pdf

本发明公开了一种基于连接对的流量均衡处理方法与装置，包括：将骨干网络传输的上行和下行数据做镜像拷贝，完成OSI的第一层数据的接入，并将数据转换到OSI的第二层；OSI的第二层对数据进行协议处理，将数据分离为包单元；提取包单元的SIP和DIP信息，并根据该SIP和DIP信息查询预设的链路分发表，并按链路分发表中的分配出口将数据缓存至该出口的缓存区，按OSI的第二层协议对缓存区数据进行打包封装，再进行OSI的第二层到第一层的转换后在该OSI的第一层进行传输。本发明很好地解决了骨干网络到下级网络线路的均衡分流，并可保证各下级线路的即时均衡，保证了不同带宽之间的流量均衡分发。

1、  一种基于连接对的流量均衡处理方法，包括以下步骤，
1)将骨干网络传输的上行和下行数据做镜像拷贝，完成OSI的第一层数据的接入，并将所述数据转换到OSI的第二层；
2)所述OSI的第二层对所述数据进行协议处理，将所述数据分离为包单元；
3)提取所述包单元的SIP和DIP信息，并根据该SIP和DIP信息查询预设的链路分发表，并按链路分发表中的分配出口将所述数据缓存至该出口的缓存区，按所述OSI的第二层协议对所述缓存区数据进行打包封装，再进行所述OSI的第二层到第一层的转换后在该OSI的第一层进行传输。

2、  如权利要求1所述的基于连接对的流量均衡处理方法，其特征在于，所述步骤(3)中的预设链路分发表是这样建立的：若需要将数据源分为流量均衡的n路，则将通信的IP地址段按相邻不同路的方式依次映射到n路，即将所述骨干网络的数据流量分为n个流量块。

3、  如权利要求2所述的基于连接对的流量均衡处理方法，其特征在于，该方法还包括，对所述n个流量块进行检测，当某一流量块流量超过阈值时，减少该流量块所包含的IP地址，同时增大其他流量块的IP地址包含数量。

4、  如权利要求1所述的基于连接对的流量均衡处理方法，其特征在于，所述缓存区为多个，在对缓存区数据进行封装时采用轮循方式进行。

5、  如权利要求4所述的基于连接对的流量均衡处理方法，其特征在于，所述缓存区溢满时，则优先处理该溢满的缓存区。

6、  一种基于连接对的流量均衡处理装置，包括，
OSI第一层数据处理及转发模块，用于OSI的第一层数据的接入镜像拷贝，并将所述数据转发至OSI第二层；
OSI第二层数据处理及转发模块，用于按相关协议对OSI的第一层数据进行处理，将所述数据分离为包单元；
包缓存区，用于缓存数据；其特征在于，该装置还包括，
SIP和DIP信息提取模块，用于从所述包缓存区提取数据包，并从中提取该包的SIP和DIP信息；
计算比较模块，利用提取的SIP和DIP信息匹配链路分发表，查找到路径后，按其分配出口将所述数据发送至该出口的缓存区；该缓存区内数据被分别发送至OSI第二层数据处理及转发模块、OSI第一层数据处理及转发模块进行转发。

7、  如权利要求6所述的基于连接对的流量均衡处理装置，其特征在于，所述链路分发表是这样建立的：若需要将数据源分为流量均衡的n路，则将通信的IP地址段按相邻不同路的方式依次映射到n路，即将所述骨干网络的数据流量分为n个流量块。

8、  如权利要求6所述的基于连接对的流量均衡处理装置，其特征在于，所述链路分发表存储于该装置的存储器内。

9、  如权利要求7所述的基于连接对的流量均衡处理装置，其特征在于，该装置还包括流量检测模块，用于对各流量块的总体流量进行检测，若某一流量块流量超过阈值时，减少该流量块所包含的IP地址，同时增大其他流量块的IP地址包含数量。

10、  如权利要求6所述的基于连接对的流量均衡处理装置，其特征在于，所述对多个缓存区内数据转发具体为采用轮循方式进行，当缓存区溢满时，则优先处理该溢满的缓存区。

基于连接对的流量均衡处理方法与装置
技术领域
本发明涉及一种流量均衡处理方法与装置，尤其涉及一种基于连接对的流量均衡处理方法与装置。
背景技术
互联网络中，点对点的通讯是靠IP对来实现的，在一个通讯的建立过程中，比如从服务器A发送一封电子邮件到服务器B，必须由服务器A先提出发送请求，服务器B如果有资源提供接收，那么就发出响应告诉服务器A可以发送，然后服务器A按照网络传输所要求的格式将电子邮件发送到服务器B，最后服务器A提醒发送完毕，服务器B释放资源。以上可以看出，无论有效数据的传输对一方来说是收还是发，这个通讯过程的本身是交互的，是一个双工通讯的过程。如图1所示，为两用户之间的通信过程示意图。对于服务器A来说标志它自己在网络上的唯一的就是它的IP地址，比如说1234，对于服务器B来说是4321，那么在通讯过程中，当数据流从服务器A到服务器B时数据流的源地址SIP就是1234，目的地址是4321；当数据流从服务器B到服务器A时数据流的源地址SIP就是4321，目的地址是1234。无论数据流方向如何，1234和4321组成的这一对IP对是始终不变的。基于这一对IP的双向数据流，称之为连接对。
为了在所有类型的计算机系统之间建立通信的网络系统，OSI模型提供七个层次的协议来实现，这是当前大多数网络建立的数学基础。如图2所示，为现代通信的基本模型。第一层物理层用来进行实际的数据传输，它是光或电信号。第二层是数据链路层，它负责将数据单元(比特组)无差错的从上一个物理地址送达下一个相邻的物理地址。并加上有意义的比特位形成报文头和报文尾来对数据包加以封装，称之为帧。第三层网络层包含有报文的协议(PROTOCOL)、源IP地址(SIP)、目的IP地址(DIP)、源端口地址(SP)、目的端口地址(DP)和内容等。
在互联网基础设施的建立过程中，由于经济发展和建设水平的差异以及面向应用的对象不同，因而在不同地区或同一地区的不同线路上采用了不同等级的网络带宽，相应的基础设施也不能直接兼容，如10G、2.5G、622M、155M等等之间就不能直接兼容。当需要把在10G骨干网上传输的数据搬到2.5G骨干网时就至少需要1∶4的比率来搭建系统，但如何保证一个10G流量的数据流能被均匀地撒到4个2.5G线路上、而不出现有的2.5G线路过载同时有的2.5G线路空闲的情况，就需要基于某种方法来保证流量的均衡分配。同样的，如图3所示，即使在同一个等级的线路上，也可能因为某些应用而需要将流量均匀分成几路传输，以保证不超过后端处理能力的极限。可见，流量分流是网络通信中比较常见的现象。
目前，基于TCP/IP的流量均衡方法一般是根据数据包的源、目的地址进行连接识别，并按照均衡算法将连接分配到不同节点上。很显然，目前的算法主要针对的是节点转发问题，而针对不同带宽之间流量切换仍不很成熟。相应的流量均衡算法也不是很成熟，实现方法也不尽相同，其流量分配不很均匀。
发明内容
针对上述现有网络通信流量均衡处理过程中所存在的问题和不足，本发明的目的是提供一种基于连接对的流量均衡处理方法与装置。
本发明是这样实现的：一种基于连接对的流量均衡处理方法，包括以下步骤，
1)将骨干网络传输的上行和下行数据做镜像拷贝，完成OSI的第一层数据的接入，并将所述数据转换到OSI的第二层；
2)所述OSI的第二层对所述数据进行协议处理，将所述数据分离为包单元；
3)提取所述包单元的SIP和DIP信息，并根据该SIP和DIP信息查询预设的链路分发表，并按链路分发表中的分配出口将所述数据缓存至该出口的缓存区，按所述OSI的第二层协议对所述缓存区数据进行打包封装，再进行所述OSI地第二层到第一层的转换后在该OSI的第一层进行传输。
进一步地，所述步骤(3)中的预设链路分发表是这样建立的：若需要将数据源分为流量均衡的n路，则将通信的IP地址段按相邻不同路的方式依次映射到n路，即将所述骨干网络的数据流量分为n个流量块。
进一步地，该方法还包括，对所述n个流量块进行检测，当某一流量块流量超过阈值时，减少该流量块所包含的IP地址，同时增大其他流量块的IP地址包含数量。
进一步地，所述缓存区为多个，在对缓存区数据进行封装时采用轮循方式进行。
进一步地，所述缓存区溢满时，则优先处理该溢满的缓存区。
一种基于连接对的流量均衡处理装置，包括，
OSI第一层数据处理及转发模块，用于OSI的第一层数据的接入镜像拷贝，并将所述数据转发至OSI第二层；
OSI第二层数据处理及转发模块，用于按相关协议对OSI的第一层数据进行处理，将所述数据分离为包单元；
包缓存区，用于缓存数据；
SIP和DIP信息提取模块，用于从所述包缓存区提取数据包，并从中提取该包的SIP和DIP信息；
计算比较模块，利用提取的SIP和DIP信息匹配链路分发表，查找到路径后，按其分配出口将所述数据发送至该出口的缓存区；该缓存区内数据被分别发送至OSI第二层数据处理及转发模块、OSI第一层数据处理及转发模块进行转发。
进一步地，所述链路分发表是这样建立的：若需要将数据源分为流量均衡的n路，则将通信的IP地址段按相邻不同路的方式依次映射到n路，即将所述骨干网络的数据流量分为n个流量块。
进一步地，所述链路分发表存储于该装置的存储器内。
进一步地，该装置还包括流量检测模块，用于对各流量块的总体流量进行检测，若某一流量块流量超过阈值时，减少该流量块所包含的IP地址，同时增大其他流量块的IP地址包含数量。
进一步地，所述对多个缓存区内数据转发具体为采用轮循方式进行，当缓存区溢满时，则优先处理该溢满的缓存区。
本发明通过在通信过程中将通信的IP地址段按相邻不同路的方式依次映射到预分发的链路，使每一链路形成流量块，基本实现了流量均衡，并且，由于通信过程是基于连接对进行的，因此可保证通信数据的双向收发在同一条线路上进行，数据不会被拆散。本发明正是根据每个数据包的源目的IP地址将源数据流均匀的分配到若干的下级线路中，从而实现了流量均衡分配。
另外，为避免流量块的实际流量不均，即为了避免某一流量块过载而其他流量块流量过小，本发明还设置了流量检测方式，对各流量块进行适时检测，即流量块对其流量进行反馈，当检测到某一IP流量块的流量过大时，缩小该IP流量块包含具体IP值的范围，从而降低流量，实现即时的流量均衡。本发明很好地解决了骨干网络到下级网络线路的均衡分流，并可保证各下级线路的即时均衡，保证了不同带宽之间的流量均衡分发。
附图说明
下面结合附图，对本发明作出详细描述。
图1是一般的通信结构示意图；
图2是网络传输模型结构示意图；
图3是现有的流量均衡结构示意图；
图4是本发明的数据处理结构示意图。
具体实施方式
如图4所示，骨干网络传输的上行和下行数据做镜像拷贝就完成了OSI的第一层数据的接入。在OSI的第一层，传递的都是模拟或者数字的电信号或光信号，虽然该层的信号本身也包含SIP和DIP信息，但是这些信号都是以串行的高速度从一端传递到另一端的，本发明不对OSI的第一层做任何改进，直接由该层数据接收和处理模块对信号处理，保证其信号的高速畅通。因为若想从OSI的第一层中直接解析出SIP和DIP，是非常困难的。首先要分离出数据包单元，再以数据包为单元缓存数据，然后对数据进行分析，根据不同的数据类型抽取正确的SIP和DIP，然后再根据SIP和DIP计算出它分流后的流向。这是费时费力且不经济的方法。
而OSI的第二层，输入的是第一层输出的符合协议规定的数字电信号，该电信号在物理上是混乱无序的，但经过第二层的处理，从经过第一层处理后的符合协议的数字电信号中分离出一个个的数据包单元，并以独立控制信号的方式标志其首尾、对错、校验等。其输出的就是一个个的包单元了，并抹去了在物理层传输时必须的包头包尾特征比特位，而在发送数据包给第三层时在数包开始和结束同步给出独立的控制信号。第二层的数据接收和处理模块可以是现成的ASIC芯片，也可以是由用户自行设计嵌入式芯片，但必须满足相关的协议类型，这些协议根据不同的网络传输带宽，交换机，路由等是各不相同的。
包缓冲区一将第二层协议解析后的数据包，以包为单位存储在缓冲区中。本发明的缓冲区可以是RAM、FIFO、FLASH等任意的存储媒介，只要其读写速度必须适应整个系统速度上的要求。其存储空间大小依系统需要可任意设定。SIP/DIP信息提取模块从包缓冲区一中分析每个包的所属协议类型及SIP/DIP信息，并将SIP/DIP信息连同包在包缓冲区一中存储的首地址，长度等信息输出。由于协议不同的数据其SIP/DIP在报文中存储的位置也不尽相同。因而在分析数据SIP/DIP时首先要分析数据包的协议类型，再根据数据包协议类型在数据包相应位置提取数据包的SIP/DIP信息，同时记录包长，包在缓冲区中存储的首地址信息等，一起发送给下游模块，供搬移数据时使用。
计算比较模块收到信息提取模块发出的SIP/DIP信息后调用IP对——包输出指向对应表单中进行查询，得到该数据包出口的方向，然后连同数据包在缓冲区一中存储的地址，长度等信息，一起发送到数据搬移模块。这里，IP对——包输出指向对应表单即是链路分发表。这里，链路分发表是这样建立的：由于网络上IP地址是服从正态分布的，也就是说是宏观均匀连续的。本发明采用IP地址按相邻不同路的方式依次映射到链路上。即将从0.0.0.0到255.255.255.255的所有IP对打散成几大块，同时保证每一块之间由IP对所定义的数据流都大致相同。将0.0.0.0到255.255.255.255的所有IP按照相邻的不同的原则，定义每个IP的分配流量方向。比如，若需要将骨干网络的数据源分为流量均衡的5路，那么各IP将按照以下方式映射：IP为0.0.0.0的数据输出到第一路，0.0.0.1到第二路，0.0.0.2到第三路，0.0.0.3到第四路，0.0.0.4到第五路，0.0.0.5到第一路，0.0.0.6到第二路……255.255.255.254到第五路，255.255.255.255到第一路。由于通讯双方的源目的地址是互换的，所以本发明也同时保证了均匀的流量是基于连接对的。由于网络传递的数据流其IP是正态分布的，宏观均匀的，所以这种处理方法能够保证每个大的IP块的流量基本均衡。
本发明的IP对与包输出指向对应表单建立了覆盖整个IP地址范围的IP对与出口指向的对应表。每个IP对都有对应的出口指向。
数据搬移模块一根据包在缓冲区一中存储的首地址，长度信息将数据包从缓冲区一搬移到缓冲区二中，同时附加包的输出指向信息。这里，SIP/DIP信息提取模块、计算比较模块、数据搬移模块可以由嵌入式设计，也可用ASIC实现。
包缓冲区二存储带有出口指向信息的数据包单元。
数据搬移模块二从两个包缓冲区二中根据一定的策略，依次从两个缓冲区中搬移整个包，并根据它们的指向写入确定的下级缓冲区——包缓冲区三。这里的搬移的策略具体为，从两个包缓冲区二中轮循(乒乓)的搬移包，并且，当其中一个包缓冲区二满溢时，优先处理该满溢的包缓冲区二。在该模块中，从数据源而来的上下行数据被打散，重新依据IP对的不同而不是上下行的区别被分别搬移到各自发送数据缓冲区中。每个发送缓冲区中的数据既包含上行数据也包含下行数据，不同缓冲区间数据包的区别只在于是否是基于IP对相关的连接对。可以由嵌入式系统或ASIC实现。
包缓冲区三存储后级各输出线路各自对应的所有数据包，并抹去包指向信息，因为此时包已存储在确定指向的缓冲区中了。在输出数据包时用独立的控制信号同步标记包头包尾信息，供下游模块读取时使用。缓冲区三和其后串连的各处理模块的数目依数据接收源和发送端的比例而定。比如1路2.5G上行数据转换到622M线路，就必须至少4个发送缓冲区及其后端串连模块链。
第二层打包发送模块将缓冲区中数据包根据第二层协议要求进行打包并输出。输出数据格式符合第二层数据输出协议要求。这里，打包发送模块即为数据处理及转发模块。本发明还包括对各分路链路流量进行检测的流量统计模块，通过对各第二层打包发送模块处理的数据流量进行检测，可得到各分路链路的流量信息，若超过了阈值，则缩小该IP流量块包含具体IP值的范围，从而降低流量，实现即时的流量均衡。
这样，本发明实现了流量的均衡分发，也就是每个IP块对应的出口流量应该大致均等，本发明的链路分发表是一个动态的表单，因为流量总是不稳定的，尽管在宏观上流量在IP地址内的分布是符合正态分布的，但是在局部时间内，却有可能产生不稳定不均衡，所以IP对—出口指向对应表单必须能够根据各出口流量的变化，及时修改各出口对应IP对的覆盖范围，既可满足总的覆盖率100％，又可在各子IP对块间实现微调。
第一层转换发送模块进行第一层的数据转换，然后按照接口的机械和电气特性发送比特数据流到线路上。
本发明可实现1路10G到4路2.5G流量转换时的流量均衡处理；1路2.5G到4路622M流量转换的流量均衡处理；1路622M到4路155M的流量均衡处理等等。
本发明没有考虑上下行的区别，对于数据源来的上下行数据同等对待，输出的各数据流支也不做上下行的区别。如果使用本发明欲实现流量均衡时需要在输出数据端也考虑上下行的区别，则需要在数据搬移模块二进行数据搬移前根据左右数据缓冲区的不同(上下行的区别)进行标记，搬移时根据上下行标记和输出指向的区别放入指定的缓冲区。发送缓冲区三的实现个数比目前多一倍即可。