针对非对称网络的数据中心负载均衡方法.pdf

《针对非对称网络的数据中心负载均衡方法.pdf》由会员分享，可在线阅读，更多相关《针对非对称网络的数据中心负载均衡方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910177854.X (22)申请日 2019.03.10 (71)申请人 天津大学 地址 300072 天津市南开区卫津路92号 (72)发明人 李克秋柴军周晓波徐仁海 (74)专利代理机构 天津市北洋有限责任专利代 理事务所 12201 代理人 刘国威 (51)Int.Cl. H04L 12/803(2013.01) H04L 29/08(2006.01) (54)发明名称 针对非对称网络的数据中心负载均衡方法 (57)摘要 本发明涉及网络领域， 为解决数据中心中非 。

2、对称网络环境下的负载均衡问题， 本发明， 针对 非对称网络的数据中心负载均衡方法， 包括突发 数据包集合flowlet检测、 分配步骤， flowlet是 对数据流flow的切分； flowlet检测步骤具体是， 根据每个数据包的包头信息构建哈希表， 之后根 据flowlettimeout值检测同一网络流中数据包 之间的时间间隔 ， 当检 测到时间间隔大于 timeout值时， 表明出现了一个新的flowlet； flowlet分配步骤根据交换机各端口已发送的多 个flowlet大小信息对下一个flowlet进行调度。 本发明主要应用于网络通信场合。 权利要求书2页 说明书5页 附图2页 CN。

3、 110061929 A 2019.07.26 CN 110061929 A 1.一种针对非对称网络的数据中心负载均衡方法， 其特征是， 包括突发数据包集合 flowlet检测步骤和flowlet分配步骤， flowlet是对数据流flow的切分， 是一条数据流flow 中被足够大的时间间隔分隔开的一组突发数据包的集合； flowlet检测步骤具体是， 根据每 个数据包的包头信息构建哈希表， 之后根据flowlet timeout值检测同一网络流中数据包 之间的时间间隔， 当检测到时间间隔大于timeout值时， 表明出现了一个新的flowlet； flowlet分配步骤根据交换机各端口已发送。

4、的多个flowlet大小信息对下一个flowlet进行 调度。 2.如权利要求1所述的针对非对称网络的数据中心负载均衡方法， 其特征是， flowlet 检测步骤具体如下： 1)交换机维持4张哈希表： 时间信息表last_time_hash， 端口信息表last_output_ port_hash， flowlet信息表last_flowlet_size_hash和端口对应的flowlet信息表last_ port_flowlet_size_hash， 其中last_time_hash表用来记录网络流中上一个到达交换机的 数据包的到达时间； last_output_port_hash表用来记录。

5、交换机用于转发流的转发端口； last_flowlet_size_hash表用来记录流的上一个flowlet size大小； last_port_flowlet_ size_hash表用来记录对于所有交换机的转发端口， 之前通过其端口的多个flowlet的大 小， 这4张表中， 前3张以数据包的包头信息形成唯一索引， 最后一张以端口号形成索引； 2)对于到达的数据包， 交换机查看last_time_hash哈希表中是否存在与其匹配的索 引； 2-1)如果存在， 计算两个数据包的时间间隔， 如果时间间隔大于timeout值， 表明当前 数据流产生了一个新的flowlet， 同时将当前数据流上一个。

6、传输完成的flowlet的大小信息 存入last_flowlet_size_hash哈希表中， 最后更新last_time_hash哈希表中的数据包到达 时间， 如果时间间隔小于timeout值， 只需更新last_time_hash哈希表中的数据包到达时 间； 2-2)如果不存在， 在last_time_hash哈希表中创建一个新的索引项， 将到达数据包看 做网络中出现了一条新流， 并更新其数据包到达时间。 3.如权利要求1所述的针对非对称网络的数据中心负载均衡方法， 其特征是， flowlet 分配步骤具体如下： 1)对于到达交换机的网络流， 交换机会查看last_port_flowlet。

7、_size_hash哈希表中 信息： 1-1)如果last_port_flowlet_size_hash哈希表中的端口索引数量小于交换机转发端 口数量或者各端口记录的flowlet个数小于10个， 交换机会从所有可用端口中随机给当前 网络流分配转发端口， 同时记录端口传输的当前流的数据信息， 更新到相应的last_ flowlet_size_hash哈希表中， 当交换机检测到两个数据包之间的时间间隔大于timeout 值， 即检测到一个新的flowlet时， 交换机将更新last_port_flowlet_size_hash哈希表中 对应索引端口下的flowlet size信息； 1-2)如果。

8、last_port_flowlet_size_hash哈希表中的端口索引数量等于交换机的转发 端口数且记录的flowlet个数等于10个， 将所有端口之前发送的10个flowlet size相加求 和， 之后求得各端口flowlet size之和占所有端口flowlet size总和的比例并记录到一个 一维数组P中， 这样， 使得发送较大flowlet size的端口拥有较大的调度权重； 权利要求书 1/2 页 2 CN 110061929 A 2 2)对于P中记录的比例信息， 利用交换机生成一个0-1范围内的随机数r， 之后遍历P数 组， 将数据中各端口比例依次相加， 当相加之和大于或等于r。

9、时， 记录下相应的端口号信息， 将新的flowlet调度到此端口进行传输， 这样就使得下一个flowlet有较大概率被调度到拥 有较大flowlet size的路径， 即拥塞程度较小的路径上， 实现了链路的负载均衡。 权利要求书 2/2 页 3 CN 110061929 A 3 针对非对称网络的数据中心负载均衡方法 技术领域 0001 本发明主要涉及数据中心网络领域， 特别是涉及一种数据中心网络传输负载均衡 方法。 背景技术 0002 近年来随着云计算、 大数据和社交网络的快速发展， 数据中心越来越成为人们生 活中不可缺少的一部分。 而作为通信基础设施的数据中心网络， 已成为各界关注和研究的 。

10、热点。 数据中心网络需要有效的多路径负载均衡方案来提高带宽利用率， 以支持从金融服 务到大数据等越来越多的应用程序。 0003 目前， 数据中心中的负载均衡方案分为基于数据流和基于数据包两种， 其中基于 数据流的标准负载均衡方案是 “等价多路径路由” (ECMP， Equal-cost multi-path routing)， 它利用哈希算法将流随机地分配到不同的路径实现了等值情况下， 多路径负载 均衡的目的。 ECMP由于其简单性而得到了广泛的部署， 但在实际情况中， 各路径的带宽、 时 延等可能不一样， 把链路负载能力认可成一样， 不能很好地利用带宽， 尤其是在非对称网络 中， 效果会非常。

11、不理想。 例如， 两条并行链路， 一条带宽是100M， 一条是10M， 如果部署ECMP， 则网络总带宽只能达到20M， 对于容量为100M的链路造成了90M的带宽浪费， 降低了带宽利 用率。 数据中心中基于数据包的负载均衡方案如 “随机数据包分发” (RPS， Random Packet Scatter)可以快速、 准确地为每条链路分配所需流量， 但是对于TCP(Transmission Control Protocol， 传输控制协议)流， 会导致数据包的重排序问题， 进而影响性能， 并且增 加了处理开销。 0004 flowlet(突发数据包集合)是对flow(数据流)的切分， 是一条网。

12、络流flow中被足 够大的时间间隔分隔开的一组突发数据包的集合。 flowlet之间的最小时间间隔称为 flowlet timeout(超时时间间隔)， flowlet内部的相邻数据包之间的时间间隔小于 flowlet timeout。 如果一个flow的两个连续到达并行路径的数据包之间的时间间隔大于 并行路径之间的最大延迟差， 那么第二个数据包及其后续该流的数据包就可以被调度到另 一条新的并行路径上而不会引起数据包的重排序问题。 根据这个发现， 如果timeout(超时 时间)大于并行路径间的最大延迟差， 我们可以将一个流中两个相邻的不同的flowlet调度 到不同的并行路径上传输而不会引起。

13、数据包重排序问题。 基于此， 利用flowlet的特性， 通 过设定有效的flowlet timeout， 能够避免数据包重排序问题， 实现网络传输的负载均衡， 并提高网络的带宽利用率。 0005 相比于以flow的粒度来做负载均衡， flowlet的粒度小且能灵活调度， 更符合网络 状态和负载变化的动态性， 有利于提高网络的负载均衡效率和带宽利用率； 相比于以 packet(数据包)的粒度来做负载均衡， flowlet的粒度比packet大， 调度处理代价小， 且能 在不引起数据包重排序的前提下， 完成高效的负载均衡和高带宽利用率。 基于此， 本发明将 选用flowlet作为网络负载均衡的操。

14、作对象， 利用flowlet的特性， 实现网络系统的负载均 衡并提高带宽利用率。 说明书 1/5 页 4 CN 110061929 A 4 0006 本发明提到的 “网络流” 、“数据流” 或 “流” 通常是可以互换的词， 都是指单一的数 据流本身。 发明内容 0007 为克服现有技术的不足， 本发明旨在解决数据中心中非对称网络环境下的负载均 衡问题。 为此， 本发明采取的技术方案是， 针对非对称网络的数据中心负载均衡方法， 包括 突发数据包集合flowlet检测步骤和flowlet分配步骤， flowlet是对数据流flow的切分， 是 一条数据流flow中被足够大的时间间隔分隔开的一组突发。

15、数据包的集合； flowlet检测步 骤具体是， 根据每个数据包的包头信息构建哈希表， 之后根据flowlet timeout值检测同一 网络流中数据包之间的时间间隔， 当检测到时间间隔大于timeout值时， 表明出现了一个新 的flowlet； flowlet分配步骤根据交换机各端口已发送的多个flowlet大小信息对下一个 flowlet进行调度。 0008 flowlet检测步骤具体如下： 0009 1)交换机维持4张哈希表： 时间信息表last_time_hash， 端口信息表last_output_ port_hash， flowlet信息表last_flowlet_size_ha。

16、sh和端口对应的flowlet信息表last_ port_flowlet_size_hash， 其中last_time_hash表用来记录网络流中上一个到达交换机的 数据包的到达时间； last_output_port_hash表用来记录交换机用于转发流的转发端口； last_flowlet_size_hash表用来记录流的上一个flowlet size大小； last_port_flowlet_ size_hash表用来记录对于所有交换机的转发端口， 之前通过其端口的多个flowlet的大 小， 这4张表中， 前3张以数据包的包头信息形成唯一索引， 最后一张以端口号形成索引； 0010 2)。

17、对于到达的数据包， 交换机查看last_time_hash哈希表中是否存在与其匹配的 索引； 0011 2-1)如果存在， 计算两个数据包的时间间隔， 如果时间间隔大于timeout值， 表明 当前数据流产生了一个新的flowlet， 同时将当前数据流上一个传输完成的flowlet的大小 信息存入last_flowlet_size_hash哈希表中， 最后更新last_time_hash哈希表中的数据包 到达时间， 如果时间间隔小于timeout值， 只需更新last_time_hash哈希表中的数据包到达 时间； 0012 2-2)如果不存在， 在last_time_hash哈希表中创建一个。

18、新的索引项， 将到达数据 包看做网络中出现了一条新流， 并更新其数据包到达时间。 0013 flowlet分配步骤具体如下： 0014 1)对于到达交换机的网络流， 交换机会查看last_port_flowlet_size_hash哈希 表中信息： 0015 1-1)如果last_port_flowlet_size_hash哈希表中的端口索引数量小于交换机转 发端口数量或者各端口记录的flowlet个数小于10个， 交换机会从所有可用端口中随机给 当前网络流分配转发端口， 同时记录端口传输的当前流的数据信息， 更新到相应的last_ flowlet_size_hash哈希表中， 当交换机检测到。

19、两个数据包之间的时间间隔大于timeout 值， 即检测到一个新的flowlet时， 交换机将更新last_port_flowlet_size_hash哈希表中 对应索引端口下的flowlet size信息； 0016 1-2)如果last_port_flowlet_size_hash哈希表中的端口索引数量等于交换机的 说明书 2/5 页 5 CN 110061929 A 5 转发端口数且记录的flowlet个数等于10个， 将所有端口之前发送的10个flowlet size相 加求和， 之后求得各端口flowlet size之和占所有端口flowlet size总和的比例并记录到 一个一维数。

20、组P中， 这样， 使得发送较大flowlet size的端口拥有较大的调度权重； 0017 2)对于P中记录的比例信息， 利用交换机生成一个0-1范围内的随机数r， 之后遍历 P数组， 将数据中各端口比例依次相加， 当相加之和大于或等于r时， 记录下相应的端口号信 息， 将新的flowlet调度到此端口进行传输， 这样就使得下一个flowlet有较大概率被调度 到拥有较大flowlet size的路径， 即拥塞程度较小的路径上， 实现了链路的负载均衡。 0018 本发明的特点及有益效果是： 0019 实现数据中心中非对称网络环境下的负载均衡， 提高带宽利用率。 附图说明： 0020 图1为基于。

21、flowlet timeout进行负载均衡的原理图； 0021 图2为flowlet大小随链路带宽变化图； 0022 图3为本发明基于flowlet的数据中心负载均衡流程图。 具体实施方式 0023 为克服现有技术的不足， 本发明提供一种数据中心中非对称网络环境下的负载均 衡方法。 flowlet具有一种优越的弹性属性： 其大小会根据其路径上的拥塞条件自动变化， 即拥有较大flowlet的链路拥塞程度较小， 而拥有较小flowlet的链路拥塞程度较大。 基于 flowlet的这一弹性属性， 本发明设计了如下技术方案： 通过对虚拟交换机Open vSwitch (开放虚拟交换标准)的group(。

22、组)模块进行改写， 实现对flowlet的检测功能， 记录已通过 不同链路的多个flowlet的size情况， 之后根据每条路径上已通过的多个flowlet size的 比例依据调度策略对网络流进行调度， 使得下一个flowlet有更大可能被调度到拥有较大 flowlet的路径上， 即拥塞程度较小的路径上， 从而可以在不获取链路具体拥塞信息的情况 下实现非对称网络的负载均衡。 0024 本发明的高效调度方法由flowlet检测模块和flowlet分配模块两个部分组成。 0025 1、 flowlet检测模块需要根据每个数据包的包头信息构建哈希表， 之后根据 flowlet的timeout值检测。

23、同一网络流中数据包之间的时间间隔， 当检测到时间间隔大于 timeout值时， 表明出现了一个新的flowlet。 具体步骤如下。 0026 1)交换机维持4张哈希表： last_time_hash表， last_output_port_hash表， last_ flowlet_size_hash表和last_port_flowlet_size_hash表。 其中last_time_hash表用来记 录网络流中上一个到达交换机的数据包的到达时间； last_output_port_hash表用来记录 交换机用于转发流的转发端口； last_flowlet_size_hash表用来记录流的上一个。

24、flowlet size大小； last_port_flowlet_size_hash表用来记录对于所有交换机的转发端口， 之前通 过其端口的多个flowlet的size。 这4张表中， 前3张以数据包的包头信息(in_port,ip_src, ip_dst,tcp_src,tcp_dst)形成唯一索引， 最后一张以端口号形成索引。 0027 2)对于到达的数据包， 交换机查看last_time_hash哈希表中是否存在与其匹配的 索引。 0028 2-1)如果存在， 计算两个数据包的时间间隔， 如果时间间隔大于timeout值， 表明 说明书 3/5 页 6 CN 110061929 A 6。

25、 当前数据流产生了一个新的flowlet， 同时将当前网络流上一个传输完成的flowlet的size 信息存入last_flowlet_size_hash哈希表中， 最后更新last_time_hash哈希表中的数据包 到达时间。 如果时间间隔小于timeout值， 只需更新last_time_hash哈希表中的数据包到达 时间。 0029 2-2)如果不存在， 在last_time_hash哈希表中创建一个新的索引项， 将到达数据 包看做网络中出现了一条新流， 并更新其数据包到达时间。 0030 2、 flowlet分配模块 0031 flowlet分配模块会根据交换机各端口上一个已发送的f。

26、lowlet size信息对下一 个flowlet进行调度， 具体步骤如下。 0032 1)对于到达交换机的网络流， 交换机会查看last_port_flowlet_size_hash哈希 表中信息。 0033 1-1)如果last_port_flowlet_size_hash哈希表中的端口索引数量小于交换机转 发端口数量或者各端口记录的flowlet个数小于10个， 交换机会从所有可用端口中随机给 当前网络流分配转发端口， 同时记录端口传输的当前流的数据信息， 更新到相应的last_ flowlet_size_hash哈希表中。 当交换机检测到两个数据包之间的时间间隔大于timeout 值，。

27、 即检测到一个新的flowlet时， 交换机将更新last_port_flowlet_size_hash哈希表中 对应索引端口下的flowlet size信息。 0034 1-2)如果last_port_flowlet_size_hash哈希表中的端口索引数量等于交换机的 转发端口数且各端口记录的flowlet个数等于10个。 将所有端口之前发送的10个flowlet size相加求和， 之后求得各端口flowlet size之和占所有端口flowlet size总和的比例并 将结果记录到一个一维数组P中， 这样， 使得发送较大flowlet size的端口拥有较大的调度 权重。 0035 2。

28、)对于P中记录的比例信息， 交换机会生成一个0-1范围内的随机数r， 之后遍历P 数组， 将数据中各端口比例依次相加， 当相加之和大于或等于r时， 记录下相应的端口号信 息， 将新的flowlet调度到此端口进行传输。 这样就使得下一个flowlet有较大概率被调度 到拥有较大flowlet size的路径， 即拥塞程度较小的路径上， 实现了链路的负载均衡。 0036 以下结合附图对本发明的实施例作进一步详细描述。 0037 图1为基于flowlet timeout进行负载均衡的原理图， 如图所示， 有两条并行路径， 如果两个连续到达的数据包(数据包1和数据包2)之间的时间间隔大于并行路径之间。

29、的最 大延迟差， 那么第二个数据包及其后续该流的数据包就可以被调度到另一条新的并行路径 上而不会引起数据包的重排序问题， 这个数据包之间的时间间隔被称为 “flowlet timeout” 。 通过设定flowlet timeout， 一条网络流被划分为一个一个的数据包集合， 每个 数据包集合被称为一个flowlet。 flowlet timeout值需要根据实际链路情况而设定， 本发 明根据实验情况设定flowlet timeout为500us。 0038 图2为flowlet size大小随链路带宽变化图。 从图中可以看出flowlet size情况 会随着链路带宽的增加而增加。 本发明通。

30、过对虚拟交换机Open vSwitch的group模块进行 改写， 实现对flowlet的检测功能， 记录已通过不同链路的flowlet的size情况， 之后根据每 条路径上已通过的flowlet size的比例对网络流进行调度， 使得下一个flowlet有更大可 能被调度到拥有较大flowlet的路径， 即拥塞程度较小的路径上， 从而实现非对称网络的信 说明书 4/5 页 7 CN 110061929 A 7 息不可知情况下的负载均衡。 图3为本发明基于flowlet的数据中心负载均衡流程图， 具体 包括以下步骤。 0039 1)交换机维持4张哈希表： last_time_hash表， la。

31、st_output_port_hash表， last_ flowlet_size_hash表和last_port_flowlet_size_hash表。 其中last_time_hash表用来记 录网络流中上一个到达交换机的数据包的到达时间； last_output_port_hash表用来记录 交换机用于转发流的转发端口； last_flowlet_size_hash表用来记录流的上一个flowlet 大小； last_port_flowlet_size_hash表用来记录对于所有交换机的转发端口， 之前通过其 端口的多个flowlet的大小。 这4张表中， 前3张以数据包的包头信息(in_。

32、port,ip_src,ip_ dst,tcp_src,tcp_dst)形成唯一索引， 最后一张以端口号形成索引。 0040 2)对于到达交换机的数据包， 交换机根据其包头信息构建索引， 同时判断哈希表 last_time_hash中是否存在匹配项。 0041 3)如果last_time_hash中存在匹配项， 计算两个数据包之间的时间间隔， 判断时 间间隔是否大于timeout值。 0042 4)对于3)， 如果时间间隔大于timeout值， 表明前流产生了一个新的flowlet。 交换 机将当前流的上一个传输完成的flowlet的size信息更新到last_flowlet_size_has。

33、h表 中， 同时更新last_port_flowlet_size_hash表中相应端口号下的flowlet size信息和个 数信息。 0043 5)查看last_port_flowlet_size_hash表中端口索引数量是否等于交换机的转发 端口数且记录的flowlet个数是否等于10个。 0044 6)如果数量相等且flowlet个数满足， 将last_port_flowlet_size_hash表中所有 端口索引对应的flowlet size相加求和， 之后求得各端口flowlet size之和占总大小的比 例并将结果记录到一个一维数组P中。 0045 7)对于P中记录的比例信息， 交。

34、换机会生成一个0-1范围内的随机数r， 之后遍历P 数组， 将数据中各端口比例依次相加， 当相加之和大于或等于r时， 记录下相应的端口号信 息， 将新的flowlet调度到此端口进行传输。 0046 最后更新该流对应的转发端口号。 0047 8)对于6)， 如果数量小于交换机端口数或者flowlet个数小于10个， 交换机会从所 有可用端口中随机给当前网络流分配转发端口， 并更新该流对应的转发端口号。 0048 9)对于4)， 如果时间间隔小于timeout值， 交换机只需更新last_time_hash表中的 数据包到达时间。 0049 10)对于2)， 如果last_time_hash中不存在匹配项， 表明交换机中来了一条新流， 重复步骤5)、 6)、 7)、 8)。 说明书 5/5 页 8 CN 110061929 A 8 图1 图2 说明书附图 1/2 页 9 CN 110061929 A 9 图3 说明书附图 2/2 页 10 CN 110061929 A 10 。