开放式硬件实现深度数据过滤分流的系统及方法.pdf

《开放式硬件实现深度数据过滤分流的系统及方法.pdf》由会员分享，可在线阅读，更多相关《开放式硬件实现深度数据过滤分流的系统及方法.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010168418.9 (22)申请日 2020.03.11 (71)申请人 深圳市东晟数据有限公司 地址 518000 广东省深圳市南山区粤海街 道高新区社区高新南一道009号中科 研发园三号楼14楼A2 (72)发明人 杨晶亮涂明沈圳 (74)专利代理机构 深圳市中科创为专利代理有 限公司 44384 代理人 谭雪婷梁炎芳 (51)Int.Cl. H04L 12/26(2006.01) H04L 12/741(2013.01) H04L 29/06(2006.01) H。

2、04L 12/803(2013.01) G06F 16/903(2019.01) (54)发明名称 一种开放式硬件实现深度数据过滤分流的 系统及方法 (57)摘要 本发明公开一种开放式硬件实现深度数据 过滤分流的系统及方法， 该系统包括分发处理交 换机， IntelCPU矩阵， 汇聚输出交换机； 分发处 理交换机的数据初始处理输出端与IntelCPU的 数据初始处理接收端连接， IntelCPU的数据深 度处理输出端与分发处理交换机的数据深度处 理接收端连接， 分发处理交换机的数据处理结果 输出端与汇聚输出交换机的数据处理结果接收 端连接； 分发处理交换机和汇聚输出交换机均包 括可编程交换芯片。

3、， IntelCPU矩阵包括若干 IntelCPU， 且任一IntelCPU分别与分发处理交 换机连接。 本发明技术方案节省硬件开发成本， 大大降低产品的开发周期。 权利要求书1页 说明书4页 附图1页 CN 111404776 A 2020.07.10 CN 111404776 A 1.一种开放式硬件实现深度数据过滤分流的系统， 其特征在于， 包括用于接收数据报 文并对数据报文进行分发处理的分发处理交换机， 用于进行规则查询及数据报文深度处理 的Intel CPU矩阵， 用于接收处理后的数据报文并输出的汇聚输出交换机； 所述分发处理交 换机的数据初始处理输出端与所述Intel CPU的数据初。

4、始处理接收端连接， 所述Intel CPU 的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接， 所述分发处理 交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接； 所述分 发处理交换机和所述汇聚输出交换机均包括可编程交换芯片， 所述Intel CPU矩阵包括若 干Intel CPU， 且任一所述Intel CPU分别与所述分发处理交换机连接。 2.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统， 其特征在于， 所述可 编程交换芯片设置为白盒可编程交换芯片硬件。 3.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统， 其特征在于， 所述 Inte。

5、l CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板。 4.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统， 其特征在于， 所述 Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字符串的查找。 5.一种开放式硬件实现深度数据过滤分流的方法， 其特征在于， 包括如下步骤： S1： 分发处理交换机接收外部数据报文， 对数据报文进行解析并查询内部掩码规则； S2:分发处理交换机将掩码规则查询结果携带进入数据报文， 并输出至Intel CPU矩阵 中对应的Intel CPU； S3:Intel CPU对S2中接收的数据报文进行查询精。

6、确规则表项、 特征码规则， 完成规则 复合处理， 将处理结果携带进入数据报文并发送至分发处理交换机； S4： 分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机； S5： 汇聚输出交换机根据S4中接收的数据报文携带的信息， 进行数据报文的复制和负 载均衡同源同宿输出； 所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。 6.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法， 其特征在于， 所述可 编程交换芯片设置为白盒可编程交换芯片硬件。 7.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法， 其特征在于， 所述 Intel CPU矩阵设置为多台标准服务器硬件或AT。

7、CA机箱上的多块Intel CPU处理板。 8.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法， 其特征在于， 所述 Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字符串的查找。 权利要求书 1/1 页 2 CN 111404776 A 2 一种开放式硬件实现深度数据过滤分流的系统及方法 技术领域 0001 本发明涉及数据过滤分流技术领域， 特别涉及一种开放式硬件实现深度数据过滤 分流的系统及方法。 背景技术 0002 在分流器领域， 用户需要通过对现网的高速流量进行深度解析和过滤后， 将用户 需要的数据提取出来后转发给后端服务器进行进一步分析， 过滤的。

8、方法包括掩码规则， 精 确规则， 字符串规则， 以及掩码/精确和字符串复合规则等。 输出给用户的时候需要保证同 源同宿。 当前分流器领域进行报文的高速深度过滤， 大部分实现方案为FPGA或者专门NP(网 络处理器)。 但是， 通过NP/FPGA进行报文过滤处理这种方案， 需要开发专门的硬件， 市场上 没有这种方案的开放式的硬件可以采购， 这样开发不仅会提高开发成本， 还会增加开发时 间。 0003 因此， 现有技术存在缺陷， 需要改进。 发明内容 0004 本发明提出一种开放式硬件实现深度数据过滤分流的系统及方法， 旨在节省硬件 开发成本， 大大降低产品的开发周期。 0005 为实现上述目的，。

9、 本发明提出的一种开放式硬件实现深度数据过滤分流的系统， 包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机， 用于进行规则查询 及数据报文深度处理的Intel CPU矩阵， 用于接收处理后的数据报文并输出的汇聚输出交 换机； 所述分发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收 端连接， 所述Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接 收端连接， 所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理 结果接收端连接； 所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片， 所 述Intel CPU矩阵。

10、包括若干Intel CPU， 且任一所述Intel CPU分别与所述分发处理交换机 连接。 0006 优选地， 所述可编程交换芯片设置为白盒可编程交换芯片硬件。 0007 优选地， 所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块 Intel CPU处理板。 0008 优选地， 所述Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字符 串的查找。 0009 本发明还提出一种开放式硬件实现深度数据过滤分流的方法， 其包括如下步骤： 0010 S1： 分发处理交换机接收外部数据报文， 对数据报文进行解析并查询内部掩码规 则； 0011 S2:分。

11、发处理交换机将掩码规则查询结果携带进入数据报文， 并输出至Intel CPU 矩阵中对应的Intel CPU； 说明书 1/4 页 3 CN 111404776 A 3 0012 S3:Intel CPU对S2中接收的数据报文进行查询精确规则表项、 特征码规则， 完成 规则复合处理， 将处理结果携带进入数据报文并发送至分发处理交换机； 0013 S4： 分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机； 0014 S5： 汇聚输出交换机根据S4中接收的数据报文携带的信息， 进行数据报文的复制 和负载均衡同源同宿输出； 0015 所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。

12、。 0016 优选地， 所述可编程交换芯片设置为白盒可编程交换芯片硬件。 0017 优选地， 所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块 Intel CPU处理板。 0018 优选地， 所述Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字符 串的查找。 0019 与现有技术相比， 本发明的有益效果是： 节省了硬件开发成本， 大大降低产品的开 发周期。 0020 本方案主要业务处理采用Intel CPU来处理， 通过横向扩展CPU数目可以到达扩展 系统处理能力的目的。 0021 通过DPDK报文处理框架以及HyperScan灵活的字符。

13、串搜索功能同样也可以完成高 速数据过滤功能， 而不需要NP/FPGA专门的开发技术。 0022 采用可编程交换芯片来处理掩码规则， 不需要额外的NP/FPGA外挂TCAM来实现掩 码规则。 附图说明 0023 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图示出的结构获得其他的附图。 0024 图1为本发明数据过滤分流的系统原理图； 0025 图2为本发明数据过滤分流的方法流程图； 00。

14、26 本发明目的的实现、 功能特点及优点将结合实施例， 参照附图做进一步说明。 具体实施方式 0027 本发明提出一种开放式硬件实现深度数据过滤分流的系统， 参考图1， 包括用于接 收数据报文并对数据报文进行分发处理的分发处理交换机， 用于进行规则查询及数据报文 深度处理的Intel CPU矩阵， 用于接收处理后的数据报文并输出的汇聚输出交换机； 所述分 发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收端连接， 所述 Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接， 所 述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据。

15、处理结果接收端 连接； 所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片， 所述Intel CPU 矩阵包括若干Intel CPU， 且任一所述Intel CPU分别与所述分发处理交换机连接。 0028 应当说明的是， Intel CPU负责精确规则， 特征串规则， 复合规则等查询以及其他 说明书 2/4 页 4 CN 111404776 A 4 功能处理， 通过DPDK完成数据高速的收发， 通过HyperScan完成字符串的查找。 可编程交换 芯片负责报文输入， 将报文分发到IntelCPU,进行掩码规则查找， 最后的负载均衡同源同宿 输出。 0029 进一步地， 所述可编程交换芯。

16、片设置为白盒可编程交换芯片硬件。 所述Intel CPU 矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板， 还可以扩展为多 个ATCA机箱。 其中， 最小形态为在一个1U的盒式设备里面包括可编程芯片和若干个Intel CPU。 0030 进一步地， 所述Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字 符串的查找。 0031 该系统在工作时， 分发处理交换机接收外部数据报文， 对数据报文进行解析并查 询内部掩码规则； 分发处理交换机将掩码规则查询结果携带进入数据报文， 并输出至Intel CPU矩阵中对应的Intel CPU； Int。

17、el CPU对接收的数据报文进行查询精确规则表项、 特征码 规则， 完成规则复合处理， 将处理结果携带进入数据报文并发送至分发处理交换机； 分发处 理交换机将接收的数据报文发送至汇聚输出交换机； 汇聚输出交换机根据接收的数据报文 携带的信息， 进行数据报文的复制和负载均衡同源同宿输出。 0032 其中， 掩码规则通过控制面的程序统一配置。 查询掩码规则并将结果携带到数据 报文深度处理去进行规则复合； 精确规则表项可以包括IP信息和端口信息， 用于与其他规 则进行复合， 该表项通过控制面的程序统一配置。 0033 特征码规则是指搜索报文中的某些字符串的规则， 可以包括字符串的出现位置的 范围等信。

18、息， 用于与其他规则进行复合， 也是通过控制面程序同意配置。 0034 本发明还提出一种开放式硬件实现深度数据过滤分流的方法， 参考图2， 其包括如 下步骤： 0035 S1： 分发处理交换机接收外部数据报文， 对数据报文进行解析并查询内部掩码规 则； 0036 S2:分发处理交换机将掩码规则查询结果携带进入数据报文， 并输出至Intel CPU 矩阵中对应的Intel CPU； 0037 S3:Intel CPU对S2中接收的数据报文进行查询精确规则表项、 特征码规则， 完成 规则复合处理， 将处理结果携带进入数据报文并发送至分发处理交换机； 0038 S4： 分发处理交换机将S3中接收的数。

19、据报文发送至汇聚输出交换机； 0039 S5： 汇聚输出交换机根据S4中接收的数据报文携带的信息， 进行数据报文的复制 和负载均衡同源同宿输出； 0040 所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。 应当说明的 是， Intel CPU负责精确规则， 特征串规则， 复合规则等查询以及其他功能处理， 通过DPDK完 成数据高速的收发， 通过HyperScan完成字符串的查找。 可编程交换芯片负责报文输入， 将 报文分发到IntelCPU,进行掩码规则查找， 最后的负载均衡同源同宿输出。 0041 进一步地， 掩码规则通过控制面的程序统一配置。 查询掩码规则并将结果携带到 数据报。

20、文深度处理去进行规则复合； 精确规则表项可以包括IP信息和端口信息， 用于与其 他规则进行复合， 该表项通过控制面的程序统一配置。 特征码规则是指搜索报文中的某些 字符串的规则， 可以包括字符串的出现位置的范围等信息， 用于与其他规则进行复合， 也是 说明书 3/4 页 5 CN 111404776 A 5 通过控制面程序同意配置。 0042 进一步地， 所述可编程交换芯片设置为白盒可编程交换芯片硬件。 所述Intel CPU 矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板， 还可以扩展为多 个ATCA机箱。 其中， 最小形态为在一个1U的盒式设备里面包括可编程芯片和若干个Intel CPU。 0043 进一步地， 所述Intel CPU通过DPDK完成数据高速的收发， 通过HyperScan完成字 符串的查找。 0044 以上所述仅为本发明的优选实施例， 并非因此限制本发明的专利范围， 凡是在本 发明的发明构思下， 利用本发明说明书及附图内容所作的等效结构变换， 或直接/间接运用 在其他相关的技术领域均包括在本发明的专利保护范围内。 说明书 4/4 页 6 CN 111404776 A 6 图1 图2 说明书附图 1/1 页 7 CN 111404776 A 7 。