针对大规模数据库集群的安全态势感知分析技术及系统.pdf

《针对大规模数据库集群的安全态势感知分析技术及系统.pdf》由会员分享，可在线阅读，更多相关《针对大规模数据库集群的安全态势感知分析技术及系统.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010713576.8 (22)申请日 2020.07.22 (71)申请人 北京中安星云软件技术有限公司 地址 100000 北京市海淀区创业路8号5号 楼4层5-6-401 (72)发明人 唐更新张洪林赵卫国宋辉 (74)专利代理机构 北京鱼爪知识产权代理有限 公司 11754 代理人 曹治丽 (51)Int.Cl. G06F 21/55(2013.01) G06F 21/62(2013.01) (54)发明名称 针对大规模数据库集群的安全态势感知分 析技术及系统 (5。

2、7)摘要 本发明提出了一种针对大规模数据库集群 的安全态势感知分析技术及系统， 涉及数据库审 计领域。 一种针对大规模数据库集群的安全态势 感知分析技术包括： 对数据库通信数据包进行抓 包， 抓取的数据包进行数据流量解析， 将解析结 果发送到实时流处理引擎进行处理和特征提取 出实时信息， 消息队列缓冲及转发实时信息， 接 收实时信息并存储在分布式数仓， 进行分布式计 算， 将计算结果分发到主题数据库存储， 拉取主 题数据库的计算结果进行BI分析展示。 此外本发 明还提出了一种针对大规模数据库集群的安全 态势感知分析系统。 其能够对大规模数据库集群 进行安全审计， 实现大规模数据库集群整体的安 。

3、全态势感知可视化展现。 权利要求书2页 说明书6页 附图3页 CN 112035828 A 2020.12.04 CN 112035828 A 1.一种针对大规模数据库集群的安全态势感知分析技术， 其特征在于， 包括如下步骤： 对数据库通信数据包进行抓包； 对抓取的数据包进行数据流量解析； 将解析结果发送到实时流处理引擎进行处理和特征提取得到实时信息； 消息队列缓冲及转发实时信息； 接收实时信息并存储在分布式数仓； 对实时信息进行分布式计算； 将计算结果分发到主题数据库存储； 拉取主题数据库的计算结果进行BI分析展示。 2.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其。

4、特征 在于， 所述对数据库通信数据包进行抓包包括： 通过网卡接收到数据流对数据包进行重组， 重组后对TCP/IP报文进行解析提取数据库 通讯协议信息， 解析数据库通讯协议提取SQL语句， 将所述SQL语句转发。 3.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述对抓取的数据包进行数据流量解析包括： 接收数据之后对SQL进行流处理， 对流数据进行清洗和转换； 对特征进行数据预处理， 对信息进行打标签。 4.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述将解析结果发送到实时流处理引擎进行处理和特征提取出实时信息包括。

5、： 接收到标签数据之后提取特征。 5.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述消息队列缓冲及转发实时信息包括： 通过kafka接收实时信息并通过内存缓冲机制将所述实时信息进行定时转发。 6.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述接收实时信息并存储在分布式数仓包括: 由ArgoDB分布式数据库来承担数据存储任务， 将Kafka转发过来的信息以二维表的方 式进行固化存储。 7.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述进行分布式计算包括： 通过Spark分。

6、布式计算引擎承担计算任务， 由内置策略引擎调度算法交由Spark来进行 计算并将计算结果进行转发。 8.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述将计算结果分发到主题数据库存储包括： 将计算结果存储在内存中， 并按照设定好的条件生成多维度表。 9.如权利要求1所述的一种针对大规模数据库集群的安全态势感知分析技术， 其特征 在于， 所述拉取主题数据库的计算结果进行BI分析展示包括： 通过Pilot引擎可以将计算LOAP数据库中的多维表进行快速检索和可视化展示。 10.一种针对大规模数据库集群的安全态势感知分析系统， 其特征在于， 包括： 日志采 集模。

7、块和安全态势分析模块； 权利要求书 1/2 页 2 CN 112035828 A 2 所述日志采集模块实现数据库安全日志的采集和转发， 包括如下子模块： 数据包抓解析子模块， 用于对数据库通信数据包进行抓包； 实时流处理子模块， 用于对抓取的数据包进行数据流量解析； 特征提取子模块， 用于将解析结果发送到实时流处理引擎进行处理和特征提取得到实 时信息； 消息队列缓冲及转发子模块， 用于通过消息队列缓冲及转发实时信息； 所述安全态势分析模块实现日志的分析和展示， 包括如下子模块： 分布式数据仓库子模块， 用于接收实时信息并存储在分布式数仓； 分布式计算子模块， 用于对实时信息进行分布式计算； L。

8、OAP数据库子模块， 用于将计算结果分发到主题数据库存储； BI分析子模块， 用于通过拉取主题数据库的计算结果进行BI分析展示。 权利要求书 2/2 页 3 CN 112035828 A 3 针对大规模数据库集群的安全态势感知分析技术及系统 技术领域 0001 本发明涉及数据库审计领域， 具体而言， 涉及一种针对大规模数据库集群的安全 态势感知分析技术及系统。 背景技术 0002 现有技术无法满足大规模数据库集群的日志信息采集， 由于大规模数据库集群数 据吞吐高， 日志信息在单位时间内的数量大造成传统数据库安全技术不能够对数据流量进 行及时解析造成数据丢包， 最终结果就是漏审。 0003 传统。

9、数据库安全审计技术的日志信息一般存储在关系型数据库(RDBS)中因此数 据存储量比较低， 一般是GB-TB级别。 由于大规模数据库集群的日志信息量通常都是PB级 别， 因此传统数据库安全设计技术存储资源难以承载PB级别的数据量。 0004 传统数据库安全审计技术无法针对海量信息(通常指PB级别)进行复杂计算， 因为 传统数据库审计技术通常以单机(单台计算机)为载体， 计算效率低。 0005 传统数据库审计技术主要通过WEB UI通过JDBC驱动连接本地关系型数据库进行 检索和数据展示， 不能够实时提供交互式分析结果展示， 另外检索速度慢， 统计维度少， 可 视化效果差。 发明内容 0006 本。

10、发明的目的在于提供一种针对大规模数据库集群的安全态势感知分析技术， 其 能够实现对大规模数据库集群进行安全审计， 针对海量安全审计日志通过分布式计算和丰 富的安全算法提供多维度实时数据库安全分析， 实现大规模数据库集群整体的安全态势感 知可视化展现。 0007 本发明的另一目的在于提供一种针对大规模数据库集群的安全态势感知分析系 统， 其能够运行一种针对大规模数据库集群的安全态势感知分析技术。 0008 本发明的实施例是这样实现的： 0009 第一方面， 本申请实施例提供一种针对大规模数据库集群的安全态势感知分析技 术， 其包括对数据库通信数据包进行抓包， 抓取的数据包进行数据流量解析， 将解。

11、析结果发 送到实时流处理引擎进行处理和特征提取得到实时信息， 消息队列缓冲及转发实时信息， 接收实时信息并存储在分布式数仓， 对实时信息进行分布式计算， 将计算结果分发到主题 数据库存储， 拉取主题数据库的计算结果进行BI分析展示。 0010 在本发明的一些实施例中， 上述对数据库通信数据包进行抓包包括： 通过网卡接 收到数据流对数据包进行重组， 重组后对TCP/IP报文进行解析提取数据库通讯协议信息， 解析数据库通讯协议提取SQL语句， 将所述SQL语句转发。 0011 在本发明的一些实施例中， 上述对抓取的数据包进行数据流量解析包括： 接收数 据之后对SQL进行流处理， 对流数据进行清洗和。

12、转换， 对特征进行数据预处理， 对信息进行 打标签。 说明书 1/6 页 4 CN 112035828 A 4 0012 在本发明的一些实施例中， 上述将解析结果发送到实时流处理引擎进行处理和特 征提取出实时信息包括： 接收到标签数据之后提取特征。 0013 在本发明的一些实施例中， 上述通过消息队列缓冲及转发实时信息包括： 通过 kafka接收实时信息并通过内存缓冲机制将所述实时信息进行定时转发。 0014 在本发明的一些实施例中， 上述接收实时信息并存储在分布式数仓包括:由 ArgoDB分布式数据库来承担数据存储任务， 将Kafka转发过来的信息以二维表的方式进行 固化存储。 0015 在。

13、本发明的一些实施例中， 上述进行分布式计算包括： 通过Spark分布式计算引擎 承担计算任务， 由内置策略引擎调度算法交由Spark来进行计算并将计算结果进行转发。 0016 在本发明的一些实施例中， 上述将计算结果分发到主题数据库存储包括： 将计算 结果存储在内存中， 并按照设定好的条件生成多维度表。 0017 在本发明的一些实施例中， 上述通过拉取主题数据库的计算结果进行BI分析展示 包括： 通过Pilot引擎可以将计算LOAP数据库中的多维表进行快速检索和可视化展示。 0018 第二方面， 本申请实施例提供一种针对大规模数据库集群的安全态势感知分析系 统， 其包括日志采集模块和安全态势分。

14、析模块； 所述日志采集模块实现数据库安全日志的 采集和转发， 包括如下子模块： 数据包抓解析子模块， 用于对数据库通信数据包进行抓包； 实时流处理子模块， 用于对抓取的数据包进行数据流量解析； 特征提取子模块， 用于将解析 结果发送到实时流处理引擎进行处理和特征提取得到实时信息； 消息队列缓冲及转发子模 块， 用于通过消息队列缓冲及转发实时信息； 所述安全态势分析模块实现日志的分析和展 示， 包括如下子模块： 分布式数据仓库子模块， 用于接收实时信息并存储在分布式数仓； 分 布式计算子模块， 用于对实时信息进行分布式计算； LOAP数据库子模块， 用于将计算结果分 发到主题数据库存储； BI分。

15、析子模块， 用于通过拉取主题数据库的计算结果进行BI分析展 示。 0019 相对于现有技术， 本发明的实施例至少具有如下优点或有益效果： 0020 通过本发明技术可以实现对大规模数据库集群进行安全审计， 针对海量安全审计 日志通过分布式计算和丰富的安全算法提供多维度实时数据库安全分析， 实现大规模数据 库集群整体的安全态势感知可视化展现。 附图说明 0021 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要使用的附 图作简单地介绍， 应当理解， 以下附图仅示出了本发明的某些实施例， 因此不应被看作是对 范围的限定， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还。

16、可以根据这 些附图获得其他相关的附图。 0022 图1为本发明实施例提供的一种针对大规模数据库集群的安全态势感知分析技术 流程示意图； 0023 图2为本发明实施例提供的一种针对大规模数据库集群的安全态势感知分析技术 逻辑结构示意图； 0024 图3为本发明实施例提供的一种针对大规模数据库集群的安全态势感知分析技术 模块示意图。 说明书 2/6 页 5 CN 112035828 A 5 具体实施方式 0025 为使本申请实施例的目的、 技术方案和优点更加清楚， 下面将结合本申请实施例 中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本申请一部分实施例，。

17、 而不是全部的实施例。 通常在此处附图中描述和示出的本申请实施 例的组件可以以各种不同的配置来布置和设计。 0026 因此， 以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护 的本申请的范围， 而是仅仅表示本申请的选定实施例。 基于本申请中的实施例， 本领域普通 技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范 围。 0027 应注意到： 相似的标号和字母在下面的附图中表示类似项， 因此， 一旦某一项在一 个附图中被定义， 则在随后的附图中不需要对其进行进一步定义和解释。 0028 需要说明的是， 在本文中术语 “包括” 、“包含” 或者其任何其。

18、他变体意在涵盖非排 他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者设备不仅包括那些要素， 而 且还包括没有明确列出的其他要素， 或者是还包括为这种过程、 方法、 物品或者设备所固有 的要素。 0029 下面结合附图， 对本申请的一些实施方式作详细说明。 在不冲突的情况下， 下述的 各个实施例及实施例中的各个特征可以相互组合。 0030 实施例1 0031 请参阅图1和图2以及图3， 图1所示为本申请实施例提供的一种针对大规模数据库 集群的安全态势感知分析技术流程示意图， 包括： 0032 步骤S100， 对数据库通信数据包进行抓包； 0033 具体的， 数据包抓包解析子模块通过。

19、网卡接收到数据流对数据包进行重组， 重组 后对TCP/IP报文进行解析提取数据库通讯协议信息， 解析数据库通讯协议提取SQL语句， 然 后将SQL语句转发到实时流处理子模块。 0034 在一些实施方式中， 数据库是长期储存在计算机内、 有组织的、 可共享的大量数据 的集合， 数据库可以是数据库集群， 数据库集群包含数据库节点1、 数据库节点2、 数据库节 点3.数据库节点N、 数据库节点N+1。 报文可以是TCP/IP报文， TCP是面向连接的、 可靠 的、 基于字节流的传输层通信协议将应用层的数据流分割成报文段， 报文段长度受MTU影 响， 并发送给目标节点的TCP层， 数据包都有序号， 对。

20、方收到则发送ACK， 确认字符， 未收到则 重传， 使用校验和来检验数据在传输过程中是否有误。 0035 步骤S110， 对抓取的数据包进行数据流量解析； 0036 具体的， 实时流处理子模块接收数据之后对SQL进行流处理， 对流数据进行清洗和 转换。 并对特征进行数据预处理， 对信息进行打标签。 0037 在一些实施方式中， 可以在抓取的数据包解析出IP信息。 数据包是一种信息单位， 它的起始和目的地是网络层。 0038 步骤S120， 将解析结果发送到实时流处理引擎进行处理和特征提取得到实时信 息； 0039 具体的， 特征提取子模块接收到标签数据之后提取特征， 在一些实施方式中， 包括 。

21、但不限于源IP、 目的IP、 客户端名称、 访问账号、 数据库名称、 表字段名称等。 说明书 3/6 页 6 CN 112035828 A 6 0040 在一些实施方式中， 流处理的是流数据， 流数据可以是一组顺序、 大量、 快速、 连续 到达的数据序列， 数据流可被视为一个随时间延续而无限增长的动态数据集合。 0041 步骤S130， 消息队列缓冲及转发实时信息； 0042 具体的， 消息队列缓冲及转发子模块通过kafka， 接收实时消息并通过内存缓冲机 制将实时信息进行定时转发， 以减少后端数据仓库的IO压力。 0043 在一些实施方式中， Kafka是由Apache软件基金会开发的一个开。

22、源流处理平台, Kafka的目的是通过并行加载机制来统一线上和离线的消息处理， 为下层存储提供缓冲。 0044 步骤S140， 接收实时信息并存储在分布式数仓； 0045 具体的， 分布式数据仓库子模块主要由ArgoDB分布式数据库来承担数据存储任 务， 首先将Kafka转发过来的实时信息以二维表的方式进行固化存储。 0046 在一些实施方式中， ArgoDB是一种基于闪存和内存的分布式数据库， 可以提供数 据分布式存储以及提供MLOAP。 分布式存储： 采用将文件通过多副本的方式分别存储在不同 节点来保证数据的安全， 提高数据提取速度和数据存储量。 0047 步骤S150， 对实时信息进行分。

23、布式计算； 0048 具体的， 分布式计算子模块主要由通过Spark分布式计算引擎承担计算任务， 由内 置策略引擎调度算法交由Spark来进行计算并将计算结果进行转发。 0049 在一些实施方式中， 分布式计算将该应用分解成许多小的部分， 分配给多台计算 机进行处理。 这样可以节约整体计算时间， 大大提高计算效率。 0050 步骤S160， 将计算结果分发到主题数据库存储； 0051 具体的， LOAP数据库子模块是指提具备供联机分析处理的数据库， 主要由ArgoDB 来承担， 将计算结果存储在内存中， 并按照设定好的条件生成多维度表， 也就是立方体表。 0052 在一些实施方式中， 采用LO。

24、AP数据库数据量很大， 几十TB都算小的。 相对而言， 传 统MPP支持的节点数以及处理的总数据量比Hadoop生态要小， 且具备高级分析能力， 包括高 级数仓函数、 机器学习、 集成R语言等。 生态完整性， OLAP/BI生态有很多成熟软件， 无缝接入 是一项很重要的能力。 0053 步骤S170， 拉取主题数据库的计算结果进行BI分析展示。 0054 具体的， 通过BI分析子模块， 引擎采用Pilot引擎承担分析任务， 通过Pilot引擎可 以将计算LOAP数据库中的多维表进行快速检索和可视化展示， 最终实现数据库集群安全状 态的态势感知。 0055 实施例2 0056 请参阅图2， 图2。

25、为本发明实施例提供的一种针对大规模数据库集群的安全态势感 知分析技术逻辑结构示意图， 包括： 数据库集群、 分布式日志采集器集群、 数据安全态势感 知分析系统； 0057 数据库集群包括多个数据库节点； 0058 分布式日志采集器集群包括多个日志采集模块； 0059 日志采集模块包含四个子模块， 分别是数据包抓解析子模块、 实时流处理子模块、 特征提取子模块、 消息队列缓冲及转发子模块 0060 数据安全态势感知分析系统包含四个子模块， 分别是分布式数据仓库子模块、 分 布式计算子模块、 LOAP数据库子模块、 BA分析展示子模块； 说明书 4/6 页 7 CN 112035828 A 7 0。

26、061 实施例3 0062 请参阅图3， 图3为本发明实施例提供的一种针对大规模数据库集群的安全态势感 知分析技术模块示意图， 包括： 日志采集模块和安全态势分析模块； 所述日志采集模块实现 数据库安全日志的采集和转发， 包括如下子模块： 数据包抓解析子模块， 用于对数据库通信 数据包进行抓包； 实时流处理子模块， 用于对抓取的数据包进行数据流量解析； 特征提取子 模块， 用于将解析结果发送到实时流处理引擎进行处理和特征提取得到实时信息； 消息队 列缓冲及转发子模块， 用于通过消息队列缓冲及转发实时信息； 所述安全态势分析模块实 现日志的分析和展示， 包括如下子模块： 分布式数据仓库子模块， 。

27、用于接收实时信息并存储 在分布式数仓； 分布式计算子模块， 用于对实时信息进行分布式计算； LOAP数据库子模块， 用于将计算结果分发到主题数据库存储； BI分析子模块， 用于通过拉取主题数据库的计算 结果进行BI分析展示。 0063 在本申请所提供的实施例中， 应该理解到， 所揭露的装置和方法， 也可以通过其它 的方式实现。 以上所描述的装置实施例仅仅是示意性的， 例如， 附图中的流程图和框图显示 了根据本申请的多个实施例的装置、 方法和计算机程序产品的可能实现的体系架构、 功能 和操作。 在这点上， 流程图或框图中的每个方框可以代表一个模块、 程序段或代码的一部 分， 所述模块、 程序段或。

28、代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行 指令。 也应当注意， 在有些作为替换的实现方式中， 方框中所标注的功能也可以以不同于附 图中所标注的顺序发生。 例如， 两个连续的方框实际上可以基本并行地执行， 它们有时也可 以按相反的顺序执行， 这依所涉及的功能而定。 也要注意的是， 框图和/或流程图中的每个 方框、 以及框图和/或流程图中的方框的组合， 可以用执行规定的功能或动作的专用的基于 硬件的系统来实现， 或者可以用专用硬件与计算机指令的组合来实现。 0064 另外， 在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部 分， 也可以是各个模块单独存在， 也可以两个。

29、或两个以上模块集成形成一个独立的部分。 0065 所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时， 可以 存储在一个计算机可读取存储介质中。 基于这样的理解， 本申请的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来， 该计 算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备(可以是个 人计算机， 服务器， 或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括： U盘、 移动硬盘、 只读存储器(ROM， Read-Only Memory)、 随机存取存 储器(RAM， Rando。

30、m Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。 0066 综上所述， 本申请实施例提供的一种针对大规模数据库集群的安全态势感知分析 技术及系统， 本发明主要解决目前传统数据库审计技术不能提供针对超大数据库集群进行 统一日志采集、 统一日志存储、 大规模数据计算、 以及安全动态可视化展现等问题。 提出一 种基于采用大数据技术架构， 通过Hadoopd大数据架构中的不同组件提供异构信息采集、 分 布式存储、 分布式计算以及BI分析来解决以上传统日志审计及数据库审计的不足。 实现对 大规模数据库集群进行安全审计， 针对海量安全审计日志通过分布式计算和丰富的安全算 法提。

31、供多维度实时数据库安全分析， 实现大规模数据库集群整体的安全态势感知可视化展 现。 0067 以上所述仅为本申请的优选实施例而已， 并不用于限制本申请， 对于本领域的技 说明书 5/6 页 8 CN 112035828 A 8 术人员来说， 本申请可以有各种更改和变化。 凡在本申请的精神和原则之内， 所作的任何修 改、 等同替换、 改进等， 均应包含在本申请的保护范围之内。 0068 对于本领域技术人员而言， 显然本申请不限于上述示范性实施例的细节， 而且在 不背离本申请的精神或基本特征的情况下， 能够以其它的具体形式实现本申请。 因此， 无论 从哪一点来看， 均应将实施例看作是示范性的， 而且是非限制性的， 本申请的范围由所附权 利要求而不是上述说明限定， 因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化囊括在本申请内。 不应将权利要求中的任何附图标记视为限制所涉及的权利要求。 说明书 6/6 页 9 CN 112035828 A 9 图1 说明书附图 1/3 页 10 CN 112035828 A 10 图2 说明书附图 2/3 页 11 CN 112035828 A 11 图3 说明书附图 3/3 页 12 CN 112035828 A 12 。