日志数据监控方法及装置.pdf

《日志数据监控方法及装置.pdf》由会员分享，可在线阅读，更多相关《日志数据监控方法及装置.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010241027.5 (22)申请日 2020.03.31 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 武文轩任政白佳乐沈震宇 (74)专利代理机构 北京三友知识产权代理有限 公司 11127 代理人 王涛周永君 (51)Int.Cl. G06F 11/30(2006.01) (54)发明名称 日志数据监控方法及装置 (57)摘要 本申请实施例提供一种日志数据监控方法 及装置， 方法包括： 接收各个节点发。

2、送的日志数 据， 并对所述日志数据进行状态划分， 确定对应 的节点状态； 对指定节点状态的节点进行监控分 析， 并根据所述监控分析的结果判断所述节点是 否异常， 若是， 则执行预设告警操作； 本申请能够 从多个维度对节点日志数据进行监控和分析， 准 确定位异常位置， 提高集群运维自动化水平和运 维效率。 权利要求书3页 说明书13页 附图4页 CN 111352806 A 2020.06.30 CN 111352806 A 1.一种日志数据监控方法， 其特征在于， 所述方法包括： 接收各个节点发送的日志数据， 并对所述日志数据进行状态划分， 确定对应的节点状 态； 对指定节点状态的节点进行监控。

3、分析， 并根据所述监控分析的结果判断所述节点是否 异常， 若是， 则执行预设告警操作。 2.根据权利要求1所述的日志数据监控方法， 其特征在于， 所述对指定节点状态的节点 进行监控分析， 包括： 对节点状态为部分可用的节点进行监控分析， 并根据所述监控分析的结果判断所述节 点是否异常， 其中， 所述监控分析包括： 存储空间监控、 JVM资源监控、 所属集群状态监控、 搜 索性能监控、 索引性能监控、 请求负载监控中的至少一种。 3.根据权利要求2所述的日志数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点。

4、状态为部分可用的节点进行存储空间监控， 确定所述节点的磁盘空间和存储效 率； 若所述节点的磁盘空间和存储效率超出预设存储空间阈值， 则判定所述节点异常。 4.根据权利要求2所述的日志数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点状态为部分可用的节点进行JVM资源监控， 确定所述节点的堆内存与swap内存 使用状况； 若所述节点的堆内存与swap内存使用状况符合预设内存异常条件， 则判定所述节点异 常。 5.根据权利要求2所述的日志数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分。

5、析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点状态为部分可用的节点进行所属集群状态监控， 确定所述节点所属集群的集群 状态和该集群中的节点数量； 若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群异常条件， 则判 定所述节点异常。 6.根据权利要求2所述的日志数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点状态为部分可用的节点进行搜索性能监控， 确定对应的请求处理时间； 若所述节点的请求处理时间超出预设请求处理时间阈值， 则判定所述节点异常。 7.根据权利要求2所述的日志。

6、数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点状态为部分可用的节点进行索引性能监控， 确定对应的索引速率和合并时间； 若所述节点的索引速率和合并时间超出预设索引时间阈值， 则判定所述节点异常。 8.根据权利要求2所述的日志数据监控方法， 其特征在于， 所述对节点状态为部分可用 的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 包括： 对节点状态为部分可用的节点进行请求负载监控， 确定对应的瞬时接入请求； 若所述节点的瞬时接入请求超出预设瞬时请求数量阈值， 则判定所述节点异常。 权利。

7、要求书 1/3 页 2 CN 111352806 A 2 9.一种日志数据监控装置， 其特征在于， 包括： 节点状态确定模块， 用于接收各个节点发送的日志数据， 并对所述日志数据进行状态 划分， 确定对应的节点状态； 节点监控分析模块， 用于对指定节点状态的节点进行监控分析， 并根据所述监控分析 的结果判断所述节点是否异常， 若是， 则执行预设告警操作。 10.根据权利要求9所述的日志数据监控装置， 其特征在于， 所述节点监控分析模块包 括： 部分可用节点监控分析单元， 用于对节点状态为部分可用的节点进行监控分析， 并根 据所述监控分析的结果判断所述节点是否异常， 其中， 所述监控分析包括： 。

8、存储空间监控、 JVM资源监控、 所属集群状态监控、 搜索性能监控、 索引性能监控、 请求负载监控中的至少一 种。 11.根据权利要求10所述的日志数据监控装置， 其特征在于， 所述部分可用节点监控分 析单元包括： 存储空间监控子单元， 用于对节点状态为部分可用的节点进行存储空间监控， 确定所 述节点的磁盘空间和存储效率； 存储空间监控异常判定子单元， 用于若所述节点的磁盘空间和存储效率超出预设存储 空间阈值， 则判定所述节点异常。 12.根据权利要求10所述的日志数据监控装置， 其特征在于， 所述部分可用节点监控分 析单元包括： JVM资源监控子单元， 用于对节点状态为部分可用的节点进行JV。

9、M资源监控， 确定所述 节点的堆内存与swap内存使用状况； JVM资源监控异常判定子单元， 用于若所述节点的堆内存与swap内存使用状况符合预 设内存异常条件， 则判定所述节点异常。 13.根据权利要求10所述的日志数据监控装置， 其特征在于， 所述部分可用节点监控分 析单元包括： 所属集群状态监控子单元， 用于对节点状态为部分可用的节点进行所属集群状态监 控， 确定所述节点所属集群的集群状态和该集群中的节点数量； 所属集群状态监控异常判定子单元， 用于若所述节点所属集群的集群状态和该集群中 的节点数量符合预设集群异常条件， 则判定所述节点异常。 14.根据权利要求10所述的日志数据监控装置。

10、， 其特征在于， 所述部分可用节点监控分 析单元包括： 搜索性能监控子单元， 用于对节点状态为部分可用的节点进行搜索性能监控， 确定对 应的请求处理时间； 搜索性能监控异常判定子单元， 用于若所述节点的请求处理时间超出预设请求处理时 间阈值， 则判定所述节点异常。 15.根据权利要求10所述的日志数据监控装置， 其特征在于， 所述部分可用节点监控分 析单元包括： 索引性能监控子单元， 用于对节点状态为部分可用的节点进行索引性能监控， 确定对 应的索引速率和合并时间； 权利要求书 2/3 页 3 CN 111352806 A 3 索引性能监控判定子单元， 用于若所述节点的索引速率和合并时间超出预。

11、设索引时间 阈值， 则判定所述节点异常。 16.根据权利要求10所述的日志数据监控装置， 其特征在于， 所述部分可用节点监控分 析单元包括： 请求负载监控子单元， 用于对节点状态为部分可用的节点进行请求负载监控， 确定对 应的瞬时接入请求； 请求负载监控异常判定子单元， 用于若所述节点的瞬时接入请求超出预设瞬时请求数 量阈值， 则判定所述节点异常。 17.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至8任一项所述的日志数 据监控方法的步骤。 18.一种计算机可读存储介质， 其上存储有计算机程序， 其。

12、特征在于， 该计算机程序被 处理器执行时实现权利要求1至8任一项所述的日志数据监控方法的步骤。 权利要求书 3/3 页 4 CN 111352806 A 4 日志数据监控方法及装置 技术领域 0001 本申请涉及数据处理领域， 具体涉及一种日志数据监控方法及装置。 背景技术 0002 目前随着云上应用数量不断地增长， 日志中心接入的接入数据与流量大大增加。 现有技术中的日志存储集群监控仅存在一些单一数据监控， 比如： 进程状态、 节点CPU、 节点 内存和节点存储等， 现有监控仅涉及设备底层相关信息， 对集群实际运行状态无法直观掌 握， 同时也对实际问题分析产生障碍。 发明内容 0003 针对。

13、现有技术中的问题， 本申请提供一种日志数据监控方法及装置， 能够从多个 维度对节点日志数据进行监控和分析， 准确定位异常位置， 提高集群运维自动化水平和运 维效率。 0004 为了解决上述问题中的至少一个， 本申请提供以下技术方案： 0005 第一方面， 本申请提供一种日志数据监控方法， 包括： 0006 接收各个节点发送的日志数据， 并对所述日志数据进行状态划分， 确定对应的节 点状态； 0007 对指定节点状态的节点进行监控分析， 并根据所述监控分析的结果判断所述节点 是否异常， 若是， 则执行预设告警操作。 0008 进一步地， 所述对指定节点状态的节点进行监控分析， 包括： 0009 。

14、对节点状态为部分可用的节点进行监控分析， 并根据所述监控分析的结果判断所 述节点是否异常， 其中， 所述监控分析包括： 存储空间监控、 JVM资源监控、 所属集群状态监 控、 搜索性能监控、 索引性能监控、 请求负载监控中的至少一种。 0010 进一步地， 所述对节点状态为部分可用的节点进行监控分析， 并根据所述监控分 析的结果判断所述节点是否异常， 包括： 0011 对节点状态为部分可用的节点进行存储空间监控， 确定所述节点的磁盘空间和存 储效率； 0012 若所述节点的磁盘空间和存储效率超出预设存储空间阈值， 则判定所述节点异 常。 0013 进一步地， 所述对节点状态为部分可用的节点进行。

15、监控分析， 并根据所述监控分 析的结果判断所述节点是否异常， 包括： 0014 对节点状态为部分可用的节点进行JVM资源监控， 确定所述节点的堆内存与swap 内存使用状况； 0015 若所述节点的堆内存与swap内存使用状况符合预设内存异常条件， 则判定所述节 点异常。 0016 进一步地， 所述对节点状态为部分可用的节点进行监控分析， 并根据所述监控分 说明书 1/13 页 5 CN 111352806 A 5 析的结果判断所述节点是否异常， 包括： 0017 对节点状态为部分可用的节点进行所属集群状态监控， 确定所述节点所属集群的 集群状态和该集群中的节点数量； 0018 若所述节点所属。

16、集群的集群状态和该集群中的节点数量符合预设集群异常条件， 则判定所述节点异常。 0019 进一步地， 所述对节点状态为部分可用的节点进行监控分析， 并根据所述监控分 析的结果判断所述节点是否异常， 包括： 0020 对节点状态为部分可用的节点进行搜索性能监控， 确定对应的请求处理时间； 0021 若所述节点的请求处理时间超出预设请求处理时间阈值， 则判定所述节点异常。 0022 进一步地， 所述对节点状态为部分可用的节点进行监控分析， 并根据所述监控分 析的结果判断所述节点是否异常， 包括： 0023 对节点状态为部分可用的节点进行索引性能监控， 确定对应的索引速率和合并时 间； 0024 若。

17、所述节点的索引速率和合并时间超出预设索引时间阈值， 则判定所述节点异 常。 0025 进一步地， 所述对节点状态为部分可用的节点进行监控分析， 并根据所述监控分 析的结果判断所述节点是否异常， 包括： 0026 对节点状态为部分可用的节点进行请求负载监控， 确定对应的瞬时接入请求； 0027 若所述节点的瞬时接入请求超出预设瞬时请求数量阈值， 则判定所述节点异常。 0028 第二方面， 本申请提供一种日志数据监控装置， 包括： 0029 节点状态确定模块， 用于接收各个节点发送的日志数据， 并对所述日志数据进行 状态划分， 确定对应的节点状态； 0030 节点监控分析模块， 用于对指定节点状态。

18、的节点进行监控分析， 并根据所述监控 分析的结果判断所述节点是否异常， 若是， 则执行预设告警操作。 0031 进一步地， 所述节点监控分析模块包括： 0032 部分可用节点监控分析单元， 用于对节点状态为部分可用的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 其中， 所述监控分析包括： 存储空间监 控、 JVM资源监控、 所属集群状态监控、 搜索性能监控、 索引性能监控、 请求负载监控中的至 少一种。 0033 进一步地， 所述部分可用节点监控分析单元包括： 0034 存储空间监控子单元， 用于对节点状态为部分可用的节点进行存储空间监控， 确 定所述节点的磁盘空间和存储。

19、效率； 0035 存储空间监控异常判定子单元， 用于若所述节点的磁盘空间和存储效率超出预设 存储空间阈值， 则判定所述节点异常。 0036 进一步地， 所述部分可用节点监控分析单元包括： 0037 JVM资源监控子单元， 用于对节点状态为部分可用的节点进行JVM资源监控， 确定 所述节点的堆内存与swap内存使用状况； 0038 JVM资源监控异常判定子单元， 用于若所述节点的堆内存与swap内存使用状况符 合预设内存异常条件， 则判定所述节点异常。 说明书 2/13 页 6 CN 111352806 A 6 0039 进一步地， 所述部分可用节点监控分析单元包括： 0040 所属集群状态监控。

20、子单元， 用于对节点状态为部分可用的节点进行所属集群状态 监控， 确定所述节点所属集群的集群状态和该集群中的节点数量； 0041 所属集群状态监控异常判定子单元， 用于若所述节点所属集群的集群状态和该集 群中的节点数量符合预设集群异常条件， 则判定所述节点异常。 0042 进一步地， 所述部分可用节点监控分析单元包括： 0043 搜索性能监控子单元， 用于对节点状态为部分可用的节点进行搜索性能监控， 确 定对应的请求处理时间； 0044 搜索性能监控异常判定子单元， 用于若所述节点的请求处理时间超出预设请求处 理时间阈值， 则判定所述节点异常。 0045 进一步地， 所述部分可用节点监控分析单。

21、元包括： 0046 索引性能监控子单元， 用于对节点状态为部分可用的节点进行索引性能监控， 确 定对应的索引速率和合并时间； 0047 索引性能监控判定子单元， 用于若所述节点的索引速率和合并时间超出预设索引 时间阈值， 则判定所述节点异常。 0048 进一步地， 所述部分可用节点监控分析单元包括： 0049 请求负载监控子单元， 用于对节点状态为部分可用的节点进行请求负载监控， 确 定对应的瞬时接入请求； 0050 请求负载监控异常判定子单元， 用于若所述节点的瞬时接入请求超出预设瞬时请 求数量阈值， 则判定所述节点异常。 0051 第三方面， 本申请提供一种电子设备， 包括存储器、 处理器。

22、及存储在存储器上并可 在处理器上运行的计算机程序， 所述处理器执行所述程序时实现所述的日志数据监控方法 的步骤。 0052 第四方面， 本申请提供一种计算机可读存储介质， 其上存储有计算机程序， 该计算 机程序被处理器执行时实现所述的日志数据监控方法的步骤。 0053 由上述技术方案可知， 本申请提供一种日志数据监控方法及装置， 通过接收各个 节点发送的日志数据， 并对所述日志数据进行状态划分， 确定对应的节点状态； 对指定节点 状态的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 若是， 则执 行预设告警操作， 本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全。

23、方 位监控。 同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提 供相应应急方案， 而非单独给出简单的数据异常报警。 增强监控预警功能的自学习， 提高系 统的自动化运维水平。 附图说明 0054 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图是本申请 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 这些附图获得其他的附图。 0055 图1为本申请实施例中的日志数据监控方法的流程示意图之一； 说明书 3/13 页 7 CN 111352。

24、806 A 7 0056 图2为本申请实施例中的日志数据监控方法的流程示意图之二； 0057 图3为本申请实施例中的日志数据监控方法的流程示意图之三； 0058 图4为本申请实施例中的日志数据监控方法的流程示意图之四； 0059 图5为本申请实施例中的日志数据监控方法的流程示意图之五； 0060 图6为本申请实施例中的日志数据监控方法的流程示意图之六； 0061 图7为本申请实施例中的日志数据监控方法的流程示意图之七； 0062 图8为本申请实施例中的日志数据监控装置的结构图之一； 0063 图9为本申请实施例中的日志数据监控装置的结构图之二； 0064 图10为本申请实施例中的日志数据监控装。

25、置的结构图之三； 0065 图11为本申请实施例中的电子设备的结构示意图。 具体实施方式 0066 为使本申请实施例的目的、 技术方案和优点更加清楚， 下面将结合本申请实施例 中的附图， 对本申请实施例中的技术方案进行清楚、 完整的描述， 显然， 所描述的实施例是 本申请一部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。 0067 考虑到目前随着云上应用数量不断地增长， 日志中心接入的接入数据与流量大大 增加。 现有技术中的日志存储集群监控仅存在一些单一数据监控， 比如： 进程状态、 节。

26、点 CPU、 节点内存和节点存储等， 现有监控仅涉及设备底层相关信息， 对集群实际运行状态无 法直观掌握， 同时也对实际问题分析产生障碍的问题， 本申请提供一种日志数据监控方法 及装置， 通过接收各个节点发送的日志数据， 并对所述日志数据进行状态划分， 确定对应的 节点状态； 对指定节点状态的节点进行监控分析， 并根据所述监控分析的结果判断所述节 点是否异常， 若是， 则执行预设告警操作， 本申请能够实现从设备资源情况到集群运行状态 最后到网络请求的全方位监控。 同时需要基于已有运维经验对监控的策略进行场景化组织 初步定位相应问题并提供相应应急方案， 而非单独给出简单的数据异常报警。 增强监控。

27、预 警功能的自学习， 提高系统的自动化运维水平。 0068 为了能够从多个维度对节点日志数据进行监控和分析， 准确定位异常位置， 提高 集群运维自动化水平和运维效率， 本申请提供一种日志数据监控方法的实施例， 参见图1， 所述日志数据监控方法具体包含有如下内容： 0069 步骤S101： 接收各个节点发送的日志数据， 并对所述日志数据进行状态划分， 确定 对应的节点状态。 0070 可以理解的是， 所述接收各个节点发送的日志数据可以通过一输入层实现并最终 将日志数据存储于一存储层。 0071 具体的， 所述输入层可以为各个节点输入日志存储集群的各个客户端， 例如 filebeat、 fluen。

28、td和logstash等多种不同客户端， 各个不同类型的采集终端将请求发送至 负载均衡节点， 再由负载均衡节点转发至存储集群。 0072 具体的， 所述存储层可以为日志中心存储集群基于Elasticserch进行分布式日志 存储集群的搭建。 0073 其中， 上述日志存储集群可以分为管理节点、 负载查询节点和存储节点。 存储节点 说明书 4/13 页 8 CN 111352806 A 8 按照应用维度创建索引并进行管理。 每个索引会在各个存储节点创建不同分片进行分布式 存储以便提高查询效率以及可用性。 0074 1)管理节点用于创建或删除索引和集群管理等， 通过选举产生。 0075 2)负载查。

29、询为集群调度节点， 负责处理批量索引和搜索请求等请求并将请求下发 至存储节点。 0076 3)存储节点用于存储数据并可进行查询， 并分为主备节点进行数据存储以保证数 据的高可用性能。 0077 可选的， 所述对所述日志数据进行状态划分， 确定对应的节点状态是指进行数据 的记录与基本状态划分， 以便清晰各个组件以及不同层面的运行情况。 对各类型监控数据 进行分类并进行相应处理。 0078 步骤S102： 对指定节点状态的节点进行监控分析， 并根据所述监控分析的结果判 断所述节点是否异常， 若是， 则执行预设告警操作。 0079 具体的， 首先进行数据分类， 具体可分为两类： 一般监控与重点监控。。

30、 对与重点监 控信息进行状态细分。 按照基本状况可划分： 良好， 可用， 部分可用， 异常和需关注五类状 态。 当监控模块出现异常则自动对应产生相应报警。 0080 其次， 已经分类进行数据处理： 对于部分可用状态需对各监控模块信息进行具体 分析。 而对于一般数据进行指标化报警监控。 报警状态可动态调整以便实现对于监控进行 动态控制。 为避免监控导致节点资源的损耗对集群产生影响仅对重点数据进行高实时性采 集， 一般监控类型数据仅进行数据采集并根据数据波动情况进行状态登记。 0081 从上述描述可知， 本申请实施例提供的日志数据监控方法， 能够通过接收各个节 点发送的日志数据， 并对所述日志数据。

31、进行状态划分， 确定对应的节点状态； 对指定节点状 态的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 若是， 则执行 预设告警操作， 本申请能够实现从设备资源情况到集群运行状态最后到网络请求的全方位 监控。 同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供 相应应急方案， 而非单独给出简单的数据异常报警。 增强监控预警功能的自学习， 提高系统 的自动化运维水平。 0082 为了能够有针对性的对节点进行监控分析， 尽量节约系统资源， 在本申请的日志 数据监控方法的一实施例中， 还可以具体包含如下内容： 0083 对节点状态为部分可用的节点进行监控分析。

32、， 并根据所述监控分析的结果判断所 述节点是否异常， 其中， 所述监控分析包括： 存储空间监控、 JVM资源监控、 所属集群状态监 控、 搜索性能监控、 索引性能监控、 请求负载监控中的至少一种。 0084 为了能够有效对节点进行存储空间监控， 在本申请的日志数据监控方法的一实施 例中， 参加图2， 还可以具体包含如下内容： 0085 步骤S201： 对节点状态为部分可用的节点进行存储空间监控， 确定所述节点的磁 盘空间和存储效率。 0086 步骤S202： 若所述节点的磁盘空间和存储效率超出预设存储空间阈值， 则判定所 述节点异常。 0087 具体的， 监控设备资源信息， 针对不同节点类型进。

33、行分配不同监控策略。 管理节点 与负载查询节点仅进行CPU内存的监控， 并提供存储状态查询的能力。 由于正常情况下管理 说明书 5/13 页 9 CN 111352806 A 9 节点与负载查询节点的节点性能与节点的CPU、 内存、 磁盘空间和存储效率关联较大因此以 磁盘空间与存储效率作为重点监控数据。 以磁盘存储为例， 当使用率少于30则认为该项 指标良好， 当使用介于30至50则视为可用； 当介于50至70时则认为为内存需关注 并将节点中CPU、 内存与存储相关信息报送状态控制器进行状态判断； 当内存使用超过80 则直接视为异常状态并进行报警。 0088 为了能够有效对节点进行JVM资源监。

34、控， 在本申请的日志数据监控方法的一实施 例中， 参加图3， 还可以具体包含如下内容： 0089 步骤S301： 对节点状态为部分可用的节点进行JVM资源监控， 确定所述节点的堆内 存与swap内存使用状况。 0090 步骤S302： 若所述节点的堆内存与swap内存使用状况符合预设内存异常条件， 则 判定所述节点异常。 0091 具体的， 由于elasticsearch运行在java虚拟机中， 因此需对JVM资源使用情况进 行监控： 对于堆内存与swap内存使用情况， 非堆使用情况。 由于超出堆内存容量会使用到存 储介质性能较差， 因此当出现堆内存超容的情况需进行监控上报。 JVM资源部分需。

35、重点对堆 内存使用与swap内存使用情况进行监控。 堆内存监控类似内存监控不在赘述。 同时由于日 志存储对处理性能依赖较重对于swap内存则需要重点关注， 当出现swap内存使用情况则视 为JVM模块状态为可用(堆内存为良好时)， 当swap内存重复使用则认为JVM模块需关注， 同 时将堆内存使用， swap内存使用以及线程信息与gc信息一并传入用于进行堆内存使用与释 放的信息确认。 0092 为了能够有效对节点进行所属集群状态监控， 在本申请的日志数据监控方法的一 实施例中， 参加图4， 还可以具体包含如下内容： 0093 步骤S401： 对节点状态为部分可用的节点进行所属集群状态监控， 确。

36、定所述节点 所属集群的集群状态和该集群中的节点数量。 0094 步骤S402： 若所述节点所属集群的集群状态和该集群中的节点数量符合预设集群 异常条件， 则判定所述节点异常。 0095 具体的， 查看集群状态与集群中的节点数目(正常和异常)。 当集中节点数目出现 缺失或节点状态异常则认为集群状态需观察， 同时反馈各节点的连接情况与进程情况一并 传入状态分析模块。 0096 为了能够有效对节点进行搜索性能监控， 在本申请的日志数据监控方法的一实施 例中， 参加图5， 还可以具体包含如下内容： 0097 步骤S501： 对节点状态为部分可用的节点进行搜索性能监控， 确定对应的请求处 理时间。 00。

37、98 步骤S502： 若所述节点的请求处理时间超出预设请求处理时间阈值， 则判定所述 节点异常。 0099 具体的， 搜索性能是日志存储集群衡量系统处理请求所需时间的重要指标。 搜索 分为两个部分： 查询(query)和获取(fetch)， 分别对当前的两种状态的实时数目与总数进 行统计同时对相应耗时进行相应查询。 根据查询与获取的时间进行相应状态进行监控。 0100 为了能够有效对节点进行搜索性能监控， 在本申请的日志数据监控方法的一实施 例中， 参加图6， 还可以具体包含如下内容： 说明书 6/13 页 10 CN 111352806 A 10 0101 步骤S601： 对节点状态为部分可。

38、用的节点进行索引性能监控， 确定对应的索引速 率和合并时间。 0102 步骤S602： 若所述节点的索引速率和合并时间超出预设索引时间阈值， 则判定所 述节点异常。 0103 具体的， 对与文档的增删改操作需依赖索引进行， 通过对索引速率和合并时间进 行监控进行集群性能的监控为性能监控与后续性能优化提供参考。 对于集群中各个分片的 状态进行实时监控， 对于未注册索引予以关注。 当索引长时间未注册或存在未删除历史索 引则也登记为需关注状态。 0104 为了能够有效对节点进行请求负载监控， 在本申请的日志数据监控方法的一实施 例中， 参加图7， 还可以具体包含如下内容： 0105 步骤S701： 。

39、对节点状态为部分可用的节点进行请求负载监控， 确定对应的瞬时接 入请求。 0106 步骤S702： 若所述节点的瞬时接入请求超出预设瞬时请求数量阈值， 则判定所述 节点异常。 0107 具体的， 对接入层瞬时请求进行监控， 用于网络侧请求量控制与对比分析。 发送端 日志目前按照应用维度进行划分， 可提供个应用接入的连接信息以供查询。 并对比历史数 据进行状态划分， 对于接入明显大于(或小于)历史同期数据或明显流量波动时将负载模块 置为需关注， 并登记各应用连接信息供状态分析模块进行查询。 0108 此外， 在本申请的一些实施例中， 本申请还可以设置一监控与报警处理模块： 用于 对个不同监控模块。

40、进行实时数据调用与汇总处理。 将异常数据报警模块进行相关报警， 同 时根据报警类型不同再次进行问题的初步排查(将相关信息状态分析输出的相关节点的监 控信息进行获取)。 对于常规数据则进行本地化保存同时提供统一化监控模块进行集中数 据展示。 同时根据状态分析模块中的运维常见问题进行例行排查， 极大的提高自动化运维 能力。 0109 为了能够从多个维度对节点日志数据进行监控和分析， 准确定位异常位置， 提高 集群运维自动化水平和运维效率， 本申请提供一种用于实现所述日志数据监控方法的全部 或部分内容的日志数据监控装置的实施例， 参见图8， 所述日志数据监控装置具体包含有如 下内容： 0110 节点。

41、状态确定模块10， 用于接收各个节点发送的日志数据， 并对所述日志数据进 行状态划分， 确定对应的节点状态。 0111 节点监控分析模块20， 用于对指定节点状态的节点进行监控分析， 并根据所述监 控分析的结果判断所述节点是否异常， 若是， 则执行预设告警操作。 0112 从上述描述可知， 本申请实施例提供的日志数据监控装置， 能够通过接收各个节 点发送的日志数据， 并对所述日志数据进行状态划分， 确定对应的节点状态； 对指定节点状 态的节点进行监控分析， 并根据所述监控分析的结果判断所述节点是否异常， 若是， 则执行 预设告警操作， 本申请能够实现从设备资源情况到集群运行状态最后到网络请求的。

42、全方位 监控。 同时需要基于已有运维经验对监控的策略进行场景化组织初步定位相应问题并提供 相应应急方案， 而非单独给出简单的数据异常报警。 增强监控预警功能的自学习， 提高系统 的自动化运维水平。 说明书 7/13 页 11 CN 111352806 A 11 0113 为了能够有针对性的对节点进行监控分析， 尽量节约系统资源， 在本申请的日志 数据监控装置的一实施例中， 参见图9， 所述节点监控分析模块20包括： 0114 部分可用节点监控分析单元21， 用于对节点状态为部分可用的节点进行监控分 析， 并根据所述监控分析的结果判断所述节点是否异常， 其中， 所述监控分析包括： 存储空 间监控。

43、、 JVM资源监控、 所属集群状态监控、 搜索性能监控、 索引性能监控、 请求负载监控中 的至少一种。 0115 为了能够有效对节点进行存储空间监控， 在本申请的日志数据监控装置的一实施 例中， 参见图10， 所述部分可用节点监控分析单元21包括： 0116 存储空间监控子单元211， 用于对节点状态为部分可用的节点进行存储空间监控， 确定所述节点的磁盘空间和存储效率。 0117 存储空间监控异常判定子单元212， 用于若所述节点的磁盘空间和存储效率超出 预设存储空间阈值， 则判定所述节点异常。 0118 为了能够有效对节点进行JVM资源监控， 在本申请的日志数据监控装置的一实施 例中， 参见。

44、图10， 所述部分可用节点监控分析单元21包括： 0119 JVM资源监控子单元213， 用于对节点状态为部分可用的节点进行JVM资源监控， 确 定所述节点的堆内存与swap内存使用状况。 0120 JVM资源监控异常判定子单元214， 用于若所述节点的堆内存与swap内存使用状况 符合预设内存异常条件， 则判定所述节点异常。 0121 为了能够有效对节点进行所属集群状态监控， 在本申请的日志数据监控装置的一 实施例中， 参见图10， 所述部分可用节点监控分析单元21包括： 0122 所属集群状态监控子单元215， 用于对节点状态为部分可用的节点进行所属集群 状态监控， 确定所述节点所属集群的。

45、集群状态和该集群中的节点数量。 0123 所属集群状态监控异常判定子单元216， 用于若所述节点所属集群的集群状态和 该集群中的节点数量符合预设集群异常条件， 则判定所述节点异常。 0124 为了能够有效对节点进行搜索性能监控， 在本申请的日志数据监控装置的一实施 例中， 参见图10， 所述部分可用节点监控分析单元21包括： 0125 搜索性能监控子单元217， 用于对节点状态为部分可用的节点进行搜索性能监控， 确定对应的请求处理时间。 0126 搜索性能监控异常判定子单元218， 用于若所述节点的请求处理时间超出预设请 求处理时间阈值， 则判定所述节点异常。 0127 为了能够有效对节点进行。

46、索引性能监控， 在本申请的日志数据监控装置的一实施 例中， 参见图10， 所述部分可用节点监控分析单元21包括： 0128 索引性能监控子单元219， 用于对节点状态为部分可用的节点进行索引性能监控， 确定对应的索引速率和合并时间。 0129 索引性能监控判定子单元220， 用于若所述节点的索引速率和合并时间超出预设 索引时间阈值， 则判定所述节点异常。 0130 为了能够有效对节点进行请求负载监控， 在本申请的日志数据监控装置的一实施 例中， 参见图10， 所述部分可用节点监控分析单元21包括： 0131 请求负载监控子单元221， 用于对节点状态为部分可用的节点进行请求负载监控， 说明书 。

47、8/13 页 12 CN 111352806 A 12 确定对应的瞬时接入请求。 0132 请求负载监控异常判定子单元222， 用于若所述节点的瞬时接入请求超出预设瞬 时请求数量阈值， 则判定所述节点异常。 0133 为了更进一步说明本方案， 本申请还提供一种应用上述日志数据监控装置实现日 志数据监控方法的具体应用实例， 具体包含有如下内容： 0134 状态判断模块： 依据状态信息对传入信息进行状态判断。 0135 状态预处理： 对常见异常进行自动化处理， 并跟进处理结果。 0136 状态信息登记:用于存储监控节点的监控状态、 数据信息、 以及状态分析模型。 0137 监控信息采集时可分为一般。

48、监控和重点监控， 具体的， 一般监控分为单节点监控 波动与集群波动两种情况， 由于集群可能存储负载暂时不均衡现象因此对单节点波动监控 对集群影响程度较小。 出现单节点数据波动时， 将监控数据导入状态分析模块， 与历史同期 数据进行对比同时将数据查询周期缩短以进行相应监控。 如数据相符则表明出现历史波 动， 继续跟踪三个周期后恢复原有监控。 若不存在波动与历史数据难以对应则将波动情况 与存储层荷载对应应用信息进行记录。 出现集群维度监控数据波动时将相应监控信息存储 同时将对应参数暂时作为重点监控信息进行监控。 0138 具体的， 重点监控主要关注需关注状态时需要对全部集群相关其他监控进行检查 同。

49、时进行状态分析。 目前给出根据现有运维场景与日志集群重写入特性进行状态判定与相 应预处理。 0139 具体的， 当出现JVM与运行节点异常时， 通常由于写入压力较大导致。 进行请求负 载监控查询与运行节点存储检查， 当查询节点存储是否与网络存储一致时则可以判定由于 应用业务徒增导致集群节点压力上升导致。 自动将备用节点纳入集群以降低集群压力。 同 时进行周期性监控， 是否新增异常状态已解除。 当出现其他情况时将异常监控是数据反馈 运维进行处理。 后续可根据新增场景进行自主化运维。 0140 具体的， 当出现集群状态异常时， 通常由于集群中部分节点出现底层设备问题如 网络异常文件系统异常。 此时。

50、对异常节点进行网络探测， 进程探活与存储检测， 如节点检测 出现上述异常则可确认为底层设备存在异常， 则对于对应设备进行备机替换数据可由其他 副本进行拷贝。 0141 具体的， 索引异常： 集群创建或者应用日志接入会创建相应索引， 索引可用后注册 在集群中。 对于多个监控周期均未注册分片进行， 一般由于管理节点异常导致， 对3台管理 节点CPU、 内存进程等信息进行排查， 若存在异常则切换备机并通知运维人员进行排查。 0142 具体的， 查询相应异常： 查询异常通常由于存储层存储量较大导致。 一般由于应用 日志超发导致存储过大影响查询效率， 将相关数据反馈运维人员联系具体发送端进行系统 确认。。