日志搜索方法、装置及服务器.pdf

《日志搜索方法、装置及服务器.pdf》由会员分享，可在线阅读，更多相关《日志搜索方法、装置及服务器.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010810551.X (22)申请日 2020.08.12 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路599号4幢7层 (72)发明人 胡映明刘柏刘思彦陈旭韩 张晗胡志鹏范长杰李仁杰 (74)专利代理机构 北京超成律师事务所 11646 代理人 张芮 (51)Int.Cl. G06F 16/245(2019.01) (54)发明名称 日志搜索方法、 装置及服务器 (57)摘要 本发明提供了一种日志搜索方法、 装置及服 。

2、务器， 涉及大数据处理的技术领域， 该方法包括： 获取日志告警列表， 其中， 日志告警列表为大数 据日志处理平台根据分布式日志集群所接收的 日志生成的， 且， 日志告警列表中包括预设数量 的告警日志； 提取日志告警列表中的目标告警日 志； 在预设的数据库中查找与目标告警日志关联 的日志标识， 以便于基于日志标识搜索日志标识 对应的目标日志。 本发明提供的日志搜索方法、 装置及服务器， 无需对日志全文进行保存， 不仅 可以节省大量的内存、 磁盘等资源， 也降低了复 杂性， 便于进行维护。 权利要求书2页 说明书10页 附图4页 CN 111897834 A 2020.11.06 CN 11189。

3、7834 A 1.一种日志搜索方法， 其特征在于， 应用于大数据日志处理平台， 所述方法包括： 获取日志告警列表， 其中， 所述日志告警列表为大数据日志处理平台根据分布式日志 集群所接收的日志生成的， 且， 所述日志告警列表中包括预设数量的告警日志； 提取所述日志告警列表中的目标告警日志； 在预设的数据库中查找与所述目标告警日志关联的日志标识； 基于所述日志标识搜索所述日志标识对应的目标日志。 2.根据权利要求1所述的方法， 其特征在于， 提取所述日志告警列表中的目标告警日志 的步骤包括： 提取所述日志告警列表中最新接收的告警日志， 将最新接收的所述告警日志确定为目 标告警日志； 或者， 提取。

4、所述日志告警列表中告警级别高于预设级别的告警日志， 将告警级别高于预设级 别的所述告警日志确定为目标告警日志。 3.根据权利要求1所述的方法， 其特征在于， 所述分布式日志集群为所述大数据日志处 理平台中部署的kafka集群， 所述kafka集群用于接收待监控的日志， 所述方法还包括： 读取所述kafka集群接收的海量日志； 如果所述海量日志中有告警日志， 则获取所述告警日志在所述kafka集群中的日志标 识， 将告警日志和所述日志标识进行绑定， 以生成所述告警日志与所述日志标识的对应关 系； 将所述对应关系存储至预设的数据库， 以及， 生成包含所述告警日志的日志告警列表。 4.根据权利要求3。

5、所述的方法， 其特征在于， 所述日志标识为所述告警日志在所述 kafka集群中的偏移量； 将告警日志和所述日志标识进行绑定的步骤包括： 将所述告警日志以及所述告警日志在所述kafka集群中的偏移量按照预设的格式进行 封装， 生成预设格式的数据包； 将所述对应关系存储至预设的数据库的步骤包括： 将所述预设格式的数据包存储至预设的数据库， 其中， 所述预设格式的数据包用于表 征所述告警日志与所述日志标识的对应关系。 5.根据权利要求3所述的方法， 其特征在于， 读取所述kafka集群接收的海量日志的步 骤包括： 按照接收日志的时间顺序， 逐一读取所述kafka集群接收的海量日志。 6.根据权利要求。

6、3或5所述的方法， 其特征在于， 读取所述kafka集群接收的海量日志的 步骤， 还包括： 按照预设的过滤规则逐一读取所述kafka集群接收的海量日志； 如果读取到的日志满足所述过滤规则对应的告警条件， 则确定所述海量日志中有告警 日志。 7.根据权利要求6所述的方法， 其特征在于， 所述大数据日志处理平台配置有日志监控 组件； 所述按照预设的过滤规则逐一读取所述kafka集群接收的海量日志的步骤包括： 通过所述日志监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量 权利要求书 1/2 页 2 CN 111897834 A 2 日志。 8.根据权利要求3所述的方法， 其特征在于。

7、， 所述大数据日志处理平台还包括异常日志 搜索服务； 所述基于所述日志标识搜索所述日志标识对应的目标日志的步骤包括： 通过所述异常日志搜索服务在所述海量日志中搜索所述日志标识对应的目标日志。 9.根据权利要求8所述的方法， 其特征在于， 通过所述异常日志搜索服务在所述海量日 志中搜索所述日志标识对应的目标日志步骤包括： 获取所述告警日志的告警时刻； 通过所述异常日志搜索服务搜索所述告警时刻对应的时间段内的日志； 将搜索到所述时间段内的日志确定为目标日志。 10.根据权利要求1所述的方法， 其特征在于， 所述大数据日志处理平台还包括监控平 台， 所述监控平台配置有监控平台界面； 所述方法还包括：。

8、 将搜索到的目标日志发送至所述监控平台， 通过所述监控平台配置的所述监控平台界 面对所述目标日志的日志内容进行展示。 11.一种日志搜索装置， 其特征在于， 应用于大数据日志处理平台， 所述装置包括： 获取模块， 用于获取日志告警列表， 其中， 所述日志告警列表为大数据日志处理平台根 据分布式日志集群所接收的日志生成的， 且， 所述日志告警列表中包括预设数量的告警日 志； 提取模块， 用于提取所述日志告警列表中的目标告警日志； 查找模块， 用于在预设的数据库中查找与所述目标告警日志关联的日志标识； 搜索模块， 用于基于所述日志标识搜索所述日志标识对应的目标日志。 12.一种服务器， 其特征在于。

9、， 所述服务器包括处理器和存储器， 所述存储器存储有能 够被所述处理器执行的计算机可执行指令， 所述处理器执行所述计算机可执行指令以实现 权利要求1至10任一项所述的日志搜索方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执行指令促使处理 器实现权利要求1至10任一项所述的日志搜索方法。 权利要求书 2/2 页 3 CN 111897834 A 3 日志搜索方法、 装置及服务器 技术领域 0001 本发明涉及大数据处理的技术领域， 尤其是涉及一种日志搜索方法、 装置及服务 器。 背景技。

10、术 0002 在海量日志监控场景下， 日志会被收集到大数据日志监控平台中， 当监控系统检 查到有异常日志并触发告警时， 研发人员有查看告警日志根据条件搜索日志告警时刻前后 日志上下文来定位出错原因的需求。 0003 现有的技术方案是将海量日志保存到搜索引擎系统中， 然后在触发告警时根据日 志告警中的关键字通过搜索引擎系统提供的关键字搜索功能搜索异常相关日志， 但是， 保 存到搜索引擎系统中的大部分日志的是没有意义的， 这在处理海量日志监控时， 对存储资 源是一种极大的浪费。 发明内容 0004 有鉴于此， 本发明的目的在于提供一种日志搜索方法、 装置及服务器， 以缓解上述 技术问题。 0005。

11、 第一方面， 本发明实施例提供了一种日志搜索方法， 应用于大数据日志处理平台， 该方法包括： 获取日志告警列表， 其中， 所述日志告警列表为大数据日志处理平台根据分布 式日志集群所接收的日志生成的， 且， 所述日志告警列表中包括预设数量的告警日志； 提取 所述日志告警列表中的目标告警日志； 在预设的数据库中查找与所述目标告警日志关联的 日志标识； 基于所述日志标识搜索所述日志标识对应的目标日志。 0006 在一种较佳的实施方式中， 上述提取所述日志告警列表中的目标告警日志的步骤 包括： 提取所述日志告警列表中最新接收的告警日志， 将最新接收的所述告警日志确定为 目标告警日志； 或者， 提取所述。

12、日志告警列表中告警级别高于预设级别的告警日志， 将告警 级别高于预设级别的所述告警日志确定为目标告警日志。 0007 在一种较佳的实施方式中， 上述分布式日志集群为所述大数据日志处理平台中部 署的kafka集群， 所述kafka集群用于接收待监控的日志， 上述方法还包括： 读取所述kafka 集群接收的海量日志； 如果所述海量日志中有告警日志， 则获取所述告警日志在所述kafka 集群中的日志标识， 将告警日志和所述日志标识进行绑定， 以生成所述告警日志与所述日 志标识的对应关系； 将所述对应关系存储至预设的数据库， 以及， 生成包含所述告警日志的 日志告警列表。 0008 在一种较佳的实施方。

13、式中， 上述日志标识为所述告警日志在所述kafka集群中的 偏移量； 上述将告警日志和所述日志标识进行绑定的步骤包括： 将所述告警日志以及所述 告警日志在所述kafka集群中的偏移量按照预设的格式进行封装， 生成预设格式的数据包； 上述将所述对应关系存储至预设的数据库的步骤包括： 将所述预设格式的数据包存储至预 设的数据库， 其中， 所述预设格式的数据包用于表征所述告警日志与所述日志标识的对应 说明书 1/10 页 4 CN 111897834 A 4 关系。 0009 在一种较佳的实施方式中， 上述读取所述kafka集群接收的海量日志的步骤包括： 按照接收日志的时间顺序， 逐一读取所述kaf。

14、ka集群接收的海量日志。 0010 在一种较佳的实施方式中， 上述读取所述kafka集群接收的海量日志的步骤， 还包 括： 按照预设的过滤规则逐一读取所述kafka集群接收的海量日志； 如果读取到的日志满足 所述过滤规则对应的告警条件， 则确定所述海量日志中有告警日志。 0011 在一种较佳的实施方式中， 上述大数据日志处理平台配置有日志监控组件； 所述 按照预设的过滤规则逐一读取所述kafka集群接收的海量日志的步骤包括： 通过所述日志 监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量日志。 0012 在一种较佳的实施方式中， 上述大数据日志处理平台还包括异常日志搜索服务；。

15、 上述基于所述日志标识搜索所述日志标识对应的目标日志的步骤包括： 通过所述异常日志 搜索服务在所述海量日志中搜索所述日志标识对应的目标日志。 0013 在一种较佳的实施方式中， 上述通过所述异常日志搜索服务在所述海量日志中搜 索所述日志标识对应的目标日志步骤包括： 获取所述告警日志的告警时刻； 通过所述异常 日志搜索服务搜索所述告警时刻对应的时间段内的日志； 将搜索到所述时间段内的日志确 定为目标日志。 0014 在一种较佳的实施方式中， 上述大数据日志处理平台还包括监控平台， 所述监控 平台配置有监控平台界面； 上述方法还包括： 将搜索到的目标日志发送至所述监控平台， 通 过所述监控平台配置。

16、的所述监控平台界面对所述目标日志的日志内容进行展示。 0015 第二方面， 本发明实施例提供了一种日志搜索装置， 应用于大数据日志处理平台， 该装置包括： 获取模块， 用于获取日志告警列表， 其中， 所述日志告警列表为大数据日志处 理平台根据分布式日志集群所接收的日志生成的， 且， 所述日志告警列表中包括预设数量 的告警日志； 提取模块， 用于提取所述日志告警列表中的目标告警日志； 查找模块， 用于在 预设的数据库中查找与所述目标告警日志关联的日志标识； 搜索模块， 用于基于所述日志 标识搜索所述日志标识对应的目标日志。 0016 第三方面， 本发明实施例提供了一种服务器， 所述服务器包括处理。

17、器和存储器， 所 述存储器存储有能够被所述处理器执行的计算机可执行指令， 所述处理器执行所述计算机 可执行指令以实现第一方面所述的日志搜索方法。 0017 第四方面， 本发明实施例提供了一种计算机可读存储介质， 计算机可读存储介质 存储有计算机可执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执 行指令促使处理器实现第一方面所述的日志搜索方法。 0018 本发明实施例带来了以下有益效果： 0019 本发明实施例提供的日志搜索方法、 装置及服务器， 能够获取日志告警列表， 并提 取日志告警列表中的目标告警日志； 进而根据目标告警日志在预设的数据库中查找与目标 告警日志关联的日志。

18、标识， 并基于日志标识搜索日志标识对应的目标日志， 上述通过日志 标识搜索目标日志的过程， 无需对日志全文进行保存， 不仅可以节省大量的内存、 磁盘等资 源， 也降低了大数据日志处理平台的复杂性， 便于进行维护。 0020 本发明的其他特征和优点将在随后的说明书中阐述， 并且， 部分地从说明书中变 得显而易见， 或者通过实施本发明而了解。 本发明的目的和其他优点在说明书、 权利要求书 说明书 2/10 页 5 CN 111897834 A 5 以及附图中所特别指出的结构来实现和获得。 0021 为使本发明的上述目的、 特征和优点能更明显易懂， 下文特举较佳实施例， 并配合 所附附图， 作详细说。

19、明如下。 附图说明 0022 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案， 下面将对具体 实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的 附图是本发明的一些实施方式， 对于本领域技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。 0023 图1为一种日志搜索解决方案的示意图； 0024 图2为本发明实施例提供的一种日志搜索方法的流程图； 0025 图3为本发明实施例提供的另一种日志搜索方法的流程图； 0026 图4为本发明实施例提供的一种大数据日志处理平台的示意图； 0027 图5为本发明实施例提供的一种日志搜索装。

20、置的结构示意图； 0028 图6为本发明实施例提供的另一种日志搜索装置的结构示意图； 0029 图7为本发明实施例提供的一种服务器的结构示意图。 具体实施方式 0030 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明 的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是 全部的实施例。 基于本发明中的实施例， 本领域技术人员在没有做出创造性劳动前提下所 获得的所有其他实施例， 都属于本发明保护的范围。 0031 目前， 对于日志的搜索， 多需要借助于搜索引擎来实现， 图1示出了一种现有技术 中的日志搜索解决方案的示意图， 具体地，。

21、 待监测的海量日志一般都接入图1中的大数据日 志收集系统中， 此外， 还需要通过日志处理程序转换以后， 将日志全文保存到搜索引擎中， 在日志监控场景下， 日志监控程序在搜索异常日志时通常仅需要搜索报警时刻日志的上下 文信息即可， 并通过监控平台进行展示， 而对于大部分日志的存储是没有意义的， 因此， 在 处理海量日志监控时， 对存储资源是一种极大的浪费。 0032 基于此， 本发明实施例提供的一种日志搜索方法、 装置及服务器， 可以有效改善对 存储资源的浪费的技术问题。 0033 为便于对本实施例进行理解， 首先对本发明实施例所公开的一种日志搜索方法进 行详细介绍。 0034 在一种可能的实施。

22、方式中， 本发明实施例提供了一种日志搜索方法， 该方法应用 于大数据日志处理平台， 具体地， 如图2所示的一种日志搜索方法的流程图， 该方法包括以 下步骤： 0035 步骤S202， 获取日志告警列表； 0036 其中， 该日志告警列表为大数据日志处理平台根据分布式日志集群所接收的日志 生成的， 且， 日志告警列表中包括预设数量的告警日志； 0037 步骤S204， 提取日志告警列表中的目标告警日志； 说明书 3/10 页 6 CN 111897834 A 6 0038 具体实现时， 上述日志告警列表是大数据日志处理平台在日志监控场景下根据日 志告警事件生成的， 而通常大数据日志处理平台是对海。

23、量日志进行监控和处理， 因此， 上述 分布式日志集群所接收的日志通常是海量日志， 且， 对于海量日志来说， 预设时间段内， 日 志告警事件会有多个， 即， 大数据日志处理平台可以监控到多个告警日志， 因此， 上述日志 告警列表中包括预设数量的告警日志， 该预设数量的告警日志通常是预设时间段内的监测 结果， 而日志告警列表也可以定时更新， 以便于监控人员能够对该预设时间段的告警日志 进行及时处理。 0039 具体地， 监控人员在处理告警日志时， 可以从日志告警列表提取目标告警日志， 该 目标告警日志可以是日志告警列表最新发现的告警日志， 也可以是日志告警列表中告警级 别最高的告警日志， 因此， 。

24、上述步骤S204中， 提取目标告警日志的步骤可以包括以下两种情 形： 提取日志告警列表中最新接收的告警日志， 将最新接收的告警日志确定为目标告警日 志； 或者， 提取日志告警列表中告警级别高于预设级别的告警日志， 将告警级别高于预设级 别的告警日志确定为目标告警日志。 0040 在实际使用时， 上述最新接收的告警日志以及告警级别高于预设级别的告警日志 的数量可以是一个， 也可以是多个， 例如， 当最新接手的告警日志为一个时， 可以将该一个 告警日志作为目标告警日志， 当有多个时， 可以借助于告警级别来选择告警级别最高的告 警日志作为目标告警日志， 具体可以根据实际使用情况进行设置， 本发明实施。

25、例对此不进 行限制。 0041 进一步， 大数据日志处理平台在提取目标告警日志时， 还可以响应用户的日志提 取操作， 根据日志提取操作从日志告警列表中提取目标告警日志， 当提取到目标告警日志 之后， 可以继续执行下述步骤对告警日志对应的内容进行进一步的搜索。 0042 步骤S206， 在预设的数据库中查找与目标告警日志关联的日志标识； 0043 步骤S208， 基于日志标识搜索日志标识对应的目标日志。 0044 具体实现时， 该步骤的搜索过程是基于日志标识在预设的分布式日志集群中进行 的， 且上述目标日志通常是目标告警日志的上下文日志， 而上述搜索目标日志的过程是基 于日志标识实现的， 因此，。

26、 不需要大数据日志处理平台对海量日志全文进行保存， 因此， 可 以节省大量的内存、 磁盘等资源。 0045 因此， 本发明实施例提供的日志搜索方法， 能够获取日志告警列表， 并提取日志告 警列表中的目标告警日志； 进而根据目标告警日志在预设的数据库中查找与目标告警日志 关联的日志标识， 并基于日志标识搜索日志标识对应的目标日志， 上述通过日志标识搜索 目标日志的过程， 无需对日志全文进行保存， 不仅可以节省大量的内存、 磁盘等资源， 也降 低了大数据日志处理平台的复杂性， 便于进行维护。 0046 在实际使用时， 为了能够在预设的数据库中查找与目标告警日志关联的日志标 识， 上述预设的数据库中。

27、通常保存有告警日志与日志标识的对应关系， 而该对应关系， 则是 大数据日志处理平台在日志监控场景下根据告警日志生成的， 具体地， 上述分布式日志集 群为大数据日志处理平台中部署的kafka集群， 该kafka集群用于接收待监控的海量日志， 而大数据日志处理平台则可以读取kafka集群接收的海量日志； 如果该海量日志中有告警 日志， 则获取告警日志在kafka集群中的日志标识， 将告警日志和日志标识进行绑定， 以生 成告警日志与日志标识的对应关系， 进而将该对应关系存储至预设的数据库， 以及， 生成包 说明书 4/10 页 7 CN 111897834 A 7 含告警日志的日志告警列表。 004。

28、7 而大数据日志处理平台可以定时去获取上述日志告警列表， 以便于监控人员对告 警日志进行处理， 此外， 大数据日志处理平台也可以响应监控人员的列表调取操作， 去获取 日志告警列表， 使监控人员可以随时查看大数据日志处理平台对海量日志的监控情况。 0048 进一步， 对于kafka集群， 上述日志标识通常为告警日志在kafka集群中的偏移量； 具体地， Kafka是一个开源流处理平台， 具有高吞吐量的分布式发布订阅消息系统， 可以处 理所有动作流数据， 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决 的， 可以通过集群来提供实时的消息。 具体地， 对于kafka集群中的每个消息， 。

29、都分配有一个 序列号， 该序列号即为本发明实施例中的偏移量(offset)， 在每个kafka集群的分区中， 此 偏移量都是唯一的， 因此， 本发明实施例中， 将偏移量作为日志标识， 可以对kafka集群接收 的海量日志进行区分。 0049 进一步， 基于kafka集群， 以及， 告警日志在kafka集群中的偏移量， 上述将告警日 志和日志标识进行绑定的步骤包括： 将告警日志以及告警日志在kafka集群中的偏移量按 照预设的格式进行封装， 生成预设格式的数据包； 进一步， 上述将对应关系存储至预设的数 据库的步骤则可以直接将预设格式的数据包存储至预设的数据库， 其中， 由于该预设格式 的数据包。

30、是由告警日志和偏移量封装绑定后生产的， 因此， 该预设格式的数据包可用于表 征告警日志与日志标识的对应关系。 0050 具体地， 当大数据日志处理平台监测到有日志告警事件发生时， 可以将告警日志 在kafka中的偏移量和告警日志一起绑定、 封装， 并保存在预设的数据库中； 当监控人员提 取日志告警列表中的目标告警日志时， 则可以根据在预设的数据库中根据告警日志与日志 标识的对应关系查找告警日志与日志标识， 然后去kafka中读取日志标识对应的目标日志， 进而将读取到的目标日志的日志内容进行展示， 以方便监控人员定位问题。 0051 具体地， 在图2的基础上， 图3还示出了另一种日志搜索方法， 。

31、对kafka集群接收的 海量日志的处理过程进行进一步地说明， 如图3所示， 包括以下步骤： 0052 步骤S302， 读取kafka集群接收的海量日志； 0053 具体地， 该步骤中， 读取海量日志的过程包括： 按照接收日志的时间顺序， 逐一读 取kafka集群接收的海量日志； 0054 具体地， 为了对告警日志进行检测， 通常， 大数据日志处理平台多预先配置一些过 滤规则， 以对海量日志进行过程， 如按照使用需求设置过滤器， 以比较日志级别来控制日志 输出， 或者， 自定义一定的日志级别， 并设置匹配与不匹配的处理策略来控制针对某个级别 日志的输出策略等等， 依次来对海量日志进行过程， 因此。

32、， 在上述步骤S302中， 读取海量日 志时， 还可以按照预设的过滤规则逐一读取kafka集群接收的海量日志； 如果读取到的日志 满足该过滤规则对应的告警条件， 则确定海量日志中有告警日志。 0055 步骤S304， 如果海量日志中有告警日志， 则获取告警日志在kafka集群中的日志标 识， 将告警日志和日志标识进行绑定， 以生成告警日志与日志标识的对应关系； 0056 步骤S306， 将对应关系存储至预设的数据库， 以及， 生成包含告警日志的日志告警 列表； 0057 进一步， 为了便于对海量日志进行过滤， 通常大数据日志处理平台都配置有日志 监控组件； 该日志监控组件通常是由日志监控程序构。

33、成的功能组件， 因此， 可以通过该日志 说明书 5/10 页 8 CN 111897834 A 8 监控组件按照预设的过滤规则逐一读取kafka集群接收的海量日志， 以便于在监测到告警 日志时， 能够有效地对告警日志和日志标识进行绑定存储， 并及时更新日志告警列表。 0058 步骤S308， 获取日志告警列表； 0059 其中， 日志告警列表为大数据日志处理平台根据分布式日志集群所接收的海量日 志生成的， 且， 日志告警列表中包括预设数量的告警日志； 0060 步骤S310， 提取日志告警列表中的目标告警日志； 0061 具体地， 可以提取日志告警列表中最新接收的告警日志， 将最新接收的告警日。

34、志 确定为目标告警日志； 或者， 提取日志告警列表中告警级别高于预设级别的告警日志， 将告 警级别高于预设级别的告警日志确定为目标告警日志。 0062 步骤S312， 在预设的数据库中查找与目标告警日志关联的日志标识； 0063 其中， 上述步骤S308步骤S312的过程可以参考图2所示的过程， 当步骤S312中查 找到日志标识之后， 则可以继续执行下述步骤， 以对目标日志进行搜索。 0064 具体地， 大数据日志处理平台还包括异常日志搜索服务； 因此， 对目标日志进行搜 索的过程， 是基于该异常日志搜索服务实现的， 具体地过程如下述步骤S314。 0065 步骤S314， 通过异常日志搜索服。

35、务在海量日志中搜索日志标识对应的目标日志； 0066 具体地， 该步骤中的海量日志， 即为上述分布式日志集群所接收的海量日志， 且， 该搜索过程包括： 获取告警日志的告警时刻； 通过异常日志搜索服务搜索告警时刻对应的 时间段内的日志； 将搜索到时间段内的日志确定为目标日志。 0067 步骤S316， 对搜索到的目标日志的日志内容进行展示。 0068 在实际使用时， 上述大数据日志处理平台还包括监控平台， 该监控平台配置有监 控平台界面； 而上述步骤S310中， 提取目标告警日志的过程， 通常是监控人员在接收到日志 告警通知时， 从日志告警列表中提取目标告警日志的过程。 具体地， 该日志告警通知。

36、通常是 大数据日志处理平台确定出海量日志中有告警日志时生成的， 并发送至上述监控平台界面 供监控人员查看， 而监控人员在接收到日志告警通知时， 可以通过上述步骤S310来提取目 标告警日志， 并继续执行后续步骤， 对目标日志进行搜索和展示， 具体地， 对搜索到的目标 日志的日志内容进行展示的步骤包括： 将搜索到的目标日志发送至监控平台， 通过监控平 台配置的监控平台界面对目标日志的日志内容进行展示。 0069 为了便于理解， 图4示出了一种大数据日志处理平台的示意图， 如图4所示， 包括 kafka集群、 监控平台、 日志监控组件， 以及异常日志搜索服务等等， 基于图4所示的大数据 日志处理平。

37、台， 本发明实施例提供的日志搜索方法， 包括以下过程： 0070 (1)部署kafka集群， 用于接收待监控的海量日志； 0071 (2)开发日志监控组件， 日志监控组件可以从kafka集群中读取每一条日志进行规 则过滤， 满足告警条件时将告警日志封装成指标推送到监控平台触发告警； 其中， 该过程中 的指标指的是监控平台中用于告警判定的基础数据格式； 0072 (3)日志监控组件检测到有告警日志时， 将告警日志在kafka集群中的偏移量与告 警日志进行封装， 通过监控平台保存到预设的数据库中； 0073 (4)开发一个监控平台的监控平台界面， 在监控平台界面上可以看到近期日志告 警列表， 每条。

38、告警中除了告警的日志内容外还包含有kafka集群中的偏移量； 0074 (5)选择日志告警列表中某条告警日志的日志内容， 向异常日志搜索服务请求这 说明书 6/10 页 9 CN 111897834 A 9 条告警日志的上下文； 0075 (6)异常日志搜索服务根据这条告警日志的元数据信息， 从数据库中查询告警日 志在kafka中的偏移量； 0076 (7)异常日志搜索服务根据偏移量定位到kafka集群中日志的位置， 并获取偏移量 前后一段时间内的日志上下文信息， 根据关键字过滤后在监控平台界面上展示出来， 供监 控人员查看。 0077 综上， 本发明实施例提供的日志搜索方法具有以下优点： 0。

39、078 1)节省资源： 0079 在海量日志监控的场景下， 日志量很大， 本发明实施例提供的日志搜索方法， 不需 要将日志全文保存到搜索引擎中， 即可实现异常日志上下文搜索功能的解决方案， 可以节 省大量的内存、 磁盘等资源。 0080 2)降低系统的复杂性： 0081 由于无需存储日志全文， 使得本发明实施例提供的日志搜索方法比较轻量， 不需 要花费人力维护复杂系统的稳定性。 0082 在上述实施例的基础上， 本发明实施例还提供了一种日志搜索装置， 应用于大数 据日志处理平台， 如图5所示的一种日志搜索装置的结构示意图， 该装置包括： 0083 获取模块50， 用于获取日志告警列表， 其中，。

40、 所述日志告警列表为大数据日志处理 平台根据分布式日志集群所接收的日志生成的， 且， 所述日志告警列表中包括预设数量的 告警日志； 0084 提取模块52， 用于提取所述日志告警列表中的目标告警日志； 0085 查找模块54， 用于在预设的数据库中查找与所述目标告警日志关联的日志标识； 0086 搜索模块56， 用于基于所述日志标识搜索所述日志标识对应的目标日志。 0087 具体地， 上述提取模块52还用于： 提取所述日志告警列表中最新接收的告警日志， 将最新接收的所述告警日志确定为目标告警日志； 或者， 提取所述日志告警列表中告警级 别高于预设级别的告警日志， 将告警级别高于预设级别的所述告。

41、警日志确定为目标告警日 志。 0088 进一步， 上述分布式日志集群为所述大数据日志处理平台中部署的kafka集群， 所 述kafka集群用于接收待监控的日志， 因此， 在图5的基础上， 图6还示出了另一种日志搜索 装置的结构示意图， 如图6所示， 除图5所示的结构外， 该装置还包括： 0089 列表生成模块58， 用于读取所述kafka集群接收的海量日志； 如果所述海量日志中 有告警日志， 则获取所述告警日志在所述kafka集群中的日志标识， 将告警日志和所述日志 标识进行绑定， 以生成所述告警日志与所述日志标识的对应关系； 将所述对应关系存储至 预设的数据库， 以及， 生成包含所述告警日志。

42、的日志告警列表。 0090 进一步， 所述日志标识为所述告警日志在所述kafka集群中的偏移量； 0091 上述列表生成模块58还用于： 将所述告警日志以及所述告警日志在所述kafka集 群中的偏移量按照预设的格式进行封装， 生成预设格式的数据包； 以及， 将所述预设格式的 数据包存储至预设的数据库， 其中， 所述预设格式的数据包用于表征所述告警日志与所述 日志标识的对应关系。 0092 进一步， 上述列表生成模块58还用于： 按照接收日志的时间顺序， 逐一读取所述 说明书 7/10 页 10 CN 111897834 A 10 kafka集群接收的海量日志。 0093 进一步， 上述列表生成。

43、模块58还用于： 按照预设的过滤规则逐一读取所述kafka集 群接收的海量日志； 0094 如果读取到的日志满足所述过滤规则对应的告警条件， 则确定所述海量日志中有 告警日志。 0095 其中， 所述大数据日志处理平台配置有日志监控组件； 上述列表生成模块58还用 于： 通过所述日志监控组件按照预设的所述过滤规则逐一读取所述kafka集群接收的海量 日志。 0096 进一步， 所述大数据日志处理平台还包括异常日志搜索服务； 0097 上述搜索模块用于： 通过所述异常日志搜索服务在所述海量日志中搜索所述日志 标识对应的目标日志。 0098 进一步， 上述搜索模块用于： 获取所述告警日志的告警时刻。

44、； 0099 通过所述异常日志搜索服务搜索所述告警时刻对应的时间段内的日志； 0100 将搜索到所述时间段内的日志确定为目标日志。 0101 进一步， 所述大数据日志处理平台还包括监控平台， 所述监控平台配置有监控平 台界面； 上述装置还包括： 0102 日志展示模块60， 用于将搜索到的目标日志发送至所述监控平台， 通过所述监控 平台配置的所述监控平台界面对所述目标日志的日志内容进行展示。 0103 本发明实施例提供的日志搜索装置， 与上述实施例提供的日志搜索方法具有相同 的技术特征， 所以也能解决相同的技术问题， 达到相同的技术效果。 0104 本发明实施例还提供一种服务器， 该服务器包括。

45、处理器和存储器， 所述存储器存 储有能够被所述处理器执行的计算机可执行指令， 所述处理器执行所述计算机可执行指令 以实现图2或图3所示的日志搜索方法。 0105 进一步， 本发明实施例还提供了一种服务器的结构示意图， 如图7所示， 为该服务 器的结构示意图， 其中， 该服务器包括处理器101和存储器100， 该存储器100存储有能够被 该处理器101执行的计算机可执行指令， 该处理器101执行该计算机可执行指令以实现上述 日志搜索方法。 0106 在图7示出的实施方式中， 该服务器还包括总线102和通信接口103， 其中， 处理器 101、 通信接口103和存储器100通过总线102连接。 0。

46、107 其中， 存储器100可能包含高速随机存取存储器(RAM， Random Access Memory)， 也 可能还包括非不稳定的存储器(non-volatile memory)， 例如至少一个磁盘存储器。 通过至 少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通 信连接， 可以使用互联网， 广域网， 本地网， 城域网等。 总线102可以是ISA(Industry Standard Architecture， 工业标准体系结构)总线、 PCI(Peripheral Component Interconnect， 外设部件互连标准)总线或EISA(Exte。

47、nded Industry Standard Architecture， 扩展工业标准结构)总线等。 所述总线102可以分为地址总线、 数据总线、 控 制总线等。 为便于表示， 图7中仅用一个双向箭头表示， 但并不表示仅有一根总线或一种类 型的总线。 0108 处理器101可能是一种集成电路芯片， 具有信号的处理能力。 在实现过程中， 上述 说明书 8/10 页 11 CN 111897834 A 11 方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。 上 述的处理器101可以是通用处理器， 包括中央处理器(Central Processing Unit， 简称 。

48、CPU)、 网络处理器(Network Processor， 简称NP)等； 还可以是数字信号处理器(Digital Signal Processor， 简称DSP)、 专用集成电路(Application Specific Integrated Circuit， 简称ASIC)、 现场可编程门阵列(Field-Programmable Gate Array， 简称FPGA)或 者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、 分立硬件组件。 通用处理器可以是微 处理器或者该处理器也可以是任何常规的处理器等。 结合本发明实施例所公开的方法的步 骤可以直接体现为硬件译码处理器执行完成， 或者用。

49、译码处理器中的硬件及软件模块组合 执行完成。 软件模块可以位于随机存储器， 闪存、 只读存储器， 可编程只读存储器或者电可 擦写可编程存储器、 寄存器等本领域成熟的存储介质中。 该存储介质位于存储器， 处理器 101读取存储器中的信息， 结合其硬件完成前述实施例的日志搜索方法的步骤。 0109 本发明实施例还提供一种计算机可读存储介质， 所述计算机可读存储介质存储有 计算机可执行指令， 所述计算机可执行指令在被处理器调用和执行时， 计算机可执行指令 促使处理器实现图2或图3所示的日志搜索方法。 0110 本发明实施例所提供的日志搜索方法、 装置及服务器的计算机程序产品， 包括存 储了程序代码的。

50、计算机可读存储介质， 所述程序代码包括的指令可用于执行前面方法实施 例中所述的方法， 具体实现可参见方法实施例， 在此不再赘述。 0111 所属领域的技术人员可以清楚地了解到， 为描述的方便和简洁， 上述描述的装置 的具体工作过程， 可以参考前述方法实施例中的对应过程， 在此不再赘述。 0112 另外， 在本发明实施例的描述中， 除非另有明确的规定和限定， 术语 “安装” 、“相 连” 、“连接” 应做广义理解， 例如， 可以是固定连接， 也可以是可拆卸连接， 或一体地连接； 可 以是机械连接， 也可以是电连接； 可以是直接相连， 也可以通过中间媒介间接相连， 可以是 两个元件内部的连通。 对。