日志管理平台、日志管理方法、介质以及电子设备.pdf

《日志管理平台、日志管理方法、介质以及电子设备.pdf》由会员分享，可在线阅读，更多相关《日志管理平台、日志管理方法、介质以及电子设备.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010176909.8 (22)申请日 2020.03.13 (71)申请人 京东方科技集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路10号 (72)发明人 邵广玉李淑一杨雪微李文娟 王达川李佳澳李鹏 (74)专利代理机构 北京律智知识产权代理有限 公司 11438 代理人 王辉阚梓瑄 (51)Int.Cl. G06F 16/14(2019.01) G06F 16/18(2019.01) (54)发明名称 日志管理平台、 日志管理方法、 介质以及电 子设备 (5。

2、7)摘要 本公开涉及计算机技术领域， 提供了一种日 志管理平台和方法、 介质及设备。 其中， 该平台包 括： 日志收集模块， 用于： 实时获取数据流以收集 关于多个业务系统的日志数据； 日志拆分模块， 用于： 对日志数据进行多维度拆分； 日志计算模 块用于： 根据计算单元的数量调用并处理对应数 量的拆分日志数据； 控制模块用于： 动态优化日 志计算模块中的计算单元的数量， 以使日志计算 模块通过优化后的计算单元处理拆分日志数据； 日志筛选模块， 用于： 根据日志检索请求对存储 的日志数据进行筛选； 目标日志处理模块， 用于： 将检索出的目标日志的关键项以超链接的方式 进行展示， 以供用户通过超。

3、链接获取对应的关键 项详情。 本技术方案能够提升日志查询的效率与 便捷度。 权利要求书2页 说明书9页 附图5页 CN 111352903 A 2020.06.30 CN 111352903 A 1.一种日志管理平台， 其特征在于， 包括： 日志收集模块， 用于： 实时获取数据流以收集关于多个业务系统的日志数据； 日志拆分模块， 用于： 对所述日志数据进行多维度拆分， 得到每个维度的拆分日志数 据； 控制模块和多个日志计算模块， 其中， 每个所述日志计算模块包括多个计算单元； 所述日志计算模块用于： 通过所述计算单元调用并处理所述拆分日志数据， 并存储处 理后的日志数据； 所述控制模块用于： 。

4、动态优化所述日志计算模块中的参与调用并处理所 述拆分日志数据的计算单元的数量； 日志筛选模块， 用于： 接收并解析日志检索请求， 并根据所述日志检索请求对存储的日 志数据进行筛选； 目标日志处理模块， 用于： 将检索出的目标日志的关键项以超链接的方式进行展示， 以 供用户通过所述超链接获取对应的关键项详情。 2.根据权利要求1所述的日志管理平台， 其特征在于， 所述控制模块具体用于： 获取M个日志计算模块中第i个日志计算模块中每个计算单元的处理速度， 并根据所述 处理速度优化所述第i个日志计算模块中参与调用并处理所述拆分日志数据的计算单元的 数量； 其中， M为大于或等于2的整数， i为小于或。

5、等于M的正整数。 3.根据权利要求2所述的日志管理平台， 其特征在于， 所述控制模块还具体用于： 根据所述第i个日志计算模块对应的目标拆分日志数据， 获取与目标拆分日志数据具 有逻辑关系的日志数据对应的目标日志计算模块， 并获取所述目标日志计算模块间的数据 流量信息， 以根据所述处理速度和所述数据流量信息优化所述第i个日志计算模块中参与 调用并处理所述拆分日志数据的计算单元的数量。 4.根据权利要求1至3中任意一项所述的日志管理平台， 其特征在于， 所述日志收集模 块包括吞吐量大于预设值的数据传输管道， 以实现海量日志数据的实时写入所述日志管理 平台。 5.根据权利要求1至3中任意一项所述的日。

6、志管理平台， 其特征在于， 所述日志管理平 台还包括： 日志展示模块， 用于以列表的方式展示所述日志数据。 6.根据权利要求1至3中任意一项所述的日志管理平台， 其特征在于， 所述日志检索请 求包括： 请求地址、 用户、 接口参数和接口响应状态中的一种或多种。 7.根据权利要求1至3中任意一项所述的日志管理平台， 其特征在于， 所述关键项包括： 关于所述目标日志的请求头、 请求参数和响应参数。 8.一种日志管理方法， 其特征在于， 包括： 实时获取数据流以收集关于多个业务系统的日志数据； 对所述日志数据进行多维度拆分， 得到每个维度的拆分日志数据； 通过多个日志计算模块调用并处理所述拆分日志数。

7、据， 以及动态优化每个日志计算模 块所包含的计算单元的数量， 以使所述多个日志计算模块基于优化后数量的计算单元处理 所述拆分日志数据， 并存储处理后的日志数据； 接收并解析日志检索请求， 并根据所述日志检索请求对存储的日志数据进行筛选； 将筛选出的目标日志的关键项以超链接的方式进行展示， 以供用户通过所述超链接获 权利要求书 1/2 页 2 CN 111352903 A 2 取对应的关键项详情。 9.一种计算机存储介质， 其特征在于， 其上存储有计算机程序； 所述计算机程序被处理器执行时实现如权利要求8所述的日志管理方法。 10.一种电子设备， 其特征在于， 所述电子设备包括： 一个或多个处理。

8、器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得所述一个或多个处理器实现如权利要求8所述的日志管理方法。 权利要求书 2/2 页 3 CN 111352903 A 3 日志管理平台、 日志管理方法、 介质以及电子设备 技术领域 0001 本公开涉及计算机技术领域， 具体而言， 涉及一种日志管理平台和日志管理方法， 以及实现上述日志管理方法的计算机存储介质和电子设备。 背景技术 0002 在大数据时代， 数据的价值愈来愈突显出其重要性。 其中， 日志数据能够指记录用 户行为、 系统运行状态， 因此在业务开发过程、 测试过程和运维过程中可以作为。

9、问题调查、 系统诊断的数据参考源。 随着业务种类的日渐丰富， 日志的服务也越来越复杂， 则需对日志 数据进行一系列的管理任务， 以使日志数据更好的服务用户。 0003 在传统的企业应用系统中， 日志数据都是分散存储至多个节点中。 如果需要通过 日志定位目标Bug， 则需要在每个节点上使用传统的命令方式查询， 导致日志查询效率非常 底下。 可见， 相关技术提供的日志管理方案无法满足实时地日志查询需求。 0004 需要说明的是， 上述背景技术部分公开的信息仅用于加强对本公开的背景的理 解。 发明内容 0005 本公开的目的在于提供一种日志管理平台、 日志管理方法、 计算机存储介质和电 子设备， 进。

10、而至少在一定程度上提升日志查询的效率与便捷度。 0006 本公开的其他特性和优点将通过下面的详细描述变得显然， 或部分地通过本公开 的实践而习得。 0007 根据本公开的一个方面， 提供一种日志管理平台， 包括： 0008 日志收集模块， 用于： 实时获取数据流以收集关于多个业务系统的日志数据； 0009 日志拆分模块， 用于： 对所述日志数据进行多维度拆分， 得到每个维度的拆分日志 数据； 0010 控制模块和多个日志计算模块， 其中， 每个所述日志计算模块包括多个计算单元； 0011 所述日志计算模块用于： 通过所述计算单元调用并处理所述拆分日志数据， 并存 储处理后的日志数据； 所述控制。

11、模块用于： 动态优化所述日志计算模块中的参与调用并处 理所述拆分日志数据的计算单元的数量； 0012 日志筛选模块， 用于： 接收并解析日志检索请求， 并根据所述日志检索请求对存储 的日志数据进行筛选； 0013 目标日志处理模块， 用于： 将检索出的目标日志的关键项以超链接的方式进行展 示， 以供用户通过所述超链接获取对应的关键项详情。 0014 在本公开示例性的实施例中， 基于前述方案， 所述控制模块具体用于： 0015 获取M个日志计算模块中第i个日志计算模块中每个计算单元的处理速度， 并根据 所述处理速度优化所述第i个日志计算模块中参与调用并处理所述拆分日志数据的计算单 元的数量； 说。

12、明书 1/9 页 4 CN 111352903 A 4 0016 其中， M为大于或等于2的整数， i为小于或等于M的正整数。 0017 在本公开示例性的实施例中， 基于前述方案， 所述控制模块还具体用于： 0018 根据所述第i个日志计算模块对应的目标拆分日志数据， 获取与目标拆分日志数 据具有逻辑关系的日志数据对应的目标日志计算模块， 并获取所述目标日志计算模块间的 数据流量信息， 以根据所述处理速度和所述数据流量信息优化所述第i个日志计算模块中 参与调用并处理所述拆分日志数据的计算单元的数量。 0019 在本公开示例性的实施例中， 基于前述方案， 所述日志收集模块包括吞吐量大于 预设值的。

13、数据传输管道， 以实现海量日志数据的实时写入所述日志管理平台。 0020 在本公开示例性的实施例中， 基于前述方案， 所述日志管理平台还包括： 日志展示 模块， 用于以列表的方式展示所述日志数据。 0021 在本公开示例性的实施例中， 基于前述方案， 所述日志检索请求包括： 请求地址、 用户、 接口参数和接口响应状态中的一种或多种。 0022 在本公开示例性的实施例中， 基于前述方案， 所述关键项包括： 关于所述目标日志 的请求头、 请求参数和响应参数。 0023 根据本公开的另一个方面， 提供一种日志管理方法， 包括： 0024 实时获取数据流以收集关于多个业务系统的日志数据； 0025 对。

14、所述日志数据进行多维度拆分， 得到每个维度的拆分日志数据； 0026 通过多个计算模块调用并处理所述拆分日志数据， 以及动态优化每个计算模块所 包含的计算单元的数量， 以使所述多个计算模块基于优化后的数量的计算单元处理所述拆 分日志数据， 并存储处理后的日志数据； 0027 接收并解析日志检索请求， 并根据所述日志检索请求对存储的日志数据进行筛 选； 0028 将筛选出的目标日志的关键项以超链接的方式进行展示， 以供用户通过所述超链 接获取对应的关键项详情。 0029 根据本公开的一个方面， 提供了一种计算机存储介质， 其上存储有计算机程序， 上 述计算机程序被处理器执行时实现第二方面所述的日。

15、志管理方法。 0030 根据本公开的一个方面， 提供一种电子设备， 包括： 处理器； 以及存储器， 用于存储 上述处理器的可执行指令； 其中， 上述处理器配置为经由执行上述可执行指令来执行上述 第二方面所述的日志管理方法。 0031 由上述技术方案可知， 本公开示例性实施例中的日志管理平台至少具备以下优点 和积极效果： 0032 在本公开的一些实施例所提供的技术方案中， 通过日志收集模块实时获取数据流 以收集关于多个业务系统的日志数据， 并多维度拆分上述日志数据， 以进一步地根据日志 计算模块中的计算单元的数量来调用拆分后的日志， 其中， 每个日志计算模块中的计算单 元的数量是动态优化的。 从。

16、而使得每个日志计算模块中所包含的计算单元的数量既能够满 足实时日志查询的需求， 又不会造成计算资源的浪费。 0033 进一步地， 通过日志筛选模块接收并解析日志检索请求， 并根据所述日志检索请 求对存储的日志数据进行筛选， 最终， 通过目标日志处理模块将筛选出的目标日志的关键 项以超链接的方式进行展示， 以供用户通过所述超链接获取对应的关键项详情， 从而使得 说明书 2/9 页 5 CN 111352903 A 5 日志快捷复现， 进一步提升日志查询的效率与便捷度。 0034 本公开应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性 的， 并不能限制本公开。 附图说明 0035 。

17、此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本公开的实施 例， 并与说明书一起用于解释本公开的原理。 显而易见地， 下面描述中的附图仅仅是本公开 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 这些附图获得其他的附图。 0036 在附图中： 0037 图1示出了可以应用本公开实施例的一种日志管理平台的结构示意图； 0038 图2示出了可以应用本公开实施例的一种日志处理流程的示意图； 0039 图3示出了可以应用本公开实施例的日志计算模块和控制模块的结构示意图； 0040 图4示出了可以应用本公开实施例的一种日志检索项的页面展示图； 004。

18、1 图5示出了可以应用本公开实施例的一种日志列表的页面展示图； 0042 图6示出了可以应用本公开实施例的一种日志管理方法的流程示意图； 以及， 0043 图7示出本公开示例性实施例中电子设备的结构示意图。 具体实施方式 0044 现在将参考附图更全面地描述示例实施方式。 然而， 示例实施方式能够以多种形 式实施， 且不应被理解为限于在此阐述的范例； 相反， 提供这些实施方式使得本公开将更加 全面和完整， 并将示例实施方式的构思全面地传达给本领域的技术人员。 0045 此外， 所描述的特征、 结构或特性可以以任何合适的方式结合在一个或更多实施 例中。 在下面的描述中， 提供许多具体细节从而给出。

19、对本公开的实施例的充分理解。 然而， 本领域技术人员将意识到， 可以实践本公开的技术方案而没有特定细节中的一个或更多， 或者可以采用其它的方法、 组元、 装置、 步骤等。 在其它情况下， 不详细示出或描述公知方 法、 装置、 实现或者操作以避免模糊本公开的各方面。 0046 附图中所示的方框图仅仅是功能实体， 不一定必须与物理上独立的实体相对应。 即， 可以采用软件形式来实现这些功能实体， 或在一个或多个硬件模块或集成电路中实现 这些功能实体， 或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。 0047 附图中所示的流程图仅是示例性说明， 不是必须包括所有的内容和操作/步骤，。

20、 也 不是必须按所描述的顺序执行。 例如， 有的操作/步骤还可以分解， 而有的操作/步骤可以合 并或部分合并， 因此实际执行的顺序有可能根据实际情况改变。 0048 本技术方案是的研究目标就是要在对日志收集系统广泛研究分析的基础上， 结合 企业日常在日志收集中所碰到的问题， 提出统一的日志服务解决方案， 完成日志服务平台， 并将该系统在企业部署落地。 具体来说， 是建立一个海量日志实时收集、 检索、 计算平台， 实 现对日志数据的快速收集、 消费和提取等。 让用户享受方便快捷、 稳定可靠和低成本的日志 服务。 0049 以下对本技术方案提出的日志管理平台以及日志管理方法以及电子设备进行具 说明。

21、书 3/9 页 6 CN 111352903 A 6 体实施例进行介绍。 其中， 图1示出了可以应用本公开实施例的一种日志管理平台的结构示 意图。 0050 参考图1， 本实施例提供的日志管理系统100包括： 日志收集模块110、 日志拆分模 块110、 日志拆分模块120、 M个日志计算模块131、 用于控制日志计算模块的控制模块132、 日 志存储模块140以及目标日志处理模块150， 其中， M为大于2的整数。 0051 本实施例提供的技术方案中， 通过日志收集模块110实时获取数据流以收集关于 多个业务系统的日志数据， 并通过日志拆分模块120多维度拆分上述日志数据， 以进一步地 根据。

22、日志计算模块131中的计算单元的调用并处理拆分后的日志。 其中， 每个日志计算模块 中参与调用并处理拆分后的日志的计算单元的数量(可以记作 “执行单元” )是基于控制模 块132动态优化的。 从而使得每个日志计算模块中所包含的执行单元的数量既能够满足实 时日志查询的需求， 又不会造成计算资源的浪费。 进一步地， 通过日志筛选模块140接收并 解析日志检索请求， 并根据日志检索请求对存储的日志数据进行筛选， 最终， 通过目标日志 处理模块150将筛选出的目标日志的关键项以超链接的方式进行展示， 以供用户通过所述 超链接获取对应的关键项详情， 从而使得日志快捷复现， 进一步提升日志查询的效率与便 。

23、捷度。 0052 以下结合图2示出的可以应用本公开实施例的一种日志处理流程的示意图对日志 管理平台的各个模块的具体实施方式进行详细说明。 0053 在示例性的实施例中， 上述日志收集模块110基于Kafka集群采集多个业务系统 200(如， 业务系统1、 业务系统2、 业务系统N)产生的日志数据。 其中， Kafka是一个高吞 吐量的分布式消息系统， 主要用于处理实时的流式数据或者动作流数据。 示例性的， 收集的 日志数据可以是不同业务系统内网页浏览、 用户访问， 搜索和其他用户的行为等数据。 这些 数据由于吞吐量的下限制， 传统的处理方式是先将日志数据以文件的形式记录下来， 然后 定期处理。。

24、 然而这种传统的日志处理和数据分析方法是一种离线处理方案， 往往会产生比 较大的延迟。 而采用Kafka集群的消息队列能够很好的处理实时或近实时的流式数据， 从而 有利于满足日志数据处理的实时性要求。 可见， 上述日志收集模块110基于吞吐量大于预设 值的数据传输管道， 能够实现海量日志数据的实时写入日志管理平台100。 0054 进一步地， 参考图2， 在示例性的实施例中， 上述对于日志管理平台还包括： 日志预 处理模块300， 用于对于日志收集模块110获取到的上述日志数据进行预处理。 示例性的， 日 志预处理模块300对日志数据的预处理操作包括日志解析， 例如： 解析多个业务系统同收集 。

25、来的不同数据格式的数据， 以统一其数据格式， 从而便于进一步地日志数据处理。 上述预处 理操作包括日志过滤， 例如： 对重复的数据进行过滤， 以避免日志数据冗余或数据量庞杂。 上述预处理操作包括创建特征集、 日志挖掘和分类以及日志统计等。 0055 在示例性的实施例中， 日志预处理过程中日志数据可以存储于Hadoop分布式文件 系统(Hadoop Distributed File System,简称： HDFS)400中。 示例性的， Hadoop可以以 MapReduce作业等方式对上述日志数据进行批量处理， 从而有效加快对日志数据的预处理 速度。 0056 在示例性的实施例中， 继续参考图。

26、1， 对于预处理后的日志数据， 通过日志拆分模 块120对其进行多维度拆分， 得到每个维度的拆分日志数据。 示例性的， 可以依据日志数据 所来自的业务系统对其进行拆分， 如， 对来自商城业务系统的日志数据打带有商城业务系 说明书 4/9 页 7 CN 111352903 A 7 统标识的标签、 对来自医疗业务系统的日志数据打带有医疗业务系统标识的标签等。 还可 以依据日志数据对应的接口类型实现拆分， 如对来自内网接口的日志数据打带有内网接口 标识的标签、 对来自外网接口的日志数据打带有外网接口标识的标签等。 将数据进行拆分 (如， 打标签)是为了便于对不同种类的数据进行汇总统计。 0057 示。

27、例性的， 参考图2， 可以通过Elasticsearch集群500完成日志数据的拆分以及拆 分后的汇总统计与存储。 其中， ElasticSearch是一种基于Lucene的分布式搜索引擎， 具体 的， 在上述日志数据导入Elasticsearch集群后， 利用JSON作为文档序列化的格式对系统日 志进行多维度分拆， 并以文档的形式进行存储。 0058 具体的， Elasticsearch集群中包含master节点、 client节点和data节点。 具体的， master节点可以用于维护并存储汇总统计之前的日志数据和/或汇总统计之后的日志数 据， 并负责管理集群其余节点状态； data节点可。

28、以用于接收用户的日志检索请求数据， 并基 于日志检索请求数据查询存储在master节点的日志数据； client节点接收data节点上汇聚 的查询结果， 并返回给用户。 0059 在示例性的实施例中， 在接收并解析日志检索请求之前， 通过日志计算模块131对 处理上述拆分日志数据： 鉴于因为每个日志计算模块中的执行单元计算不同种类的日志拆 分数据的平均处理时间是不一样的， 从而本技术方案通过对于日志数据进行提前拆分， 便 于后续获得日志数据平均处理时间。 参考图3， 示出的第i个日志计算模块131(其中， i为小 于或等于M的正整数)， 其中包含被拆分后的多个计算单元。 0060 参考图2， 。

29、该日志计算模块中参与调用处理拆分日志数据的执行单元的数量是由 控制模块132动态优化的。 示例性的， 第i个日志计算模块131当前包含Ni个计算单元， 则基 于当前计算单元的数量Ni调用并处理对应数量的拆分日志数据。 同时， 控制模块132获取第 i个日志计算模块中每个计算单元的处理速度， 并根据处理速度将计算单元的数量由Ni个 优化为Ni 个。 进而， 再通过Ni 个计算单元处理所述拆分日志数据， 并存储处理后的日志数 据。 其中， Ni和Ni 也为正整数。 0061 具体的， 当Ni小于Ni 时， 则增加第i个日志计算模块中执行单元的数量， 或者， 当Ni 大于Ni 时， 则减少第i个日志。

30、计算模块中执行单元的数量。 0062 在示例性的实施例中， 鉴于不同日志计算模块之间所处理的拆分日志数据之间就 有连续关系。 因此， 控制模块132在获取每个日志计算模块中考虑每个计算单元的处理速度 的同时， 还考虑拆分日志之间的逻辑关系。 具体的， 先获取第i个日志计算模块对应的目标 拆分日志数据(如， 第一季度中目标产品的出售量)， 然后， 获取与目标拆分日志数据具有逻 辑关系的日志数据(如， 第一季度中每个月份中目标产品的出售量)， 进一步地， 获取处理该 日志数据(即， 上述第一季度中每个月份中目标产品的出售量)的日志计算模块(记作 “目标 日志计算模块” )。 进而获取目标日志计算模。

31、块间的数据流量信息， 并根据处理速度和数据 流量信息优化第i个日志计算模块中的计算模块的数量。 从而， 使得逻辑上具有关联关系的 日志数据被集中高效地处理， 在用户查询目标问题的相关联问题时， 可以及时准确地向用 户反馈查询结果。 0063 在示例性的实施例中， 上述日志计算模块中执行单元对拆分日志数据进行的处理 操作包括以下操作的一种或几种： 解析处理、 过滤处理、 挖掘处理、 分类处理以及统计处理。 执行单元可以根据不同的查询需求而进行不同的处理过程， 本实施例不作具体限定。 说明书 5/9 页 8 CN 111352903 A 8 0064 需要说明的是， 每个日志计算模块中计算单元的数。

32、量的优化过程每间隔一定时长 而反复执行的。 从而， 每个日志计算模块中的计算单元的数量是动态优化的。 从而使得每个 日志计算模块中所包含的计算单元的数量既能够满足实时日志查询的需求， 又不会造成计 算资源的浪费。 0065 在示例性的实施例中， 继续参考图1， 上述日志筛选模块140， 用于： 接收并解析日 志检索请求， 并根据所述日志检索请求对集中存储的日志数据进行筛选。 其中日志检索请 求包括： 请求地址、 用户、 接口参数和接口响应状态中的一种或多种， 以根据日志检索请求 灵活、 方便、 快捷筛选日志数据。 0066 其中， 图4示出了可以应用本公开实施例的一种日志检索项的页面展示图。 。

33、参考图 4， 用户或用户客户端根据该页面展示出的一个或多个日志检索项确定日志检索请求。 例 如， 通过在 “统一资源定位符(Uniform Resource Locator,简称： URL)” 检索项对应的交互 框中填写目标日志的URL， 便可以确定了该目标日志的日志检索请求。 又例如， 通过在 “接口 类型” 检索项对应的交互框中填写目标日志的接口类型， 通过在 “用户ID” 检索项对应的交 互框中填写用户标识， 便确定了该目标日志的日志检索请求。 当然， 还可以在其他检索项 (如， 目标日志的所述系统、 目标日志的请求体、 目标日志的响应等)对应的交互框中填写相 关内容， 均可以确定对目标。

34、日志的检索请求。 0067 示例性的， 参考图4， 在相关检索项被填写之后， 可以通过 “查询” 来触发日志筛选 过程， 还可以通过 “重置” 来取消该次相关检索项中填写的内容。 0068 在示例性的实施例中， 日志筛选模块140接收到用户或用户客户端的日志检索请 求后， 解析日志检索请求中所包含的检索项， 并基于检索项对存储(如存储于Elasticseach 集群)的日志数据进行筛选， 最终确定检索项对应的目标日志。 0069 示例性的， 解析后日志检索请求得到的参数为： 0070 Request: “verifyCode” :” 807275” ,” purpose” :” L” ,” p。

35、hone” :” 186124” ,” l anguage” :” zh” ,” sys” :” hmp” 。 0071 示例性的， 对应的得到相应可以表示为： 0072 “code” :” success” ,” data” :” regFrom” :” IG” ,” accName” :” 13439731745” ,” accid” :” 6002327283” ,” token” :” eyJhbGciOiJIUz” ,” message” :” 处理成功” ,” reqSeq” :” IG1566281347653” 0073 在示例性的实施例中， 获取到目标日志之后， 通过目标日志。

36、处理模块150将筛选出 的目标日志的关键项以超链接的方式进行展示， 以供用户通过所述超链接获取对应的关键 项详情。 0074 在示例性的实施例中， 图5示出了可以应用本公开实施例的一种日志列表的页面 展示图。 具体的， 本技术方案提供的日志管理平台100还包括： 日志展示模块600。 0075 具体的， 通过日志展示模块600可以以列表的方式展示日志数据。 还可以通过日志 展示模块600以列表的方式展示上述目标日志。 其中， 相较于相关技术中展示日志报文的方 式， 本技术方案通过列表的方式展示日志数据， 使得界面显示更加清晰明了， 使得用户查看 感受更为直观从而方便于用户查阅。 0076 在示。

37、例性的实施例中， 参考图5， 对于列表中的每条日志信息， 不仅展示其所属系 统、 URL、 请求时间等。 此外， 展示列表还包括对每条日志的操作项， 即可以通过操作来查看 说明书 6/9 页 9 CN 111352903 A 9 目标日志的各个关键项。 0077 示例性的， 目标日志的关键项包括： 关于所述目标日志的请求头、 请求参数和响应 参数。 本实施例中， 将目标日志的各个关键项以超链接的方式进行展示(例如： 关于请求头 的超链接、 关于请求参数的超链接以及关于响应参数的超链接)， 以供用户通过所述超链接 获取对应的关键项详情， 从而使得通过日志复现以及查找问题更加快捷方便。 0078 。

38、在示例性的实施例中， 上述日志管理平台还包括权限管理模块。 根据检索请求用 户的权限为该用户提供其权限对应的日志内容。 为不同权限的用户提供了个性化定制的日 志数据， 有利于对日志数据管理的规范性。 0079 本技术方案提供的日志管理平台为海量日志实时收集、 集中存储、 检索、 分析计算 以及展示的一站式服务系统， 用户可以快捷地完成数据采集、 消费、 投递及查询分析等功 能， 帮助提升企业运维和运营效率， 赋能大数据时代的海量日志处理能力。 0080 图6示意性示出了根据本公开的一实施例的日志管理方法的流程图。 该实施例提 供的方法是基于前述实施例提供的日志管理平台实现的， 参考图6， 该方。

39、法包括： 0081 步骤S610， 实时获取数据流以收集关于多个业务系统的日志数据； 0082 步骤S620， 对所述日志数据进行多维度拆分， 得到每个维度的拆分日志数据； 0083 步骤S630， 通过多个日志计算模块调用并处理所述拆分日志数据， 以及动态优化 每个日志计算模块所包含的计算单元的数量， 以使所述多个日志计算模块基于优化后数量 的计算单元处理所述拆分日志数据， 并存储处理后的日志数据； 0084 步骤S640， 接收并解析日志检索请求， 并根据所述日志检索请求对存储的日志数 据进行筛选； 以及， 0085 步骤S650， 将筛选出的目标日志的关键项以超链接的方式进行展示， 以供。

40、用户通 过所述超链接获取对应的关键项详情。 0086 在示例性的实施例中， 基于前述方案， 获取所述日志计算模块中每个计算单元的 处理速度， 并根据处理速度优化该日志计算模块中参与调用并处理所述拆分日志数据的计 算单元的数量。 0087 在示例性的实施例中， 基于前述方案， 根据所述第i个日志计算模块对应的目标拆 分日志数据， 获取与目标拆分日志数据具有逻辑关系的日志数据对应的目标日志计算模 块， 并获取所述目标日志计算模块间的数据流量信息， 以根据所述处理速度和所述数据流 量信息优化所述日志计算模块中参与调用并处理所述拆分日志数据的计算单元的数量。 0088 在示例性的实施例中， 基于前述方。

41、案， 通过吞吐量大于预设值的数据传输管道来 实时获取数据流以收集关于多个业务系统的日志数据， 以实现海量日志数据的实时写入所 述日志管理平台。 0089 在示例性的实施例中， 基于前述方案， 该日志管理方法还包括： 以列表的方式展示 所述日志数据。 0090 在示例性的实施例中， 基于前述方案， 上述日志检索请求包括： 请求地址、 用户、 接 口参数和接口响应状态中的一种或多种。 0091 在示例性的实施例中， 基于前述方案， 上述关键项包括： 关于所述目标日志的请求 头、 请求参数和响应参数。 0092 鉴于该方法是基于前述实施例提供的日志管理平台实现的， 且具体细节已经在说 说明书 7/9。

42、 页 10 CN 111352903 A 10 明书的日志管理平台实施例部分中进行了详细的描述， 因此此处不再赘述。 0093 图7示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。 0094 需要说明的是， 图7示出的电子设备的计算机系统700仅是一个示例， 不应对本公 开实施例的功能和使用范围带来任何限制。 0095 如图7所示， 计算机系统700包括处理器701(包括： 图形处理单元(Graphics Processing Unit， GPU)、 中央处理单元(Central Processing Unit， CPU)， 其可以根据存 储在只读存储器(Read-Only 。

43、Memory， ROM)702中的程序或者从存储部分708加载到随机访 问存储器(Random Access Memory， RAM)703中的程序而执行各种适当的动作和处理。 在RAM 703中， 还存储有系统操作所需的各种程序和数据。 CPU 701、 ROM 702以及RAM 703通过总线 704彼此相连。 输入/输出(Input/Output， I/O)接口705也连接至总线704。 0096 以下部件连接至I/O接口705： 包括键盘、 鼠标等的输入部分706； 包括诸如阴极射 线管(Cathode Ray Tube， CRT)、 液晶显示器(Liquid Crystal Disp。

44、lay， LCD)等以及扬声器 等的输出部分707； 包括硬盘等的存储部分708； 以及包括诸如LAN(Local Area Network， 局 域网)卡、 调制解调器等的网络接口卡的通信部分709。 通信部分709经由诸如因特网的网络 执行通信处理。 驱动器710也根据需要连接至I/O接口705。 可拆卸介质711， 诸如磁盘、 光盘、 磁光盘、 半导体存储器等等， 根据需要安装在驱动器710上， 以便于从其上读出的计算机程 序根据需要被安装入存储部分708。 0097 特别地， 根据本公开的实施例， 下文参考流程图描述的过程可以被实现为计算机 软件程序。 例如， 本公开的实施例包括一种计。

45、算机程序产品， 其包括承载在计算机存储介质 上的计算机程序， 该计算机程序包含用于执行流程图所示的方法的程序代码。 在这样的实 施例中， 该计算机程序可以通过通信部分709从网络上被下载和安装， 和/或从可拆卸介质 711被安装。 在该计算机程序被中央处理单元(CPU)701执行时， 执行本申请的系统中限定的 各种功能。 0098 需要说明的是， 本公开实施例所示的计算机存储介质可以是计算机可读信号介质 或者计算机可读存储介质或者是上述两者的任意组合。 计算机可读存储介质例如可以 是但不限于电、 磁、 光、 电磁、 红外线、 或半导体的系统、 装置或器件， 或者任意以上 的组合。 计算机可读存。

46、储介质的更具体的例子可以包括但不限于： 具有一个或多个导线的 电连接、 便携式计算机磁盘、 硬盘、 随机访问存储器(RAM)、 只读存储器(ROM)、 可擦式可编程 只读存储器(Erasable Programmable Read Only Memory， EPROM)、 闪存、 光纤、 便携式紧凑 磁盘只读存储器(Compact Disc Read-Only Memory， CD-ROM)、 光存储器件、 磁存储器件、 或 者上述的任意合适的组合。 在本公开中， 计算机可读存储介质可以是任何包含或存储程序 的有形介质， 该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。 0099。

47、 而在本公开中， 计算机可读的信号介质可以包括在基带中或者作为载波一部分传 播的数据信号， 其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形 式， 包括但不限于电磁信号、 光信号或上述的任意合适的组合。 计算机可读的信号介质还可 以是计算机可读存储介质以外的任何计算机存储介质， 该计算机存储介质可以发送、 传播 或者传输用于由指令执行系统、 装置或者器件使用或者与其结合使用的程序。 计算机存储 介质上包含的程序代码可以用任何适当的介质传输， 包括但不限于： 无线、 有线等等， 或者 上述的任意合适的组合。 说明书 8/9 页 11 CN 111352903 A 11 0100。

48、 附图中的流程图和框图， 图示了按照本公开各种实施例的系统、 方法和计算机程 序产品的可能实现的体系架构、 功能和操作。 在这点上， 流程图或框图中的每个方框可以代 表一个模块、 程序段、 或代码的一部分， 上述模块、 程序段、 或代码的一部分包含一个或多个 用于实现规定的逻辑功能的可执行指令。 也应当注意， 在有些作为替换的实现中， 方框中所 标注的功能也可以以不同于附图中所标注的顺序发生。 0101 例如， 两个接连地表示的方框实际上可以基本并行地执行， 它们有时也可以按相 反的顺序执行， 这依所涉及的功能而定。 也要注意的是， 框图或流程图中的每个方框、 以及 框图或流程图中的方框的组合。

49、， 可以用执行规定的功能或操作的专用的基于硬件的系统来 实现， 或者可以用专用硬件与计算机指令的组合来实现。 0102 描述于本公开实施例中所涉及到的单元可以通过软件的方式实现， 也可以通过硬 件的方式来实现， 所描述的单元也可以设置在处理器中。 其中， 这些单元的名称在某种情况 下并不构成对该单元本身的限定。 0103 作为另一方面， 本申请还提供了一种计算机存储介质， 该计算机存储介质可以是 上述实施例中描述的电子设备中所包含的； 也可以是单独存在， 而未装配入该电子设备中。 上述计算机存储介质承载有一个或者多个程序， 当上述一个或者多个程序被一个该电子设 备执行时， 使得该电子设备实现上。

50、述实施例中所述的方法。 例如， 所述的电子设备可以实现 如图7中所示的方法实施例。 0104 应当注意， 尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单 元， 但是这种划分并非强制性的。 实际上， 根据本公开的实施方式， 上文描述的两个或更多 模块或者单元的特征和功能可以在一个模块或者单元中具体化。 反之， 上文描述的一个模 块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。 0105 通过以上的实施方式的描述， 本领域的技术人员易于理解， 这里描述的示例实施 方式可以通过软件实现， 也可以通过软件结合必要的硬件的方式来实现。 因此， 根据本公开 实施方式的技术方。