基于Kettle的ETL Web应用系统架构方法.pdf

《基于Kettle的ETL Web应用系统架构方法.pdf》由会员分享，可在线阅读，更多相关《基于Kettle的ETL Web应用系统架构方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911217097.0 (22)申请日 2019.12.03 (71)申请人 中电工业互联网有限公司 地址 410000 湖南省长沙市岳麓区高新开 发区尖山路39号长沙中电软件园一期 9栋201室 (72)发明人 胡鹏王子新傅苗匡岳锋 曹林贺群雄 (74)专利代理机构 长沙国科天河知识产权代理 有限公司 43225 代理人 邱轶 (51)Int.Cl. G06F 8/30(2018.01) (54)发明名称 一种基于Kettle的ETL Web应用系统架构方 法 (57)摘。

2、要 本发明公开一种基于Kettle的ETLWeb应用 系统架构方法， 包括： 步骤1， 创建Kettle数据库 和ETLWeb工程数据库； 步骤2， 初始化ETLWeb工 程数据库以及Kettle客户端所需要的表和数据， 将初始化后的Kettle数据库中所有表和数据导 入到ETLWeb工程数据库中； 步骤3， 创建ETLWeb 工程， 在ETLWeb工程中导入相关的Kettle依赖 jar包， 基于初始化后的ETLWeb工程数据库完成 Web工程的基础环境配置； 步骤4， 基于Web工程的 基础环境配置开发前台与后台； 步骤5， 在后台中 部署Kettle集群并开启Carte服务。 采用浏览器。

3、/ 服务器模式架构开发ETLWeb应用的系统架构方 案和步骤方法， 实现整个企业的ETL工作只需要 使用一套系统， 基于这套系统能够做到统一管理 和监控所有的ETL任务， 做到分角色管理， 从而降 低企业的运营维护成本。 权利要求书2页 说明书6页 附图2页 CN 110888636 A 2020.03.17 CN 110888636 A 1.一种基于Kettle的ETL Web应用系统架构方法， 其特征在于， 包括如下步骤： 步骤1， 创建Kettle数据库和ETL Web工程数据库； 步骤2， 初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据， 将初始化后 的Kettl。

4、e数据库中所有表和数据导入到ETL Web工程数据库中； 步骤3， 创建ETL Web工程， 在ETL Web工程中导入相关的Kettle依赖jar包， 基于初始化 后的ETL Web工程数据库完成Web工程的基础环境配置； 步骤4， 基于Web工程的基础环境配置开发前台与后台； 步骤5， 在后台中部署Kettle集群并开启Carte服务。 2.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 步骤1 中， 创建的数据库方案采用关系型数据库的MySQL或Oracle。 3.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 步骤。

5、2的 具体过程为： 步骤2.1， 将与数据库方案对应的JDBC驱动jar包拷贝到Kettle客户端的安装路径下的 lib文件夹下； 步骤2.2， 采用Spoon模式启动Kettle客户端并新建数据库资源库， 在数据库资源库新 增界面中将创建的Kettle数据库作为其数据库资源库， 保存数据资源库的配置； 步骤2.3， 初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数据库 中， 并将Kettle数据库中所有表和数据导出到脚本文件； 步骤2.4， 初始化ETL Web工程数据库， 并将步骤2.3导出的脚本文件导入到该ETL Web 工程数据库下， 使ETL Web工程。

6、数据库下包含Kettle所依赖的表和数据。 4.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 步骤3 中， 所述在ETL Web工程中导入相关的Kettle依赖jar包， 基于初始化后的ETL Web工程数据 库完成Web工程的基础环境配置， 具体为： 在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、 kettle-engine两个jar包， 并将ETL Web工程的数据源配置为步骤1中初始化后的ETL Web 工程数据库， 完成Web工程的基础环境配置。 5.根据权利要求1所述基于Kettle的ETL We。

7、b应用系统架构方法， 其特征在于， 步骤4 中， 所述前台包括前端部分与后端部分； 所述前端部分由前端框架技术构建而成， 进而快速实现Kettle客户端对应于Web应用 中的ETL配置的界面效果， 同时完成同时完成ETL Web应用的相关管理界面开发； 所述后端部分包括与前端部分关联的Controller层、 Service层和DAO层， 所述 Controller层、 Service层和DAO层由SpringBoot微服务框架来实现对外的服务提供。 6.根据权利要求5所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 所述ETL 配置包括数据转换配置、 多个转换或任务组合起。

8、来的作业配置。 7.根据权利要求6所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 所述ETL Web应用的相关管理界面包括全景视图、 任务管理、 调度管理、 集群管理、 日志管理和系统管 理。 8.根据权利要求7所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 所述全 景视图包括应用系统的转换统计、 任务统计、 作业统计， 为对应整个应用系统的一个宏观统 权利要求书 1/2 页 2 CN 110888636 A 2 计的监控视图； 所述任务管理包括转换管理、 作业管理、 任务组管理和任务监控， 其中， 转换管理包括 对新增的转换进行查询、 修改、 删除。

9、、 分配任务组， 作业管理包括对新增的作业进行查询、 修 改、 删除、 分配任务组、 配置定时执行制度， 任务组管理包括对任务进行新增、 修改、 删除， 任 务监控包括查询用户组织权限下所有的监控任务信息， 所述监控任务信息包括任务名、 任 务节点、 任务类型、 运行状态； 所述调度管理是对作业的定时任务管理， 包括对执行类型、 执行节点、 任务名的查询， 和对定时任务的删除和修改； 所述集群管理是指对Kettle集群的管理， 包括集群中节点运行状态的监控、 新增和删 除节点； 所述日志管理是指任务的历史日志详情记录， 包含有任务名、 任务类型、 开始时间、 结 束时间、 执行方式、 状态、 。

10、参数信息和日志详情； 所述系统管理包括用户查询、 新增、 修改、 变更用户组和用户组查询、 新增、 删除、 修改。 9.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法， 其特征在于， 步骤4 中， 所述后台包括任务调度部分， 所述任务调度部分包括定时任务调度和任务执行； 所述定时任务调度采用Quartz框架或SpringSchedule框架实现， 通过解析前台保存在 数据中的每个任务的调度表达式， 完成对每个任务的定时调度； 任务执行通过调用Carte提供的API来执行转换和作业。 权利要求书 2/2 页 3 CN 110888636 A 3 一种基于Kettle的ETL 。

11、Web应用系统架构方法 技术领域 0001 本发明涉及计算机技术领域， 具体是一种基于Kettle的ETL Web应用系统架构方 法。 背景技术 0002 Kettle(英文Kettle E.T.T.L Environment的缩写)是一款国外开源的ETL(英文 Extract-Transform-Load的缩写)， 用来描述将数据从来源端经过抽取(extract)、 转换 (transform)、 加载(load)至目的端的过程)工具， 采用纯Java语言编写， 可以运行在 Windows、 Linux、 Unix平台上， 数据抽取高效稳定。 由于Kettle是采用C/S(Client/Se。

12、rver， 客户端服务器端)架构的客户端工具， 需要ETL从业人员单独维护一套Kettle， 特别是对于 企业中多个部门的数据如何进行抽取、 转换和加载到统一的数据仓库中， 如何协调管理和 监控Kettle集群中的任务， 如何对不同部门的使用者进行管理等， 这些都是使用传统的 Kettle客户端工具所需要解决的问题。 目前大部分专利是基于Kettle客户端工具并结合业 务提出的一些数据分发、 同步等方法， 本质上对于ETL工作还是使用的Kettle客户端工具。 0003 对于Kettle的任务调度方面的研究， 其中专利CN108629052A提出一种Kettle任务 调度方法， 利用Pytho。

13、n中的Deamon程序轮询满足调度条件的Kettle任务， 根据从Kettle数 据库资源库中的数据文件获取参数项， 生成参数列表， 执行Kettle任务。 0004 对于如何管理和监控Kettle工具生成的转换和作业任务， 专利CN107045538A提出 一种基于Kettle的web端交换管理方法， 把Kettle中转换、 作业的基础属性配置， 运行管理 与配置从Kettle中剥离， 使经常性的操作无需启动Kettle即可完成。 0005 在上述背景下， 一方面传统地使用Kettle客户端作为ETL工具面临着不易维护、 不 便管理和监控任务等问题； 另一方面基于Kettle客户端在任务调度。

14、、 管理和监控任务做了 改进的专利， 需要使用Kettle客户端生成转换和作业， 然后在此基础上， 通过开发的另外一 个系统来完成任务调度或管理、 监控Kettle中转换、 作业等工作， 会导致用户需要在Kettle 客户端和其他一个或多个系统之间频繁切换， 整体性不强容易出错， 同时也增加了工作的 复杂性。 0006 现有的技术只是将Kettle客户端生成的转换、 作业的基础属性配置、 运行管理与 配置信息进行分离， 通过开发Web应用工程并引用分离出来的配置信息来实现对Kettle的 转换、 作业的管理和监控。 这种实现方式有如下几点缺陷： 0007 1、 作为ETL产品整体性不强， 由两。

15、个系统组成： 一是Kettle客户端， 负责所有与图 形界面操作相关的工作； 二是Web后台管理应用， 基于B/S架构提供浏览器端的界面网页， 负 责对系统一生成的数据(包括转换、 作业的基础属性配置等)进行查询的功能。 导致用户需 要在这两个系统之间频繁切换， 降低了工作效率。 0008 2、 与Kettle客户端耦合度较高， 扩展性较差。 说明书 1/6 页 4 CN 110888636 A 4 发明内容 0009 针对上述现有技术中的不足， 本发明提供一种基于Kettle的ETL Web应用系统架 构方法。 0010 为实现上述目的， 本发明提供一种基于Kettle的ETL Web应用系。

16、统架构方法， 包括 如下步骤： 0011 步骤1， 创建Kettle数据库和ETL Web工程数据库； 0012 步骤2， 初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据， 将初始 化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中； 0013 步骤3， 创建ETL Web工程， 在ETL Web工程中导入相关的Kettle依赖jar包， 基于初 始化后的ETL Web工程数据库完成Web工程的基础环境配置； 0014 步骤4， 基于Web工程的基础环境配置开发前台与后台； 0015 步骤5， 在后台中部署Kettle集群并开启Carte服务。 001。

17、6 作为上述技术方案的进一步改进， 步骤1中， 创建的数据库方案采用关系型数据库 的MySQL或Oracle。 0017 作为上述技术方案的进一步改进， 步骤2的具体过程为： 0018 步骤2.1， 将与数据库方案对应的JDBC驱动jar包拷贝到Kettle客户端的安装路径 下的lib文件夹下； 0019 步骤2.2， 采用Spoon模式启动Kettle客户端并新建数据库资源库， 在数据库资源 库新增界面中将创建的Kettle数据库作为其数据库资源库， 保存数据资源库的配置； 0020 步骤2.3， 初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数 据库中， 并将。

18、Kettle数据库中所有表和数据导出到脚本文件； 0021 步骤2.4， 初始化ETL Web工程数据库， 并将步骤2.3导出的脚本文件导入到该ETL Web工程数据库下， 使ETL Web工程数据库下包含Kettle所依赖的表和数据。 0022 作为上述技术方案的进一步改进， 步骤3中， 所述在ETL Web工程中导入相关的 Kettle依赖jar包， 基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置， 具体 为： 0023 在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、 kettle-engine两个jar包， 并将ETL。

19、 Web工程的数据源配置为步骤1中初始化后的ETL Web 工程数据库， 完成Web工程的基础环境配置。 0024 作为上述技术方案的进一步改进， 步骤4中， 所述前台包括前端部分与后端部分； 0025 所述前端部分由前端框架技术构建而成， 进而快速实现Kettle客户端对应于Web 应用中的ETL配置的界面效果， 同时完成同时完成ETL Web应用的相关管理界面开发； 0026 所述后端部分包括与前端部分关联的Controller层、 Service层和DAO层， 所述 Controller层、 Service层和DAO层由Spring Boot微服务框架来实现对外的服务提供。 0027 作。

20、为上述技术方案的进一步改进， 所述ETL配置包括数据转换配置、 多个转换或任 务组合起来的作业配置。 0028 作为上述技术方案的进一步改进， 所述ETL Web应用的相关管理界面包括全景视 图、 任务管理、 调度管理、 集群管理、 日志管理和系统管理。 0029 作为上述技术方案的进一步改进， 所述全景视图包括应用系统的转换统计、 任务 说明书 2/6 页 5 CN 110888636 A 5 统计、 作业统计， 为对应整个应用系统的一个宏观统计的监控视图； 0030 所述任务管理包括转换管理、 作业管理、 任务组管理和任务监控， 其中， 转换管理 包括对新增的转换进行查询、 修改、 删除、。

21、 分配任务组， 作业管理包括对新增的作业进行查 询、 修改、 删除、 分配任务组、 配置定时执行制度， 任务组管理包括对任务进行新增、 修改、 删 除， 任务监控包括查询用户组织权限下所有的监控任务信息， 所述监控任务信息包括任务 名、 任务节点、 任务类型、 运行状态； 0031 所述调度管理是对作业的定时任务管理， 包括对执行类型、 执行节点、 任务名的查 询， 和对定时任务的删除和修改； 0032 所述集群管理是指对Kettle集群的管理， 包括集群中节点运行状态的监控、 新增 和删除节点； 0033 所述日志管理是指任务的历史日志详情记录， 包含有任务名、 任务类型、 开始时 间、 结。

22、束时间、 执行方式、 状态、 参数信息和日志详情； 0034 所述系统管理包括用户查询、 新增、 修改、 变更用户组和用户组查询、 新增、 删除、 修改。 0035 作为上述技术方案的进一步改进， 步骤4中， 所述后台包括任务调度部分， 所述任 务调度部分包括定时任务调度和任务执行； 0036 所述定时任务调度采用Quartz框架或SpringSchedule框架实现， 通过解析前台保 存在数据中的每个任务的调度表达式， 完成对每个任务的定时调度； 0037 任务执行通过调用Carte提供的API来执行转换和作业。 0038 本发明提供的一种基于Kettle的ETL Web应用系统架构方法， 。

23、采用B/S(Browser/ Server， 浏览器/服务器模式)架构开发ETL Web应用的系统架构方案和步骤方法， 实现整个 企业的ETL工作只需要使用一套系统， 基于这套系统能够做到统一管理和监控所有的ETL任 务， 做到分角色管理， 从而降低企业的运营维护成本。 附图说明 0039 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图示出的结构获得其他的附图。 0040 图1为本发明。

24、实施例中基于Kettle的ETL Web应用系统架构的架构图； 0041 图2为本发明实施例中基于Kettle的ETL Web应用系统架构的架构流程示意图； 0042 图3是发明实施例中将初始化后的Kettle数据库中所有表和数据导入到ETL Web 工程数据库。 0043 本发明目的的实现、 功能特点及优点将结合实施例， 参照附图做进一步说明。 具体实施方式 0044 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明的一部分实施例， 而不是全部的实施例。 基 于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动。

25、前提下所获得的所有其 说明书 3/6 页 6 CN 110888636 A 6 他实施例， 都属于本发明保护的范围。 0045 需要说明， 本发明实施例中所有方向性指示(诸如上、 下、 左、 右、 前、 后)仅用 于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、 运动情况等， 如果该 特定姿态发生改变时， 则该方向性指示也相应地随之改变。 0046 另外， 在本发明中如涉及 “第一” 、“第二” 等的描述仅用于描述目的， 而不能理解为 指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。 由此， 限定有 “第一” 、 “第二” 的特征可以明示或者隐含地包括至少一个该特征。 。

26、在本发明的描述中，“多个” 的含 义是至少两个， 例如两个， 三个等， 除非另有明确具体的限定。 0047 在本发明中， 除非另有明确的规定和限定， 术语 “连接” 、“固定” 等应做广义理解， 例如，“固定” 可以是固定连接， 也可以是可拆卸连接， 或成一体； 可以是机械连接， 也可以是 电连接， 还可以是物理连接或无线通信连接； 可以是直接相连， 也可以通过中间媒介间接相 连， 可以是两个元件内部的连通或两个元件的相互作用关系， 除非另有明确的限定。 对于本 领域的普通技术人员而言， 可以根据具体情况理解上述术语在本发明中的具体含义。 0048 另外， 本发明各个实施例之间的技术方案可以相。

27、互结合， 但是必须是以本领域普 通技术人员能够实现为基础， 当技术方案的结合出现相互矛盾或无法实现时应当认为这种 技术方案的结合不存在， 也不在本发明要求的保护范围之内。 0049 如图1所示的一种基于Kettle的ETL Web应用系统架构， 由三大部分组成， 包括前 台、 后台和数据库存储部分。 前台作为最贴近用户使用的部分， 具备ETL配置、 任务管理、 调 度管理、 集群管理、 日志管理等功能， 其中， 后续二次开发新增的功能模板主要也是在前台 部分实现。 0050 其中， 前台在技术层面上包括分离的前台部分与后台部分。 前端主要是由HTML静 态页面、 CSS样式和JavaScrip。

28、t脚本构成； 后端主要是给前端提供请求响应的服务端， 根据 MVC分层理念， 将后端分为Controller层、 Service层和Dao层。 具体的， Controller层用于负 责具体的业务模块流程的控制， Service层用于负责业务模块的应用逻辑应用设计， Dao层 用于负责数据持久层的工作。 0051 后台部分作为ETL产品的真正执行单元， 负责ETL任务的调度和执行， Kettle的运 行模式有两种： Spoon模式和Carte模式， Spoon模式是一个IDE(Integrate Development Environment， 集成开发环境)， 用户需要启动Kettle客户端。

29、才能创建/编辑转换或作业， 启 动/终止转换或作业等功能； Carte是Kettle的一个轻量级的服务进程， 可以支持远程监控 任务， 而且可以部署到多台服务器上组成一个Carte集群， 从而为任务提供集群的能力， 因 此本实施例采用基于Kettle的Carte模式。 数据库存储部分作为ETL Web应用的存储单元， 负责存储前台的配置数据和元数据等， 为后台提供调度配置数据和任务配置数据等。 0052 对于Kettle客户端中组件的功能实现逻辑解释： Kettle客户端中每个组件都涉及 到四个类， 本实施例中以文本文件输入组件(TextFileInput)为例， 本文件输入组件涉及到 四个类。

30、具体为： kettle-enginejar包中TextFileInput步骤类、 TextFileInputData数据类、 TextFileInputMeta元数据类， 以及kettle-ui-swt jar包中TextFileInputDialog对话框 类。 其中TextFileInputDialog对话框类是实现Kettle客户端中文本文件输入组件使用时 弹出的对话框界面， 这个类的作用对应本发明Web应用前台的前端部分； TextFileInput步 骤类在文本输入组件步骤执行时的工具类； TextFileInputData数据类是在文本输入组件 说明书 4/6 页 7 CN 110。

31、888636 A 7 步骤执行时相关的数据类； TextFileInputMeta元数据类是存储前端页面中关于这个组件 的所有值， 是作为前台前端部分与后端部分端数据交互中关键类， 也是Web工程中需要对前 端部分传给后端部分的有关组件的值给这个类进行初始化工作。 0053 参考图2， 上述基于Kettle的ETL Web应用系统架构的实现过程具体包括如下步 骤： 步骤1， 创建Kettle数据库和ETL Web工程数据库， 其中， 创建的数据库方案可以采用关 系型数据库的MySQL或Oracle； 0054 步骤2， 初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据， 将。

32、初始 化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中； 0055 步骤3， 创建ETL Web工程， 在ETL Web工程中导入相关的Kettle依赖jar包， 基于初 始化后的ETL Web工程数据库完成Web工程的基础环境配置； 0056 步骤4， 基于Web工程的基础环境配置开发前台与后台； 0057 步骤5， 在后台中部署Kettle集群并开启Carte服务。 0058 参考图3， 步骤2的具体过程为： 0059 步骤2.1， 将与数据库方案对应的JDBC(Java Database Connectivity， Java数据 库连接)驱动jar(Java Arc。

33、hive， 一种软件包文件格式)包拷贝到Kettle客户端的安装路径 下的lib文件夹下； 0060 步骤2.2， 采用Spoon模式启动Kettle客户端并新建数据库资源库， 在数据库资源 库新增界面中将创建的Kettle数据库作为其数据库资源库， 保存数据资源库的配置； 0061 步骤2.3， 初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数 据库中， 并将Kettle数据库中所有表和数据导出到脚本文件； 0062 步骤2.4， 初始化ETL Web工程数据库， 并将步骤2.3导出的脚本文件导入到该ETL Web工程数据库下， 使ETL Web工程数据库下包含。

34、Kettle所依赖的表和数据。 0063 在步骤3中， 所述在ETL Web工程中导入相关的Kettle依赖jar包， 基于初始化后的 ETL Web工程数据库完成Web工程的基础环境配置， 具体为： 0064 在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、 kettle-engine两个jar包， 并将ETL Web工程的数据源配置为步骤1中初始化后的ETL Web 工程数据库， 完成Web工程的基础环境配置。 在步骤4中， 前台包括前端部分与后端部分前端 部分由目前成熟的前端框架技术构建而成， 比如React、 Vue、 Angular、 。

35、Bootstrap等构建Web 前端工程， 进而快速实现Kettle客户端对应于Web应用中的ETL配置的界面效果， 同时完成 同时完成ETL Web应用的相关管理界面开发； 0065 后端部分包括与前端部分关联的Controller层、 Service层和DAO层， 所述 Controller层、 Service层和DAO层由Spring Boot微服务框架来实现对外的服务提供。 其中 DAO层作为数据持久化层， 可以采用Mybatis或Hibernate持久化框架。 ETL Web应用中的ETL 配置功能部分作为与Kettle底层关系最紧密的一部分， 后端需要将前端各组件中用户配置 的所有。

36、值保存到各组件相应的meta类中。 0066 其中， ETL配置包括数据转换配置、 多个转换或任务组合起来的作业配置； 0067 ETL Web应用的相关管理界面包括全景视图、 任务管理、 调度管理、 集群管理、 日志 管理和系统管理。 0068 具体的， 全景视图包括应用系统的转换统计、 任务统计、 作业统计， 为对应整个应 说明书 5/6 页 8 CN 110888636 A 8 用系统的一个宏观统计的监控视图； 0069 任务管理包括转换管理、 作业管理、 任务组管理和任务监控， 其中， 转换管理包括 对新增的转换进行查询、 修改、 删除、 分配任务组， 作业管理包括对新增的作业进行查询。

37、、 修 改、 删除、 分配任务组、 配置定时执行制度， 任务组管理包括对任务进行新增、 修改、 删除， 任 务监控包括查询用户组织权限下所有的监控任务信息， 所述监控任务信息包括任务名、 任 务节点、 任务类型、 运行状态； 0070 调度管理是对作业的定时任务管理， 包括对执行类型、 执行节点、 任务名的查询， 和对定时任务的删除和修改； 0071 集群管理是指对Kettle集群的管理， 包括集群中节点运行状态的监控、 新增和删 除节点； 0072 日志管理是指任务的历史日志详情记录， 包含有任务名、 任务类型、 开始时间、 结 束时间、 执行方式、 状态、 参数信息和日志详情； 0073 。

38、系统管理包括用户查询、 新增、 修改、 变更用户组和用户组查询、 新增、 删除、 修改。 0074 在步骤4中， 后台包括任务调度部分， 任务调度部分包括定时任务调度和任务执 行。 定时任务调度采用Quartz框架或Spring Schedule框架实现， 通过解析前台保存在数据 中的每个任务的调度表达式， 完成对每个任务的定时调度； 任务执行通过调用Carte提供的 API(Application Programming Interface， 应用程序编程接口)来执行转换和作业。 0075 在步骤5中， 由于Kettle支持一主多从架构， 因此可以在多台服务器上部署 Kettle， 从而形成。

39、分布式集群， 使系统具备高可用、 高性能。 由于ETL Web应用中创建的转换 和作业， 真正的执行是Kettle的底层Carte， 通过carte.sh脚本分别在master节点、 slave节 点上启动carte服务， 实现调用Carte提供的API来执行转换和作业。 0076 以上所述仅为本发明的优选实施例， 并非因此限制本发明的专利范围， 凡是在本 发明的发明构思下， 利用本发明说明书及附图内容所作的等效结构变换， 或直接/间接运用 在其他相关的技术领域均包括在本发明的专利保护范围内。 说明书 6/6 页 9 CN 110888636 A 9 图1 图2 说明书附图 1/2 页 10 CN 110888636 A 10 图3 说明书附图 2/2 页 11 CN 110888636 A 11 。