Kettle调度监控平台完整安装与使用指南

Kettle调度监控平台完整安装与使用指南

【免费下载链接】kettle-scheduler一款简单易用的Kettle调度监控平台，专门用来调度和监控由kettle客户端创建的job和transformation。整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。项目地址: https://gitcode.com/gh_mirrors/ke/kettle-scheduler

项目概述

Kettle调度监控平台是一款基于Java开发的Web应用程序，专门用于调度和监控由Kettle客户端创建的作业和转换任务。该项目采用Spring + Spring MVC + BeetlSQL框架整合而成，通过调用Kettle的API来执行转换和作业，并使用Quartz框架完成调度工作。

此版本基于Kettle 8.0.0.0-28版本的API开发，目前可以基本支持所有的组件，包括大数据组件（HBase、Hive、HDFS等）。

环境要求

基础环境配置

• 操作系统：Windows或Linux
• Java环境：JDK 1.8
• 数据库：MySQL
• Web服务器：Tomcat
• Kettle版本：8.0

软件预装清单

• JDK 1.8安装配置
• MySQL数据库服务
• Tomcat服务器
• Kettle 8.0客户端

安装部署步骤

1. 数据库初始化

首先创建数据库并导入初始化脚本：

-- 执行项目中的SQL脚本 source kettle-scheduler.sql

2. 项目编译打包

使用Maven进行项目编译和打包：

mvn clean package -DskipTests

编译完成后会在target目录生成war包，将其解压到Tomcat的webapps目录下。

3. 核心配置文件设置

数据库连接配置

编辑WEB-INF/classes/resource/db.properties文件：

jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false jdbc.username=root jdbc.password=123456

Kettle环境配置

编辑WEB-INF/classes/resource/kettle.properties文件：

kettle.home=WEB-INF\\lib kettle.plugin=E:\\zhaxiaodong\\plugins kettle.loglevel=detail kettle.log.file.path=D:\\data-integration\\logs

4. 环境文件配置

将Kettle 8.0安装目录下的simple-jndi和system文件夹拷贝到Tomcat的bin目录下。

5. Tomcat服务器配置

修改Tomcat的server.xml文件，配置应用上下文：

<Context path="/km" docBase="/km" reloadable="true" debug="0" privileged="true"> </Context>

6. 启动应用服务

启动Tomcat服务器：

# Windows系统 apache-tomcat-9.0.12\bin\startup.bat # Linux系统 apache-tomcat-9.0.12\bin\startup.sh

访问地址：http://localhost:8080/km

系统功能模块详解

用户登录系统

系统默认提供管理员账号进行登录：

• 用户名：admin
• 密码：admin

首页监控中心

首页主要显示系统的监控信息概览，包括：

• 总监控任务数
• 监控作业数
• 监控转换数
• 最近转换监控记录（显示5条）
• 最近作业监控记录（显示5条）
• 7天内作业和转换的监控状况统计

资源库管理模块

管理Kettle数据库资源库的信息，支持以下操作：

• 新增数据库资源库
• 修改资源库配置信息
• 删除资源库

任务管理 - 作业管理

管理作业定时任务，提供完整的作业管理功能：

• 新增作业定时任务
• 修改作业配置
• 删除作业任务
• 启动作业运行

任务管理 - 转换管理

管理转换定时任务，包括：

• 新增转换定时任务
• 修改转换配置
• 删除转换任务
• 启动转换运行

任务管理 - 执行策略

管理系统执行策略，支持：

• 新增执行策略
• 修改策略配置
• 删除执行策略

监控管理 - 作业监控

对处于运行状态的作业进行系统监控，显示以下信息：

• 总作业任务数
• 总执行成功次数
• 总执行失败次数
• 每个作业的成功次数和失败次数统计

在详情页面可以查看每次执行的日志及执行时间，日志支持下载功能。

监控管理 - 转换监控

对处于运行状态的转换进行系统监控，包括：

• 总转换任务数
• 总执行成功次数
• 总执行失败次数
• 每个转换的成功次数和失败次数

详情页面提供执行日志查看和下载功能。

用户管理模块

此功能模块只有admin用户登录时才会显示，管理员可以进行以下操作：

• 新增系统用户
• 编辑用户信息
• 删除用户账号

常见问题解决方案

1. 文件不存在错误

问题描述：java.io.FileNotFoundException: Source './system/karaf' does not exist

解决方法：将Kettle安装目录下的system文件夹拷贝到Tomcat的bin目录下。

2. 数据库驱动问题

问题描述：缺少数据库驱动或驱动版本不兼容

解决方法：将对应版本的数据库JDBC驱动jar包放到data-integration目录下的lib文件夹中。

3. 资源库连接失败

问题描述：无法连接到Kettle资源库

解决方法：使用Kettle客户端先行创建资源库。

4. Oracle数据库支持

问题描述：需要支持Oracle数据库

解决方法：项目已在最新代码中实现Oracle数据库支持。

项目源码获取

项目源码可以通过以下地址获取：

git clone https://gitcode.com/gh_mirrors/ke/kettle-scheduler

系统架构特点

• 前端界面：基于Bootstrap的响应式设计
• 后端框架：Spring + Spring MVC整合
• 数据持久层：BeetlSQL框架
• 调度引擎：Quartz调度框架
• Kettle集成：基于Kettle 8.0 API开发

使用注意事项

1. 确保Kettle环境变量配置正确
2. 数据库连接参数需要根据实际环境进行修改
3. 日志文件路径需要确保有写入权限
4. 插件目录需要包含所需的Kettle插件

维护与技术支持

项目采用开源模式进行维护，欢迎开发者共同参与项目改进和完善。在使用过程中遇到问题，可以通过项目文档和社区交流获取帮助。

通过以上完整的安装配置和使用说明，用户可以快速掌握Kettle调度监控平台的部署和使用方法，实现对Kettle作业和转换任务的高效调度和监控管理。

【免费下载链接】kettle-scheduler一款简单易用的Kettle调度监控平台，专门用来调度和监控由kettle客户端创建的job和transformation。整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。项目地址: https://gitcode.com/gh_mirrors/ke/kettle-scheduler