linux环境下kettle部署（JDK安装配置，kettle安装配置，资源库配置，定时执行job）

一.部署准备

java安装

1.1解压压缩包

1.2 JDK配置

1. 命令行键入“cd /etc”进入etc目录

2. 命令行键入“vi profile”打开profile文件

3. 敲击键盘ctrl+F到文件末尾

4. 在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件

export JAVA_HOME=/usr/java/jre1.6.0_45

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5. 键盘敲击exc，命令行键入“:wq”，保存文件；

JDK配置成功：

1. 命令：java -version.出现版本信息

2. 命令：echo ${JAVA_HOME}出现配置路径

Ketttle 文件基本上没有window 和linux版 底层都java基本上都能用

安装步骤 ;(前提是已经安装jdk 我这里选择jdk1.8)

1. 上传文件

任选一版本 看情况 我一般选择高级版本

2. 解压

// 解压zip文件

Unzip pdi-ce-82.200-343.zip

// 安装zip 压缩和解压命令 yum install -y unzip zip

3. 设置启动执行文件test.sh

创建文件 touch test.sh

删除文件 rmdir -f 文件名

创建文件 mkdir 文件名

配置test.sh文件内容: 这是Job的启动环境和 Job的路径

export JAVA_HOME=/usr/java/jdk1.8.0_144

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

/usr/kettle/data-integration/kitchen.sh -file=/usr/kettle/test_job/test.kjb

Vi test.sh 编辑 :wq 保存退出 :q! 不保存退出

设置文件权限 chmod +x test.sh

查看是否权限设置成功 ll test.sh

证明设置成功

或者直接通过chmod +x *.sh赋予.sh文件执行权限.

执行./kitchen.sh 没有报就证明安装成功

上传Job文件

注意上传路径 是最好在本地检查好路径

Windows路径与linux 路径不一样

执行Job命令命令./代表当前路径下

./test.sh

启动成功

执行成功

错误解决方案

启动失败

1.缺少Java环境

如果报错如下，则说明没有Java的环境，需要安装后kettle才能正常启动。

2. 缺包libwebkitgtk

报错信息-----

警告：未检测到libwebkitgtk-1.0，某些功能将不可用

考虑使用apt get或yum安装包。

e、 g.'sudo apt get安装libwebkitgtk-1.0-0

WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable

Consider installing the package with apt-get or yum.

e.g. 'sudo apt-get install libwebkitgtk-1.0-0

解决办法

// 第一步

wget

//第二步

yum install webkitgtk-2.4.9-1.el7.x86_64.rpm

离线解决方案安装步骤:

或者直接通过chmod +x *.sh赋予.sh文件执行权限.

如果报错

安装离线包命令 yum install webkitgtk-2.4.9-1.el7.x86_64.rpm

输入y 再按回车键

安装完成

此时再输入命令 ./kitchen.sh 就不会报错了

离线安装缺失依赖包 后面叙述后讲解

libwebkitgtk离线方案

据官方介绍，这一报错的解决办法为：

但是在我部署的集群为centos7.2最小安装包，通过

发现没有可用的软件包。解决方法

Kette连接包

选择合适的版本

上传到服务器 用

yum install libwebkitgtk-1_0-0-2.4.10-7.2.x86_64.rpm 进行安装

所有rpm包的下载地址：libwebkitgtk下载

这里是需要付费

安装ketele 成功后 即可执行./test.sh执行Job文件

crontab定时文件设置

Linux 设置定时任务crontab命令

一、crontab命令概念

　　crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。

cron 系统调度进程。 可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。cron是系统主要的调度进程，可以在无需人工干预的情况下运行作业。

　　crontab命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个crontab文件来保存调度信息。系统管理员可以通过cron.deny 和 cron.allow 这两个文件来禁止或允许用户拥有自己的crontab文件。

二、检查是否安装了crontab

rpm -qa | grep crontab

三、crontab服务启动与关闭

四、全局配置文件

crontab在/etc目录下面存在cron.hourly,cron.daily,cron.weekly,cron.monthly,cron.d五个目录和crontab,cron.deny二个文件

cron.daily是每天执行一次的job

cron.weekly是每个星期执行一次的job

cron.monthly是每月执行一次的job

cron.hourly是每个小时执行一次的job

cron.d是系统自动定期需要做的任务

crontab是设定定时任务执行文件

cron.deny文件就是用于控制不让哪些用户使用Crontab的功能

五、用户配置文件

　　每个用户都有自己的cron配置文件,通过crontab -e 就可以编辑,一般情况下我们编辑好用户的cron配置文件保存退出后,系统会自动就存放于/var/spool/cron/目录中,文件以用户名命名.linux的cron服务是每隔一分钟去读取一次/var/spool/cron,/etc/crontab,/etc/cron.d下面所有的内容.

六.crontab文件格式

* * * * * command

minute hour day month week command

分 时 天 月 星期 命令

minute： 表示分钟，可以是从0到59之间的任何整数。

hour：表示小时，可以是从0到23之间的任何整数。

day：表示日期，可以是从1到31之间的任何整数。

month：表示月份，可以是从1到12之间的任何整数。

week：表示星期几，可以是从0到7之间的任何整数，这里的0或7代表星期日。

command：要执行的命令，可以是系统命令，也可以是自己编写的脚本文件

七、特殊字符

星号（*）：代表所有可能的值，例如month字段如果是星号，则表示在满足其它字段的制约条件后每月都执行该命令操作。

逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，“1,2,5,7,8,9”。

中杠（-）：可以用整数之间的中杠表示一个整数范围，例如“2-6”表示“2,3,4,5,6”。

正斜线（/）：可以用正斜线指定时间的间隔频率，例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用，例如*/10，如果用在minute字段，表示每十分钟执行一次。

八、查询当前用户定时任务或删除当前用户定时任务

Crontab -l 查看定时任务

Crontab -r 上传定时任务

Crontab -e 设置定时任务

九、测试

在home目录下编写一个test.sh脚本，脚本功能是把/home下ifcfg-eth0这个文本复制到/mnt目录下。

运行crontab –e 编写一条定时任务 */5 * * * * /home/test.sh 在每5分钟执行一次test.sh脚本。

十、其它

设置crond开机自动启动。

实例

crontab还可以支持系统重启自动执行任务 @reboot /home/test.sh