ITPub博客

首页 > 大数据 > 数据挖掘 > KETTLE安装部署及实例演示

KETTLE安装部署及实例演示

原创 数据挖掘 作者:OGG-01161 时间:2015-09-24 16:39:47 0 删除 编辑


                        KETTLE安装部署及实例演示
                    下载2.zip

 

 

 

 一 Kettle配置转换

 

1 新建转换

 文件-新建转换,保持并命名

 

 

 

 

2. 配置数据库连接

 

点击DB连接右击,新建数据库连接向导,数据库连接类型选择oracle,数据库访问类型选择JDBC,点击下一步

 

 

 

设置JDBC

 

 

 

指定oracle设置,表空间可以不填

 

 

设置用户名称和密码

 

 

 

测试连接

 

 

 

 

3 同样方法再新建一个ORACLE连接

 

 

4 配置输入和输出

 

 点击输入,把表输入拖到右边工作窗口

 

 

点击输出,把插入和更新拖到右边工作窗口

 

 

配置表连接

 

 

 

双击表输入,配置表输入,步骤名称填自定义名称,数据库连接选择刚才选的连接

 

 

 

点击获取SQL查询语句

 

 

 

 

双击插入|更新

 

 

 

配置步骤名称和数据库连接、目标模式、目标表

 

 

在用来查询的关键字选择字段

 

 

 

 

5 校验转换

 

 

  点击校验这个转换图标

 

 

 

6 运行转换

 

 点击运行转换图标, 运行转换

 

 

 

 

7 检查TEST_KETTLE2表

 

 

 

 

 

 

 

 

 

二 KETTLE配置作业

 

 

1 新建作业项目

 

点击新建-》作业 并保持命名

 

 

 

 

2 创建作业

 

 

 点击通用,把START和转换拖到工作窗口,点击脚步,把SQL拖到工作区

 

 

 

 

建立三者之间连接

 

 

 

 

 

3 新建两个数据库连接

 

 

 

 

 

 

 

4 配置作业

 

  双击start图标,配置作业定时调度

 

 

     双击SQL图标,配置SQL

 

 

 

双击转换图标,配置转换,使用之前配置好的转换

 

 

 

 

5 运行作业

 

  点击运行,选择日志级别,执行

 

 

 

 

 

 

 

 

6 作业运行结果

 

  需要等待2分钟后运行

 

 

 

 

 

 

三 通过windows定时任务运行自动作业

 

 

1修改作业定时调度

 

 

 

2 脚本

 

新建文件Job1.bat

 

kitchen.bat /norep -file="G:\soft\pdi-ce-5.4.0.1-130\spoon-test\job-test1.kjb">G:\soft\pdi-ce-5.4.0.1-130\spoon-test\trans.log

 

 

四 linux通过crontab实现定时任务

 

 

1 脚本

 

more test_kettle.sh

 

ROOT_TOPDIR=/u02/soft/script/log

export ROOT_TOPDIR   

date >> $ROOT_TOPDIR/log01  

echo "-------------------------------------------------------" >> $ROOT_TOPDIR/log01

export JAVA_HOME=/usr/java/jdk1.8.0_60

export JAVA_BIN=/usr/java/jdk1.8.0_60/bin

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

/u02/soft/data-integration/kitchen.sh  -file=/u02/soft/spoon1/test-job1.kjb  >> $ROOT_TOPDIR/log01 

echo "-------------------------------------------------------" >> $ROOT_TOPDIR/log01

 

 

 

2 定时任务

###每两分钟执行一次########

*/2  * * * * /u02/soft/script/test_kettle.sh   

 

 

 

 

 

 

 

 

 

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/27571661/viewspace-1808345/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-08-11

  • 博文量
    55
  • 访问量
    157579