码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • kettle在linux上的运行方法


    文章目录

    • 一、kettle安装部署
    • 二、配置kettle任务
      • 1、本机打开kettle :
      • 2.配置转换任务 :
      • 3.配置作业 :
      • 4.本地测试 :
      • 5.linux中执行作业(kjb)的命令
        • linux中执行转换(ktr)的命令
      • 6.定时任务编辑shell脚本编辑
      • 7.设置定时
    • 总结


    一、kettle安装部署

    Kettle安装部署

    二、配置kettle任务

    1、本机打开kettle :

    建立数据库连接, 填写需要连接的数据库地址、端口、账号还有密码,点击测试连接,成功如下图:
    链接数据库成功

    2.配置转换任务 :

    在表输入和表输出中配置基本信息:
    转换

    3.配置作业 :

    在转换过程中添加刚才的任务,transformation中如果是绝对路径,替换成如下地址>(${Internal.Entry.Current.Directory},转换和作业放在同一目录下)
    创建作业

    4.本地测试 :

    抽取数据是否成功,成功后将保存的转换和作业放在linux服务器上

    5.linux中执行作业(kjb)的命令

    kitchen.sh -file=/data/kettle/data-integration/test.kjb
    
    • 1

    linux中执行转换(ktr)的命令

    /pan.sh -file=/usr/local/kettle/bjyd/t_sdrs_xsjbxx.ktr -norep
    
    • 1
    命令描述
    -filejob或trans文件路径
    -norep标明不是资源库里的文件
    -param参数设置
    -logfilelog输出文件名
    -levellog级别 (Basic, Detailed, Debug, Rowlevel, Error, Nothing)

    6.定时任务编辑shell脚本编辑

    #!/bin/sh
    JAVA_HOME=/data/jdk1.8.0_281
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
    #createDate=`date +"%Y%m%d%H%M%S"`
    createDate=`date +"%Y%m%d"`
    cd /data/data-integration;./kitchen.sh -file=/data/kettle-sh-day/wlhy/kjb/prod/wlhy-job-driver.kjb >> /data/kettle-sh-day/wlhy/logs/$createDate-wlhy-job-driver.log &
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    7.设置定时

    crontab -e
    每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh


    总结

    如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波,非常感谢大家!
    如果有不对的地方请指正!!!

    参考1
    参考2

  • 相关阅读:
    博士也会毕业吗?
    【附源码】Python计算机毕业设计面向新疆人文旅游的自动问答系统
    擎创技术流 | ckman教程(3)CKman源码分析部署集群的主要步骤
    PMP_第4章章节试题
    【附源码】Python计算机毕业设计木棉堂水果电商平台
    静态代理和动态代理
    【Qt】Linux代码中调用shell命令
    高性能零售IT系统的建设06-当应对大量HTTP请求时兼顾性能、处理速度的架构设计
    1458_树莓派安装使用aria2
    监控指定任务,结束钉钉通知
  • 原文地址:https://blog.csdn.net/weixin_42326851/article/details/127810698
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号