码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • kettle在linux上的运行方法


    文章目录

    • 一、kettle安装部署
    • 二、配置kettle任务
      • 1、本机打开kettle :
      • 2.配置转换任务 :
      • 3.配置作业 :
      • 4.本地测试 :
      • 5.linux中执行作业(kjb)的命令
        • linux中执行转换(ktr)的命令
      • 6.定时任务编辑shell脚本编辑
      • 7.设置定时
    • 总结


    一、kettle安装部署

    Kettle安装部署

    二、配置kettle任务

    1、本机打开kettle :

    建立数据库连接, 填写需要连接的数据库地址、端口、账号还有密码,点击测试连接,成功如下图:
    链接数据库成功

    2.配置转换任务 :

    在表输入和表输出中配置基本信息:
    转换

    3.配置作业 :

    在转换过程中添加刚才的任务,transformation中如果是绝对路径,替换成如下地址>(${Internal.Entry.Current.Directory},转换和作业放在同一目录下)
    创建作业

    4.本地测试 :

    抽取数据是否成功,成功后将保存的转换和作业放在linux服务器上

    5.linux中执行作业(kjb)的命令

    kitchen.sh -file=/data/kettle/data-integration/test.kjb
    
    • 1

    linux中执行转换(ktr)的命令

    /pan.sh -file=/usr/local/kettle/bjyd/t_sdrs_xsjbxx.ktr -norep
    
    • 1
    命令描述
    -filejob或trans文件路径
    -norep标明不是资源库里的文件
    -param参数设置
    -logfilelog输出文件名
    -levellog级别 (Basic, Detailed, Debug, Rowlevel, Error, Nothing)

    6.定时任务编辑shell脚本编辑

    #!/bin/sh
    JAVA_HOME=/data/jdk1.8.0_281
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
    #createDate=`date +"%Y%m%d%H%M%S"`
    createDate=`date +"%Y%m%d"`
    cd /data/data-integration;./kitchen.sh -file=/data/kettle-sh-day/wlhy/kjb/prod/wlhy-job-driver.kjb >> /data/kettle-sh-day/wlhy/logs/$createDate-wlhy-job-driver.log &
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    7.设置定时

    crontab -e
    每天3点执行 00 03 * * * /data/kettle/data-integration/testfile.sh


    总结

    如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波,非常感谢大家!
    如果有不对的地方请指正!!!

    参考1
    参考2

  • 相关阅读:
    百度文心一言API调用,千帆大模型获取API Key和API Secret图解
    latex bib title变小写了怎么办
    【MHA】MySQL高可用MHA介绍4-故障监控与切换具体流程
    Oracle 联机日志文件及归档文件
    javascript数据类型
    【Java】static关键字,内部类
    asp.net健身会所管理系统sqlserver
    IDEA 将一个普通Java工程转化为maven工程
    设计模式:代理模式
    mysql学习笔记--单张表上的增删改查
  • 原文地址:https://blog.csdn.net/weixin_42326851/article/details/127810698
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号