• 使用Kettle定时从数据库A刷新数据到数据库B


    一、需求背景

    由于项目场景原因,需要将A库(MySQL)中的表a、表b、表c中的数据定时T+1 增量的同步到B库(MySQL)。这里说明一下,不是数据库的主从备份,就是普通的数据同步。经过技术调研,发现Kettle挺合适的,原因如下:

    1. Kettle (数据抽取、清洗、转换、装载)是由java 编写,可以在 Window、Linux、Unix 上运行。支持多数据源, 多种中间件的专业ETL 工具;
    2. 可视化界面支持图形化GUI设计界面,组件多样性,支持组件拖拉拽,不用写额外的代码;
    3. Kettle的流程图本质上都是配置文件,如.ktr/.kjb文件。这种设计的好处就是,当我们把转换流程图画完之后,可以直接复制到另外一个环境中运行,如:在Windows电脑上画好流程图,复制到Liunx系统上运行
    4. 免费、组件多、支持开源,一般处理T+1的数据同步是没有问题的。如果并发高、实时性高、数据量大就建议使用Flink了。

    二、使用方式

    1. 安装包下载

    官网地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/

    2. 启动方式

    Windows点击Spoon.bat启动

    出现以下图片表示正在启动,如果一直没有反应,使用管理员身份运行

    主界面如下:

    三、连接MySQL数据库

    1. 准备MySQL连接驱动jar包

    由于Kettle自身是不带任何数据库驱动包的,所以这里我们需要先自己准备好驱动包,版本最好选择5.1.49。下载好jar包后,拷贝到lib目录下(Windows和Linux同理)。如果已经启动了Kettle,则需要关掉重新启动,否则驱动包不会被加载。

    2. 创建数据源

    依次点击:转换——>主对象树——>DB连接——>点击新建——>测试

    同上操作,创建好两个数据源:源数据库、目标库;目标就是将源数据库中的表数据同步到目标库中去

    3. 配置转换流程

    ① 加入输入节点:转换——>输入——>表输入

    ② 双击输入节点打开配置页,输入一下信息

    这里因为我是定时T+1 增量同步数据,所以我加了个同步条件WHERE gmt_create >= CURDATE()表示该数据创建时间大于当天才会进行查询。

    点击预览,正好有一条数据

    ③加入转换节点:转换——>插入/更新——>按住shift建立连接

    ④ 双击插入/更新节点,打开配置页

    ⑤ 点击运行测试

    四、复制ktr文件到Liunx上定时运行

    在Linux上,ktr文件使用Kettle的pan.sh脚本运行,命令大致如下:sh /home/admin/kettle/data-integration/pan.sh -file=/home/admin/kettle/ktr/table_transfer.ktr -norep。同时为了实现定时执行这个脚本,我打算用Linux自带的corntab功能设置定时。

    首先我编写了一个shell脚本,命名为cornSql.sh,用于保存ktr的执行命令,内容如下:

    #!/bin/bash 
    export KETTLE_HOME=/home/admin/kettle/data-integration
    export JAVA_HOME=/usr/java/jdk1.8.0_131
    export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
    export PATH=$PATH:${JAVA_HOME}/bin:${KETTLE_HOME}
    export JRE_HOME=${JAVA_HOME}/jre
    
    TIME=$(date "+%Y%m%d")
    sh /home/admin/kettle/data-integration/pan.sh -file=/home/admin/kettle/ktr/table_transfer.ktr -norep >>/home/admin/kettle/log/transfer-"$TIME".log
    
    

    其次,将ktr脚本拷贝到指定目录下,也就是/home/admin/kettle/ktr目录下,输入 crontab -e,再输入0 1 * * * /home/admin/kettle/cornSql.sh,这句话的意思是每天凌晨1点定时执行cornSql.sh脚本
    为了检查定时配置是否生效,这里可以使用 crontab -l -u root命令,如果刚才的定时指令有打印出来,则证明配置生效。

    最后,第二天检查一下执行日志文件有没有生成,在/home/admin/kettle/log目录下,这里我把每天执行的日期打印出来了,如下图:

    作者:不若为止
    欢迎任何形式的转载,但请务必注明出处。
    限于本人水平,如果文章和代码有表述不当之处,还请不吝赐教。

  • 相关阅读:
    【玩转CSS】一文带你了解浮动
    【c++】四种类型转换的用法
    Jmeter性能测试(P1)
    移动应用性能工具探索之路
    基于PHP+MySQL米步童鞋商城网站的设计与实现
    ZenCart 如何设置多个地区多个运费
    【JavaScript】-- 继承
    计算机网络 | 第一章 认识计算机网络 | 王道考研笔记自用
    C++学习 --list
    Ps:选择主体
  • 原文地址:https://www.cnblogs.com/wlovet/p/17514420.html