kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql，轻松实现实时增量同步

合集 - kettle(17)

1.kettle从入门到精通 第五十一课 ETL之kettle Avro input04-052.kettle从入门到精通 第五十二课 ETL之kettle Avro output04-143.kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ producer 实战04-214.kettle从入门到精通 第五十三课 ETL之kettle MQTT/RabbitMQ consumer实战04-215.Kettle调优教程（推荐收藏）06-046.kettle从入门到精通 第五十五课 ETL之kettle Excel输入05-057.kettle从入门到精通 第五十六课 ETL之kettle Microsoft Excel Output05-058.kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程05-109.kettle从入门到精通 第五十九课 ETL之kettle 邮件发送多个附件，使用正则轻松解决05-1210.kettle从入门到精通 第六十课 ETL之kettle for循环处理每条数据，so easy！05-1511.kettle从入门到精通 第六十三课 ETL之kettle kettle调用python脚本的两种方法05-2512.kettle从入门到精通 第六十四课 ETL之kettle kettle中执行SQL脚本步骤，使用需当心06-0313.kettle从入门到精通 第六十五课 ETL之kettle 执行动态SQL语句，轻松实现全量&增量数据同步06-0414.kettle从入门到精通 第六十六课 ETL之kettle kettle阻塞教程，轻松获取最后一行数据，so easy06-0815.kettle从入门到精通 第六十七课 ETL之kettle 再谈kettle阻塞，阻塞多个分支的多个步骤06-1016.kettle从入门到精通 第六十八课 ETL之kettle kettle随机数生成的一些方案06-12

17.kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql，轻松实现实时增量同步06-14

收起

 1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。

　注：CDC (Change Data Capture) 是一种技术，用于捕获和同步数据库中的更改。

1）Debezium步骤解析mysql binlog日志。

2）json input步骤解析json字符串。

3）switch-case 根据op字段进行路由。

4）create、delete、update、ddl是写日志步骤，模拟后续操作。

2、Debezium步骤配置如下（只输出dml），更多属性配置参考Debezium官网。如下图所示：

 3、switch-case配置如下，不做过多介绍。

 4、binlog解析之后的dml语句对应的json字符串结构

CREATE

{
    "ts_ms": 1718273338000,
    "db": "test",
    "table": "t1",
    "op": "CREATE",
    "after": "{\"id\":6,\"name\":\"金刚葫芦娃\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

UPDATE

{
    "ts_ms": 1718273345000,
    "db": "test",
    "table": "t1",
    "op": "UPDATE",
    "before": "{\"id\":6,\"name\":\"金刚葫芦娃\",\"createtime\":1718297698000}",
    "after": "{\"id\":6,\"name\":\"金刚葫芦娃plus\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

DELETE

{
    "ts_ms": 1718273369000,
    "db": "test",
    "table": "t1",
    "op": "DELETE",
    "before": "{\"id\":6,\"name\":\"金刚葫芦娃plus\",\"createtime\":1718297698000}",
    "pk": "{\"id\":6}"
}

 

5、Debezium步骤配置中设置ddl为true（输出dml和ddl），更多属性配置参考Debezium官网。如下图所示：

 6、binlog解析之后的ddl语句对应的json字符串结构

 

DROP TABLE

{
    "ts_ms": 1718274150072,
    "db": "test",
    "table": "t3",
    "op": "ddl",
    "sql": "DROP TABLE `test`.`t3`"
}

CREATE TABLE

{
    "ts_ms": 1718274165789,
    "db": "test",
    "table": "t3",
    "op": "ddl",
    "ddl_type": "CREATE",
    "sql": "CREATE TABLE `t3` (\n `id` bigint NOT NULL AUTO_INCREMENT,\n `name` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,\n `createtime` datetime DEFAULT NULL,\n PRIMARY KEY (`id`)\n ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci"
}