Canal—增量同步数据组件

什么是canal

介绍

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
Canal是基于Mysql二进制的高性能数据同步系统,Canal在阿里巴巴集团中被广泛使用,以提供可靠的低延迟增量数据管道（白话文:其实就是根据mysql的biglog日志,进行增量同步数据）

背景

早期，阿里巴巴B2B公司需要在美国和中国杭州之间同步服务器的数据。先前的数据库同步机制是基于trigger以获得增量更新的。从2010年开始，阿里巴巴集团开始使用数据集二进制日志获取增量更新并跨服务器同步数据，这催生了我们的增量订阅和使用服务（现已在阿里云中提供）并开始了一个新时代。

工作原理

mysql主从同步原理

canal 工作原理

canal 就像是一名"间谍"，它伪装成了一个从机(slave)，从主机(master)中骗取数据。拿到数据之后，再对数据进行解析，比如·只要新增的数据或者删除或修改的数据，并将数据重新进行包装，将数据重新写入到第三方服务中（mysql、Kafka、es等）。

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

canal架构

使用场景

缓存更新看这篇文章 http://kaito-kidd.com/2021/09/08/how-to-keep-cache-and-consistency-of-db/

拓展阅读

https://cloud.tencent.com/developer/article/1658839
http://www.tianshouzhi.com/api/tutorials/canal/380