Canal

        canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

1.canal 工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

2.安装/配置MySQL

1.安装mysql

        已安装略过此步骤，未安装，可以参考linux 安装MySQL-CSDN博客进行安装。

2.开启binlog日志

vi /etc/my.cnf

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 行 模式
#binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置
则表示所有数据库均开启 Binlog
#binlog-do-db=demo
#binlog-do-db=dmp

注意：需要重启MySQL实例使配置生效，执行命令：sudo systemctl restart mysqld

3.新建canal账号并授权

create user canal@'%' identified with mysql_native_password by 'wsx-123';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

4.查看binlog日志

1)查看binlog模式：show variables like '%binlog_format%';
 
2)查看binlog日志文件列表：show binary logs;

3)查看当前正在写入的binlog文件： show master status;

 3.安装Canal

3.1下载 canal

wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.adapter-1.1.6.tar.gz

3.2 解压canal

mkdir ~/opt/canal

tar -zxf canal.deployer-1.1.6.tar.gz  -C ~/opt/canal

3.3  修改canal 的基本通用配置

vi conf/canal.properties

#canal常用端口
canal.admin.port = 11110
canal.port = 11111
canal.metrics.pull.port = 11112

# 输出 model，默认 tcp，改为输出到: kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp

# 指定实例,多个实例使用逗号分隔: canal.destinations = example1,example2
#如果需要多个实例处理不同的MySQL数据的话，直接拷贝出多个conf/example，并对其重新命名，命名和配置文件中指定的名称一致即可
canal.destinations = example

3.4 修改canal 实例配置

vi conf/example/instance.properties

## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# mysql数据库地址:ip+端口
canal.instance.master.address=127.0.0.1:3306 
 
# mysql数据库用户名和密码 
canal.instance.dbUsername=canal 
canal.instance.dbPassword=wsx-123

#代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
canal.instance.connectionCharset = UTF-8
 
# 指定库和表，这里的 .* 表示 canal.instance.master.address 下面的所有数据库
canal.instance.filter.regex=.*\\..*

#指定具体数据库和该库所有表
#canal.instance.defaultDatabaseName=demo
#table regex
#canal.instance.filter.regex = demo\\..*

3.5 启动canal

sh bin/startup.sh

        首次运行成功之后，会在实例目录下生成meta.dat元数据文件，里面包含有mysql的连接信息、binlog文件及position位点信息。

vi conf/example/meta.dat

3.6 验证启动成功

tail -f logs/example/example.log

4.实时监控

4.1 canal 客户端

        canal 特别设计了 client-server 模式，交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑。

        canal java 客户端: ClientExample · alibaba/canal Wiki · GitHub

4.2 MQ客户端

        canal 作为 MySQL binlog 增量获取和解析工具，可将变更记录投递到 MQ 系统中，比如 Kafka/RocketMQ。

        参考文档: Canal Kafka/RocketMQ QuickStart