macOS、Linux CentOS 、Docker安装部署canal-server(canal-deployer)服务

1、环境准备

canal-server(canal-deployer)依赖jdk，需要先安装部署好jdk1.8

mysql开启binlog

2、安装部署

2.1、Docker方式安装部署

这里以1.1.6版本为例，其他版本选择：

Docker Hub

#拉取canal-server镜像
docker pull canal/canal-server:v1.1.6
 
#拉取完成后，先启动下canal-server，主要是为了从里面copy出配置文件
docker run --name canal-server -d canal/canal-server:v1.1.6
 
#新建canal-server目录用于存放相应配置文件和日志
mkdir -p ~/canal-server
 
#cp到指定刚刚新建的目录
docker cp canal-server:/home/admin/canal-server/conf/canal.properties ~/canal-server
docker cp canal-server:/home/admin/canal-server/conf/example/instance.properties ~/canal-server
 
#修改canal.properties和instance.properties相关配置
#具体需要修改的地方参考第3步
vim ~/canal-server/canal.properties
vim ~/canal-server/instance.properties
 
#修改完成后，将之前的canal-server容器关闭并删除，重新起一个容器
docker stop canal-server
docker rm canal-server
#启动新的容器，这里-v是将外部的文件挂载到容器内部 这样就不用每次启动都要配置参数了
docker run --name canal-server -p 11111:11111 -d \
-v ~/canal-server/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
-v ~/canal-server/canal.properties:/home/admin/canal-server/conf/canal.properties \
-v ~/canal-server/logs/:/home/admin/canal-server/logs/ \
canal/canal-server:v1.1.6
 
#通过日志检查是否启动成功 两个日志都无报错表示启动成功了
tail -1000f ~/canal-server/logs/canal/canal.log
tail -1000f ~/canal-server/logs/example/example.log
 
#启动、停止
docker start canal-server
docker stop canal-server

2.2、压缩包方式安装部署

2.2.1、下载

下载并解压到指定目录，如/home/admin/

https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.deployer-1.1.6.tar.gz

tar -xvf canal.deployer-1.1.6.tar.gz

2.2.2、修改配置，具体需要修改的地方参考第3步

cd /home/admin/canal.deployer-1.1.6/conf

vim canal.properties

vim example/instance.properties

2.2.3、启动、重启、停止等

cd /home/admin/canal.deployer-1.1.6

sh bin/startup.sh

sh bin/restart.sh

sh bin/stop.sh

2.2.4、查看日志

/home/admin/canal.deployer-1.1.6/logs/canal/canal.log

/home/admin/canal.deployer-1.1.6/logs/example/example.log

3、需要修改的配置（只修改列出来的部分，其余不用动）

3.1、canal.properties

#这里以rocketMQ为例
canal.serverMode = rocketMQ
 
#关闭tsdb主要为了解决：表结构发生改变导致不增量同步问题
canal.instance.tsdb.enable = false
 
#如果使用的RocketMQ为阿里云商业mq时，需要指定以下两个配置
canal.aliyun.accessKey = accessKey
canal.aliyun.secretKey = secretKey
 
#RocketMQ相关配置
rocketmq.producer.group = test
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic =
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag =

3.2、instance.properties

#配置slaveId，不能和现有mysql从库的slaveId重复，默认为0
canal.instance.mysql.slaveId=1
 
#配置mysql连接
canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=root
canal.instance.dbPassword=123456
 
#需要同步的表
canal.instance.filter.regex=.*\\..*
 
#mq配置
#mq里的topic名
canal.mq.topic=example
 
canal.mq.partition=0
#分区数
canal.mq.partitionsNum=4
 
#库名.表名:唯一主键，多个表之间用逗号分隔
canal.mq.partitionHash=.*\\..*:$pk$

相关官方文档：

Canal Kafka RocketMQ QuickStart · alibaba/canal Wiki · GitHub