Maxwell是一个开源的MySQL数据库binlog解析工具,用于将MySQL数据库的binlog转换成易于消费的JSON格式,并通过Kafka、RabbitMQ、Kinesis 等消息队列或直接写入文件等方式将其输出。本节内容主要介绍如何安装部署Maxwell以及如何使用Maxwell完成数据的同步,这里主要以同步数据到kafka服务器为例。关于java、mysql和kafka的安装,这里不在介绍,请关注作者往期博客内容。
①上传Maxwell安装包到hadoop101服务器的/opt/software目录
②解压Maxwell安装包到/opt/module目录
tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module
③配置Maxwell环境变量并使其生效
④ 在/etc/my.cnf中修改配置文件,开启mysql的binlog日志功能
- #开启mysql binlog日志
- server_id=1
- log-bin=mysql-bin
- binlog_format=row
- #具体到某一个数据库,不配置的话是所有的数据库
- binlog-do-db=maxwell_test
⑤重启mysql,在/var/lib/mysql目录下查看是否会有binlog日志文件
⑥ 初始化Maxwell元数据库
- 在MySQL中建立一个maxwell库用于存储Maxwell的元数据
- 设置mysql用户密码安全级别
- 分配一个账号可以操作该数据库
- 授权
- 刷新用户权限
⑦ Maxwell启动工作进程
- 使用命令行启动
maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --producer=stdout
参数说明:
--user 连接mysql的用户
--password 连接mysql用户的密码
--host mysql 安装的主机名
--producer 生产者模式(stdout:控制台 kafka:kafka 集群)
- 通过定制化配置文件启动
⑧ 启动maxwell监控同步,向测试数据库maxwell_test中的test表中写入数据,查看控制台输出
- 启动maxwell监控
- 创建maxwell_test数据库,在test表中添加数据
- 查看控制台输出
⑨ 使用kafka接收maxwell的监控数据
- 启动kafka集群
- 启动Maxwell监控binlog
maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --producer=kafka --kafka.bootstrap.servers=hadoop101:9092 --kafka_topic=maxwell
- 向test_maxwell 库的test 表中插入一条数据、
- 开启一个kafka消费者者,查看控台台日志,成功在maxwell中消费到了消息
⑩ 使用kafka自定义多分区接收maxwell的监控数据
- 定制化启动maxwell进程,修改config.properties配置文件
- 手动创建3个分区的topic主题maxwell_kafka
kafka-topics.sh --bootstrap-server hadoop101:9092 --create --topic maxwell_kafka --partitions 3 --replication-factor 3
- 启动maxwell进程监控
- 启动kafka消费者,消费到了数据
⑪ maxwell监控特定表的binlog日志
- 启动进程命令
maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --filter 'exclude: *.*,include:maxwell_test.test' --producer=stdout
-- filter:可以设置过滤监控的数据库和表
⑫maxwell全量监控binlog日志
- 在maxwell的元数据库maxwell中插入一条数据,代表执行一个maxwell_test数据库test表全量监控同步的任务
insert into maxwell.bootstrap(database_name,table_name) values('maxwell_test','test');
- 查看控制台,全量任务已同步
至此,关于Maxwell安装部署及其应用案例实战到这里就结束了,我们下期见。。。。。。