MySQL集群高可用架构之MMM

一、MMM概述

1.1 MMM 简介

MMM（Master-Master replication manager for MvSQL，MySQL主主复制管理器）是一套支持双主故障切换和双主日常管理的脚本程序。

MMM 使用 Perl 语言开发，主要用来监控和管理 MySQL Master-Master （双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说MMM这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具脚本也可以实现多个 Slave 的 read 负载均衡。

MMM提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟ip，同时它还可以备份数据，实现两节点之间的数据同步等。

由于MMM无法完全保证数据的一致性，所以MMM适用于对数据的一致性要求不是很高，但是又想最大程度地保证业务可用性的场景。

MMM是一套灵活的脚本程序，基于perl实现，用来对 mysql replication 进行监控和故障迁移，并能管理 MySQL Master-Master 复制的配置。

1.2 MMM高可用架构

关于 MMM 高可用架构的说明如下：
●mmm_mon：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监控主机上运行。
●mmm_agent：运行在每个MySQL服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。
●mmm_control：一个简单的脚本，提供管理 mmm_mon 进程的命令。
●mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 MySQL 之上，当某一台 MySQL 宕机时，监管会将 VIP 迁移至其他 MySQL。

在整个监管过程中，需要在 MySQL 中添加相关授权用户，以便让 MySQL 可以支持监控主机的维护。 授权的用户包括一个 mmm_monitor 用户和一个 mmm_agent 用户。

1.3 MMM工作原理

1）MMM 通过监控 MySQL master的状态来实现故障检测和自动故障转移。当一个master主节点发生故障时，MMM 会自动将VIP转到备master节点上，确保数据库的可用性。

2）MMM 还可以根据负载情况自动进行负载均衡。它可以根据每个节点的负载情况，将读操作分发到不同的节点上，从而提高系统的整体性能。

3）MMM 还提供了一些管理工具，可以方便地进行节点的添加、删除和配置修改等操作。

1.4 MMM故障切换流程

Monitor 检测到 Master1 连接失败

Monitor 发送 set_offline 指令到 Master1 的 Agent

Master1 Agent 如果存活，下线写 VIP，尝试把 Master1 设置为 read_only=1

Moniotr 发送 set_online 指令到 Master2

Master2 Agent 接收到指令，执行 select master_pos_wait() 等待同步完毕

Master2 Agent 上线写 VIP，把 Master2 节点设为 read_only=0

Monitor 发送更改同步对象的指令到各个 Slave 节点的 Agent

各个 Slave 节点向新 Master 同步数据

二、MMM高可用双主双从架构部署

#所有服务器
#关闭防火墙
systemctl disable firewalld --now 
#关闭selinux
vim /etc/selinux/config
SELINUX=disabled
1
2
3
4
5
6

Step1 配置主主复制（master），主从复制（slave）

1）修改 Master1的MySQL配置文件

vim /etc/my.cnf
......
[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
character_set_server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1                                               #每台 Mysql 主机的 server-id 不能相同
log-error=/usr/local/mysql/data/mysql_error.log             #错误日志
general_log=ON                                              #通用查询日志
general_log_file=/usr/local/mysql/data/mysql_general.log
slow_query_log=ON                                           #慢查询日志
slow_query_log_file=mysql_slow_query.log
long_query_time=5
binlog-ignore-db=mysql,information_schema        #不需要同步的库名
log_bin=mysql_bin                                #开启二进制日志用于主从数据复制
log_slave_updates=true                           #允许slave从master复制数据时可以写入到自己的二进制日志
sync_binlog=1                            #"双1设置"，MySQL 在每写一次二进制日志时都会同步到磁盘中去    
innodb_flush_log_at_trx_commit=1         #"双1设置"，每次事务提交时MySQL都会把缓存的数据写入日志文件，并且刷到磁盘中去
auto_increment_increment=2               #自增字段一次递增多少
auto_increment_offset=1                  #自增字段的起始值
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

2）把配置文件复制到其它 3 台数据库服务器上并启动服务器

注意：配置文件中的 server_id 要修改

scp /etc/my.cnf root@192.168.2.102:/etc/
scp /etc/my.cnf root@192.168.2.103:/etc/
scp /etc/my.cnf root@192.168.2.105:/etc/

systemctl restart mysqld
1
2
3
4
5

#修改Master2 Slave1 Slave2的Mysql配置文件
#修改server_id 每个服务器不一致
1
2

3）配置主主复制，两台主服务器相互复制

#在两台主服务器上都执行授予从的权限
#从服务器上不需要执行
grant replication slave on *.* to 'replication'@'192.168.2.%' identified by '123456';

#在两台主服务器上查看，记录日志文件名称和同步点
show master status;
1
2
3
4
5
6

#在Master1上配置同步
change master to master_host='192.168.2.102',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459;

start slave;

show slave status\G
1
2
3
4
5
6

#在Master2上配置同步
change master to master_host='192.168.2.100',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459;

start slave;

show slave status\G
1
2
3
4
5
6

4）配置主从复制，在两台从服务器上做

#同一时间只能有一个主服务器工作
change master to master_host='192.168.2.100',master_user='replication',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=459

start slave;

show slave status\G
1
2
3
4
5
6

5）测试主主、主从 同步情况

create database db_test;
1

Step2 安装配置 MySQL-MMM

1）在所有服务器上安装 MySQL-MMM

#获取软件包
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
1
2

#安装依赖和软件
yum -y install epel-release
yum -y install mysql-mmm*
1
2
3

2）在 Master1上对 MySQL-MMM 进行配置

cd /etc/mysql-mmm/
vim mmm_common.conf
……
<host default>
    cluster_interface       ens33
    ……
    replication_user        replication
    replication_password    123456
    agent_user              mmm_agent
    agent_password          123456

<host db1>
    ip      192.168.2.100
    mode    master
    peer    db2
</host>

<host db2>
    ip      192.168.2.102
    mode    master
    peer    db1
</host>

<host db3>
    ip      192.168.2.103
    mode    slave
</host>

<host db4>
    ip      192.168.2.105
    mode    slave
</host>

<role writer>
    hosts   db1, db2
    ips     192.168.2.188
    mode    exclusive           #只有一个 host 可以进行写操作模式
</role>

<role reader>
    hosts   db3, db4
    ips     192.168.2.198, 192.168.2.199
    mode    balanced            #多个 slave 主机可以进行读操作模式
</role>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

3）把配置文件复制到其它 4 台主机

所有主机该配置文件内容都是一样的。

scp mmm_common.conf root@192.168.2.102:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.2.103:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.2.105:/etc/mysql-mmm/
scp mmm_common.conf root@192.168.2.106:/etc/mysql-mmm/
1
2
3
4

4）修改所有数据库服务器的代理配置文件 mmm_agent.conf

修改 mmm_agent.conf

vim /etc/mysql-mmm/mmm_agent.conf
include mmm_common.conf
this db1				#根据不同的主机分别修改为 db1,db2,db3,db4
1
2
3

5） 在 monitor 监控服务器上修改监控配置文件 mmm_mon.conf

vim /etc/mysql-mmm/mmm_mon.conf
include mmm_common.conf
<monitor>
.....
    ping_ips        	192.168.2.100,192.168.2.102,192.168.2.103,192.168.2.105   #指定所有数据库服务器的 IP
	auto_set_online		10				#指定自动上线时间
</monitor>

<host default>
    monitor_user        mmm_monitor		#指定 mmm_monitor 的用户名
    monitor_password    123456          #指定 mmm_monitor 的密码
</host>
1
2
3
4
5
6
7
8
9
10
11
12

6）在所有数据库上为 mmm_agent（代理进程）和mmm_moniter（监控进程）授权

grant super, replication client, process on *.* to 'mmm_agent'@'192.168.2.%' identified by '123456';

grant replication client on *.* to 'mmm_monitor'@'192.168.2.%' identified by '123456';

flush privileges;
1
2
3
4
5

7）在所有数据库服务器上启动 mysql-mmm-agent

systemctl enable mysql-mmm-agent.service --now
1

8）在 monitor 服务器上启动 mysql-mmm-monitor

systemctl start mysql-mmm-monitor.service 
1

9）在 monitor 服务器上测试群集

查看各节点的情况

mmm_control show
1

检测监控功能是否都完善

mmm_control checks all
#需要各种OK
1
2

#指定绑定 VIP 的主机
mmm_control move_role writer db2
1
2

mmm_control move_role writer db1

mmm_control show
1
2
3

Step3 故障测试及恢复

1）模拟Master宕机以及恢复

1.停止Master1的mysql服务

systemctl stop mysqld
1

2.查看VIP漂移情况

#切换到Monitor服务器
mmm_control show

#VIP成功漂移至master2，且master1显示HARD_OFFLINE
1
2
3
4

3.重启Master1的mysql服务

systemctl start mysqld
1

4.查看Master1是否恢复

#切换至monitor
mmm_control show
#显示等待恢复
1
2
3

#继续查看节点状况
#等待数秒后重新查看，发现Master1在线，但未能获得VIP
mmm_control show
1
2
3

Master01 主服务器恢复服务后，不会抢占

2）模拟从服务器宕机以及恢复

1.停止Slave1的mysql服务

#Slave1
systemctl stop mysqld
1
2

2.查看VIP漂移情况

#切换至monitor
mmm_control show

#Slave1 离线 
#VIP漂移至Slave2,服务不影响
1
2
3
4
5

3.重启Slave1的MySQL服务

#切换到Slave1
systemctl start mysqld
1
2

4.查看slave1是否恢复

#切换至monitor
mmm_control show

#多次执行
1
2
3
4

3）客户端测试

1.在Master1服务器上为monitor服务器地址授权登录

#切换到Master1
mysql -u root -p123321

grant all on *.* to 'testdba'@'192.168.2.106' identified by '123456';

flush privileges;
1
2
3
4
5
6

2.在monitor服务器上使用写VIP登录

#切换到monitor
mysql -utestdba -p123456 -h 192.168.2.188
1
2

3.创建数据，测试同步情况

#monitor服务器
create database client_test;
1
2

#Master1服务器
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| client_test        |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
6 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13

#Master2服务器

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| client_test        |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
6 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

#Slave1服务器

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| client_test        |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
6 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

#Slave2服务器
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| client_test        |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
6 rows in set (0.00 sec)
1
2
3
4
5
6
7
8
9
10
11
12
13