Mysql5.7(Docker环境)实现主从复制

---

前言

本文章将以MySQL5.7版本来讲诉MySQL主从复制的原理以及在Docker环境中如何实现主从复制。

---

一、MySQL主从数据库同步如何实现？(理论)

想必大家知道要实现数据同步，那么肯定就是先建立通信，一台服务器上的系统去实时监听拉取另一个台服务器上系统的数据，拉取数据后进行存储，这就实现了数据实时同步。当然，我说的这个是最简单最基础的思路。但是想要实现数据同步，那么必不可少的就是建立通信，主动拉取或者被动推送这两种模式。

1.1 为什么要使用数据库主从

对于访问并发不高、使用人数不多的系统来说，使用主从确实没这个必要。但是如果对于并发量高、使用人数多的系统而言，主从可以大大提高系统性能，绝大多情况下一个系统读数据的操作占八成甚至九层，而数据库往往是一个系统的性能瓶颈，读操作很多，但是面临高并发的读取数据，I/O访问频率过高，那么效率必受影响。而如果使用数据库主从，主(master)可以负责写和查询，从(slave)只负责查询，那么对于高频发的读就可以很好的分摊到每个从(slave)数据库上。减轻主(master)数据库的I/O压力，更专注于写数据。也就是说读写分离，可以更好的支持更大的并发。除此之外，使用主从可以方便做数据的热备份，即使哪天master不小心挂点或者硬盘损坏导致整个服务器瘫痪，那么可以快速将服务切换到slave那台服务器。

1.2 数据库主从实现原理是什么？

主从的意思就是选择一个数据库作为master，然后剩余的数据库可以作为slave，主库(master)下面挂多个从库(slave)，然后我们写数据时只往master写，master会把数据自动同步到slave库，slave只负责查询数据，不能直接操作slave写数据，写数据是由master同步负责，这种也叫做数据库的读写分离。
我们知道将数据写入数据库时，binlog日志会更新存储本次写操作，数据库的主从实现就是基于binlog日志来实现的。当有一条数据写入数据库时，master会将变更写入binlog日志，当slave与master建立好连接以后，slave有一个I/O线程对master的binlog进行拉取写入一个叫relay的中续日志中。这里简单介绍一下relay日志:

中续日志(relay)只会存在与slave服务器，slave服务器为了与master服务器数据保持一致，slave要从master读取二进制日志(binlog)文件，并且把读取到的信息写入到本地日志中，这个本地日志就叫relay日志，写入relay日志后，slave从中续日志中读取数据，根据中续日志中的内容对服务器的数据进行更新，完成主从服务器数据同步，中续日志就起到一个中间过渡作用,中继日志充当缓冲，这样master不必等待slave执行完成就可以发送下一个binlog。
搭建好主从服务器之后，中继日志默认会保存在从服务器的数据目录(data)下。
文件名的格式是：从服务器名 - relay-bin.序号。中继日志还有一个索引文件：从服务器名 - relay-bin.index，用来定位当前正在使用的中继日志

这里要注意的是，slave同步master数据是串行化的，并不像master可以并行操作，也就是slave从relay读取数据进行执行SQL时，只能单条执行。那么高并发的时候，slave的数据就会比master慢一些。是有延时的。所以经常出现，刚写入主库的数据可能是读不到的，要过几十毫秒，甚至几百毫秒才能读取到，这里还有另外一个问题，就是如果主库突然宕机，然后恰好数据还没同步到从库，那么有些数据可能在从库上是没有的，有些数据可能就丢失了。此时就引入另一个点，就是MySQL的复制机制。
MySQL 有两个机制，一个是半同步复制，用来解决主库数据丢失问题，一个是并行复制，用来解决主从同步延时问题。

半同步复制(semi-sync)：指的就是主库写入 binlog
日志之后，就会将强制此时立即将数据同步到从库，从库将日志写入自己本地的 relay log 之后，接着会返回一个 ack
给主库，主库接收到至少一个从库的 ack 之后才会认为写操作完成了。
并行复制：指的是从库开启多个线程，并行读取 relay log中不同库的日志，然后并行重放不同库的日志，这是库级别的并行。

二、Docker环境配置MySQL5.7主从(实践)

在实践时，请确保您的环境已经安装了Docker环境

1.查看docker是否时运行状态

systemctl docker status

2.拉取MySQL5.7版本镜像

docker pull mysql:5.7

3.查看MySQL5.7版本镜像

docker images

2.1 配置安装Master

在拉取完MySQL镜像后，需要创建master MySQL所需外部挂载文件，文件夹包括data(存放数据)，logs(存放日志)，conf(存放配置信息)。如果你对挂载还不熟，你可以参考Docker Volume 看这一篇就够了

登录Linux，在根目录建立一个data文件夹

cd /
mkdir data

在建立的data文件夹建立一个mysql-master文件夹，用于存储master MySQL的数据、日志、配置

cd /data
mkdir mysql-master
cd mysql-master
mkdir data
mkdir logs
mkdir conf

进入conf文件，然后新建一个文件，名字叫my.cnf，将以下信息复制到文件里:

[mysql]
#mysql以socket方式运行时的sock文件路径
socket=/var/lib/mysql/mysqld.sock
[mysqld]
#lower_case_table_names=0，表示区分大小写，创建的库表会原样大小写保存在磁盘上
#lower_case_table_names=1，表示不区分大小写，创建库表时MySQL会将所有的库表名转换成小写字母保存在磁盘上
#,且SQL语句中涉及到库表无论写成大写或者小写，都会被转化成小写进行查询和写入
lower_case_table_names=1
#mysql运行的端口
port=3306
#mysql5.7以后的不兼容问题处理
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
#打开log-bin日志
log-bin=mysql-bin
#存放数据的路径
datadir=/var/lib/mysql
#mysql以socket方式运行时的sock文件路径
socket=/var/lib/mysql/mysqld.sock
#是否支持符号连接，即数据库或表能够存储在my.cnf
#中指定datadir以外的分区或目录，为0不开启
symbolic-links=0
#mysql服务器分配的ID,在启用主从和集群的时候必须指定,并且不能重复
server-id = 1
#要给从机同步的库
#binlog-do-db=hl
#不给从机同步的库(这里不同步mysql、information_schema、performance_schema、sys库)
#binlog-ignore-db=mysql
#binlog-ignore-db=information_schema
#binlog-ignore-db=performance_schema
#binlog-ignore-db=sys
#mysql允许最大连接数
max_connections=2000
#默认字符集
character-set-server=utf8
#默认存储引擎
default-storage-engine=INNODB
#mysql最大接受的数据包大小
max_allowed_packet=16M
#日志自动过时清理天数
expire_logs_days = 90
# 事务等待获取资源等待的最长时间，超过这个时间还未分配到资源则会返回应用失败；参数的时间单位是秒
innodb_lock_wait_timeout=120
#设置时区
default-time_zone='+8:00'
[mysqld_safe]
#进程ID文件
pid-file=/data/var/mysql/mysqld.pid
#错误日志纪录位置  
log-error=/var/log/mysqld.log

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

配置中启动了log-bin这个配置，该配置会让MySQL开启写二进制日志功能，以便于salve读取该日志进行数据同步。binlog-do-db配置用于指定需要同步的库，如果不写，默认为同步全部库。binlog-ignore-db配置用于指定忽略哪些库不同步。请注意server-id这个配置，在进行主从的时候，这个值不能重复，也就是master与slave不用配置相同的server-id。socket配置用于指定sock文件路径。关于更多配置信息解释，可以参看MySQL5.7配置项最详细的解释。expire_logs_days这个自动清除日志的天数建议设置小一些，否则在data文件下将会堆积大量的二进制日志文件bin-log。这种文件十分占内存！！！！

此时Master所需的挂载和配置就已经完成，只需要使用命令启动容器即可:

docker run --name=mysql-master -p 3306:3306 --privileged=true  -v /etc/localtime:/etc/localtime \
-v /data/mysql-master/logs:/logs  \
-v /data/mysql-master/data:/var/lib/mysql \
-v /data/mysql-master/conf/my.cnf:/etc/mysql/mysql.conf.d/mysqld.cnf \
-e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
1
2
3
4
5

此时master就已经安装好，可以通过docker ps查看master容器是否已经运行

可以看到已经运行启动了，此时进入master容器中，尝试登录MySQL，注意containerId是随机生成的，比如上图我的MySQ的容器ID为715a47510c72，你需要根据自己的ID进行输入

docker exec -it containerId  bash
1

此时已经进入到M有SQL容器中

尝试登录MySQL，输入一下命令，然后输入密码成功登录：

mysql -uroot -p
1

此时表明数据库已经安装成功，可以选择使用Navicat连接数据库。创建一个用户，用于slave使用该用户连接master建立通信，从而实时拉取bin-log日志。如果你对MySQL用户权限管理还不熟悉，你可以参考Mysql用户权限分配详解

CREATE USER 'slave'@'%' IDENTIFIED BY 'root';
1

创建完账号后，给该账号赋予权限，并刷新权限

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
FLUSH PRIVILEGES;
1
2

使用SHOW MASTER STATUS查看MySQL master状态：

SHOW MASTER STATUS;
1

master安装到此结束，现在等待slave来连接进行通信，同步数据。

2.2 配置安装Slave

如果你已经安装完成master，那么slave的安装就没什么问题了。操作与master几乎一致。因为我只有一台服务器，所以我将master和slave都安装到这个服务器上，如果你有多台服务器，你可以将master与slave分开安装
一样的步骤，在根目录下建立data文件夹，进入data文件夹，建立mysql-slave文件夹，进入mysql-slave文件夹创建三个文件夹，分别是conf、data、logs。

进入conf文件夹，建立一个叫my.cnf的文件，将一下内容复制到文件中并保存:

[mysql]
#mysql以socket方式运行时的sock文件路径
socket=/var/lib/mysql/mysqld.sock
[mysqld]
#lower_case_table_names=0，表示区分大小写，创建的库表会原样大小写保存在磁盘上
#lower_case_table_names=1，表示不区分大小写，创建库表时MySQL会将所有的库表名转换成小写字母保存在磁盘上
#,且SQL语句中涉及到库表无论写成大写或者小写，都会被转化成小写进行查询和写入
lower_case_table_names=1
#mysql运行的端口
port=3306
#mysql5.7以后的不兼容问题处理
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
#打开log-bin日志
#log-bin=mysql-bin
#存放数据的路径
datadir=/var/lib/mysql
#mysql以socket方式运行时的sock文件路径
socket=/var/lib/mysql/mysqld.sock
#是否支持符号连接，即数据库或表能够存储在my.cnf
#中指定datadir以外的分区或目录，为0不开启
symbolic-links=0
#mysql服务器分配的ID,在启用主从和集群的时候必须指定,并且不能重复
server-id = 2
#要给从机同步的库
#binlog-do-db=hl
#不给从机同步的库(这里不同步mysql、information_schema、performance_schema、sys库)
#binlog-ignore-db=mysql
#binlog-ignore-db=information_schema
#binlog-ignore-db=performance_schema
#binlog-ignore-db=sys
#mysql允许最大连接数
max_connections=2000
#默认字符集
character-set-server=utf8
#默认存储引擎
default-storage-engine=INNODB
#mysql最大接受的数据包大小
max_allowed_packet=16M
#日志自动过时清理天数
expire_logs_days = 90
# 事务等待获取资源等待的最长时间，超过这个时间还未分配到资源则会返回应用失败；参数的时间单位是秒
innodb_lock_wait_timeout=120
#设置时区
default-time_zone='+8:00'
[mysqld_safe]
#进程ID文件
pid-file=/data/var/mysql/mysqld.pid
#错误日志纪录位置  
log-error=/var/log/mysqld.log
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

该文件内容与master的几乎一致，只是把log-bin配置关闭，因为slave不需要开启binlog日志，server-id值改为与master不一致的就行.

启动slave数据库：

docker run --name=mysql-slave -p 3307:3306 --privileged=true \
-v /etc/localtime:/etc/localtime \
-v /data/mysql-slave/logs:/logs  \
-v /data/mysql-slave/data:/var/lib/mysql \
-v /data/mysql-slave/conf/my.cnf:/etc/mysql/mysql.conf.d/mysqld.cnf \
-e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
1
2
3
4
5
6

这里我为什么使用3307端口，因为我的master和slave安在同一台服务器上，3306已经被master占用，如果你是分开安装，那么建议还是使用3306端口
安装完成后，进入slave数据库，建立主从关系:

CHANGE MASTER TO master_host = '124.71.8.46',\
master_user = 'slave',\
master_password = 'root',\
master_port = 3306,\
master_log_file = 'mysql-bin.000001',\
master_log_pos = 154,\
master_connect_retry = 30;
1
2
3
4
5
6
7

master_log_file和master_log_pos可以在master上输入SHOW MASTER STATUS;指令查询到，这个两个参数必须与master上一致。

使用 START SLAVE启动slave功能:

START SLAVE;
1

查看slave状态，SHOW SLAVE STATUS;

SHOW SLAVE STATUS;
1

看到Slave_IO_State显示Waiting for master to send event表示主从已经建立成功，此时MySQL主从配置到此完毕。

在master新建一个数据库test，刷新slave后发现，slave已经同步完成。代表主从数据同步成功