MySQL主从复制与读写分离

目录

一、读写分离基本原理

二、为什么做读写分离

三、什么时候做读写分离

四、主从复制与读写分离

五、mysql支持的复制类型

六、目前较为常见的MySQL读写分离

七、基于中间代理层实现

七、主从复制的工作过程

八、MySQL读写分离原理

九、主从复制实例

 show slave status\G详细配置及Slave_IO_Running: No 的可能性

MySQL主从复制延迟

十、搭建 MySQL读写分离

---

一、读写分离基本原理

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

二、为什么做读写分离

因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。

但是数据库的“读”（读10000条数据可能只要5秒钟）；

所以读写分离，解决的是，数据库的写入，影响了查询的效率。

三、什么时候做读写分离

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

四、主从复制与读写分离

在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。

因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync（文件同步工具），但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。

五、mysql支持的复制类型

（1）STATEMENT：基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制，执行效率高。高并发的情况可能会出现执行顺序的误差，事务的死锁。
（2）ROW：基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。精确，但效率低，保存的文件会更大。
（3）MIXED：混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

六、目前较为常见的MySQL读写分离

1、基于程序代码内部实现
在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。

优点：性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；

缺点：需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

七、基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

MySQL-Proxy：MySQL-Proxy为MysQL开源项目，通过其自带的1ua脚本进行sQL判断。
Atlas：是由奇虎360的Web平台部基础架构团队开发维护的一个基于MysQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用atlas运行的mysql业务，每天承载的读写请求数达几干保条。支持事物以及存储过程。
Amoeba：由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
Mycat：是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySq1协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。
由于使用MysQLProxy需要写大量的ua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MysQLProxy 内置变量和MySQL Protocol的人来说是非常困难的。
Amoeba：是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
 

七、主从复制的工作过程

1、主节点开启二进制日志，从节点开启中继日志。

2、Master 节点将数据的改变记录成二进制日志（bin log） ，当Master上的数据发生改变时（增删改），则将其改变写入二进制日志中。

3、从节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O线程请求主节点的二进制事件。（请求二进制数据）

4、同时主节点为每个I/O线程启动一个dump线程，用于通知和向其发送二进制事件，I/O线程接收到bin-log内容后，将内容保存至slave节点本地的中继日志（Relay log）中

5、从节点将启动SQL线程从中继日志中读取二进制事件，在本地重放，即解析成sql 语句逐一执行，使得其数据和主节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

八、MySQL读写分离原理

• 读写分离就是只在主服务器上写，只在从服务器上读。
• 基本的原理是让主数据库处理事务性操作，而从数据库处理select查询。
• 数据库复制被用来把主数据库上事务性操作导致的变更，同步到集群中的从数据库。

九、主从复制实例

Master 服务器：192.168.30. 200             mysql
Slave1 服务器：192.168.30.203              mysql
Slave2 服务器：192.168.30.105              mysql

三台服务器都关闭防火墙并下载时间同步工具

主服务器设置

时间同步

从服务器1设置

从服务器2设置

主服务器设置

从服务器1设置

Slave_IO_Running: Yes                #负责与主机的io通信
Slave_SQL_Running: Yes                #负责自己的slave mysql进程

从服务器2设置

测试主从复制

在主服务器中创建库和表

在从服务器查看是否存在

从1：

从2：

 show slave status\G详细配置及Slave_IO_Running: No 的可能性

#一般 Slave_IO_Running: No 的可能性：
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

MySQL主从复制延迟

1、master服务器高并发，形成大量事务
2、网络延迟
3、主从硬件设备导致
cpu主频、内存io、硬盘io
4、是同步复制、而不是异步复制
从库优化Mysql参数。比如增大innodb_buffer_pool_size，让更多操作在Mysql内存中完成，减少磁盘操作。
从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了i/o方面性。
从库使用SSD磁盘
网络优化，避免跨机房实现同步

十、搭建 MySQL读写分离

Master 服务器：192.168.30. 200             mysql
Slave1 服务器：192.168.30.203              mysql
Slave2 服务器：192.168.30.105              mysql

Amoeba 服务器：192.168.30.100             jdk1.6、Amoeba
客户端 服务器：192.168.30.104                mysql

Amoeba 服务器配置

一直回车

添加配置文件

启动

安装 Amoeba软件

在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

Amoeba 服务器配置

主服务器

从服务器1

从服务器2

测试

客户端服务器

从服务器1

从服务器2

客户端服务器

主服务器

从服务器1

从服务器2