MySQL——读写分离

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、MySQL读写分离

1、什么是读写分离

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、 DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2、为什么要做读写分离

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。
但是数据库的“读”(读10000条数据可能只要5秒钟)
所以读写分离，解决的是，数据库的写入，影响了查询的效率。

3、什么时候需要读写分离?

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

4、MySQL读写分离原理

只在主服务器上写，只在从服务器上读。
主数据库处理事务性查询，从数据库处理SELECT查询
数据库复制用于将事务性查询的变更同步到集群中的从数据库

二、MySQL 读写分离类型

（一）、基于程序代码内部实现

1、在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
2、优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；
3、缺点是需要开发人员来实现，运维人员无从下手。
4、但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

（二）、基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

• MySQL-Proxy，MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。
• Atlas，是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
• Amoeba由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
• 由于使用MySQL Proxy 需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。
• Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

三、搭建MySQL读写分离

amoeba:192.168.116.50

master:192.168.116.10

slave1:192.168.116.20

slave2:192.168.116.30

（一）、Amoeba服务器配置

1、把所需的安装包上传到/opt上

2、安装Java环境

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin			# 输入yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6   
1
2
3
4
5
6
7

3、添加环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

1
2
3
4
5
6
7
8

source /etc/profile   #加载
java -version         #查看版本
1
2

mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
amoeba

1
2
3
4
5

（二）、在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to 'test'@'192.168.116.%' identified by '123456';
##三台都做
1
2

（三）、回到amoeba服务器配合amoeba服务

cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak     #备份

1
2
3
4

vim amoeba.xml

#修改amoeba配置文件
--30行--
<property name="user">amoeba</property>
--32行--
<property name="password">123456</property>
--115行--
<property name="defaultPool">master</property>
--117去掉注释-
<property name="writePool">master</property>
<property name="readPool">slaves</property>
1
2
3
4
5
6
7
8
9
10
11
12

cp dbServers.xml dbServers.xml.bak

vim dbServers.xml

#修改数据库配置文件
--23行-- 注释掉作用:默认进入test库以防mysql中没有test库时，会报错
<!-- <property name="schema">test</property> -->
 
--26--修改，amoeba访问三台mysql数据库的账户和密码(账户为test)
<property name="user">test</property>
--28-30--去掉注释
--29--，修改访问数据库的密码
<property name="password">123456</property>
1
2
3
4
5
6
7
8
9
10
11
12
13

#45行，修改数据库主服务器名/地址
<dbServer name="master"	parent="abstractServer">	
#48行，修改master服务器ip
<property name="ipAddress">192.168.116.10</property>
#52行修改从服务器名
<dbServer name="slave1"  parent="abstractServer">	
#55行修改从服务器地址
<property name="ipAddress">192.168.116.20</property>

#紧接复制52-57行，粘贴，添加第二台服务器名
<dbServer name="slave2"	parent="abstractServer">	
#修改第二台服务器IP
<property name="ipAddress">192.168.116.30</property>
#66行，
修改多个服务器池(multiPoo1)的名称(修改为slaves)<dbServer name="slaves" virtual-"true">
#72行，
添加两个从服务器的服务器名(slave1 slave2)<property name="poolNames">slave1,slave2</property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

配置文件
1、amoeba.xml
-》定义的是全局的配置
① 客户端的访问用户名与密码
② 后端服务器池的名字（read pool（slaves） 和write pool（master） ）
2、dbServers.xml
-》定义amoeba 访问数据库的相关配置
① amoeba 访问数据库使用什么用户名 test（和数据库之前grant的用户对应）
② amoeba 访问数据库使用什么密码 123456 （和数据库之前grant的密码对应）
③ read pool 和write pool 配置，分别为：
write pool：master角色，ip为192.116.10.
read pool：slave1角色，ip为192.168.116.20 slave2角色，ip为192.168.116.30
④ 定义了读池的load balance 负载均衡的策略——》“1” RR轮询模式
名字：slaves ——》对应 slave1，slave2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

/usr/local/amoeba/bin/amoeba start &
或
amoeba start &
报错的话注意配置文件格式


另开终端，查看是否启动

也可以用ss -natp
netstat -natp | grep java
netstat -natp | grep 8066

1
2
3
4
5
6
7
8
9
10
11
12

（四）、测试

1、准备一个客户端服务器

192.168.116.40
远程登录 amoeba 服务器
1
2
3
4

yum -y install mariadb

mysql -u amoeba -p123456 -h 192.168.116.50 -P8066

1
2
3
4

2、测试一：amoeba服务器是否关联后端mysql#客户端进入数据库创建表

在三台mysq1服务器中查看是否有此表(amoeba关联)

3、测试二:

（1）、2台从服务器关闭主从同步，测试amoeba读写分离

stop slave;
1

（2）、客户端插入数据

insert into test1(id,name) values(1,'zhb')
1

（3）、从服务器看不到数据

4、测试三:读写分离架构，对于读”的任务是怎么操作的测试方式:

（1）、分别在slave1和salve2 liuxu数据库中插入不同数据， 然后使用客户端进 select 查询， 观测结果:

slave1插入

insert into test1 (id,name) values (2,'zhou');
1

slave2插入

insert into test1 (id,name) values (3,'hb');
1

客户端读取

---

总结

1、主从同步原理
通过amoeba代理服务器，实现只在主服务器上写，只在从服务上读；
主数据库处理事务性查询，从数据库处理 select 查询；
数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库

2、如何查看主从同步状态是否成功
在从服务器内输入命令 show slave status\G，查看主从信息进行查看，里面有IO线程的状态信息，还有master服务器的IP地址、端口、事务开始号，
当 slave_io_running 和 slave_sql_running 都显示为yes时，表示主从同步状态成功

3、如果I/O和SQL不是yes呢,你是如何排查的
首先排除网络问题，使用ping命令查看从服务是否能与主服务器通信
再者查看防火墙和核心防护是否关闭
接着查看从服务器内的slave是否开启
两个从服务器的 server-id 是否相同导致只能连上一台
master_log_file 和 master_log_pos 的值要是否与Master查询的一致

4、show slave status能看到哪些信息(比较重要的)
IO线程的状态信息
master服务器的IP地址、端口、事务开始位置
最近一次的报错信息和报错位置等
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20