• MySQL主从复制与读写分离

     概述：

    在企业应用中，成熟的业务通常数据量都比较大。

    单台mysql在安全性、高可用性和高并发方面都无法满足实际的需求。

    配置多台主从数据服务器以实现读写分离。

    主从复制：解决高可用问题

    读写分离：解决高并发的问题 

    一、主从复制原理


    1、MySql支持从复制类型
     基于语句的复制（statement）

    在主服务器上执行的sql语句，在从服务器执行同样的语句。
    mysql默认采用的方式。效率高。
    基于行的复制 （ROW）

    把改变的内容复制过去。
    基于混合类型复制 （MIXED）

    默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。


    2、主从复制的原理


    首先client端（tomcat）将数据写入到master节点的数据库中，master节点会通知存储引擎提交事务，同时会将数据以（基于行、基于SQL、基于混合）的方式保存在二进制文件中。
    slave节点会开启 I/O 线程，用于监听master的二进制日志的更新，一旦发生更新内容，则向master的dump线程发出同步请求。
    master的dump线程在接收到salve的I/O请求后，会读取二进制日志文件中更新的数据，并发送给slave的I/O线程。
    slave的I/O线程接收到数据后，会保存在slave节点的中继日志中。
    同时，slave节点中的SQL线程，会读取中继日志中的数据，更新在本地的mysql数据库中
    最终，完成slave---> 复制master数据，达到主从同步的效果。
    中继日志通常会位于OS缓存中，所以中继日志的开销很小。
    复制过程有一个很重要的限制，即复制在slave上时串行化的，也就是说，master上的并行更新操作不能再slave上并行操作。
    两日志

    二进制文件： 记录数据库变动的信息（语句、变动记录）
    中继日志文件： 用于临时存放二进制文件内容。

    3.线程

    dump线程： ①监听I/O线程请求。②将二进制日志文件更新的数据发送给slave的I/O线程。
    I/O线程： ①监听master主机的二进制文件。②向master的dump线程发出同步请求
    SQL线程： 读取中继日志中的文件，更新到本机的数据库。

    4、mysql主从复制延迟 


    master服务器高并发，形成大量事务
    网络延迟
    主从硬件设备导致（cpu主频、内存io、硬盘io）
    mysql默认使用异步复制。 可以优化mysql参数。 比如增大innodb_buffer_pool_size，让更多操作在mysql内存中完成。 从库还可以使用高性能主机 ，包括cpu强悍、内存加大，避免使用虚拟云主机，使用物理主机，这样升级了I/O方面性。 还可以将从库使用SSD磁盘。 网络优化，。避免跨机房使用。
    异步、同步、半同步复制：
    异步复制

    MySQL复制默认是异步复制，Master将事件写入binlog，提交事务，自身并不知道slave是否接收是否处理；

    缺点：不能保证所有事务都被所有slave接收。

    同步复制

    Master提交事务，直到事务在所有slave都已提交，才会返回客户端事务执行完毕信息；

    缺点：完成一个事务可能造成延迟。

    半同步复制

    介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。

    缺点：造成了一定程度的延迟。半同步复制最好在低延时的网络中使用。

    二、搭建主从复制：
    实验前提：
    关防火墙和安全机制

     1.时间同步：

    1.  
    2. 1.主节点：
    3. yum -y install chrony
    4. #时间同步协议,下载资源包
    5.  
    6. vim /etc/chrony.conf
    7.  server ntp.aliyun.com
    8.  
    9.  allow 192.168.88.0/24
    10.  30行添加 允许同步的网段
    11.  
    12. systemctl start chrony
    13. #重启natp服务
    14.  
    15. 2. 两台从节点：
    16.  
    17. yum -y install chrony
    18.  
    19. systemctl start chrony
    20.  
    21.  /usr/sbin/ntpdate 192.168.88.100
    22. #时间同步指向主master服务器
    23.  
    24. crontab -e
    25. */30 * * * * /usr/sbin/ntpdate 192.168.88.100
    26. #写入周期计划任务，每30分钟同步一次时间

    2.master主服务设置：

    1.  
    2. vim /etc/my.cnf
    3. server-id=1    #server-id不能重复
    4. log-bin=master-bin   #添加，主服务器开启二进制文件
    5. binlog_format = MIXED #指定二进制日志的格式为MIXED
    6. log-slave-updates=true    #添加，允许从服务器更新二进制文件
    7.  
    8. systemctl restart mysqld
    9. #重启mysqld服务
    10.  
    11. mysql -uroot -p
    12. #登录数据库
    13.  
    14. grant replication slave on *.* to 'myslave'@'192.168.88.%' identified by '123456';
    15. #允许192.168.88.0网段的所有主机使用myslave账号和123456密码登录并使用库和表
    16.  
    17. flush privileges;
    18. #将用户和权限配置保存在内存中
    19.  
    20. show master status;
    21. #查看master服务器当前正在执行的二进制日志位置，和列偏移量

     

     3.slave从服务器的配置：

       两台从配置都一样，注意，server-id   #修改，id不能相同

    1.  
    2. vim /etc/my.cnf
    3. server-id=2   #修改，id不能与master相同，两个slave也不能相同
    4. relay-log=relay-log-bin   #添加，开启中继日志，从服务器上同步master服务器日志文件到本地
    5. relay-log-index=slave-relay-bin.index  #添加，定义中继日志文件的位置和名称
    6. relay_log_recovery=1    #选配项
    7. #当 slave 从库宕机后，假如 relay-log 损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的 relay-log，并且重新从 master 上获取日志，这样就保证了relay-log 的完整性。默认情况下该功能是关闭的，将 relay_log_recovery 的值设置为 1 时， 可在 slave 从库上开启该功能，建议开启
    8.  
    9. systemctl restart mysqld
    10. #启动mysqld服务器
    11.  
    12. mysql -uroot -p123456
    13. #登录数据库
    14.  
    15. change master to 
    16. master_host='192.168.88.100',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603;
    17. #配置同步，注意master_log_file 和master_log_pos的值要与master查询的一致。
    18.  
    19. start slave;
    20. #开启同步，如有报错执行 reset slave；
    21.  
    22. show slave status\G
    23. #查看slave状态(查看I/O和SQL都为YES)

     

    4.验证：

    主创建表，并写入数据

    从进行了复制： 

    三、读写分离原理


    读写分离就是只在主服务器上写，只在从服务器上读，

    基本的原理是让主数据库处理事务操作，而从数据库处理select查询，数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

    1、读写分离存在的意义


    因为数据库的 “写” （写10000条数据可能要3分钟），操作是比较耗时的。
    但是数据库的 “读” （读10000条数据可能只要5秒中）。
    所谓读写分离，解决的是，数据库的写入，影响了查询的效率。
    还可能因为锁表的原因，进行读写分离。


    2、什么时候要读写分离？ 


    数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用，利用数据库主从同步，再通过读写分离可以分担数据库的压力，提高性能。

    3、主从复制与读写分离


    在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论时在安全性，高可能性还是高并发等各个方面都不是完全不能满足实际需求的。因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。优点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制时对数据库中的数据、语句做备份。

    4、MySql读写分离类型


    4.1 基于程序代码内部实现


    在代码中根据select、insert进行路由分类， 这类方法也是目前生产环境应用最广泛的。
    优点：性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支。
    缺点：是需要开发人员来实现，运维人员无从下手。
    但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型的java应用，如果在程序代码中实现读写分离对代码改动就较大。

    4.2 基于中间代理层实现


    代理一般位于客户端和服务器之间，代理服务器接收到客户端请求后通过判断后转发到后端数据库，有以下代表程序。

    1、MySql-Proxy 、MySql-Proxy为MySQL开源项目，通过其自带的lua脚本进行判断。

    2、Atlas 是由奇虎360的web平台部基础架构团队开发维护的一个基于mysql协议的数据中间层项目，它是在mysql-proxy0.8.2版本的基础上。对于进行了优化，增加了一些新的功能特性，360内部使用atlas运行mysql业务，每条承受的读写请求数达几十亿条，支持事务以及存储过程。

    3、Amoeba。 由陈思儒开发，作者曾就职于阿里巴巴，该程序由java语言进行开发，阿里巴巴将其应用于生产环境，但它不支持事务和存储过程。

    Amoeba：是一个以mysql为底层的数据存储，并对应提供mysql协议接口的proxy（代理），外号变形虫。

    读取请求发送给从服务器是采用轮询调度算法。
    amoeba使用的java语言编写，配置文件为xml
    amoeba主要负责对外的一个代理ip
    访问这个ip时，发送的请求为“写”请求，则会转给主服务器。
    当发送的请求为“读”时，会通过调度转发给从服务器，使用轮询算法，轮流分配给两台从服务器。
    amoeba可以视为调度器，如果主服务器挂掉（单点故障），则会有HMA解决这个问题。


    四、读写分离实验


    做读写分离必须要做好主从复制的的环境，因为读写分离是基于主从复制的基础上去执行的架构。

     实验环境：

    主服务器：192.168.88.100

    从服务器1：192.168.88.101

    从服务器2：192.168.88.103

    Amoeba 服务器：192.168.88.104

    因为前面的主服务器和两台从服务器在前面主从复制的时候，已经部署好了，现在进行部署Amoeba代理服务器。

     1.JDK环境安装：
    Amoeba服务时基于jdk1.5开发的，所有要使用jdk1.5或jdk1.6的版本，不建议使用高版本。

    1. cp jdk-6u14-linux-x64.bin /usr/local
    2. #将jdk安装包复制到/usr/local目录下
    3.  
    4. cd /usr/local/
    5. #进入local目录
    6.     
    7. chmod +x jdk-6u14-linux-x64.bin
    8. #给安装包执行文件
    9.  
    10. ./jdk-6u14-linux-64.bin
    11. #安装jdk(按空格到最后一行，输入yes按回车)
    12.  
    13. mv jdk1.6.0_14 jdk1.6
    14. #安装好之后在本地目录下生成jdk1.6.0_14目录，将其该名，方便后续操作
    15.  
    16. vim /etc/profile   #编辑全局配置文件
    17. export JAVA_HOME=/usr/local/jdk1.6   #输出定义java的工作目录
    18. export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib #输出指定的java类文件
    19. export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin #将java加入工作环境
    20. export AMOEBA_HOME=/usr/local/amoeba #输出定义的amoeba工作目录
    21. export PATH=$PATH:$AMOEBA_HOME/bin  #加入路径环境变量
    22.  
    23. source /etc/profile
    24. #执行群居配置文件
    25.  
    26. java -version
    27. #查看java版本信息

     2.安装 Amoeba软件：

    1. mkdir /usr/local/amoeba
    2. #创建amoeba的安装目录
    3.  
    4. tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba
    5. #将amoeba的安装包解压到/usr/local/amoeba目录中
    6.  
    7. chmod -R 775 /usr/local/amoeba
    8. #给amoeba目录所有的权限
    9.  
    10. /usr/local/amoeba/bin/amoeba
    11. #开启amoeba(如果显示amoeba start |stop，则说明完成)

     3. 三台mysql主从服务器设置权限：

        先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

    grant all on *.* to 'amoeba-wzw'@'192.168.88.%' identified by '123123';

    4. 配置amoeba服务：

    1.  
    2. vim /usr/local/amoeba/conf/amoeba.xml			#修改amoeba配置文件
    3. --30行--
    4. "user">amoeba
    5. --32行-- 
    6. "password">123456
    7. --115行--
    8. "defaultPool">master
    9. --117-去掉注释-
    10. "writePool">master
    11. "readPool">slaves
    12.  
    13.  
    14. vim /usr/local/amoeba/conf/dbServers.xml								#修改数据库配置文件
    15. --23行--注释掉  作用：默认进入test库 以防mysql中没有test库时，会报错
    17. --26--修改
    18. "user">amoeba-wzw
    19. --28-30--去掉注释
    20. "password">123123
    21. --45--修改，设置主服务器的名Master
    22. "master"  parent="abstractServer">
    23. --48--修改，设置主服务器的地址
    24. "ipAddress">192.168.88.101
    25. --52--修改，设置从服务器的名slave1
    26. "slave1"  parent="abstractServer">
    27. --55--修改，设置从服务器1的地址
    28. "ipAddress">192.168.88.103
    29. --58--复制上面6行粘贴，设置从服务器2的名slave2和地址
    30. "slave2"  parent="abstractServer">
    31. "ipAddress">192.168.80.12
    32. --65行--修改
    33. "slaves" virtual="true">
    34. --71行--修改
    35. "poolNames">slave1,slave2
    36.  
    37.  
    38. /usr/local/amoeba/bin/amoeba start&			#启动Amoeba软件，按ctrl+c 返回
    39. netstat -anpt | grep java					#查看8066端口是否开启，默认端口为TCP 8066
    40.

     

     

    5.测试：

      读节点关闭slave

     在主服务器上写入一条111数据：

     

  • 相关阅读:
    系统开发视角下的诊断 ———— 网络通信(U)诊断故障2
    Redis分布式锁 - 基于Jedis和LUA的分布式锁
    C++实现WebSocket通信（服务端和客户端）
    IT行业哪个方向比较好就业?
    移码的加减法
    Android悬浮窗实现源码-悬浮球转盘&悬浮加速小火箭效果&悬浮播放视频图片
    Docker 实现 MySQL 一主一从配置
    python 线程池ThreadPoolExecutor
    细胞CLE19多肽荧光成像牛血清白蛋白荧光猝灭量子点的制备
    读书笔记---蛤蟆先生去看心理医生
  • 原文地址：https://blog.csdn.net/OuOOutlier_/article/details/133645618