• 数据库读写分离和分库分表


    1、读写分离

    读写分离可以将对数据库的读写操作分别作用在不同的数据库节点上,可以小幅提升写的性能,大幅提升读的性能。
    一般情况下,读多写少,会选择一台服务作为主库,多台服务作为从库。

    1.1、读写分离的问题

    主库和从库的数据同步存在延迟,会在延迟的时间段中存在数据不一致问题。主从同步延迟。
    可能的解决办法:

    1. 将写入之后需要立即读取的请求,放到主库处理
    2. 延迟读取

    1.2、实现读写分离

    1.2.1、步骤

    1. 部署多台数据库服务,选择一台作为主库,其它为从库
    2. 保证主库和从库的数据实时同步,即主从复制
    3. 将写的请求交给主库处理,读的请求交给从库处理

    1.2.2、实现方式

    1. 代理方式
      在应用和数据之间使用代理层,将数据请求提交给代理层,由代理曾负责读写的请求转发。
    2. 组件方式
      通过引入第三方组件来实现。如:sharding-jdbc

    1.3、主从复制原理

    在MySQL中,有MySQL binlog二进制日志文件,记录了数据的所有变化,包括执行的DDL和DML语句。可以通过MySQL的二进制日志文件进行主从数据同步。

    1. 主库将数据库中数据的变化写入到 binlog
    2. 从库连接主库
    3. 从库会创建一个 I/O 线程向主库请求更新的 binlog
    4. 主库会创建一个 binlog dump 线程来发送 binlog ,从库中的 I/O 线程负责接收
    5. 从库的 I/O 线程将接收的 binlog 写入到 relay log 中。
    6. 从库的 SQL 线程读取 relay log 同步数据本地(也就是再执行一遍 SQL )。

    2、分库分表

    读写分离主要应对高并发。分库分表主要应对数据库存储压力。
    分库:将数据库的数据分散到不同数据库上。如:1、将两张表分别放到不同数据库上;2、将一张表水平拆分成两张表,分别放到不同数据库上。
    分表:对单表的数据进行拆分,可以垂直,可以水平拆分。
    垂直拆分,对表的列拆分。
    水平拆分,对表的数据行拆分。

    3、分库分表的场景

    分表,单表的数据达到千万级别以上,数据库读写速度慢。
    分库,1、数据库的数据占用空间大,备份时间长;2、应用并发量大。

    4、分库分表的挑战

    1. join操作
    2. 事务问题
    3. 分布式id
  • 相关阅读:
    ABAP 里文件操作涉及到中文字符集的问题和解决方案
    PT_正态总体的抽样分布
    速卖通:按关键字搜索商品 API
    FastDFS安装
    Oracle基本介绍与基本使用
    1.EdgeX实战 Ubuntu18.04搭建运行环境
    VXlan隧道三层网关功能对接华为设备测试
    安卓14通过“冻结”缓存应用程序腾出CPU,提高性能和内存效率
    读书笔记:多Transformer的双向编码器表示法(Bert)-3
    C++ multimap实践
  • 原文地址:https://blog.csdn.net/qq_44403239/article/details/126623422