• MySQL 分库分表


    MySQL分库分表

    概念

    读写分离优化了互联网读多写少场景下的性能问题,考虑一个业务场景,如果读库的数据规模非常大,除了增加多个从库之外,还有其他的手段吗?实现数据库高可用,还有另外一个撒手锏,就是分库分表。

    分表分库上解决写请求越来越多的问题,以及数据量暴增的问题。因为对于读请求频繁的场景,可以加缓存或者用一主多从来解决,但是如果写请求过于频繁,那么压力都会集中在master上,master上面的IO,网络,连接池都会成为一种瓶颈。或者如果单表一直膨胀,那么对于磁盘来说压力山大,而且很容易带来慢查询。所以需要分表分库来解决这个问题。分库分表就是为了解决MySQL高并发下读、写请求多的时候带来的性能影响不足的后果。

    一般Mysql一个单库最多支持并发量到2000,且最好保持在1000。如果有20000并发量的需求,这时就需要扩容了,可以将一个库的数据拆分到多个库中,访问的时候根据一定条件访问单库,缓解单库的性能压力。

    分表也是一样的,如果单表的数据量太大,就会影响SQL语句的执行性能。分表就是按照一定的策略将单表的数据拆分到多个表中,查询的时候也按照一定的策略去查询对应的表,这样就将一次查询的数据范围缩小了。

    分表的方式

    • 垂直拆分

    垂直拆分分为两种,垂直分库和垂直分表。

    如果单库写请求多,并且分散在多张表的情况,这种情况可以把库里面的表分散到多个库中,每个库放在不同机器上,不然还是会遇到机器的瓶颈问题。

    如果压力集中到一张表,那么可以大表拆小表,把不常用较长的字段迁移到扩展表,避免跨表查询的压力。

    垂直拆分一般是按照业务和功能的维度进行拆分,把数据分别放到不同的数据库中。

    image-20221117142715586

    • 水平拆分

    水平拆分是将单表的数据水平拆分到不同服务器上,可以是按照Hash、地理位置、或者用户id进行分表。水平拆分的难度比垂直拆分更大一些。

    水平拆分是把相同的表结构分散到不同的数据库和不同的数据表中,避免访问集中的单个数据库或者单张数据表,具体的分库和分表规则,一般是通过业务主键,进行哈希取模操作。

    例如,电商业务中的订单信息访问频繁,可以将订单表分散到多个数据库中,实现分库;在每个数据库中,继续进行拆分到多个数据表中,实现分表。路由策略可以使用订单 ID 或者用户 ID,进行取模运算,路由到不同的数据库和数据表中。

    image-20221117142811021

    分库分表需要解决的问题

    • 事务支持

    在单库或者单表中,可以用MySQL的事务解决一致性问题,但是分表分库的话,就需要解决分布式事务的问题了。

    • order by ,group by,join

    分表分库之后order by 和group by要怎么实现?以及跨库的join问题

    相关链接:

    分表分库方案实现

    如何实现分库分表

    Java实战:教你如何进行数据库分库分表

  • 相关阅读:
    继承 Inheritance
    数据结构试题(四 )
    研1日记12
    AWS入门实践-AWS CLI工具的使用介绍
    KubeSphere 社区双周报 | 功能亮点抢“鲜”看 | 2022-09-16
    【Java刷题进阶】基础入门篇④
    电脑数据丢失怎么办?5 种免费数据恢复软件能帮到您
    【大数据存储与处理】1. hadoop单机伪分布安装和集群安装
    什么是面向对象编程?
    SpringBoot整合阿里云发送短信 (demo)
  • 原文地址:https://blog.csdn.net/weixin_51019103/article/details/127907746