• sharding-jdbc分库分表（一）

    以商城商品为例

    垂直分表：将一个表按照字段分成多表，每个表存储其中一部分字段

    它带来的提升是：

    1、为了避免IO争抢并减少锁表的几率，查看详情的用户与商品信息浏览相互不影响

    2、充分发挥热门数据的操作效率，商品信息的操作的高效率不会被商品描述的低效率所拖累

    垂直分库：

    垂直分库是指按照业务将表进行分类，分页到不同的数据库上面，每个库可以放在不同的服务器上，它的核心理念是专库专用

    它带来的提升是：

    1、解决业务层面的耦合，业务清晰

    2、能对不同业务的数据进行分组管理，维护，监控，扩展等

    3、高并发场景下，垂直分库一定程度的提升IO，数据库连接数，降低单机硬件资源的瓶颈

    垂直分库通过将表按业务分类，然后分布在不同数据库，并且可以将这些数据库部署在不同服务器上，从而达到多个服务器共同分摊压力的效果，但是依然没有解决单表数据量过大的问题。

    水平分库：

    是把同一个表的数据按一定规则拆到不同的数据库中，每个库可以放在不同的服务器上。

    它带来的提升是：

    1、解决了单库大数据，高并发的性能瓶颈

    2、提高了系统的稳定性及可用性。稳定性体现在IO冲突少，锁定减少，可用性指某个库出问题，部分数据可用 

    水平分表：

    水平分表是在同一个数据库内，把同一个表的数据按一定规则拆到多个表中

    它带来的提升是：

    1、优化单一表数据量过大而产生的性能问题

    2、避免IO争抢并减少锁表的几率

    分库分表带来的问题：

    1、事务一致性问题

            由于分库分表把数据分页在不同库甚至不同服务器，不可避免分带来分页式事务问题

    2、跨节点关联查询

    3、跨节点分页、排序、函数

    4、主键重复问题

    在分库分表环境中，由于表中数据同时存在不同的数据库中，主键值平时使用的自增长 将无用武之地，某个分区数据库生成的ID无法保证全局唯一。因此需要单独设计全局主键，以避免跨库主键重复问题

    5、公共表

    实际的应用场景中，参数表，数据字典表等都是数据量较少，变动少，而且属于高频联合查询的依赖表。

    可以将这类表在每个数据库都保存一份，所有对公共表的更新操作都同时发送到所有分库执行

    由于分库分表之后，数据被分散在不同的数据库、服务器。因此，对数据的操作也就无法通过常规方式完成，并且它还带来了一系列的问题。

    Sharding-jdbc介绍

    sharding-jdbc是当当网研发的开源分页式数据库中间件，从3.0开始Sharding-jdbc被包含在Sharding-Sphere，之后该项目进入 Apache，4.0版本之后的版本为Apache版本

    Sharding-jdbc它定位为级Java框架，在java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

    Sharding-jdbc的核心功能为数据分片和读写分离，通过Sharding-JDBC，应用可以透明的使用jdbc访问已经分库分表、读写分离的多个数据源，而不用关心数据源的数量以及数据如何分页。

    与jdbc性能对比：

    1、性能损耗测试：服务器资源充足、并发数相同，比较JDBC和Sharding-JDBC性能损耗，sharding-jdbc相对JDBC损耗不超过7%

    2、性能对比测试：服务器资源使用到极限，相同场景JDBC与sharding-jdbc的吞吐量相当

    3、性能对比测试：服务器资源使用到极限，sharding-jdbc采用分库分表后，sharding-jdbc吞吐量较JDBC不分表有接近2倍提升

    sharding-jdbc快速入门

    使用sharding-jdbc完成对订单表的水平分表，通过快速入门程序的开发，快速体验sharding-jdbc的使用方法。

    人工创建两张表，t_order_1和t_order_2，这两张表是订单表拆分后的表，通过sharding-jdbc向订单表插入数据，按照一定的分片规则，主键为偶数的进入t_order_1，另一部分数据进入t_order_2，通过sharding-jdbc查询数据，根据SQL语句的内容从t_order_1或t_order_2查询数据。

    代码mode(水平分表):

    配置yml

    1. server:
    2.   port: 8082
    3.   servlet:
    4.     context-path: /sharding-jdbc-simple-demo
    5.  
    6. spring:
    7.   application:
    8.     name: sharding-jdbc-simple-demo
    9.   http:
    10.     encoding:
    11.       enabled: true
    12.       charset: UTF-8
    13.       force: true
    14.       #shrading-jdbc配置
    15.   shardingsphere:
    16.     datasource:
    17.       names: m1
    18.       m1:
    19.         type: com.alibaba.druid.pool.DruidDataSource
    20.         driver-class-name: com.mysql.jdbc.Driver
    21.         url: jdbc:mysql://localhost:3306/shareding?useUnicode=true
    22.         username: root
    23.         password: 123456
    24.     sharding:  #指定t_order表的数据分页情况，配置数据节点 m1.t_order_1 m1.t_order_2
    25.       tables:
    26.         t_order:
    27.           actual-data-nodes: m1.t_order_$->{1..2}
    28.           key-generator:
    29.             column: id #主键字段
    30.             type: SNOWFLAKE #指定t_order表主键生成策略
    31.           table-strategy: #指定t_order表的分片策略，分片策略包括分片键和分片算法
    32.             inline:
    33.               sharding-column: id #分片键
    34.               algorithm-expression: t_order_$->{id%2+1} #分片算法
    35.     props:
    36.       sql:
    37.         show: true #输出sharding-jdbc的真实sql
    38.  
    39. mybatis:
    40.   configuration:
    41.     map-underscore-to-camel-case: true
    42.  
    43. swagger:
    44.   enable: true
    45. logging:
    46.   level:
    47.     root: info
    48.     org:
    49.       springframeword:
    50.         web: info
    51.     cn:
    52.       ping: debug
    53.     druid:
    54.       sql: debug

    maven:

    1. "1.0" encoding="UTF-8"?>
    2. "http://maven.apache.org/POM/4.0.0"
    3.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    4.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    5.     
    6.         org.springframework.boot
    7.         spring-boot-starter-parent
    8.         2.0.3.RELEASE
    9.     
    10.     4.0.0
    11.  
    12.     sharding-jdbc-simple
    13.  
    14.     
    15.         
    16.             org.springframework.boot
    17.             spring-boot-starter-web
    18.         
    19.  
    20.         
    21.             com.alibaba
    22.             druid-spring-boot-starter
    23.             1.2.11
    24.         
    25.  
    26.         
    27.             mysql
    28.             mysql-connector-java
    29.             5.1.46
    30.         
    31.  
    32.         
    33.             com.baomidou
    34.             mybatis-plus-boot-starter
    35.             3.5.1
    36.         
    37.  
    38.         
    39.             org.apache.shardingsphere
    40.             sharding-jdbc-spring-boot-starter
    41.             4.0.0-RC1
    42.         
    43.  
    44.         
    45.             org.projectlombok
    46.             lombok
    47.         
    48.  
    49.         
    50.             io.springfox
    51.             springfox-swagger-ui
    52.             2.8.0
    53.         
    54.  
    55.         
    56.             org.springframework.boot
    57.             spring-boot-starter-test
    58.         
    59.     
    60.  
    61.

    mysql创建表:

    1. CREATE TABLE `t_order_1` (
    2.   `id` bigint(20) NOT NULL COMMENT '订单id',
    3.   `price` decimal(10,2) NOT NULL COMMENT '订单价格',
    4.   `user_id` bigint(20) NOT NULL COMMENT '下单用户id',
    5.   `status` varchar(50) NOT NULL COMMENT '订单状态',
    6.   PRIMARY KEY (`id`) USING BTREE
    7. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    8.  
    9. CREATE TABLE `t_order_2` (
    10.   `id` bigint(20) NOT NULL COMMENT '订单id',
    11.   `price` decimal(10,2) NOT NULL COMMENT '订单价格',
    12.   `user_id` bigint(20) NOT NULL COMMENT '下单用户id',
    13.   `status` varchar(50) NOT NULL COMMENT '订单状态',
    14.   PRIMARY KEY (`id`) USING BTREE
    15. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

    实体类：

    1. package cn.ping.entity;
    2.  
    3. import com.baomidou.mybatisplus.annotation.TableName;
    4. import lombok.Builder;
    5. import lombok.Data;
    6.  
    7. import java.math.BigDecimal;
    8.  
    9. /**
    10.  * @author: yejianping
    11.  * @date: 2022/12/5 15:12:25
    12.  * @email: 1152665905@qq.com
    13.  * @Description:
    14.  */
    15. @Data
    16. @Builder
    17. @TableName("t_order")
    18. public class Order {
    19.  
    20.     private Long id;
    21.  
    22.     private BigDecimal price;
    23.  
    24.     private Long userId;
    25.  
    26.     private String status;
    27. }

    mapper类：

    1. package cn.ping.mapper;
    2.  
    3. import cn.ping.entity.Order;
    4. import com.baomidou.mybatisplus.core.mapper.BaseMapper;
    5. import org.apache.ibatis.annotations.Param;
    6. import org.apache.ibatis.annotations.Select;
    7.  
    8. import java.util.List;
    9.  
    10. /**
    11.  * @author: yejianping
    12.  * @date: 2022/12/5 15:14:17
    13.  * @email: 1152665905@qq.com
    14.  * @Description:
    15.  */
    16. public interface OrderMapper extends BaseMapper {
    17.  
    18.  
    19.     List selectOrderList(@Param("position") Integer startPosition, @Param("size")Integer size);
    20. }

    mapper.xml

    1. "1.0" encoding="UTF-8"?>
    2. "-//mybatis.org//DTD Mapper 3.0//EN"
    3.         "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
    4. "cn.ping.mapper.OrderMapper">
    5.

    service

    1. package cn.ping.server;
    2.  
    3. import cn.ping.entity.Order;
    4. import com.baomidou.mybatisplus.core.metadata.IPage;
    5. import com.baomidou.mybatisplus.extension.service.IService;
    6.  
    7. import java.util.List;
    8.  
    9. /**
    10.  * @author: yejianping
    11.  * @date: 2022/12/5 15:16:52
    12.  * @email: 1152665905@qq.com
    13.  * @Description:
    14.  */
    15. public interface IOrderService extends IService {
    16.  
    17.     /**
    18.      * 通过ids查询Order
    19.      * @param ids
    20.      * @return
    21.      */
    22.     List getOrderByIds(List ids);
    23.  
    24.     IPage getOrderPage(Integer page,Integer size);
    25.  
    26.     List getOrderList(Integer page,Integer size);
    27. }

    serviceImpl

    1. package cn.ping.server.impl;
    2.  
    3. import cn.ping.entity.Order;
    4. import cn.ping.mapper.OrderMapper;
    5. import cn.ping.server.IOrderService;
    6. import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
    7. import com.baomidou.mybatisplus.core.metadata.IPage;
    8. import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
    9. import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
    10. import lombok.extern.slf4j.Slf4j;
    11. import org.springframework.stereotype.Service;
    12. import org.springframework.util.CollectionUtils;
    13.  
    14. import java.util.List;
    15.  
    16. /**
    17.  * @author: yejianping
    18.  * @date: 2022/12/5 15:21:06
    19.  * @email: 1152665905@qq.com
    20.  * @Description:
    21.  */
    22. @Service
    23. @Slf4j
    24. public class OrderServiceImpl extends ServiceImpl implements IOrderService {
    25.  
    26.     @Override
    27.     public List getOrderByIds(List ids) {
    28.  
    29.         if(CollectionUtils.isEmpty(ids)){
    30.             return null;
    31.         }
    32.         return this.listByIds(ids);
    33.     }
    34.  
    35.     @Override
    36.     public IPage getOrderPage(Integer page, Integer size) {
    37.  
    38.         LambdaQueryWrapper lqw = new LambdaQueryWrapper();
    39.         lqw.orderByDesc(Order::getPrice);
    40.  
    41.  
    42.         return page(new Page<>(page,size),lqw);
    43.  
    44.     }
    45.  
    46.     @Override
    47.     public List getOrderList(Integer page,Integer size){
    48.         return this.baseMapper.selectOrderList((page-1)*size,size);
    49.  
    50.     }
    51.  
    52. }

    测试类

    1. package cn.ping;
    2.  
    3. import cn.ping.entity.Dog;
    4. import cn.ping.entity.Order;
    5. import cn.ping.server.IDogService;
    6. import cn.ping.server.IOrderService;
    7. import com.baomidou.mybatisplus.core.metadata.IPage;
    8. import lombok.extern.slf4j.Slf4j;
    9. import net.bytebuddy.asm.Advice;
    10. import org.junit.Test;
    11. import org.junit.runner.RunWith;
    12. import org.springframework.beans.factory.annotation.Autowired;
    13. import org.springframework.boot.test.context.SpringBootTest;
    14. import org.springframework.test.context.junit4.SpringRunner;
    15.  
    16. import java.math.BigDecimal;
    17. import java.util.ArrayList;
    18. import java.util.Arrays;
    19. import java.util.List;
    20. import java.util.Random;
    21.  
    22. /**
    23.  * @author: yejianping
    24.  * @date: 2022/12/5 15:22:35
    25.  * @email: 1152665905@qq.com
    26.  * @Description:
    27.  */
    28. @RunWith(SpringRunner.class)
    29. @SpringBootTest(classes = {ShardingJdbcSimpleApplication.class})
    30. @Slf4j
    31. public class OrderTest {
    32.  
    33.     @Autowired
    34.     private IOrderService orderService;
    35.  
    36.     @Autowired
    37.     private IDogService dogService;
    38.  
    39.     @Test
    40.     public void testOrderInsert(){
    41.  
    42.         List orderList = new ArrayList<>();
    43.         for (int i = 0; i < 20; i++) {
    44.  
    45.             Order order = Order.builder()
    46.                     .price(new BigDecimal(new Random().nextInt(100)))
    47.                     .status("SUCCESS")
    48.                     .userId(1L)
    49.                     .build();
    50.             orderList.add(order);
    51.         }
    52.         orderService.saveBatch(orderList);
    53.         /*Order order = Order.builder()
    54.                 .price(new BigDecimal(10))
    55.                 .status("SUCCESS")
    56.                 .userId(1L)
    57.                 .build();
    58.         orderService.save(order);*/
    59.     }
    60.  
    61.  
    62.     @Test
    63.     public void testFindByIds(){
    64.         Long[] ids = {1599673041937334275L,1599673040175726594L};
    65.         List orderByIds = orderService.getOrderByIds(Arrays.asList(ids));
    66.         for (Order order : orderByIds) {
    67.             log.info(order.toString());
    68.         }
    69.     }
    70.  
    71.     @Test
    72.     public void testOrderPage(){
    73.         IPage orderPage = orderService.getOrderPage(1, 10);
    74.         for (Order order : orderPage.getRecords()) {
    75.             log.info(order.toString());
    76.         }
    77.     }
    78.  
    79.     @Test
    80.     public void testOrderList(){
    81.         List orderList = orderService.getOrderList(1, 10);
    82.         for (Order order : orderList) {
    83.             log.info(order.toString());
    84.         }
    85.     }
    86. }

    sharding-jdbc和mybatis plus分页冲突，不能使用分页插件，查询总数有问题

  • 相关阅读:
    在外远程访问禅道，点亮软件测试新技能「内网穿透」
    数据结构——新建一棵完全二叉树（C语言动态实现）
    TC8：UDP_USER_INTERFACE_01-08
    12_C++_链表_回调函数
    Java中生成一个唯一的文件名的方法
    iOS 配置通用链接(Universal Link)服务端和开发者后台都配置好了，还是跳转不到App
    虚拟机桥接模式无法联网
    视频播放速度调节的chrome插件，怎么快捷键调节B站播放速度
    北京筑龙：快消品行业如何迈入采购数字化快车道？
    集合框架的认识(四)Map
  • 原文地址：https://blog.csdn.net/qq_20768305/article/details/128171379