码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 对分库分表进行批量操作


    对ShardingJDBC基础了解:https://blog.csdn.net/m0_63297646/article/details/131894472

    对批量操作案例:https://blog.csdn.net/m0_63297646/article/details/131843517

    分为db0和db1两个库,每个库都有三张订单表,分表键根据年份【year】,分库键根据店铺id【store_id】

    在db0中存在两张学生信息表,分表键根据年份【year】

    一、插入

    插入时,对象要带有分库/分表键的值,shardingJdbc会进行改写。一次性插入。

    1、分表未分库

     2、分库分表

    二、更新

    代码简单,但是会增加逻辑。 

    db0和db1都会执行,且因为店铺id集合包含两个库的数据,所有的订单都会在两个库重复执行。

    建议:在stream所有店铺id时,可以加一个distinct,避免大量重复数据。

    @Test
    void test15() {
        //分库分表键全作为参数,则全部都要执行一遍。
        List orderDOList = orderMapper.selectList(null);
        System.out.println(Objects.isNull(orderDOList));
        List collect = orderDOList.stream().map(obj -> obj.getStoreId()).distinct().collect(Collectors.toList());
        List collect1 = orderDOList.stream().map(obj -> obj.getId()).distinct().collect(Collectors.toList());
        orderMapper.updateBatchOrderDoList(collect,
                collect1,
                CommonUtil.getYearList()
        );
    }
    
    
    void updateBatchOrderDoList(@Param("store_id_list")List storeIdList,
                                @Param("order_id_list")List orderIdList,
                                @Param("year_list")List yearList);
    
    
    
        UPDATE
        t_order bo
        SET
         no='2222222'
        
            
                #{item}
            
            
                #{item}
            
            
                #{item}
            
        
    

    1、分库分表

    根据分库键【store_id】分为两个list,分别更新。

    public static  void splitAndProcess(List sourceList, Predicate condition, Consumer> action) {
        List matchingItems = new ArrayList<>();
        List nonMatchingItems = new ArrayList<>();
    
        for (T obj : sourceList) {
            if (condition.test(obj)) {
                matchingItems.add(obj);
            } else {
                nonMatchingItems.add(obj);
            }
        }
    
        action.accept(matchingItems);
        action.accept(nonMatchingItems);
    }
    
    splitAndProcess(orderDOList, obj -> obj.getStoreId() % 2 == 0, splitList -> {
        orderMapper.batchUpdate(splitList);
    });

    注意:如果使用下面这种sql方式,需要更新0库1库两个库的数据,路由只会进入一个更新,导致没有所有的数据更新。

    
        
            update
            
                t_order_${vo.year}
            
            
                t_order
            
            set no=3
            where id = #{vo.id} and year = #{vo.year} and store_id=#{vo.storeId}
        
    
    

    2、分表未分库

    如果是统一的数据更新,比如student表,更新所有学生的name为‘张三’,可以直接用updateById。

    使用sql语句话

    
        update
            s_stduent
        set
           age = age + 1
        
            id=#{id}
            
                #{item}
            
        
    

  • 相关阅读:
    Net跨平台UI框架Avalonia入门-安装和使用(v11版本)
    ts 联合react 实现ajax的封装,refreshtoken的功能
    前后端分离项目(九):实现"添加"功能(后端接口)
    Debian 初始化命令备忘
    《BPF Performance Tools —— 洞悉Linux系统和应用性能》学习笔记 —— 第一章 介绍(2)
    PTA--1014 Waiting in Line(模拟队列)
    性能优化--string 字符串拼接(超详细)
    Doris---索引
    Ceph入门到精通- 加快日志轮转
    如何将项目SpringBoot部署在Linux上?Linux项目部署基本知识。
  • 原文地址:https://blog.csdn.net/m0_63297646/article/details/132596723
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号