码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 百万级别数据批量插入 MySQL,哪种方式最快?


    3种策略

      • 源码地址
      • Mybatis 轻量级框架插入-数据量500W
      • JDBC直接处理-数据量10W
        • JDBC开启自动提交
        • JDBC关闭自动提交
      • 采用JDBC批处理-数据量100W
        • 自动提交
        • 关闭自动提交
      • JDBC批处理-数据量100W
        • 自动提交
        • 关闭自动提交
      • 总结:

    源码地址

    源码

    Mybatis 轻量级框架插入-数据量500W

    用时:9.17m
    在这里插入图片描述

    JDBC直接处理-数据量10W

    JDBC开启自动提交

    用时:13.18m 平均:41s/w
    在这里插入图片描述

    JDBC关闭自动提交

    用时:8.955s 平均:0.4s/w
    在这里插入图片描述

    采用JDBC批处理-数据量100W

    自动提交

    用时:6.981s 平均:0.7s/w
    在这里插入图片描述

    关闭自动提交

    用时:6.880s 平均:0.7s/w
    在这里插入图片描述

    JDBC批处理-数据量100W

    自动提交

    用时:34.329s 平均:2~6s/w
    在这里插入图片描述

    关闭自动提交

    用时:33.672s 平均:2~4s/w
    在这里插入图片描述

    总结:

    撇去是否开启自动提交事务:
    用时:
    Mybatis>JDBC直接处理>JDBC批处理
    同等策略中:
    JDBC直接处理自动提交>JDBC直接处理关闭自动提交
    JDBC批处理-100w级别数据自动提交≈JDBC批处理-100w级别数据关闭自动提交,但是随着数据量的提升:
    JDBC批处理-500w级别数据自动提交>JDBC批处理-500w级别数据关闭自动提交

  • 相关阅读:
    独立站店铺应该如何精细化运营
    [Unity] GPU动画实现(三)——材质合并
    一起来部署项目-采购一台云服务器
    【BiLSTM-Adaboost预测】基于双向长短期记忆网络的Adaboost时间序列预测研究(matlab代码实现)
    [LeetCode/力扣][C++] 86. 分隔链表(Partition List)
    通过GB28181协议接入摄像头到自己的平台-WVP-Pro容器化部署
    Vue3路由的使用
    Python报错“ImportError:most likely due to a circular import“记录
    什么软件做可视化大屏最简单、最快?
    SWC 流程
  • 原文地址:https://blog.csdn.net/m0_48333563/article/details/124885951
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号