码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Mysql 45讲学习笔记(三十三)全表扫描为啥不会OOM(out of memory)


    一.全表扫描server层如何执行

    使用场景:

           我们现在要对一个200G的InnoDB表执行全表扫描:

    mysql -h$host -P$port -u$user -p$pwd -e "select * from db">$target_file

    取数据和发数据的流程:

    • 获取一行,写到net_buffer中,这块内存的大小是由参数net_buffer_length定义,默认16k
    • 重复,知道16k写满,网络接口发送出去,并清空缓存
    • 直到函数返回EAGAIN 或 WSAEWOULDBLOCK,表示本地网络栈(socket send buffer)写满了,表示本地网络栈写满了,进入等待。直到网络栈重新可写,继续发送。

    • MySQL 是“边读边发的”---流式
    • 客户端接收 慢,导致MySQL服务端结果发布出去 ,事务执行时间变长

    二.全表扫描对InnoDB

       Buffer Pool两个作用:

    • 加速更新
    • 加速查询  (查询不需要读磁盘,直接从内存中取结果)

    内存命中率

    查看方式: 

    show engine innodb status结果,查看系统当前的BP命中率

    InnoDB Buffer Pool的大小由参数innodb_buffer_pool_size,一般建议设置成可用物理内存60%-80%

    Buffer Pool如何淘汰数据

    三.Least Rencently Used--LRU算法

    淘汰最久未使用数据

    存在问题:

    • 全表扫描的时候,Buffer Pool 里的数据全部淘汰掉,存入扫描过程中访问到的数据页的内容
    • 此时,业务数据进来会导致内存命中率急剧下降,磁盘压力增加,SQL 语句响应变慢

    解决方案:

       改进版LRU算法---为全表扫描的操作量身定制

    利用特点:该数据页只会全表扫描的时候被 访问间隔不会超过 1 秒   -----控制LRU认定最近条件即可

  • 相关阅读:
    网络空间对抗防御中的智能监测技术研究
    Vagrant + VirtualBox + CentOS7 + WindTerm 5分钟搭建本地linux开发环境
    【仿牛客网笔记】Spring Boot实践,开发社区登录模块-账号设置,检查登录
    论文阅读笔记 | 三维目标检测——VeloFCN算法
    Ubuntu 上传项目到 GitHub
    CFD瞬态计算的一些注意事项
    【Spring Boot】通过AOP拦截Spring Boot日志并将其存入数据库
    【JMeter】分布式压测配置教程
    [RK3568][Android11]驱动之插入和删除模块
    java集合
  • 原文地址:https://blog.csdn.net/weixin_42369687/article/details/126276236
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号