• MySQL中 JOIN关联查询的原理以及优化手段


    1 关联查询的执行

    关联查询的执行过程是:先遍历关联表t1(驱动表,全表扫描),然后根据从表t1中取出的每行数据中的a值,去表t2(被关联表,被驱动表)中查找满足条件的记录,可以走t2的索引搜索。在形式上,这个过程就跟我们写程序时的嵌套查询类似,并且可以用上被驱动表的索引,所以我们称之为“Index Nested-Loop Join”,简称NLJ。在join语句的执行流程中,驱动表是走全表扫描,而被驱动表是走索引树搜索。**

    假设被驱动表的行数是M。每次在被驱动表查一行数据,要先搜索索引a,再搜索主键索引。每次搜索一棵树近似复杂度是以2为底的M的对数,记为log2M,所以在被驱动表上查一行的时间复杂度是 2*log2M

    假设驱动表的行数是N,执行过程就要扫描驱动表N行,然后对于每一行,到被驱动表上匹配一次。

    因此整个执行过程,近似复杂度是 N + N2log2M。显然,N对扫描行数的影响更大,因此应该让小表来做驱动表:N扩大1000倍的话,扫描行数就会扩大1000倍;而M扩大1000倍,扫描行数扩大不到10倍。

    结论:如果使用join语句的话,需要让小表做驱动表,并且被驱动表的关联字段应该建立索引。一般来说,除非有其他理由,否则只需要在关联顺序中的第二个表的相应列上创建索引,即在被驱动的表的关联字段简历索引。

    2 没有索引的算法

    如果,被驱动表的关联字段没有使用索引,那么MySQL将使用另一种Block Nested-Loop Join算法。

    1. 把表t1的数据读入线程内存join_buffer中,这只会将查询需要返回的列放入,如果我们的语句中写的是select *,就会把整个表t1放入了内存;
    2. 扫描表t2,把表t2中的每一行取出来,跟join_buffer中的数据做对比,满足join条件的,作为结果集的一部分返回。

    这个过程的流程图如下:

    对应地,这条SQL语句的explain结果的Extra字段中将会展示:Block Nested Loop。在这个过程中,对表t1和t2都做了一次全表扫描,因此总的扫描行数是量表的数据总和M+N。由于join_buffer是以无序数组的方式组织的,因此对表t2中的每一行,都要做100次判断,总共需要在内存中做的判断次数是:M* N次。

    假设小表的行数是N,大表的行数是M,那么在这个算法里:

    1. 两个表都做一次全表扫描,所以总的扫描行数是M+N;
    2. 内存中的判断次数是M*N,虽然不需要读盘,但是需要占用大量CPU进行计算。

    可以看到,调换这两个算式中的M和N没差别,因此这时候选择大表还是小表做驱动表,执行耗时是一样的。

    join_buffer的大小是由参数join_buffer_size设定的,默认值是256k。如果放不下表t1的所有数据话,策略很简单,就是将t1的数据分段放入、比较,假设表t1被分成了两次放入join_buffer中,那么会导致表t2会被扫描两次。虽然分成两次放入join_buffer,但是内存中判断等值条件的次数还是不变的,依然是M*N次。

    假设,驱动表的数据行数是N,需要分K段才能完成算法流程,K大于等于1,被驱动表的数据行数是M。注意,这里的K不是常数,N越大K就会越大。所以,在这个算法的执行过程中:

    1. 扫描行数是 N+K*M;
    2. 内存判断 N*M次。

    可以看到,如果join_buffer_size没有足够大(这是常见的情况),那么N越小,这样K就更小,扫描的行数才会更少,因此仍然应该让小表当驱动表。而且K也是影响扫描行数的关键因素,这个值越小越好,如果N不变,那么影响K的就是join_buffer_size的大小。join_buffer_size越大,一次可以放入的行越多,分成的段数K也就越少,对被驱动表的全表扫描次数就越少。

    因此,如果你的join语句很慢,除了让小表当驱动表,还有就把join_buffer_size改大。**

    如果确定“小表”呢?除了总行数之外,还应该是两个表按照各自的条件过滤,过滤完成之后,再计算参与join的各个字段的总数据量(因为还要放入内存中),数据量小的那个表,就是“小表”,应该作为驱动表。

    实际在查询优化时,如果join不是使用的Index Nested-Loop Join算法,则应该尽量改为使用该算法。

     

  • 相关阅读:
    【游戏引擎Easy2D】 学C++还不会文字旋转?如此炫酷的技巧来这学
    C4BUILDER—用于构建C4模型图的Web项目
    Neo4j数据库介绍及简单使用
    从0到1,手把手实战:STM32最小系统核心板
    DNS服务器的安全措施都有哪些?
    从 0 到 1 ,手把手教你编写《消息队列》项目(Java实现) —— 编写服务器
    阿里云2核4G服务器支持多少人在线?多少钱?
    《架构师说》第五期,DPU 正在掀起数据中心变革!
    华为云HECS安装docker-compose
    LeetCode每日一题——1684. 统计一致字符串的数目
  • 原文地址:https://blog.csdn.net/weixin_62421895/article/details/126501513