• 多多表查询优化,逆向思维


    最近遇到一个很emmm奇妙的场景
    因为实在想不到什么词来形容了
    也不是什么大问题,但是单纯想记录一下
    先介绍一下背景:
    假设现在有一个保险公司,有两波销售人员,记录在表User,一波是电网销,数据库User.Type记录为DWX 另一波是代理人销售,User.Type记录为DLR。
    然后保险公司旗下假设有50个产品(Product),其中30个是电网销专卖,20个是代理人专卖,然后这些销售员(User)有大概几十万人,他们在线上可以有一个自己的店铺(Shop),公司的产品在店铺里可以售卖,但是销售员可以配置哪些卖,哪些不卖,所以又有一张中间表Config来关联哪个店铺卖了哪个产品

    这么一看,产品和店铺是多对多,店铺和销售员是一对一的关系。

    现在的需求是,想要查询出所有电网销人员在卖的产品

    其实简单一点,如果产品分为一种是电网销专卖,一种是代理人专卖的话,那加个字段Type区别一下不就好了,直接单表查询…………
    但是由于种种原因,不能加字段
    (内心啊啊啊啊啊……)
    所以只能查了,我查询所有电网销人员卖的所有产品,我要查4个表 product+config+shop+user

    select * 
    from user
    left join shop on shop.user_id = user.id
    left join config on shop.id=config.shop_id
    left join product on  product.id=config.product_id
    where user.type='DWX'
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    (部分字段、条件省略)
    这样显然不合理,首先线上多表查询不能超过3张
    其次除了product以外的3张表数据量都挺大,查询时间很久,这4个表直接联查需要耗时20s+,这显然不可以!!!

    其实想想,它为什么久,因为user基数大,但是product的基数是小的,保险产品换来换去都是那几个,那么可以反过来查询,我先把所有产品查询出来,再去找和DWX的关系。加上线上不可以有超过3张表的联查,我把这个查询拆成了两次。

    // 查询所有产品 
    // select * from product
    List<ProductVo> allProduct = dao.queryAll();
    List<ProductVo> productVos = new ArrayList<>();
    allProduct.forEach(item->{
    //查询判断一下是否是DWX产品,是的话加入返回的数组
    //select * from config left join shop on shop.id=config.shop_id
    //left join user on user.id=shop.user_id where user.type='DWX' 
    // limit 1
    	if(dao.checkDWX(param)){
    		productVos.add(item)
    	}
    })
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    因为产品比较少,从产品的角度去逆向查询,就可以提高查找的效率,另外由于关联的config和shop是多条,如果是DWX可能查出多条数据,如果不是则没有数据,所以只要能关联到一条数据,就能为所需要查询的产品,用limit 1只查一条,再提高一点速度

    其实也不算什么硬优化,单纯记录一下有时候遇到困难可以换个角度思考~

  • 相关阅读:
    深入浅出DAX:数据分析
    深度学习常见的transform和dataloder联合transform
    leetcode做题笔记2760. 最长奇偶子数组
    两万字长文带你深入Go语言GC源码
    rails console打印实例变量
    【洁洁送书第七期】现在学 Java 找工作还有优势吗
    学习阶段单片机买esp32还是stm32?
    题目 1009: [编程入门]数字的处理与判断(python详解)——练气二层后期
    高级IO—多路转接
    学习 Python 数据可视化,如何快速入门?
  • 原文地址:https://blog.csdn.net/FRYAN28/article/details/126000269