• oracle中的minus数据比对


    1、要有唯一索引或者主键作为前提,减少数据冲突的数量。

    2、当有in查询的时候,尽量用exists,这样能提高查询效率:

    create table TF_F_USER_DIFF1 tablespace BD_TBS_EXP_DATA parallel 20
    as select /*+ parallel(c,20) / * from TF_F_USER_DIFF c where not
    exists(select /
    + parallel(a,10) */ user_id from TF_F_USER_CRM a where
    a.user_id=c.user_id);

    低效率查询是这样的:

    create table TF_F_USER_DIFF1 tablespace BD_TBS_EXP_DATA parallel 20 as select /*+ parallel(c,20) / * from TF_F_USER_DIFF c where a.user_id not in(select /+ parallel(a,10) */ user_id from TF_F_USER_CRM a);

    3、ORACLE中的minus内部实现是有唯一索引机制或者主键机制,所以不需要像在其他表数据比对软件中那样要指定唯一索引或者主键那么麻烦,这个大赞。

    4、如果两张表的数据量差异太大的话,建议按每个列分别比对,而不是把所有的列放在一起直接minus,因为minus之后的结果需要关联查询,两张大表关联查询效率不高。

    1)分别比对:select columnA,columnB from tableA minus select columnC,columnD from tableB,其中columnA,columnC分别是两张表的主键,这样就只比对columnB,columnD这两列了。

    2)把所有的列放在一起比对:select columnA,columnB,columnE,columnF,columnG,coulumnH from tableA minus select columnC,columnD,columnL,columnM,columnN,coulumnI from tableB

    5、找出既在A表中有数据,又在C表中有数据,其中VPN_ID、MEMBER_ROLE_ID、START_DATE是联合主键:

    create table Tf_f_User_Member_CRM tablespace BD_TBS_EXP_DATA parallel
    20 as SELECT /*+ parallel(c,20) */

    • FROM TF_F_USER_MEMBER_DIFF C WHERE EXISTS (SELECT /*+ parallel(a,10) */ a.vpn_id,a.member_role_id,a.start_date FROM ucr_group_online.TF_F_USER_MEMBER_DIFF A WHERE A.VPN_ID = C.VPN_ID AND
      A.MEMBER_ROLE_ID = C.MEMBER_ROLE_ID AND A.START_DATE = C.START_DATE);

    最好不要用下面的SQL语句,因为它是等值查询,会发生笛卡尔积,导致数据成倍的增长,最终结果不准确:

    create table Tf_f_User_Member_diff1 tablespace BD_TBS_EXP_DATA
    parallel 20 as SELECT /*+ parallel(c,20) / /+ parallel(a,20) / c.
    FROM TF_F_USER_MEMBER_DIFF C, UCR_GROUP_ONLINE.TF_F_USER_MEMBER_DIFF A
    WHERE A.VPN_ID = C.VPN_ID AND A.MEMBER_ROLE_ID = C.MEMBER_ROLE_ID AND
    A.START_DATE = C.START_DATE;

    6、找出只在C表中存在数据,A表中不存在相同的数据,其中VPN_ID、MEMBER_ROLE_ID、START_DATE是联合主键:

    create table Tf_f_User_Member_CRM tablespace BD_TBS_EXP_DATA parallel
    20 as SELECT /*+ parallel(c,20) */

    • FROM TF_F_USER_MEMBER_DIFF C WHERE not EXISTS (SELECT /*+ parallel(a,10) */ a.vpn_id,a.member_role_id,a.start_date FROM
      ucr_group_online.TF_F_USER_MEMBER_DIFF A WHERE A.VPN_ID = C.VPN_ID AND
      A.MEMBER_ROLE_ID = C.MEMBER_ROLE_ID AND A.START_DATE = C.START_DATE);

    7、oracle中的minus有排重作用:比如A={1,2,3,4},B={5,6,7,7},虽然两边的数据量是一样的,数据是完全不同的,理应B minus A的数据量是4,但是B minus A={5,6,7},只有三条数据,就是因为minus排重了。A minus B={1,2,3,4},数据量是4,说明A表中没有重复数据。

  • 相关阅读:
    【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析(五)
    【探索Spring底层】10.Spring选择代理
    RHEL 8.6 Kubespray 1.23.0 install kubernetes v1.27.5
    自学黑客【网络安全】,一般人我劝你还是算了吧
    程序包org.apache.commons.XXX不存在
    【MySQL】CONCAT、CONCAT_WS、GROUP_CONCAT 函数用法
    高德地图爬虫实践:Java多线程并发处理策略
    困在赛博世界里的“仿生机器人”
    ​单级高频谐振小放
    20个关于文件操作的Python脚本
  • 原文地址:https://blog.csdn.net/richard2t/article/details/132969334