• oracle大数据表(千万级)修改,删除优化技巧【转】


    oracle大数据表(千万级)修改,删除优化技巧【转】

    oracle大数据表(千万级)修改,删除优化技巧
    运行下面的SQL
    delete  from idwsq11.SH30_PRCSS_EXCTN_LOG e
    where deriv_prcss_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
    省略其他信息。。。。。
    为啥老外自己不做呢? 其实冤枉他了,他删除了的 不过等了半小时还没完,不耐烦了,然后kill了给我删除。
    explain plan for delete from idwsq11.SH30_PRCSS_EXCTN_LOG e
    where deriv_prcss_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
    SQL> select * from table(dbms_xplan.display);
    PLAN_TABLE_OUTPUT
    --------------------------------------------------------------------------------------------------------
    Plan hash value: 1015128491
    -----------------------------------------------------------------------------------------------
    | Id  | Operation        | Name                     | Rows  | Bytes | Cost (%CPU)| Time    |
    -----------------------------------------------------------------------------------------------
    |   0 | DELETE STATEMENT |                          |   203K| 5161K|  432   (3)| 00:00:05 |
    |   1 | DELETE          | SH30_PRCSS_EXCTN_LOG     |      |      |           |         |
    |*  2 |   INDEX RANGE SCAN| SH30_PRCSS_EXCTN_LOG_IDX6 |   203K| 5161K|  432   (3)| 00:00:05 |
    -----------------------------------------------------------------------------------------------
    Predicate Information (identified by operation id):
    ---------------------------------------------------
       2 - access("DERIV_PRCSS_TIME_STAMP"<TO_DATE('2010-01-01 00:00:00', 'yyyy-mm-dd
                 hh24:mi:ss'))
    15 rows selected.
    SQL> select count(*) from idwsq11.SH30_PRCSS_EXCTN_LOG;
      COUNT(*)
    ----------
        342124
    Elapsed: 00:00:02.87
    SQL> select count(*) from idwsq11.SH30_PRCSS_EXCTN_LOG
      2  where deriv_prcss_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
      COUNT(*)
    ----------
        192332
    要删除192332条数据,表一共有342124条数据,执行计划居然走索引,很明显表统计信息过期了,执行计划有问题。
    这也不难解释为什么老外删了半天没动静
    select ' alter index ' ||  index_owner || '.' || index_name  ||' unusable ;'name from
    dba_ind_columns where table_owner=upper('idwsq13') and
    table_name=upper('SH30_PRCSS_EXCTN_LOG');
    alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 unusable ;
    alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 unusable ;
    alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 unusable ;
    alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 unusable ;
    alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 unusable ;
    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 unusable ;
    Index altered. 
    Elapsed: 00:00:00.93
    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 unusable ; 
    Index altered. 
    Elapsed: 00:00:01.95

    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 unusable ; 
    Index altered. 
    Elapsed: 00:00:00.95
    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 unusable ; 
    Index altered. 
    Elapsed: 00:00:00.93
    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 unusable ;
    Index altered. 
    Elapsed: 00:00:02.03 
    SQL> delete from idwsq11.SH30_PRCSS_EXCTN_LOG e
      2  where deriv_prcss_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD'); 
    192332 rows deleted. 
    Elapsed: 00:00:07.04
    SQL> commit; 
    Commit complete. 
    Elapsed: 00:00:00.93
    SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 rebuild online nologging parallel ; 
    Index altered. 
    Elapsed: 00:02:52.76
    SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 rebuild online nologging parallel ;
     Index altered. 
    Elapsed: 00:00:05.59
    SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 rebuild online nologging parallel ;
     Index altered.
     Elapsed: 00:00:04.35
    SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 rebuild online nologging parallel ;
    Index altered.
    Elapsed: 00:00:04.03
    SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 rebuild online nologging parallel ;
    Index altered.
    Elapsed: 00:00:04.86
     现在多快啊,不到2分钟全部搞定。
    总结:如果要对表进行大规模delete操作,大规模update,先看看执行计划,评估一下走索引好还是走全表扫描好(全表扫描还可以利用并行特征),如果表上面有索引,那么先unusable索引,然后rebuild 索引。如果是删除操作,那么还要 alter table move。降低高水位,然后再 rebuild index。
    如果要对表进行大规模批量加载 那么先 unusable index ,然后 append parallel nologging ,最后rebuild index
    批量加载示例:
    insert into ADWGU_DICFR.DICFR_SALES_FCT select * from adwgq_dicfr.DICFR_SALES_FCT@adw1d e;
    今天我就做了个 dblink加载1亿1千万条的记录,花了1小时10分钟。
    注意parallel 根据CPU核数设置,如果你CPU有8个核,那么你可以设置parallel 8

    delete FROM LYH_TEMP LT;

    --刘轶鹤转自网络

  • 相关阅读:
    保存save_data()数组有[]的解决办法
    uni-app入门:wxs基本使用
    钡铼技术R40路由器应用于农业大数据采集与分析系统
    288.【华为OD机试】AI面板识别(排序算法—Java&Python&C++&JS实现)
    Django ORM查询之聚合函数、聚合查询(aggregate)、分组查询(annotate)
    git 回退过程记录
    第 4 章 串(串的堆分配存储实现)
    新人学习笔记之(变量)
    MySQL - 事务四大特性、事务隔离级别、事务的脏读、不可重复读、幻读
    Day34|贪心算法|分发糖果
  • 原文地址:https://blog.csdn.net/AlexLiu_2019/article/details/125377684