码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 海量数据插入的各种方案试验


    海量数据插入的各种方案试验,大家来分析下


    前提


            源表:一千万条以上记录,54个字段.exp导出文件2.8G以上。
            目的表:无索引,空表
            试验:A.本地插入。B.跨库插入

            初始化

    SQL> select count(*) from A;


                COUNT(*)
    --------------------
                11387512
    已用时间:  00: 00: 47.08

    SQL> create table test as select * from A where 1<0; --(无索引)


    表已创建。
    已用时间:  00: 00: 00.02

    SQL> alter table test move tablespace mydata;


    表已更改。
    已用时间:  00: 00: 00.00
    默认表空间太小。

    A.本地插入

    1。直接insert into
    SQL> insert into test select * from A;

    已创建11387512行。

    已用时间:  00: 07: 22.02


    2。nologing

    SQL> insert into test NOLOGGING select * from A;

    已创建11387512行。

    已用时间:  00: 07: 18.01


    3。append参数

    SQL> insert /* +append*/into test nologging select * from A;

    已创建11387512行。

    已用时间:  00: 07: 29.04


    4。copy命令


    爆慢,等了一个小时以上,把进程关了。(当时看见进程在“锁”中,不知为何,我菜,不懂)

    B.跨库插入

    1。直接insert into
    SQL> insert into test select * from A@ora1;

    已创建11840772行。

    已用时间:  00: 15: 29.09


    2。nologing
    SQL> insert into test nologing select * from A@ora1;


    (nologing和nologging有区别吗?)

    已创建11840772行。

    已用时间:  00: 14: 15.01


    3。append参数
    SQL> insert /* +append*/into test nologing select * from A@ora1;

    已创建11840772行。

    已用时间:  00: 14: 17.01
    另外,有人说是nologing,有人说是nologging,昏了,再做了次
    SQL> insert /* +append*/into test nologging select * from A@ora1;

    已创建11840772行。

    已用时间:  00: 14: 12.05


    4。copy命令
    1. set copycommit 1;
    2. set arraysize 5000;
    3. copy from scott/tiger@ora1 -
    4. insert test -
    5. using -
    6. select * from A;


    耗时两小时+,昏了。


    5。imp导入

    更爆慢,耗时5小时+,没等出结果直接取消了,浪费了一个下午+半个早上。不过当时imp时test表是有索引的,没有删除!,也是远程imp,还要考虑网络问题。

  • 相关阅读:
    如何优雅的设计权限系统才算yyds?(荣耀典藏版)
    金翅擘海|人大女王金融硕士庞雪雨:行学之道,在自律、在勤勉、在止于至善
    图解LeetCode——1224. 最大相等频率(难度:困难)
    图像对比度增强易语言代码
    Gin程序热加载
    威马汽车流血上市,3年烧掉174亿,能否IPO突围?
    【Spring Boot】创建一个 Spring Boot 项目
    SSM+基于web的《计算机基础》自学系统的设计与开发 毕业设计-附源码221509
    spicy之evt接口定义文件
    项目进展(八)-编写代码,驱动ADS1285
  • 原文地址:https://blog.csdn.net/caryxp/article/details/133850868
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号