在数据库插入万条数据，比普通插入提升百倍速度

在数据库插入万条数据，比普通插入提升百倍速度

---

JDBC中通过普通方法插入一万条数据

   /**
     * 普通方法插入10000条数据
     * @throws Exception
     */
    @Test
    public void testInsert() throws Exception {
        //注册驱动
        Class.forName("com.mysql.cj.jdbc.Driver");
        //获取连接
        Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");
        //编写sql语句
        String sql = "insert into user(name,,age,sex) values (?,?,?)";
        //创建statement
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
		//计算插入数据开始时间
        long startTime = System.currentTimeMillis();
        for (int i = 1; i < 10000; i++) {
            preparedStatement.setObject(1, "shiSheng" + i);
            preparedStatement.setObject(2, "1" + i);
            preparedStatement.setObject(3, "男" + i);
            //一条一条插入数据
            preparedStatement.executeUpdate();
        }
		//运行完插入数据的结束时间
        long endTime = System.currentTimeMillis();
		//计算两者的差值，也就是插入1万条数据所用的时间
        long time = endTime - startTime;
        System.out.println("普通方式执行插入1万个数据消耗的时间：" + time );
        //关闭资源
        preparedStatement.close();
        connection.close();
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

运行结果

普通方式执行插入1万个数据消耗的时间：23391
1

可以看到用了大概23秒的时间，效率十分的低下，这还只是插入最简单数据的情况下

---

通过批量插入来提升百倍速度

 	/**
     * 批量插入10000条数据
     * @throws Exception
     */
    @Test
    public void batchInsert() throws Exception {
        //注册驱动
        Class.forName("com.mysql.cj.jdbc.Driver");
        //获取连接
        Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");
        //编写sql语句
   		String sql = "insert into user(name,,age,sex) values (?,?,?)";
        //创建statement
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
     	//计算插入数据开始时间
        long startTime = System.currentTimeMillis();
        for (int i = 1; i < 10000; i++) {
            preparedStatement.setObject(1, "a" + i);
            preparedStatement.setObject(2, "b" + i);
            preparedStatement.setObject(3, "c" + i);
            //将所有要插入的数据添加到values后面
            preparedStatement.addBatch();
        }
        //批量插入数据
        preparedStatement.executeBatch();
        //运行完插入数据的结束时间
        long endTime = System.currentTimeMillis();
		//计算两者的差值，也就是插入1万条数据所用的时间
        long time = endTime - startTime;
        System.out.println("优化方式执行插入1万个数据消耗的时间：" + time );
        //关闭资源
        preparedStatement.close();
        connection.close();
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

运行结果

优化方式执行插入1万个数据消耗的时间：231
1

通过对比可以看到普通方法用了23391毫秒，优化后只用了231毫秒，速度提升了百倍以上，这对项目是一个很大的提升

变动

• 改动一

在获取连接时加上rewriteBatchedStatements=true，意思是允许批量插入数据

• 改动二

preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据，改为把所有要插入的数据都添加到values后面，之后再统一插入数据

• 改动三

在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作

原因

其实就是调用了statement中的一个批量插入函数，提高了效率。
原先是通过for循环一条一条的插入数据，这样效率很低，现在是通过for循环把要插入的数据都保存到一个地方，循环结束后统一进行插入，这样节省很多空间内存，也提高了效率。

---

我是时生，一个正在努力的小白。欢迎批评，欢迎指正，欢迎共享。 如果这篇文章对你有帮助，麻烦点个赞呗！