别再用Mybatis Plus 的伪批量新增了！

配置 SQL 注入器

在 config 包下创建 MybatisPlusConfig 配置类：

@Configuration
@MapperScan("com.quanxiaoha.mybatisplusdemo.mapper")
public class MybatisPlusConfig {
 
 
    /**
     * 自定义批量插入 SQL 注入器
     */
    @Bean
    public InsertBatchSqlInjector insertBatchSqlInjector() {
        return new InsertBatchSqlInjector();
    }
 
}
 

新建 MyBaseMapper

在 config 包下创建 MyBaseMapper 接口，让其继承自 Mybatis Plus 提供的 BaseMapper, 并定义批量插入方法：

public interface MyBaseMapper extends BaseMapper {
 
 // 批量插入
    int insertBatchSomeColumn(@Param("list") List batchList);
 
}

注意：方法名必须为 insertBatchSomeColumn, 和 InsertBatchSomeColumn 内部定义好的方法名保持一致。

新建 UserMapper

在 mapper 包下创建 UserMapper 接口，注意继承刚刚自定义的 MyBaseMapper, 而不是 BaseMapper :

public interface UserMapper extends MyBaseMapper {
}
 

测试批量插入

完成上面这些工作后，就可以使用 Mybatis Plus 提供的批量插入功能了。我们新建一个单元测试，并注入 UserMapper :

@Autowired
private UserMapper userMapper;

单元测试如下：

@Test
void testInsertBatch() {
    List users = new ArrayList<>();
    for (int i = 0; i < 3; i++) {
        User user = new User();
        user.setName("test" + i);
        user.setAge(i);
        user.setGender(1);
        users.add(user);
    }
 
    userMapper.insertBatchSomeColumn(users);
}

控制台实际执行 SQL 如下：

可以看到这次是真实的批量插入了，舒服了~

性能对比

我们来测试一下插入 105000  条数据，分别使用 for 循环插入数据、savaBatch() 伪批量插入、与真实批量插入三种模式，看看耗时差距多少。

for 循环插入

单元测试代码如下：

@Test
void testInsert1() {
    // 总耗时：722963 ms, 约 12 分钟
    long start = System.currentTimeMillis();
    for (int i = 0; i < 105000; i++) {
        User user = new User();
        user.setName("test" + i);
        user.setAge(i);
        user.setGender(1);
        userMapper.insert(user);
    }
    System.out.println(String.format("总耗时：%s ms", System.currentTimeMillis() - start));
}

savaBatch() 伪批量插入

单元测试代码如下：

@Test
void testInsert2() {
    // 总耗时：95864 ms, 约一分钟30秒左右
    long start = System.currentTimeMillis();
    List users = new ArrayList<>();
    for (int i = 0; i < 105000; i++) {
        User user = new User();
        user.setName("test" + i);
        user.setAge(i);
        user.setGender(1);
        users.add(user);
    }
    userService.saveBatch(users);
    System.out.println(String.format("总耗时：%s ms", System.currentTimeMillis() - start));
}

真实批量插入

注意，真实业务场景下，也不可能会将 10 万多条记录组装成一条 SQL 进行批量插入，因为数据库对执行 SQL 大小是有限制的（这个数值可以自行设置），还是需要分片插入，比如取 1000 条执行一次批量插入，单元测试代码如下：

@Test
    void testInsertBatch1() {
        // 总耗时：6320 ms, 约 6 秒
        long start = System.currentTimeMillis();
        List users = new ArrayList<>();
        for (int i = 0; i < 105006; i++) {
            User user = new User();
            user.setName("test" + i);
            user.setAge(i);
            user.setGender(1);
            users.add(user);
        }
 
        // 分片插入（每 1000 条执行一次批量插入）
        int batchSize = 1000;
        int total = users.size();
        // 需要执行的次数
        int insertTimes = total / batchSize;
        // 最后一次执行需要提交的记录数（防止可能不足 1000 条）
        int lastSize = batchSize;
        if (total % batchSize != 0) {
            insertTimes++;
            lastSize = total%batchSize;
        }
 
        for (int j = 0; j < insertTimes; j++) {
            if (insertTimes == j+1) {
                batchSize = lastSize;
            }
 
            // 分片执行批量插入
            userMapper.insertBatchSomeColumn(users.subList(j*batchSize, (j*batchSize+batchSize)));
        }
        System.out.println(String.format("总耗时：%s ms", System.currentTimeMillis() - start));
    }

耗时对比

耗时对比非常直观，在大批量数据新增的场景下，批量插入性能最高。

结语

本小节中，我们学习了如何通过 Mybatis Plus 的 SQL 注入器实现真实的批量插入，同时最后还对比了三种不同方式插入 10 万多数据的耗时，很直观的看到在海量数据场景下，批量插入的性能是最强的。