RedisCluster如何高效率地批量插入数据

Redis环境

RedisCluster：

三主三从，每个节点在单独的服务器上

Spring的redisTemplate自带的Lettuce（6.2.1版本，至2022.10.22是最新版）：

spring:
  redis:
    password: xxx  #密码
    lettuce:  #lettuce连接池配置
      pool:
        max-active: -1
        max-idle: -1
        min-idle: 0
        max-wait: -1
      shutdown-timeout: 100
    cluster:  #集群配置
      nodes:
        - 1x2.xx.5.xx:6379
        - 1x2.xx.5.xx:6379
        - 1x2.xx.5.xx:6379
        - 1x2.xx.5.xx:6379
        - 1x2.xx.5.xx:6379
        - 1x2.xx.5.xx:6379
      max-redirects: 3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

入库方式：

使用ThreadPoolExecutor，本次测试结果为10线程，每线程插入10w条

入库方式

① for循环执行set
② Pipline管道
③ multiSet()

方式②是客户端提供的一种批处理技术，用于一次处理多个 Redis 命令，从而提高整个交互的性能，解决了多个命令集中请求时造成网络资源浪费的问题，加快了 Redis 的响应速度，让 Redis 拥有更高的运行速度，其优势在于客户端与服务端的网络延迟越大，性能体能越明显，支持设置过期时间。

方式③是RedisTemplate的方法，速度比Pipline要快很多很多，但是不支持设置过期时间。

方式①是最原始的方式，效率很低，不推荐，这里也不进行测试了，大家可以自行测试。

测试代码

redis工具类

package com.nwd.pressuretestutil.util;

import com.topscomm.pressuretestutil.config.RedisConfig;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.dao.DataAccessException;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.connection.RedisStringCommands;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.types.Expiration;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.stereotype.Component;

import java.util.List;
import java.util.Map;

@Component
public class BatchRunRedisUtil {
    @Autowired
    RedisTemplate stringRedisTemplate;

    @Autowired
    RedisConfig redisConfig;

    //批量添加
    public void batchSet(Map map) {
        stringRedisTemplate.opsForValue().multiSet(map);
    }

    //批量添加 并且设置失效时间
    public void batchSetOrExpire(Map map, Long seconds) {
        RedisSerializer serializer = stringRedisTemplate.getStringSerializer();
        stringRedisTemplate.executePipelined(new RedisCallback() {
            @Override
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                map.forEach((key, value) -> {
                    connection.set(serializer.serialize(key), serializer.serialize(value), Expiration.seconds(seconds), RedisStringCommands.SetOption.UPSERT);
                });
                return null;
            }
        }, serializer);
    }

    //批量获取
    public List