单线程Jedis管道实现批量写入数据

前言

        生产中的有些场景,我们经常需要大批量的往Redis中写入数据,如果我们采用单条循环写入的话,不仅效率低下,而且可能会出现频繁的创建和销毁redis连接,这些都是很不合理的.

        对此,我们可以采用Jedis的父类中的pipelined()方法获取管道,它可以实现一次性发送多条命令并一次性返回结果,这样就大量的减少了客户端与Redis的通信次数,可以有效的提高程序效率(但是,因为Redis要一次性返回所有结果,它会把这些结果都缓存起来,因此命令越多,缓存消耗的内存也会越大,具体还要视情况而定).此外Pipeline的原理是队列(先进先出),这样也保证了数据的顺序性.

代码实现

maven依赖

<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-starter-data-redisartifactId>
dependency>
<dependency>
    <groupId>redis.clientsgroupId>
    <artifactId>jedisartifactId>
dependency>
 
<dependency>
    <groupId>org.springframework.bootgroupId>
    <artifactId>spring-boot-configuration-processorartifactId>
    <optional>trueoptional>
dependency>

配置文件配置redis

redis.dateBase=1
redis.url=192.168.3.111
redis.password=123456
redis.port=6379
redis.maxTotal=200
redis.maxWait=5000
redis.maxIdle=5
redis.minIdle=0
redis.timeout=0

读取配置文件内容并自动封装成实体类

将redis的host，port，database封装到实体中。

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;
 
@ConfigurationProperties(prefix = "redis")
@Component
@Data
public class RedisConfigProperties {
 
    private Integer dateBase;
 
    private String url;
 
    private String password;
 
    private Integer port;
}

Pipeline实现批量插入示例

实现逻辑如下：

1. 首先创建一个新的Jedis连接；
2. 输入密码后指定database；
3. 根据Jedis创建一个新的Pipeline；
4. 调用hset方法批量写入；
5. 批量写入完成后调用syncAndReturnAll方法统一写入redis；
6. 最后关闭Jedis连接。

@Component
@Order(value = 2)
public class MeteValueApplicationRunner implements ApplicationRunner {
 
    @Autowired
    RedisConfigProperties redisConfigProperties;
 
    @Override
    public void run(ApplicationArguments args) {
        Jedis jedis = new Jedis(redisConfigProperties.getUrl(), redisConfigProperties.getPort());
        // 输入密码
        jedis.auth(redisConfigProperties.getPassword());
        // 指定redis的database
        jedis.select(redisConfigProperties.getDateBase());
        Pipeline pipeline = jedis.pipelined();
 
        for (int i = 0; i < 10000; i++) {
            pipeline.hset("real_time_" + i, System.currentTimeMillis(), i);
        }
        List