• Redis 只会用缓存?20种妙用让同事直呼牛X(荣耀典藏版)


    目录

     前言

            1.缓存

             2.抽奖

    Redis-cli 操作

    SpringBoot 实现

            3.Set实现点赞/收藏功能

    Redis-cli API操作

    SpringBoot 操作

            4.排行榜

    Redis-cli操作

    SpringBoot操作

            5.PV统计(incr自增计数)

    Redis-cli 操作

            6.UV统计(HeyperLogLog)

    Redis-cli 操作

    SpringBoot操作HeyperLogLog

            7.去重(BloomFiler)

    BloomFiler 安装

    Redis-cli操作

    SpringBoot整合

            8.用户签到(BitMap)

    Redis-cli 操作:

    是否签到、连续签到判断

    SpringBoot实现签到

            9.GEO搜附近

    GEO API 及Redis-cli 操作:

    SpringBoot 操作

            10.简单限流

    Redis-cli操作

    SpringBoot示例:

            11.全局ID

    Redis-cli 客户端测试

            12.简单分布式锁

            13.认识的人/好友推荐

    Redis-cli 客户端测试

            14.发布/订阅

    Redis-cli操作

            15.消息队列

            16.数据共享(session共享)

            17.商品筛选

    Redis-cli 客户端测试

            18.购物车

    Redis-cli 客户端测试

            19.定时取消订单(key过期监听)

            20.物流信息(时间线)

            拓展技能Redis 6种淘汰机制

    六种淘汰策略

    如何获取及设置内存淘汰策略


     前言

    大家好,我是程序缘--月夜枫,我又来了!最近比较忙没来得及整理笔记!!还望见谅!!

    后端程序员,不管是出去面试,还是当面试官,Redis几乎是100%会问到的技术点;究其原因,主要是因为他实在过于强大、使用率太高了;导致项目中几乎无处不在。

    那Redis部分,不出意外,第一个问题就是:你做的项目,用Redis干了些啥?大部分人的回答都会是:缓存;当问到是否还有其他场景中使用时,部分用的少的朋友就会微微摇头;

    其实也没错,Redis绝不部分使用场景就是用来做缓存;但是,由于Redis 支持比较丰富的数据结构,因此他能实现的功能并不仅限于缓存,而是可以运用到各种业务场景中,开发出既简洁、又高效的系统;

    下面整理了20种 Redis 的妙用场景,每个方案都用一个实际的业务需求并结合数据结构的API来讲解,希望大家能够理解其底层的实现方式,学会举一反三,并运用到项目的方方面面:

    1.缓存

    本文假定你已经了解过Redis,并知晓Redis最基础的一些使用,如果你对Redis的基础API还不了解,可以先看一下菜鸟教程:https://www.runoob.com/redis,那么缓存部分及基础API的演示,就不过多来讲解了;

    但是,基本的数据结构,在这里再列举一下,方便后续方案的理解:

    结构类型结构存储的值结构的读写能力
    String字符串可以是字符串、整数或浮点数对整个字符串或字符串的一部分进行操作;对整数或浮点数进行自增或自减操作;
    List列表一个链表,链表上的每个节点都包含一个字符串对链表的两端进行push和pop操作,读取单个或多个元素;根据值查找或删除元素;
    Set集合包含字符串的无序集合字符串的集合,包含基础的方法有:看是否存在、添加、获取、删除;还包含计算交集、并集、差集等
    Hash散列包含键值对的无序散列表包含方法有:添加、获取、删除单个元素
    Zset有序集合和散列一样,用于存储键值对字符串成员与浮点数分数之间的有序映射;元素的排列顺序由分数的大小决定;包含方法有:添加、获取、删除单个元素以及根据分值范围或成员来获取元素
    • 依赖

      以下所有通过SpringBoot测试的用例,都需要引入 Redis 的依赖

      1. <dependency>
      2.     <groupId>org.springframework.bootgroupId>
      3.     <artifactId>spring-boot-starter-data-redisartifactId>
      4. dependency>

    2.抽奖

    曾几何时,抽奖是互联网APP热衷的一种推广、拉新的方式,节假日没有好的策划,那就抽个奖吧!一堆用户参与进来,然后随机抽取几个幸运用户给予实物/虚拟的奖品;此时,开发人员就需要写上一个抽奖的算法,来实现幸运用户的抽取;其实我们完全可以利用Redis的集合(Set),就能轻松实现抽奖的功能;

    功能实现需要的API

    • SADD key member1 [member2]:添加一个或者多个参与用户;

    • SRANDMEMBER KEY [count]:随机返回一个或者多个用户;

    • SPOP key:随机返回一个或者多个用户,并删除返回的用户;

    SRANDMEMBER 和 SPOP  主要用于两种不同的抽奖模式,SRANDMEMBER 适用于一个用户可中奖多次的场景(就是中奖之后,不从用户池中移除,继续参与其他奖项的抽取);而 SPOP 就适用于仅能中一次的场景(一旦中奖,就将用户从用户池中移除,后续的抽奖,就不可能再抽到该用户); 通常 SPOP 会用的会比较多。

    Redis-cli 操作

    1. 127.0.0.1:6379> SADD raffle user1
    2. (integer) 1
    3. 127.0.0.1:6379> SADD raffle user2 user3 user4 user5 user6 user7 user8 user9 user10
    4. (integer) 9
    5. 127.0.0.1:6379> SRANDMEMBER raffle 2
    6. 1) "user5"
    7. 2) "user2"
    8. 127.0.0.1:6379> SPOP raffle 2
    9. 1) "user3"
    10. 2) "user4"
    11. 127.0.0.1:6379> SPOP raffle 2
    12. 1) "user10"
    13. 2) "user9"

    SpringBoot 实现

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.RedisTemplate;
    6. import java.util.List;
    7. /**
    8.  * @author 龍揹仩哋騎仕
    9.  * @title: RaffleMain
    10.  * @projectName ehang-spring-boot
    11.  * @description: TODO
    12.  * @date 2022/7/18 15:17
    13.  */
    14. @Slf4j
    15. @SpringBootTest
    16. public class RaffleMain {
    17.     private final String KEY_RAFFLE_PROFIX = "raffle:";
    18.     @Autowired
    19.     RedisTemplate redisTemplate;
    20.     @Test
    21.     void test() {
    22.         Integer raffleId = 1;
    23.         join(raffleId, 10001001223378904455674512);
    24.         List lucky = lucky(raffleId, 2);
    25.         log.info("活动:{} 的幸运中奖用户是:{}", raffleId, lucky);
    26.     }
    27.     public void join(Integer raffleId, Integer... userIds) {
    28.         String key = KEY_RAFFLE_PROFIX + raffleId;
    29.         redisTemplate.opsForSet().add(key, userIds);
    30.     }
    31.     public List lucky(Integer raffleId, long num) {
    32.         String key = KEY_RAFFLE_PROFIX + raffleId;
    33.         // 随机抽取 抽完之后将用户移除奖池
    34.         List list = redisTemplate.opsForSet().pop(key, num);
    35.         // 随机抽取 抽完之后用户保留在池子里
    36.         //List list = redisTemplate.opsForSet().randomMembers(key, num);
    37.         return list;
    38.     }
    39. }

    3.Set实现点赞/收藏功能

    有互动属性APP一般都会有点赞/收藏/喜欢等功能,来提升用户之间的互动。

    传统的实现:用户点赞之后,在数据库中记录一条数据,同时一般都会在主题库中记录一个点赞/收藏汇总数,来方便显示;

    Redis方案:基于Redis的集合(Set),记录每个帖子/文章对应的收藏、点赞的用户数据,同时set还提供了检查集合中是否存在指定用户,用户快速判断用户是否已经点赞过

    功能实现需要的API

    • SADD key member1 [member2]:添加一个或者多个成员(点赞)

    • SCARD key:获取所有成员的数量(点赞数量)

    • SISMEMBER key member:判断成员是否存在(是否点赞)

    • SREM key member1 [member2] :移除一个或者多个成员(点赞数量)

    Redis-cli API操作

    1. 127.0.0.1:6379> sadd like:article:1 user1
    2. (integer) 1
    3. 127.0.0.1:6379> sadd like:article:1 user2
    4. (integer) 1
    5. # 获取成员数量(点赞数量)
    6. 127.0.0.1:6379> SCARD like:article:1
    7. (integer) 2
    8. # 判断成员是否存在(是否点在)
    9. 127.0.0.1:6379> SISMEMBER like:article:1 user1
    10. (integer) 1
    11. 127.0.0.1:6379> SISMEMBER like:article:1 user3
    12. (integer) 0
    13. # 移除一个或者多个成员(取消点赞)
    14. 127.0.0.1:6379> SREM like:article:1 user1
    15. (integer) 1
    16. 127.0.0.1:6379> SCARD like:article:1
    17. (integer) 1

    SpringBoot 操作

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.RedisTemplate;
    6. /**
    7.  * @author 龍揹仩哋騎仕
    8.  * @title: LikeMain
    9.  * @projectName ehang-spring-boot
    10.  * @description: TODO
    11.  * @date 2022/7/18 15:38
    12.  */
    13. @Slf4j
    14. @SpringBootTest
    15. public class LikeMain {
    16.     private final String KEY_LIKE_ARTICLE_PROFIX = "like:article:";
    17.     @Autowired
    18.     RedisTemplate redisTemplate;
    19.     @Test
    20.     void test() {
    21.         long articleId = 100;
    22.         Long likeNum = like(articleId, 10011002200130054003);
    23.         unLike(articleId, 2001);
    24.         likeNum = likeNum(articleId);
    25.         boolean b2001 = isLike(articleId, 2001);
    26.         boolean b3005 = isLike(articleId, 3005);
    27.         log.info("文章:{} 点赞数量:{} 用户2001的点赞状态:{} 用户3005的点赞状态:{}", articleId, likeNum, b2001, b3005);
    28.     }
    29.     /**
    30.      * 点赞
    31.      *
    32.      * @param articleId 文章ID
    33.      * @return 点赞数量
    34.      */
    35.     public Long like(Long articleId, Integer... userIds) {
    36.         String key = KEY_LIKE_ARTICLE_PROFIX + articleId;
    37.         Long add = redisTemplate.opsForSet().add(key, userIds);
    38.         return add;
    39.     }
    40.     public Long unLike(Long articleId, Integer... userIds) {
    41.         String key = KEY_LIKE_ARTICLE_PROFIX + articleId;
    42.         Long remove = redisTemplate.opsForSet().remove(key, userIds);
    43.         return remove;
    44.     }
    45.     public Long likeNum(Long articleId) {
    46.         String key = KEY_LIKE_ARTICLE_PROFIX + articleId;
    47.         Long size = redisTemplate.opsForSet().size(key);
    48.         return size;
    49.     }
    50.     public Boolean isLike(Long articleId, Integer userId) {
    51.         String key = KEY_LIKE_ARTICLE_PROFIX + articleId;
    52.         return redisTemplate.opsForSet().isMember(key, userId);
    53.     }
    54. }

    4.排行榜

    排名、排行榜、热搜榜是很多APP、游戏都有的功能,常用于用户活动推广、竞技排名、热门信息展示等功能;

    比如上面的热搜榜,热度数据来源于全网用户的贡献,但用户只关心热度最高的前50条。

    常规的做法:就是将用户的名次、分数等用于排名的数据更新到数据库,然后查询的时候通过Order by + limit 取出前50名显示,如果是参与用户不多,更新不频繁的数据,采用数据库的方式也没有啥问题,但是一旦出现爆炸性热点资讯(比如:大陆收复湾湾,xxx某些绿了等等),短时间会出现爆炸式的流量,瞬间的压力可能让数据库扛不住;

    Redis方案:将热点资讯全页缓存,采用Redis的有序队列(Sorted Set)来缓存热度(SCORES),即可瞬间缓解数据库的压力,同时轻松筛选出热度最高的50条;

    功能实现需要的命令

    • ZADD key score1 member1 [score2 member2]:添加并设置SCORES,支持一次性添加多个;

    • ZREVRANGE key start stop [WITHSCORES] :根据SCORES降序排列;

    • ZRANGE key start stop [WITHSCORES] :根据SCORES降序排列;

    Redis-cli操作

    1. # 单个插入
    2. 127.0.0.1:6379> ZADD ranking 1 user1  
    3. (integer) 1
    4. # 批量插入
    5. 127.0.0.1:6379> ZADD ranking 10 user2 50 user3 3 user4 25 user5
    6. (integer) 4
    7. # 降序排列 不带SCORES
    8. 127.0.0.1:6379> ZREVRANGE ranking 0 -1 
    9. 1) "user3"
    10. 2) "user5"
    11. 3) "user2"
    12. 4) "user4"
    13. 5) "user1"
    14. # 降序排列 带SCORES
    15. 127.0.0.1:6379> ZREVRANGE ranking 0 -1 WITHSCORES
    16.  1) "user3"
    17.  2) "50"
    18.  3) "user5"
    19.  4) "25"
    20.  5) "user2"
    21.  6) "10"
    22.  7) "user4"
    23.  8) "3"
    24.  9) "user1"
    25. 10) "1"
    26. # 升序
    27. 127.0.0.1:6379> ZRANGE ranking 0 -1 WITHSCORES
    28.  1) "user1"
    29.  2) "1"
    30.  3) "user4"
    31.  4) "3"
    32.  5) "user2"
    33.  6) "10"
    34.  7) "user5"
    35.  8) "25"
    36.  9) "user3"
    37. 10) "50"

    SpringBoot操作

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.DefaultTypedTuple;
    6. import org.springframework.data.redis.core.RedisTemplate;
    7. import java.util.Set;
    8. /**
    9.  * @author 龍揹仩哋騎仕
    10.  * @title: RankingTest
    11.  * @projectName ehang-spring-boot
    12.  * @description: TODO
    13.  * @date 2022/7/18 15:54
    14.  */
    15. @SpringBootTest
    16. @Slf4j
    17. public class RankingTest {
    18.     private final String KEY_RANKING = "ranking";
    19.     @Autowired
    20.     RedisTemplate redisTemplate;
    21.     @Test
    22.     void test() {
    23.         add(1001, (double60);
    24.         add(1002, (double80);
    25.         add(1003, (double100);
    26.         add(1004, (double90);
    27.         add(1005, (double70);
    28.         // 取所有
    29.         Set range = range(0, -1);
    30.         log.info("所有用户排序:{}", range);
    31.         // 前三名
    32.         range = range(02);
    33.         log.info("前三名排序:{}", range);
    34.     }
    35.     public Boolean add(Integer userId, Double score) {
    36.         Boolean add = redisTemplate.opsForZSet().add(KEY_RANKING, userId, score);
    37.         return add;
    38.     }
    39.     public Set range(long min, long max) {
    40.         // 降序
    41.         Set set = redisTemplate.opsForZSet().reverseRangeWithScores(KEY_RANKING, min, max);
    42.         // 升序
    43.         //Set set = redisTemplate.opsForZSet().rangeWithScores(KEY_RANKING, min, max);
    44.         return set;
    45.     }
    46. }

    输出

    1. 所有用户排序:[DefaultTypedTuple [score=100.0, value=1003], DefaultTypedTuple [score=90.0, value=1004], DefaultTypedTuple [score=80.0, value=1002], DefaultTypedTuple [score=70.0, value=1005], DefaultTypedTuple [score=60.0, value=1001]]
    2. 前三名排序:[DefaultTypedTuple [score=100.0, value=1003], DefaultTypedTuple [score=90.0, value=1004], DefaultTypedTuple [score=80.0, value=1002]]

    5.PV统计(incr自增计数)

    Page View(PV)指的是页面浏览量,是用来衡量流量的一个重要标准,也是数据分析很重要的一个依据;通常统计规则是页面被展示一次,就加一

    功能所需命令

    • INCR:将 key 中储存的数字值增一

    Redis-cli 操作

    1. 127.0.0.1:6379> INCR pv:article:1
    2. (integer) 1
    3. 127.0.0.1:6379> INCR pv:article:1
    4. (integer) 2

    6.UV统计(HeyperLogLog)

    前面,介绍了通过(INCR)方式来实现页面的PV;除了PV之外,UV(独立访客)也是一个很重要的统计数据;

    但是如果要想通过计数(INCR)的方式来实现UV计数,就非常的麻烦,增加之前,需要判断这个用户是否访问过;那判断依据就需要额外的方式再进行记录。

    你可能会说,不是还有Set嘛!一个页面弄个集合,来一个用户塞(SADD)一个用户进去,要统计UV的时候,再通过SCARD汇总一下数量,就能轻松搞定了;此方案确实能实现UV的统计效果,但是忽略了成本;如果是普通页面,几百、几千的访问,可能造成的影响微乎其微,如果一旦遇到爆款页面,动辄上千万、上亿用户访问时,就一个页面UV将会带来非常大的内存开销,对于如此珍贵的内存来说,这显然是不划算的。

    此时,HeyperLogLog数据结构,就能完美的解决这一问题,它提供了一种不精准的去重计数方案,注意!这里强调一下,是不精准的,会存在误差,不过误差也不会很大,**标准的误差率是0.81%**,这个误差率对于统计UV计数,是能够容忍的;所以,不要将这个数据结构拿去做精准的去重计数。

    另外,HeyperLogLog 是会占用12KB的存储空间,虽然说,Redis 对 HeyperLogLog 进行了优化,在存储数据比较少的时候,采用了稀疏矩阵存储,只有在数据量变大,稀疏矩阵空间占用超过阈值时,才会转为空间为12KB的稠密矩阵;相比于成千、上亿的数据量,这小小的12KB,简直是太划算了;但是还是建议,不要将其用于数据量少,且频繁创建 HeyperLogLog 的场景,避免使用不当,造成资源消耗没减反增的不良效果。

    功能所需命令:

    • PFADD key element [element ...]:增加计数(统计UV)

    • PFCOUNT key [key ...]:获取计数(货物UV)

    • PFMERGE destkey sourcekey [sourcekey ...]:将多个 HyperLogLog 合并为一个 HyperLogLog(多个合起来统计)

    Redis-cli 操作

    1. # 添加三个用户的访问
    2. 127.0.0.1:6379> PFADD uv:page:1 user1 user2 user3
    3. (integer) 1
    4. # 获取UV数量
    5. 127.0.0.1:6379> PFCOUNT uv:page:1
    6. (integer) 3
    7. # 再添加三个用户的访问 user3是重复用户
    8. 127.0.0.1:6379> PFADD uv:page:1 user3 user4 user5
    9. (integer) 1
    10. # 获取UV数量 user3是重复用户 所以这里返回的是5
    11. 127.0.0.1:6379> PFCOUNT uv:page:1
    12. (integer) 5

    SpringBoot操作HeyperLogLog

    模拟测试10000个用户访问id为2的页面

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.RedisTemplate;
    6. /**
    7.  * @author 龍揹仩哋騎仕
    8.  * @title: HeyperLogLog 统计UV
    9.  * @projectName ehang-spring-boot
    10.  * @description: TODO
    11.  * @date 2022/7/19 16:13
    12.  */
    13. @SpringBootTest
    14. @Slf4j
    15. public class UVTest {
    16.     private final String KEY_UV_PAGE_PROFIX = "uv:page:";
    17.     @Autowired
    18.     RedisTemplate redisTemplate;
    19.     @Test
    20.     public void uvTest() {
    21.         Integer pageId = 2;
    22.         for (int i = 0; i < 10000; i++) {
    23.             uv(pageId, i);
    24.         }
    25.         for (int i = 0; i < 10000; i++) {
    26.             uv(pageId, i);
    27.         }
    28.         Long uv = getUv(pageId);
    29.         log.info("pageId:{} uv:{}", pageId, uv);
    30.     }
    31.     /**
    32.      * 用户访问页面
    33.      * @param pageId
    34.      * @param userId
    35.      * @return
    36.      */
    37.     private Long uv(Integer pageId, Integer userId) {
    38.         String key = KEY_UV_PAGE_PROFIX + pageId;
    39.         return redisTemplate.opsForHyperLogLog().add(key, userId);
    40.     }
    41.     /**
    42.      * 统计页面的UV
    43.      * @param pageId
    44.      * @return
    45.      */
    46.     private Long getUv(Integer pageId) {
    47.         String key = KEY_UV_PAGE_PROFIX + pageId;
    48.         return redisTemplate.opsForHyperLogLog().size(key);
    49.     }
    50. }

    日志输出

    pageId:2 uv:10023
    

    由于存在误差,这里访问的实际访问的数量是1万,统计出来的多了23个,在标准的误差(0.81%)范围内,加上UV数据不是必须要求准确,因此这个误差是可以接受的。

    7.去重(BloomFiler)

    通过上面HeyperLogLog的学习,我们掌握了一种不精准的去重计数方案,但是有没有发现,他没办法获取某个用户是否访问过;理想中,我们是希望有一个PFEXISTS的命令,来判断某个key是否存在,然而HeyperLogLog并没有;要想实现这一需求,就得 BloomFiler 上场了。

    • 什么是Bloom Filter?

      Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。 通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。 基于一种概率数据结构来实现,是一个有趣且强大的算法。

    举个例子:假如你写了一个爬虫,用于爬取网络中的所有页面,当你拿到一个新的页面时,如何判断这个页面是否爬取过?

    普通做法:每爬取一个页面,往数据库插入一行数据,记录一下URL,每次拿到一个新的页面,就去数据库里面查询一下,存在就说明爬取过;

    普通做法的缺点:少量数据,用传统方案没啥问题,如果是海量数据,每次爬取前的检索,将会越来越慢;如果你的爬虫只关心内容,对来源数据不太关心的话,这部分数据的存储,也将消耗你很大的物理资源;

    此时通过 BloomFiler 就能以很小的内存空间作为代价,即可轻松判断某个值是否存在。

    同样,BloomFiler 也不那么精准,在默认参数情况下,是存在1%左右的误差;但是 BloomFiler 是允许通过error_rate(误差率)以及initial_size(预计大小)来设置他的误差比例

    • error_rate:误差率,越低,需要的空间就越大;

    • initial_size:预计放入值的数量,当实际放入的数量大于设置的值时,误差率就会逐渐升高;所以为了避免误差率,可以提前做好估值,避免再次大的误差;

    BloomFiler 安装

    为了方便测试,这里使用 Docker 快速安装

    docker run -d -p 6379:6379 redislabs/rebloom
    

    功能所需的命令

    • bf.add 添加单个元素

    • bf.madd 批量田间

    • bf.exists 检测元素是否存在

    • bf.mexists 批量检测

    Redis-cli操作

    1. 127.0.0.1:6379> bf.add web:crawler baidu
    2. (integer) 1
    3. 127.0.0.1:6379> bf.madd web:crawler tencent bing
    4. 1) (integer) 1
    5. 2) (integer) 1
    6. 127.0.0.1:6379> bf.exists web:crawler baidu
    7. (integer) 1
    8. 127.0.0.1:6379> bf.mexists web:crawler baidu 163
    9. 1) (integer) 1
    10. 2) (integer) 0

    SpringBoot整合

    • 工具类 RedisBloom

      1. import org.springframework.beans.factory.annotation.Autowired;
      2. import org.springframework.data.redis.core.StringRedisTemplate;
      3. import org.springframework.data.redis.core.script.DefaultRedisScript;
      4. import org.springframework.data.redis.core.script.RedisScript;
      5. import org.springframework.stereotype.Component;
      6. import java.util.Arrays;
      7. import java.util.List;
      8. /**
      9.  * redis布隆过滤器
      10.  *
      11.  * @author 龍揹仩哋騎仕
      12.  * @title: RedisBloom
      13.  * @projectName ehang-spring-boot
      14.  * @description: TODO
      15.  * @date 2022/7/19 17:03
      16.  */
      17. @Component
      18. public class RedisBloom {
      19.     private static RedisScript bfreserveScript = new DefaultRedisScript<>("return redis.call('bf.reserve', KEYS[1], ARGV[1], ARGV[2])", Boolean.class);
      20.     private static RedisScript bfaddScript = new DefaultRedisScript<>("return redis.call('bf.add', KEYS[1], ARGV[1])", Boolean.class);
      21.     private static RedisScript bfexistsScript = new DefaultRedisScript<>("return redis.call('bf.exists', KEYS[1], ARGV[1])", Boolean.class);
      22.     private static String bfmaddScript = "return redis.call('bf.madd', KEYS[1], %s)";
      23.     private static String bfmexistsScript = "return redis.call('bf.mexists', KEYS[1], %s)";
      24.     @Autowired
      25.     private StringRedisTemplate redisTemplate;
      26.     /**
      27.      * 设置错误率和大小(需要在添加元素前调用,若已存在元素,则会报错)
      28.      * 错误率越低,需要的空间越大
      29.      *
      30.      * @param key
      31.      * @param errorRate   错误率,默认0.01
      32.      * @param initialSize 默认100,预计放入的元素数量,当实际数量超出这个数值时,误判率会上升,尽量估计一个准确数值再加上一定的冗余空间
      33.      * @return
      34.      */
      35.     public Boolean bfreserve(String key, double errorRate, int initialSize) {
      36.         return redisTemplate.execute(bfreserveScript, Arrays.asList(key), String.valueOf(errorRate), String.valueOf(initialSize));
      37.     }
      38.     /**
      39.      * 添加元素
      40.      *
      41.      * @param key
      42.      * @param value
      43.      * @return true表示添加成功,false表示添加失败(存在时会返回false)
      44.      */
      45.     public Boolean bfadd(String key, String value) {
      46.         return redisTemplate.execute(bfaddScript, Arrays.asList(key), value);
      47.     }
      48.     /**
      49.      * 查看元素是否存在(判断为存在时有可能是误判,不存在是一定不存在)
      50.      *
      51.      * @param key
      52.      * @param value
      53.      * @return true表示存在,false表示不存在
      54.      */
      55.     public Boolean bfexists(String key, String value) {
      56.         return redisTemplate.execute(bfexistsScript, Arrays.asList(key), value);
      57.     }
      58.     /**
      59.      * 批量添加元素
      60.      *
      61.      * @param key
      62.      * @param values
      63.      * @return 按序 1表示添加成功,0表示添加失败
      64.      */
      65.     public List bfmadd(String key, String... values) {
      66.         return (List) redisTemplate.execute(this.generateScript(bfmaddScript, values), Arrays.asList(key), values);
      67.     }
      68.     /**
      69.      * 批量检查元素是否存在(判断为存在时有可能是误判,不存在是一定不存在)
      70.      *
      71.      * @param key
      72.      * @param values
      73.      * @return 按序 1表示存在,0表示不存在
      74.      */
      75.     public List bfmexists(String key, String... values) {
      76.         return (List) redisTemplate.execute(this.generateScript(bfmexistsScript, values), Arrays.asList(key), values);
      77.     }
      78.     private RedisScript generateScript(String script, String[] values) {
      79.         StringBuilder sb = new StringBuilder();
      80.         for (int i = 1; i <= values.length; i++) {
      81.             if (i != 1) {
      82.                 sb.append(",");
      83.             }
      84.             sb.append("ARGV[").append(i).append("]");
      85.         }
      86.         return new DefaultRedisScript<>(String.format(script, sb.toString()), List.class);
      87.     }
      88. }
    • 测试

      1. import lombok.extern.slf4j.Slf4j;
      2. import org.junit.jupiter.api.Test;
      3. import org.springframework.beans.factory.annotation.Autowired;
      4. import org.springframework.boot.test.context.SpringBootTest;
      5. import org.springframework.data.redis.core.RedisTemplate;
      6. import java.util.List;
      7. /**
      8.  * @author 龍揹仩哋騎仕
      9.  * @title: BFTest
      10.  * @projectName ehang-spring-boot
      11.  * @description: TODO
      12.  * @date 2022/7/19 17:04
      13.  */
      14. @SpringBootTest
      15. @Slf4j
      16. public class BFTest {
      17.     private final String KEY_WEB_CRAWLER = "web:crawler1";
      18.     @Autowired
      19.     RedisBloom bloom;
      20.     @Autowired
      21.     RedisTemplate redisTemplate;
      22.     @Test
      23.     public void test() {
      24.         Boolean hasKey = redisTemplate.hasKey(KEY_WEB_CRAWLER);
      25.         log.info("bloom hasKey:{}", hasKey);
      26.         if (!hasKey) {
      27.             // 不存在的时候  再去初始化
      28.             Boolean bfreserve = bloom.bfreserve(KEY_WEB_CRAWLER, 0.000110000);
      29.             log.info("bloom bfreserve:{}", bfreserve);
      30.         }
      31.         List madd = bloom.bfmadd(KEY_WEB_CRAWLER, "baidu""google");
      32.         log.info("bloom bfmadd:{}", madd);
      33.         Boolean baidu = bloom.bfexists(KEY_WEB_CRAWLER, "baidu");
      34.         log.info("bloom bfexists baidu:{}", baidu);
      35.         Boolean bing = bloom.bfexists(KEY_WEB_CRAWLER, "bing");
      36.         log.info("bloom bfexists bing:{}", bing);
      37.     }
      38. }

      日志输出

      1. com.ehang.redis.bloom_filter.BFTest      : bloom hasKey:false
      2. com.ehang.redis.bloom_filter.BFTest      : bloom bfreserve:true
      3. com.ehang.redis.bloom_filter.BFTest      : bloom bfmadd:[1, 1]
      4. com.ehang.redis.bloom_filter.BFTest      : bloom bfexists baidu:true
      5. com.ehang.redis.bloom_filter.BFTest      : bloom bfexists bing:false

    8.用户签到(BitMap)

    很多APP为了拉动用户活跃度,往往都会做一些活动,比如连续签到领积分/礼包等等

    传统做法:用户每次签到时,往是数据库插入一条签到数据,展示的时候,把本月(或者指定周期)的签到数据获取出来,用于判断用户是否签到、以及连续签到情况;此方式,简单,理解容易;

    Redis做法:由于签到数据的关注点就2个:是否签到(0/1)、连续性,因此就完全可以利用BitMap(位图)来实现;

    如上图所示,将一个月的31天,用31个位(4个字节)来表示,偏移量(offset)代表当前是第几天,0/1表示当前是否签到,连续签到只需从右往左校验连续为1的位数;

    由于String类型的最大上限是512M,转换为bit则是2^32个bit位。

    所需命令:

    • SETBIT key offset value:向指定位置offset存入一个0或1

    • GETBIT key offset:获取指定位置offset的bit值

    • BITCOUNT key [start] [end]:统计BitMap中值为1的bit位的数量

    • BITFIELD: 操作(查询,修改,自增)BitMap中bit 数组中的指定位置offset的值

      这里最不容易理解的就是:BITFIELD,详情可参考:https://deepinout.com/redis-cmd/redis-bitmap-cmd/redis-cmd-bitfield.html  而且这部分还必须理解了,否则,该需求的核心部分就没办法理解了;

    需求:假如当前为8月4号,检测本月的签到情况,用户分别于1、3、4号签到过

    Redis-cli 操作:

    1. # 8月1号的签到
    2. 127.0.0.1:6379> SETBIT RangeId:Sign:1:8899 0 1
    3. (integer) 1
    4. # 8月3号的签到
    5. 127.0.0.1:6379> SETBIT RangeId:Sign:1:8899 2 1
    6. (integer) 1
    7. # 8月4号的签到
    8. 127.0.0.1:6379> SETBIT RangeId:Sign:1:8899 3 1
    9. (integer) 1
    10. # 查询各天的签到情况
    11. # 查询1号
    12. 127.0.0.1:6379> GETBIT RangeId:Sign:1:8899 0
    13. (integer) 1
    14. # 查询2号
    15. 127.0.0.1:6379> GETBIT RangeId:Sign:1:8899 1
    16. (integer) 0
    17. # 查询3号
    18. 127.0.0.1:6379> GETBIT RangeId:Sign:1:8899 2
    19. (integer) 1
    20. # 查询4号
    21. 127.0.0.1:6379> GETBIT RangeId:Sign:1:8899 3
    22. (integer) 1
    23. # 查询指定区间的签到情况
    24. 127.0.0.1:6379> BITFIELD RangeId:Sign:1:8899 get u4 0
    25. 1) (integer) 11

    1-4号的签到情况为:1011(二进制) ==> 11(十进制)

    是否签到、连续签到判断

    签到功能中,最不好理解的就是是否签到、连续签到的判断,在下面SpringBoot代码中,就是通过这样的:signFlag >> 1 << 1 != signFlag来判断的,稍微有一点不好理解,在这里提前讲述一下;

    上面测试了1-4号的签到情况,通过BITFIELD获取出来signFlag = 11(十进制) = 1011(二进制);

    连续签到的判断依据就是:从右往左计算连续为1的BIT个数,二进制 1011 表示连续签到的天数就是2天,2天的计算过程如下:

    • 第一步,获取signFlag

    • 第二步,循环天数,以上测试用例是4天的签到情况,for循环也就是4次

    • 第三步,从右往左循环判断

      连续签到:遇到第一个false的时候,终止并得到连续天数

      签到详情:循环所有天数,true就表示当前签到了,false表示当天未签到;

      第一次循环

      1. signFlag = 1011
      2. signFlag >> 1   结果: 101
      3. signFlag << 1   结果:1010
      4. 1010 != signFlag(1011) 结果:true  //4号已签到,说明连续签到1
      5. signFlag >>= 1  结果: 101   // 此时signFlag = 101

      第二次循环

      1. signFlag = 101  // 前一次循环计算的结果
      2. signFlag >> 1   结果: 10
      3. signFlag << 1   结果:100
      4. 100 != signFlag(101) 结果:true  //3号已签到,说明连续签到2天
      5. signFlag >>= 1  结果: 10   // 此时signFlag = 10

      第三次循环

      1. signFlag = 10  // 前一次循环计算的结果
      2. signFlag >> 1   结果: 1
      3. signFlag << 1   结果:10
      4. 10 != signFlag(10) 结果:false  //2号未签到,说明连续签到从这里就断了 
      5. signFlag >>= 1  结果: 1   // 此时signFlag = 1

      到这一步,遇到第一个false,说明连续签到中断;

      第四次循环:

      1. signFlag = 1  // 前一次循环计算的结果
      2. signFlag >> 1   结果: 0
      3. signFlag << 1   结果: 0
      4. 0 != signFlag(1) 结果:true  //1号已签到

      到此,根据BITFIELD获取出来11(十进制),就能得到1、3、4号已签到,2号未签到;连续签到2天;

    理解上面的逻辑之后,再来看下面的SpringBoot代码,就会容易很多了;

    SpringBoot实现签到

    签到的方式一般就两种,按月(周)/ 自定义周期,下面将两种方式的签到全部列举出来,以供大家参考:

    按月签到

    签到工具类:

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.joda.time.DateTime;
    3. import org.joda.time.format.DateTimeFormat;
    4. import org.joda.time.format.DateTimeFormatter;
    5. import org.springframework.beans.factory.annotation.Autowired;
    6. import org.springframework.data.redis.connection.BitFieldSubCommands;
    7. import org.springframework.data.redis.core.RedisCallback;
    8. import org.springframework.data.redis.core.StringRedisTemplate;
    9. import org.springframework.stereotype.Service;
    10. import org.springframework.util.CollectionUtils;
    11. import java.util.HashMap;
    12. import java.util.List;
    13. import java.util.Map;
    14. /**
    15.  * @author 龍揹仩哋騎仕
    16.  * @title: 按月签到
    17.  * @projectName ehang-spring-boot
    18.  * @description: TODO
    19.  * @date 2022/7/18 18:28
    20.  */
    21. @Slf4j
    22. @Service
    23. public class SignByMonthServiceImpl {
    24.     @Autowired
    25.     StringRedisTemplate stringRedisTemplate;
    26.     private int dayOfMonth() {
    27.         DateTime dateTime = new DateTime();
    28.         return dateTime.dayOfMonth().get();
    29.     }
    30.     /**
    31.      * 按照月份和用户ID生成用户签到标识 UserId:Sign:560:2021-08
    32.      *
    33.      * @param userId 用户id
    34.      * @return
    35.      */
    36.     private String signKeyWitMouth(String userId) {
    37.         DateTime dateTime = new DateTime();
    38.         DateTimeFormatter fmt = DateTimeFormat.forPattern("yyyy-MM");
    39.         StringBuilder builder = new StringBuilder("UserId:Sign:");
    40.         builder.append(userId).append(":")
    41.                 .append(dateTime.toString(fmt));
    42.         return builder.toString();
    43.     }
    44.     /**
    45.      * 设置标记位
    46.      * 标记是否签到
    47.      *
    48.      * @param key
    49.      * @param offset
    50.      * @param tag
    51.      * @return
    52.      */
    53.     public Boolean sign(String key, long offset, boolean tag) {
    54.         return this.stringRedisTemplate.opsForValue().setBit(key, offset, tag);
    55.     }
    56.     /**
    57.      * 统计计数
    58.      *
    59.      * @param key 用户标识
    60.      * @return
    61.      */
    62.     public long bitCount(String key) {
    63.         return stringRedisTemplate.execute((RedisCallback) redisConnection -> redisConnection.bitCount(key.getBytes()));
    64.     }
    65.     /**
    66.      * 获取多字节位域
    67.      */
    68.     public List bitfield(String buildSignKey, int limit, long offset) {
    69.         return this.stringRedisTemplate
    70.                 .opsForValue()
    71.                 .bitField(buildSignKey, BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(limit)).valueAt(offset));
    72.     }
    73.     /**
    74.      * 判断是否被标记
    75.      *
    76.      * @param key
    77.      * @param offest
    78.      * @return
    79.      */
    80.     public Boolean container(String key, long offest) {
    81.         return this.stringRedisTemplate.opsForValue().getBit(key, offest);
    82.     }
    83.     /**
    84.      * 用户今天是否签到
    85.      *
    86.      * @param userId
    87.      * @return
    88.      */
    89.     public int checkSign(String userId) {
    90.         DateTime dateTime = new DateTime();
    91.         String signKey = this.signKeyWitMouth(userId);
    92.         int offset = dateTime.getDayOfMonth() - 1;
    93.         int value = this.container(signKey, offset) ? 1 : 0;
    94.         return value;
    95.     }
    96.     /**
    97.      * 查询用户当月签到日历
    98.      *
    99.      * @param userId
    100.      * @return
    101.      */
    102.     public Map querySignedInMonth(String userId) {
    103.         DateTime dateTime = new DateTime();
    104.         int lengthOfMonth = dateTime.dayOfMonth().getMaximumValue();
    105.         Map signedInMap = new HashMap<>(dateTime.getDayOfMonth());
    106.         String signKey = this.signKeyWitMouth(userId);
    107.         List bitfield = this.bitfield(signKey, lengthOfMonth, 0);
    108.         if (!CollectionUtils.isEmpty(bitfield)) {
    109.             long signFlag = bitfield.get(0) == null ? 0 : bitfield.get(0);
    110.             DateTimeFormatter fmt = DateTimeFormat.forPattern("yyyy-MM-dd");
    111.             for (int i = lengthOfMonth; i > 0; i--) {
    112.                 DateTime dateTime1 = dateTime.withDayOfMonth(i);
    113.                 signedInMap.put(dateTime1.toString(fmt), signFlag >> 1 << 1 != signFlag);
    114.                 signFlag >>= 1;
    115.             }
    116.         }
    117.         return signedInMap;
    118.     }
    119.     /**
    120.      * 用户签到
    121.      *
    122.      * @param userId
    123.      * @return
    124.      */
    125.     public boolean signWithUserId(String userId) {
    126.         int dayOfMonth = this.dayOfMonth();
    127.         String signKey = this.signKeyWitMouth(userId);
    128.         long offset = (long) dayOfMonth - 1;
    129.         boolean re = false;
    130.         if (Boolean.TRUE.equals(this.sign(signKey, offset, Boolean.TRUE))) {
    131.             re = true;
    132.         }
    133.         // 查询用户连续签到次数,最大连续次数为7天
    134.         long continuousSignCount = this.queryContinuousSignCount(userId, 7);
    135.         return re;
    136.     }
    137.     /**
    138.      * 统计当前月份一共签到天数
    139.      *
    140.      * @param userId
    141.      */
    142.     public long countSignedInDayOfMonth(String userId) {
    143.         String signKey = this.signKeyWitMouth(userId);
    144.         return this.bitCount(signKey);
    145.     }
    146.     /**
    147.      * 查询用户当月连续签到次数
    148.      *
    149.      * @param userId
    150.      * @return
    151.      */
    152.     public long queryContinuousSignCountOfMonth(String userId) {
    153.         int signCount = 0;
    154.         String signKey = this.signKeyWitMouth(userId);
    155.         int dayOfMonth = this.dayOfMonth();
    156.         List bitfield = this.bitfield(signKey, dayOfMonth, 0);
    157.         if (!CollectionUtils.isEmpty(bitfield)) {
    158.             long signFlag = bitfield.get(0) == null ? 0 : bitfield.get(0);
    159.             DateTime dateTime = new DateTime();
    160.             // 连续不为0即为连续签到次数,当天未签到情况下
    161.             for (int i = 0; i < dateTime.getDayOfMonth(); i++) {
    162.                 if (signFlag >> 1 << 1 == signFlag) {
    163.                     if (i > 0break;
    164.                 } else {
    165.                     signCount += 1;
    166.                 }
    167.                 signFlag >>= 1;
    168.             }
    169.         }
    170.         return signCount;
    171.     }
    172.     /**
    173.      * 以7天一个周期连续签到次数
    174.      *
    175.      * @param period 周期
    176.      * @return
    177.      */
    178.     public long queryContinuousSignCount(String userId, Integer period) {
    179.         //查询目前连续签到次数
    180.         long count = this.queryContinuousSignCountOfMonth(userId);
    181.         //按最大连续签到取余
    182.         if (period != null && period < count) {
    183.             long num = count % period;
    184.             if (num == 0) {
    185.                 count = period;
    186.             } else {
    187.                 count = num;
    188.             }
    189.         }
    190.         return count;
    191.     }
    192. }

    测试类:

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.StringRedisTemplate;
    6. import java.util.Map;
    7. /**
    8.  * @author 龍揹仩哋騎仕
    9.  * @title: SignTest2
    10.  * @projectName ehang-spring-boot
    11.  * @description: TODO
    12.  * @date 2022/7/19 12:06
    13.  */
    14. @SpringBootTest
    15. @Slf4j
    16. public class SignTest2 {
    17.     @Autowired
    18.     private SignByMonthServiceImpl signByMonthService;
    19.     @Autowired
    20.     private StringRedisTemplate redisTemplate;
    21.     /**
    22.      * 测试用户按月签到
    23.      */
    24.     @Test
    25.     public void querySignDay() {
    26.         //模拟用户签到
    27.         //for(int i=5;i<19;i++){
    28.         redisTemplate.opsForValue().setBit("UserId:Sign:560:2022-08"0true);
    29.         //}
    30.         System.out.println("560用户今日是否已签到:" + this.signByMonthService.checkSign("560"));
    31.         Map stringBooleanMap = this.signByMonthService.querySignedInMonth("560");
    32.         System.out.println("本月签到情况:");
    33.         for (Map.Entry entry : stringBooleanMap.entrySet()) {
    34.             System.out.println(entry.getKey() + ": " + (entry.getValue() ? "√" : "-"));
    35.         }
    36.         long countSignedInDayOfMonth = this.signByMonthService.countSignedInDayOfMonth("560");
    37.         System.out.println("本月一共签到:" + countSignedInDayOfMonth + "天");
    38.         System.out.println("目前连续签到:" + this.signByMonthService.queryContinuousSignCount("560"7) + "天");
    39.     }
    40. }

    执行日志:

    1. c.e.r.bitmap_sign_by_month.SignTest2     : 560用户今日是否已签到:0
    2. c.e.r.bitmap_sign_by_month.SignTest2     : 本月签到情况:
    3. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-12: -
    4. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-11: -
    5. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-10: -
    6. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-31: -
    7. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-30: -
    8. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-19: -
    9. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-18: -
    10. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-17: -
    11. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-16: -
    12. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-15: -
    13. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-14: -
    14. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-13: -
    15. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-23: -
    16. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-01: √
    17. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-22: -
    18. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-21: -
    19. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-20: -
    20. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-09: -
    21. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-08: -
    22. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-29: -
    23. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-07: -
    24. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-28: -
    25. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-06: -
    26. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-27: -
    27. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-05: -
    28. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-26: -
    29. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-04: -
    30. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-25: -
    31. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-03: √
    32. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-24: -
    33. c.e.r.bitmap_sign_by_month.SignTest2     : 2022-08-02: -
    34. c.e.r.bitmap_sign_by_month.SignTest2     : 本月一共签到:2天
    35. c.e.r.bitmap_sign_by_month.SignTest2     : 目前连续签到:1天

    指定时间签到

    签到工具类:

    1. package com.ehang.redis.bitmap_sign_by_range;
    2. import lombok.extern.slf4j.Slf4j;
    3. import org.joda.time.DateTime;
    4. import org.springframework.beans.factory.annotation.Autowired;
    5. import org.springframework.data.redis.connection.BitFieldSubCommands;
    6. import org.springframework.data.redis.core.RedisCallback;
    7. import org.springframework.data.redis.core.StringRedisTemplate;
    8. import org.springframework.stereotype.Service;
    9. import org.springframework.util.CollectionUtils;
    10. import java.time.LocalDateTime;
    11. import java.time.format.DateTimeFormatter;
    12. import java.util.HashMap;
    13. import java.util.List;
    14. import java.util.Map;
    15. /**
    16.  * @author 龍揹仩哋騎仕
    17.  * @title: SignByRangeServiceImpl
    18.  * @projectName ehang-spring-boot
    19.  * @description: TODO
    20.  * @date 2022/7/19 12:27
    21.  */
    22. @Slf4j
    23. @Service
    24. public class SignByRangeServiceImpl {
    25.     @Autowired
    26.     StringRedisTemplate stringRedisTemplate;
    27.     /**
    28.      * 根据区间的id 以及用户id 拼接key
    29.      *
    30.      * @param rangeId 区间ID 一般是指定活动的ID等
    31.      * @param userId  用户的ID
    32.      * @return
    33.      */
    34.     private String signKey(Integer rangeId, Integer userId) {
    35.         StringBuilder builder = new StringBuilder("RangeId:Sign:");
    36.         builder.append(rangeId).append(":")
    37.                 .append(userId);
    38.         return builder.toString();
    39.     }
    40.     /**
    41.      * 获取当前时间与起始时间的间隔天数
    42.      *
    43.      * @param start 起始时间
    44.      * @return
    45.      */
    46.     private int intervalTime(LocalDateTime start) {
    47.         return (int) (LocalDateTime.now().toLocalDate().toEpochDay() - start.toLocalDate().toEpochDay());
    48.     }
    49.     /**
    50.      * 设置标记位
    51.      * 标记是否签到
    52.      *
    53.      * @param key    签到的key
    54.      * @param offset 偏移量 一般是指当前时间离起始时间(活动开始)的天数
    55.      * @param tag    是否签到  true:签到  false:未签到
    56.      * @return
    57.      */
    58.     private Boolean setBit(String key, long offset, boolean tag) {
    59.         return this.stringRedisTemplate.opsForValue().setBit(key, offset, tag);
    60.     }
    61.     /**
    62.      * 统计计数
    63.      *
    64.      * @param key 统计的key
    65.      * @return
    66.      */
    67.     private long bitCount(String key) {
    68.         return stringRedisTemplate.execute((RedisCallback) redisConnection -> redisConnection.bitCount(key.getBytes()));
    69.     }
    70.     /**
    71.      * 获取多字节位域
    72.      *
    73.      * @param key    缓存的key
    74.      * @param limit  获取多少
    75.      * @param offset 偏移量是多少
    76.      * @return
    77.      */
    78.     private List bitfield(String key, int limit, long offset) {
    79.         return this.stringRedisTemplate
    80.                 .opsForValue()
    81.                 .bitField(key, BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(limit)).valueAt(offset));
    82.     }
    83.     /**
    84.      * 判断是否签到
    85.      *
    86.      * @param key    缓存的key
    87.      * @param offest 偏移量 指当前时间距离起始时间的天数
    88.      * @return
    89.      */
    90.     private Boolean container(String key, long offest) {
    91.         return this.stringRedisTemplate.opsForValue().getBit(key, offest);
    92.     }
    93.     /**
    94.      * 根据起始时间进行签到
    95.      *
    96.      * @param rangeId
    97.      * @param userId
    98.      * @param start
    99.      * @return
    100.      */
    101.     public Boolean sign(Integer rangeId, Integer userId, LocalDateTime start) {
    102.         int offset = intervalTime(start);
    103.         String key = signKey(rangeId, userId);
    104.         return setBit(key, offset, true);
    105.     }
    106.     /**
    107.      * 根据偏移量签到
    108.      *
    109.      * @param rangeId
    110.      * @param userId
    111.      * @param offset
    112.      * @return
    113.      */
    114.     public Boolean sign(Integer rangeId, Integer userId, long offset) {
    115.         String key = signKey(rangeId, userId);
    116.         return setBit(key, offset, true);
    117.     }
    118.     /**
    119.      * 用户今天是否签到
    120.      *
    121.      * @param userId
    122.      * @return
    123.      */
    124.     public Boolean checkSign(Integer rangeId, Integer userId, LocalDateTime start) {
    125.         long offset = intervalTime(start);
    126.         String key = this.signKey(rangeId, userId);
    127.         return this.container(key, offset);
    128.     }
    129.     /**
    130.      * 统计当前月份一共签到天数
    131.      *
    132.      * @param userId
    133.      */
    134.     public long countSigned(Integer rangeId, Integer userId) {
    135.         String signKey = this.signKey(rangeId, userId);
    136.         return this.bitCount(signKey);
    137.     }
    138.     public Map querySigned(Integer rangeId, Integer userId, LocalDateTime start) {
    139.         int days = intervalTime(start);
    140.         Map signedInMap = new HashMap<>(days);
    141.         String signKey = this.signKey(rangeId, userId);
    142.         List bitfield = this.bitfield(signKey, days + 10);
    143.         if (!CollectionUtils.isEmpty(bitfield)) {
    144.             long signFlag = bitfield.get(0) == null ? 0 : bitfield.get(0);
    145.             DateTimeFormatter fmt = DateTimeFormatter.ofPattern("yyyy-MM-dd");
    146.             for (int i = days; i >= 0; i--) {
    147.                 LocalDateTime localDateTime = start.plusDays(i);
    148.                 signedInMap.put(localDateTime.format(fmt), signFlag >> 1 << 1 != signFlag);
    149.                 signFlag >>= 1;
    150.             }
    151.         }
    152.         return signedInMap;
    153.     }
    154.     /**
    155.      * 查询用户当月连续签到次数
    156.      *
    157.      * @param userId
    158.      * @return
    159.      */
    160.     public long queryContinuousSignCount(Integer rangeId, Integer userId, LocalDateTime start) {
    161.         int signCount = 0;
    162.         String signKey = this.signKey(rangeId, userId);
    163.         int days = this.intervalTime(start);
    164.         List bitfield = this.bitfield(signKey, days + 10);
    165.         if (!CollectionUtils.isEmpty(bitfield)) {
    166.             long signFlag = bitfield.get(0) == null ? 0 : bitfield.get(0);
    167.             DateTime dateTime = new DateTime();
    168.             // 连续不为0即为连续签到次数,当天未签到情况下
    169.             for (int i = 0; i < dateTime.getDayOfMonth(); i++) {
    170.                 if (signFlag >> 1 << 1 == signFlag) {
    171.                     if (i > 0break;
    172.                 } else {
    173.                     signCount += 1;
    174.                 }
    175.                 signFlag >>= 1;
    176.             }
    177.         }
    178.         return signCount;
    179.     }
    180. }

    测试工具类:

    1. package com.ehang.redis.bitmap_sign_by_range;
    2. import lombok.extern.slf4j.Slf4j;
    3. import org.junit.jupiter.api.Test;
    4. import org.springframework.beans.factory.annotation.Autowired;
    5. import org.springframework.boot.test.context.SpringBootTest;
    6. import java.time.LocalDateTime;
    7. import java.time.format.DateTimeFormatter;
    8. import java.util.Map;
    9. /**
    10.  * @author 龍揹仩哋騎仕
    11.  * @title: SignTest
    12.  * @projectName ehang-spring-boot
    13.  * @description: TODO
    14.  * @date 2022/7/18 16:11
    15.  */
    16. @SpringBootTest
    17. @Slf4j
    18. public class SignTest {
    19.     @Autowired
    20.     SignByRangeServiceImpl signByRangeService;
    21.     @Test
    22.     void test() {
    23.         DateTimeFormatter isoDateTime = DateTimeFormatter.ISO_DATE_TIME;
    24.         // 活动开始时间
    25.         LocalDateTime start = LocalDateTime.of(202281100);
    26.         Integer rangeId = 1;
    27.         Integer userId = 8899;
    28.         log.info("签到开始时间: {}", start.format(isoDateTime));
    29.         log.info("活动ID: {} 用户ID: {}", rangeId, userId);
    30.         // 手动指定偏移量签到
    31.         signByRangeService.sign(rangeId, userId, 0);
    32.         // 判断是否签到
    33.         Boolean signed = signByRangeService.checkSign(rangeId, userId, start);
    34.         log.info("今日是否签到: {}", signed ? "√" : "-");
    35.         // 签到
    36.         Boolean sign = signByRangeService.sign(rangeId, userId, start);
    37.         log.info("签到操作之前的签到状态:{} (-:表示今日第一次签到,√:表示今天已经签到过了)", sign ? "√" : "-");
    38.         // 签到总数
    39.         long countSigned = signByRangeService.countSigned(rangeId, userId);
    40.         log.info("总共签到: {} 天", countSigned);
    41.         // 连续签到的次数
    42.         long continuousSignCount = signByRangeService.queryContinuousSignCount(rangeId, userId, start);
    43.         log.info("连续签到: {} 天", continuousSignCount);
    44.         // 签到的详情
    45.         Map stringBooleanMap = signByRangeService.querySigned(rangeId, userId, start);
    46.         for (Map.Entry entry : stringBooleanMap.entrySet()) {
    47.             log.info("签到详情> {} : {}", entry.getKey(), (entry.getValue() ? "√" : "-"));
    48.         }
    49.     }
    50. }

    输出日志:

    1. 签到开始时间: 2022-08-01T01:00:00
    2. 活动ID: 1 用户ID: 8899
    3. 今日是否签到: √
    4. 签到操作之前的签到状态:√ (-:表示今日第一次签到,√:表示今天已经签到过了)
    5. 总共签到: 3 天
    6. 连续签到: 2 天
    7. 签到详情> 2022-08-01 : √
    8. 签到详情> 2022-08-04 : √
    9. 签到详情> 2022-08-03 : √
    10. 签到详情> 2022-08-02 : -

    9.GEO搜附近

    很多生活类的APP都具备一个搜索附近的功能,比如美团搜索附近的商家;

     

    如果自己想要根据经纬度来实现一个搜索附近的功能,是非常麻烦的;但是Redis 在3.2的版本新增了Redis GEO,用于存储地址位置信息,并对支持范围搜索;基于GEO就能轻松且快速的开发一个搜索附近的功能;

    GEO API 及Redis-cli 操作:

    • geoadd:新增位置坐标。

      1. 127.0.0.1:6379> GEOADD drinks 116.62445 39.86206 starbucks 117.3514785 38.7501247 yidiandian 116.538542 39.75412 xicha
      2. (integer) 3
    • geopos:获取位置坐标。

      1. 127.0.0.1:6379> GEOPOS drinks starbucks
      2. 1) 1) "116.62445157766342163"
      3.    2) "39.86206038535793539"
      4. 127.0.0.1:6379> GEOPOS drinks starbucks yidiandian mxbc
      5. 1) 1) "116.62445157766342163"
      6.    2) "39.86206038535793539"
      7. 2) 1) "117.35148042440414429"
      8.    2) "38.75012383773680114"
      9. 3) (nil)
    • geodist:计算两个位置之间的距离。

      单位参数:

      1. 127.0.0.1:6379> GEODIST drinks starbucks yidiandian
      2. "138602.4133"
      3. 127.0.0.1:6379> GEODIST drinks starbucks xicha
      4. "14072.1255"
      5. 127.0.0.1:6379> GEODIST drinks starbucks xicha m
      6. "14072.1255"
      7. 127.0.0.1:6379> GEODIST drinks starbucks xicha km
      8. "14.0721"
      • m :米,默认单位。

      • km :千米。

      • mi :英里。

      • ft :英尺。

    • georadius:根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。

      参数说明

      1. 127.0.0.1:6379> GEORADIUS drinks 116 39 100 km WITHDIST
      2. 1) 1) "xicha"
      3.    2) "95.8085"
      4. 127.0.0.1:6379> GEORADIUS drinks 116 39 100 km WITHDIST WITHCOORD
      5. 1) 1) "xicha"
      6.    2) "95.8085"
      7.    3) 1) "116.53854042291641235"
      8.       2) "39.75411928478748536"
      9. 127.0.0.1:6379> GEORADIUS drinks 116 39 100 km WITHDIST WITHCOORD WITHHASH
      10. 1) 1) "xicha"
      11.    2) "95.8085"
      12.    3) (integer) 4069151800882301
      13.    4) 1) "116.53854042291641235"
      14.       2) "39.75411928478748536"
      15. 127.0.0.1:6379> GEORADIUS drinks 116 39 120 km WITHDIST WITHCOORD  COUNT 1
      16. 1) 1) "xicha"
      17.    2) "95.8085"
      18.    3) 1) "116.53854042291641235"
      19.       2) "39.75411928478748536"
      20. 127.0.0.1:6379> GEORADIUS drinks 116 39 120 km WITHDIST WITHCOORD  COUNT 1 ASC
      21. 1) 1) "xicha"
      22.    2) "95.8085"
      23.    3) 1) "116.53854042291641235"
      24.       2) "39.75411928478748536"
      25. 127.0.0.1:6379> GEORADIUS drinks 116 39 120 km WITHDIST WITHCOORD  COUNT 1 DESC
      26. 1) 1) "starbucks"
      27.    2) "109.8703"
      28.    3) 1) "116.62445157766342163"
      29.       2) "39.86206038535793539"
      • m :米,默认单位。

      • km :千米。

      • mi :英里。

      • ft :英尺。

      • WITHDIST: 在返回位置元素的同时, 将位置元素与中心之间的距离也一并返回。

      • WITHCOORD: 将位置元素的经度和纬度也一并返回。

      • WITHHASH: 以 52 位有符号整数的形式, 返回位置元素经过原始 geohash 编码的有序集合分值。 这个选项主要用于底层应用或者调试, 实际中的作用并不大。

      • COUNT 限定返回的记录数。

      • ASC: 查找结果根据距离从近到远排序。

      • DESC: 查找结果根据从远到近排序。

    • georadiusbymember:根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。

      功能和上面的georadius类似,只是georadius是以经纬度坐标为中心,这个是以某个地点为中心;

    • geohash:返回一个或多个位置对象的 geohash 值。

      1. 127.0.0.1:6379> GEOHASH drinks starbucks xicha
      2. 1) "wx4fvbem6d0"
      3. 2) "wx4f5vhb8b0"

    SpringBoot 操作

    通过SpringBoot操作GEO的示例如下

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.geo.*;
    6. import org.springframework.data.redis.connection.RedisGeoCommands;
    7. import org.springframework.data.redis.core.RedisTemplate;
    8. import java.util.List;
    9. /**
    10.  * @author 龍揹仩哋騎仕
    11.  * @title: GEOTest
    12.  * @projectName ehang-spring-boot
    13.  * @description: TODO
    14.  * @date 2022/7/28 17:29
    15.  */
    16. @SpringBootTest
    17. @Slf4j
    18. public class GEOTest {
    19.     private final String KEY = "geo:drinks";
    20.     @Autowired
    21.     RedisTemplate redisTemplate;
    22.     @Test
    23.     public void test() {
    24.         add("starbucks"new Point(116.6244539.86206));
    25.         add("yidiandian"new Point(117.351478538.7501247));
    26.         add("xicha"new Point(116.53854239.75412));
    27.         get("starbucks""yidiandian""xicha");
    28.         GeoResults nearByXY = getNearByXY(new Point(11639), new Distance(120, Metrics.KILOMETERS));
    29.         List content = nearByXY.getContent();
    30.         for (GeoResult geoResult : content) {
    31.             log.info("{}", geoResult.getContent());
    32.         }
    33.         GeoResults nearByPlace = getNearByPlace("starbucks"new Distance(120, Metrics.KILOMETERS));
    34.         content = nearByPlace.getContent();
    35.         for (GeoResult geoResult : content) {
    36.             log.info("{}", geoResult.getContent());
    37.         }
    38.         getGeoHash("starbucks""yidiandian""xicha");
    39.         del("yidiandian""xicha");
    40.     }
    41.     private void add(String name, Point point) {
    42.         Long add = redisTemplate.opsForGeo().add(KEY, point, name);
    43.         log.info("成功添加名称:{} 的坐标信息信息:{}", name, point);
    44.     }
    45.     private void get(String... names) {
    46.         List position = redisTemplate.opsForGeo().position(KEY, names);
    47.         log.info("获取名称为:{} 的坐标信息:{}", names, position);
    48.     }
    49.     private void del(String... names) {
    50.         Long remove = redisTemplate.opsForGeo().remove(KEY, names);
    51.         log.info("删除名称为:{} 的坐标信息数量:{}", names, remove);
    52.     }
    53.     /**
    54.      * 根据坐标 获取指定范围的位置
    55.      *
    56.      * @param point
    57.      * @param distance
    58.      * @return
    59.      */
    60.     private GeoResults getNearByXY(Point point, Distance distance) {
    61.         Circle circle = new Circle(point, distance);
    62.         RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.
    63.                 newGeoRadiusArgs().
    64.                 includeDistance(). // 包含距离
    65.                 includeCoordinates(). // 包含坐标
    66.                 sortAscending(). // 排序 还可选sortDescending()
    67.                 limit(5); // 获取前多少个
    68.         GeoResults geoResults = redisTemplate.opsForGeo().radius(KEY, circle, args);
    69.         log.info("根据坐标获取:{} {} 范围的数据:{}", point, distance, geoResults);
    70.         return geoResults;
    71.     }
    72.     /**
    73.      * 根据一个位置,获取指定范围内的其他位置
    74.      *
    75.      * @param name
    76.      * @param distance
    77.      * @return
    78.      */
    79.     private GeoResults getNearByPlace(String name, Distance distance) {
    80.         RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.
    81.                 newGeoRadiusArgs().
    82.                 includeDistance(). // 包含距离
    83.                 includeCoordinates(). // 包含坐标
    84.                 sortAscending(). // 排序 还可选sortDescending()
    85.                 limit(5); // 获取前多少个
    86.         GeoResults geoResults = redisTemplate.opsForGeo()
    87.                 .radius(KEY, name, distance, args);
    88.         log.info("根据位置:{} 获取: {} 范围的数据:{}", name, distance, geoResults);
    89.         return geoResults;
    90.     }
    91.     /**
    92.      * 获取GEO HASH
    93.      *
    94.      * @param names
    95.      * @return
    96.      */
    97.     private List getGeoHash(String... names) {
    98.         List hash = redisTemplate.opsForGeo().hash(KEY, names);
    99.         log.info("names:{} 对应的hash:{}", names, hash);
    100.         return hash;
    101.     }
    102. }

    执行日志:

    1. 成功添加名称:starbucks 的坐标信息信息:Point [x=116.624450, y=39.862060]
    2. 成功添加名称:yidiandian 的坐标信息信息:Point [x=117.351479, y=38.750125]
    3. 成功添加名称:xicha 的坐标信息信息:Point [x=116.538542, y=39.754120]
    4. 获取名称为:[starbucks, yidiandian, xicha] 的坐标信息:[Point [x=116.624452, y=39.862060], Point [x=117.351480, y=38.750124], Point [x=116.538540, y=39.754119]]
    5. 根据坐标获取:Point [x=116.000000, y=39.000000120.0 KILOMETERS 范围的数据:GeoResults: [averageDistance: 102.8394 KILOMETERS, results: GeoResult [content: RedisGeoCommands.GeoLocation(name=xicha, point=Point [x=116.538540, y=39.754119]), distance: 95.8085 KILOMETERS, ],GeoResult [content: RedisGeoCommands.GeoLocation(name=starbucks, point=Point [x=116.624452, y=39.862060]), distance: 109.8703 KILOMETERS, ]]
    6. RedisGeoCommands.GeoLocation(name=xicha, point=Point [x=116.538540, y=39.754119])
    7. RedisGeoCommands.GeoLocation(name=starbucks, point=Point [x=116.624452, y=39.862060])
    8. 根据位置:starbucks 获取: 120.0 KILOMETERS 范围的数据:GeoResults: [averageDistance: 7.03605 KILOMETERS, results: GeoResult [content: RedisGeoCommands.GeoLocation(name=starbucks, point=Point [x=116.624452, y=39.862060]), distance: 0.0 KILOMETERS, ],GeoResult [content: RedisGeoCommands.GeoLocation(name=xicha, point=Point [x=116.538540, y=39.754119]), distance: 14.0721 KILOMETERS, ]]
    9. RedisGeoCommands.GeoLocation(name=starbucks, point=Point [x=116.624452, y=39.862060])
    10. RedisGeoCommands.GeoLocation(name=xicha, point=Point [x=116.538540, y=39.754119])
    11. names:[starbucks, yidiandian, xicha] 对应的hash:[wx4fvbem6d0, wwgkqqhxzd0, wx4f5vhb8b0]
    12. 删除名称为:[yidiandian, xicha] 的坐标信息数量:2

    10.简单限流

    为了保证项目的安全稳定运行,防止被恶意的用户或者异常的流量打垮整个系统,一般都会加上限流,比如常见的sentialhystrix,都是实现限流控制;如果项目用到了Redis,也可以利用Redis,来实现一个简单的限流功能;

    功能所需命令

    • INCR:将 key 中储存的数字值增一

    • Expire:设置key的有效期

    Redis-cli操作

    1. 127.0.0.1:6379> INCR r:f:user1
    2. (integer) 1
    3. # 第一次 设置一个过期时间
    4. 127.0.0.1:6379> EXPIRE r:f:user1 5
    5. (integer) 1
    6. 127.0.0.1:6379> INCR r:f:user1
    7. (integer) 2
    8. # 等待5s 再次增加 发现已经重置了
    9. 127.0.0.1:6379> INCR r:f:user1
    10. (integer) 1

    SpringBoot示例:

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.RedisTemplate;
    6. import java.util.concurrent.TimeUnit;
    7. /**
    8.  * @author 龍揹仩哋騎仕
    9.  * @title: 基于Redis的简单限流
    10.  * @projectName ehang-spring-boot
    11.  * @description: TODO
    12.  * @date 2022/8/2 9:43
    13.  */
    14. @SpringBootTest
    15. @Slf4j
    16. public class FreqTest {
    17.     // 单位时间(秒)
    18.     private static final Integer TIME = 5;
    19.     // 允许访问上限次数
    20.     private static final Integer MAX = 100;
    21.     @Autowired
    22.     RedisTemplate redisTemplate;
    23.     @Test
    24.     public void test() throws Exception {
    25.         String userName = "user1";
    26.         int tag = 1;
    27.         boolean frequency = frequency(userName);
    28.         log.info("第{}次是否放行:{}", tag, frequency);
    29.         for (int i = 0; i < 100; i++) {
    30.             tag += 1;
    31.             frequency(userName);
    32.         }
    33.         frequency = frequency(userName);
    34.         log.info("第{}次是否放行:{}", tag, frequency);
    35.         Thread.sleep(5000);
    36.         frequency = frequency(userName);
    37.         log.info("模拟等待5s后,第{}次是否放行:{}", tag, frequency);
    38.     }
    39.     /**
    40.      * 校验访问频率
    41.      *
    42.      * @param uniqueId 用于限流的唯一ID 可以是用户ID、或者客户端IP等
    43.      * @return true:放行  false:拦截
    44.      */
    45.     private boolean frequency(String uniqueId) {
    46.         String key = "r:q:" + uniqueId;
    47.         Long increment = redisTemplate.opsForValue().increment(key);
    48.         if (increment == 1) {
    49.             redisTemplate.expire(key, TIME, TimeUnit.SECONDS);
    50.         }
    51.         if (increment <= MAX) {
    52.             return true;
    53.         }
    54.         return false;
    55.     }
    56. }

    运行日志:

    1. user1 第1次请求是否放行:true
    2. user1 第101次请求是否放行:false
    3. 模拟等待5s后,user1 第101次请求是否放行:true

    11.全局ID

    在分布式系统中,很多场景下需要全局的唯一ID,由于Redis是独立于业务服务的其他应用,就可以利用Incr的原子性操作来生成全局的唯一递增ID

    功能所需命令

    • INCR:将 key 中储存的数字值增一

    Redis-cli 客户端测试

    1. 127.0.0.1:6379> incr g:uid
    2. (integer) 1
    3. 127.0.0.1:6379> incr g:uid
    4. (integer) 2
    5. 127.0.0.1:6379> incr g:uid
    6. (integer) 3

    12.简单分布式锁

    在分布式系统中,很多操作是需要用到分布式锁,防止并发操作带来一些问题;因为redis是独立于分布式系统外的其他服务,因此就可以利用redis,来实现一个简单的不完美分布式锁;

    功能所需命令

    • SETNX key不存在,设置;key存在,不设置

      1. # 加锁
      2. 127.0.0.1:6379> SETNX try_lock 1
      3. (integer) 1
      4. # 释放锁
      5. 127.0.0.1:6379> del try_lock
      6. (integer) 1

    • set  key  value [ex seconds] [nx | xx]

    上面的方式,虽然能够加锁,但是不难发现,很容易出现死锁的情况;比如,a用户在加锁之后,突然系统挂了,此时a就永远不会释放他持有的锁了,从而导致死锁;为此,我们可以利用redis的过期时间来防止死锁问题

    set try_lock 1 ex 5 nx

    不完美的锁

    上面的方案,虽然解决了死锁的问题,但是又带来了一个新的问题,执行时间如果长于自动释放的时间(比如自动释放是5秒,但是业务执行耗时了8秒),那么在第5秒的时候,锁就自动释放了,此时其他的线程就能正常拿到锁,简单流程如下:

    此时相同颜色部分的时间区间是由多线程同时在执行。而且此问题在此方案下并没有完美的解决方案,只能做到尽可能的避免

    • 方式一,value设置为随机数(如:1234),在程序释放锁的时候,检测一下是不是自己加的锁;比如,A线程在第8s释放的锁就是线程B加的,此时在释放的时候,就可以检验一下value是不是自己当初设置的值(1234),是的就释放,不是的就不管了;

    • 方式二,只在时间消耗比较小的业务上选用此方案,尽可能的避免执行时间超过锁的自动释放时间

    13.认识的人/好友推荐

    在支付宝、抖音、QQ等应用中,都会看到好友推荐;

     

    好友推荐往往都是基于你的好友关系网来推荐,将你可能认识的人推荐给你,让你去添加好友,如果随意在系统找个人推荐给你,那你认识的可能性是非常小的,此时就失去了推荐的目的;

    比如,A和B是好友,B和C是好友,此时A和C认识的概率是比较大的,就可以在A和C之间的好友推荐;

    基于这个逻辑,就可以利用 Redis 的 Set 集合,缓存各个用户的好友列表,然后以差集的方式,来实现好友推荐;

    功能所需的命令

    • SADD key member [member …]:集合中添加元素,缓存好友列表

    • SDIFF key [key …]:取两个集合间的差集,找出可以推荐的用户

    Redis-cli 客户端测试

    1. # 记录 用户1 的好友列表
    2. 127.0.0.1:6379> SADD fl:user1 user2 user3
    3. (integer) 2
    4. # 记录 用户2 的好友列表
    5. 127.0.0.1:6379> SADD fl:user2 user1 user4
    6. (integer) 2
    7. # 用户1 可能认识的人 ,把自己(user1)去掉,user4是可能认识的人
    8. 127.0.0.1:6379> SDIFF fl:user2 fl:user1
    9. 1) "user1"
    10. 2) "user4"
    11. # 用户2 可能认识的人 ,把自己(user2)去掉,user3是可能认识的人
    12. 127.0.0.1:6379> SDIFF fl:user1 fl:user2
    13. 1) "user3"
    14. 2) "user2"

    不过这只是推荐机制中的一种因素,可以借助其他条件,来增强推荐的准确度;

    14.发布/订阅

    发布/订阅是比较常用的一种模式;在分布式系统中,如果需要实时感知到一些变化,比如:某些配置发生变化需要实时同步,就可以用到发布,订阅功能

    常用API

    • PUBLISH channel message:将消息推送到指定的频道

    • SUBSCRIBE channel [channel …]:订阅给定的一个或多个频道的信息

    Redis-cli操作

    如上图所示,左侧多个客户端订阅了频道,当右侧客户端往频道发送消息的时候,左侧客户端都能收到对应的消息。

    15.消息队列

    说到消息队列,常用的就是Kafka、RabbitMQ等等,其实 Redis 利用 List 也能实现一个消息队列;

    功能所需的指令

    • RPUSH key value1 [value2]:在列表中添加一个或多个值;

    • BLPOP key1 [key2] timeout:移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止;

    • BRPOP key1 [key2] timeout:移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。

    依赖调整:

    Spring Boot 从 2.0版本开始,将默认的Redis客户端Jedis替换为Lettuce,在测试这块阻塞的时候,会出现一个超时的异常io.lettuce.core.RedisCommandTimeoutException: Command timed out after 1 minute(s);没有找到一个好的解决方式,所以这里将 Lettuce 换回成 Jedis ,就没有问题了,pom.xml 的配置如下:

    1. <dependency>
    2.     <groupId>org.springframework.bootgroupId>
    3.     <artifactId>spring-boot-starter-data-redisartifactId>
    4.     <exclusions>
    5.         <exclusion>
    6.             <groupId>redis.clientsgroupId>
    7.             <artifactId>jedisartifactId>
    8.         exclusion>
    9.         <exclusion>
    10.             <artifactId>lettuce-coreartifactId>
    11.             <groupId>io.lettucegroupId>
    12.         exclusion>
    13.     exclusions>
    14. dependency>
    15. <dependency>
    16.     <groupId>redis.clientsgroupId>
    17.     <artifactId>jedisartifactId>
    18. dependency>
    19. <dependency>
    20.     <groupId>org.apache.commonsgroupId>
    21.     <artifactId>commons-pool2artifactId>
    22. dependency>

    测试代码:

    1. import lombok.extern.slf4j.Slf4j;
    2. import org.junit.jupiter.api.Test;
    3. import org.springframework.beans.factory.annotation.Autowired;
    4. import org.springframework.boot.test.context.SpringBootTest;
    5. import org.springframework.data.redis.core.StringRedisTemplate;
    6. import java.util.concurrent.TimeUnit;
    7. /**
    8.  * @author 龍揹仩哋騎仕
    9.  * @title: QueueTest
    10.  * @projectName ehang-spring-boot
    11.  * @description: TODO
    12.  * @date 2022/8/5 14:27
    13.  */
    14. @SpringBootTest
    15. @Slf4j
    16. public class QueueTest {
    17.     private static final String REDIS_LP_QUEUE = "redis:lp:queue";
    18.     private static final String REDIS_RP_QUEUE = "redis:rp:queue";
    19.     @Autowired
    20.     StringRedisTemplate stringRedisTemplate;
    21.     /**
    22.      * 先进后出队列
    23.      */
    24.     @Test
    25.     public void rightMonitor() {
    26.         while (true) {
    27.             Object o = stringRedisTemplate.opsForList().rightPop(REDIS_LP_QUEUE, 0, TimeUnit.SECONDS);
    28.             log.info("先进后出队列 接收到数据:{}", o);
    29.         }
    30.     }
    31.     /**
    32.      * 先进先出队列
    33.      */
    34.     @Test
    35.     public void leftMonitor() {
    36.         while (true) {
    37.             Object o = stringRedisTemplate.opsForList().leftPop(REDIS_RP_QUEUE, 0, TimeUnit.SECONDS);
    38.             log.info("先进先出队列 接收到数据:{}", o);
    39.         }
    40.     }
    41. }
    • 先进先出测试效果

    •  先进后出测试效果

    不过,对消息的可靠性要求比较高的场景,建议还是使用专业的消息队列框架,当值被弹出之后,List 中就已经不存在对应的值了,假如此时程序崩溃,就会出现消息的丢失,无法保证可靠性;虽然说也有策略能够保证消息的可靠性,比如,在弹出的同时,将其保存到另外一个队列(BRPOPLPUSH),成功之后,再从另外的队列中移除,当消息处理失败或者异常,再重新进入队列执行,只是这样做就得不偿失了。

    16.数据共享(session共享)

    既然Redis能持久化数据,就可以用它来实现模块间的数据共享;SpringBoot Session 利用的这个机制来实现 Session 共享;

    • 依赖

      1. <dependency>
      2.     <groupId>org.springframework.sessiongroupId>
      3.     <artifactId>spring-session-data-redisartifactId>
      4. dependency>
    • 开启session共享

      1. @Configuration
      2. @EnableRedisHttpSession
      3. public class RedisSessionConfig {
      4. }
    • 测试代码

      1. package com.ehang.redis.controller;
      2. import org.springframework.web.bind.annotation.GetMapping;
      3. import org.springframework.web.bind.annotation.RequestMapping;
      4. import org.springframework.web.bind.annotation.RestController;
      5. import javax.servlet.http.HttpServletRequest;
      6. import java.util.Enumeration;
      7. import java.util.HashMap;
      8. import java.util.Map;
      9. /**
      10.  * @author session 共享
      11.  * @title: RedisSessionController
      12.  * @projectName ehang-spring-boot
      13.  * @description: TODO
      14.  * @date 2022/8/5 15:58
      15.  */
      16. @RestController
      17. @RequestMapping("session")
      18. public class RedisSessionController {
      19.     /**
      20.      * 设置session的值
      21.      * @param request
      22.      * @return
      23.      */
      24.     @GetMapping("set")
      25.     public Map set(HttpServletRequest request) {
      26.         String id = request.getSession().getId();
      27.         Map vas = new HashMap<>();
      28.         String key = "key";
      29.         String value = "value";
      30.         vas.put("id", id);
      31.         vas.put(key, value);
      32.         // 自定义session的值
      33.         request.getSession().setAttribute(key, value);
      34.         return vas;
      35.     }
      36.     /**
      37.      * 获取session的值
      38.      * @param request
      39.      * @return
      40.      */
      41.     @GetMapping("get")
      42.     public Map get(HttpServletRequest request) {
      43.         Map vas = new HashMap<>();
      44.         // 遍历所有的session值
      45.         Enumeration attributeNames = request.getSession().getAttributeNames();
      46.         while (attributeNames.hasMoreElements()) {
      47.             String k = attributeNames.nextElement();
      48.             Object va = request.getSession().getAttribute(k);
      49.             vas.put(k, va);
      50.         }
      51.         vas.put("id", request.getSession().getId());
      52.         return vas;
      53.     }
      54. }

    测试

    开启两个服务,分别接听8080和8081,8080调用赋值接口,8081调用获取接口,如下图,可以看到,两个服务共享了一份Session数据;

    Redis-cli 客户端测试

    1. # 将iphone100 添加到品牌为苹果的集合
    2. 127.0.0.1:6379> sadd brand:apple iphone100
    3. (integer) 1
    4. # 将meta5000 添加到品牌为苹果的集合
    5. 127.0.0.1:6379> sadd brand:huawei meta5000
    6. (integer) 1
    7. # 将 meta5000 iphone100 添加到支持5T内存的集合
    8. 127.0.0.1:6379> sadd ram:5t iphone100 meta5000
    9. (integer) 2
    10. # 将 meta5000 添加到支持10T内存的集合
    11. 127.0.0.1:6379> sadd ram:10t meta5000
    12. (integer) 1
    13. # 将 iphone100 添加到操作系统是iOS的集合
    14. 127.0.0.1:6379> sadd os:ios iphone100
    15. (integer) 1
    16. # 将 meta5000 添加到操作系统是Android的集合
    17. 127.0.0.1:6379> sadd os:android meta5000
    18. (integer) 1
    19. # 将 iphone100 meta5000 添加到屏幕为6.0-6.29的集合中
    20. 127.0.0.1:6379> sadd screensize:6.0-6.29 iphone100 meta5000
    21. (integer) 2
    22. # 筛选内存5T、屏幕在6.0-6.29的机型
    23. 127.0.0.1:6379> sinter ram:5t screensize:6.0-6.29
    24. 1) "meta5000"
    25. 2) "iphone100"
    26. # 筛选内存10T、屏幕在6.0-6.29的机型
    27. 127.0.0.1:6379> sinter ram:10t screensize:6.0-6.29
    28. 1) "meta5000"
    29. # 筛选内存5T、系统为iOS的机型
    30. 127.0.0.1:6379> sinter ram:5t screensize:6.0-6.29 os:ios
    31. 1) "iphone100"
    32. # 筛选内存5T、屏幕在6.0-6.29、品牌是华为的机型
    33. 127.0.0.1:6379> sinter ram:5t screensize:6.0-6.29 brand:huawei
    34. 1) "meta5000"

    18.购物车

    商品缓存

    电商项目中,商品消息,都会做缓存处理,特别是热门商品,访问用户比较多,由于商品的结果比较复杂,店铺信息,产品信息,标题、描述、详情图,封面图;为了方便管理和操作,一般都会采用 Hash 的方式来存储(key为商品ID,field用来保存各项参数,value保存对于的值)

    购物车

    当商品信息做了缓存,购物车需要做的,就是通过Hash记录商品ID,以及需要购买的数量(其中key为用户信息,field为商品ID,value用来记录购买的数量) ;

    功能所需命令

    Redis-cli 客户端测试

    1. # 购物车添加单个商品
    2. 127.0.0.1:6379> HSET sc:u1 c001 1
    3. (integer) 1
    4. # 购物车添加多个商品
    5. 127.0.0.1:6379> HMSET sc:u1 c002 1 coo3 2
    6. OK
    7. # 添加商品购买数量
    8. 127.0.0.1:6379> HINCRBY sc:u1 c002 1
    9. (integer) 2
    10. # 减少商品的购买数量
    11. 127.0.0.1:6379> HINCRBY sc:u1 c003 -1
    12. (integer) 1
    13. # 获取单个的购买数量
    14. 127.0.0.1:6379> HGET sc:u1 c002
    15. "2"
    16. # 获取购物车的商品数量
    17. 127.0.0.1:6379> HLEN sc:u1
    18. (integer) 3
    19. # 购物车详情
    20. 127.0.0.1:6379> HGETALL sc:u1
    21. 1) "c001"
    22. 2) "1"
    23. 3) "c002"
    24. 4) "2"
    25. 5) "coo3"
    26. 6) "2"

    19.定时取消订单(key过期监听)

    电商类的业务,一般都会有订单30分钟不支付,自动取消的功能,此时就需要用到定时任务框架,Quartz、xxl-job、elastic-job 是比较常用的 Java 定时任务;我们也可以通过 Redis 的定时过期、以及过期key的监听,来实现订单的取消功能;

    20.物流信息(时间线)

    寄快递、网购的时候,查询物流信息,都会给我们展示xxx时候,快递到达什么地方了,这就是一个典型的时间线列表;

     

    数据库的做法,就是每次变更就插入一条带时间的信息记录,然后根据时间和ID(ID是必须的,如果出现两个相同的时间,单纯时间排序,会造成顺序不对),来排序生成时间线;

    我们也可以通过 Redis 的 List 来实现时间线功能,由于 List 采用的是双向链表,因此升序,降序的时间线都能正常满足;

    Redis-cli 客户端测试

    好了,关于Redis 的妙用,就介绍到这里;有了这些个场景的运用,下次再有面试官问你,Redis除了缓存还做过什么,相信聊上个1把小时,应该不成问题了。此外再跟各位优秀的小伙伴分享几个拓展技能!!

    拓展技能Redis 6种淘汰机制

    Redis是个基于内存的缓存数据库,既然是基于内存的,那肯定就会有存满的时候

    如果真的存满了,再有新的数据过来肯定就存不进去了

    此时Redis会执行既定的一些淘汰策略,本文大概讲一下Redis六种淘汰策略

    六种淘汰策略

    当使用volatile-lru、volatile-random、volatile-ttl这三种策略时,如果没有key可以被淘汰,则和noeviction一样返回错误

    如何获取及设置内存淘汰策略

    小枫也是通过书籍和其他博主写的博客来学习的,欢迎各位小伙伴积极留言讨论,也欢迎各位小伙伴们点赞收藏

     

    •  Redis中保存的数据
      1. 127.0.0.1:6379> keys spring:*
      2. 1) "spring:session:sessions:expires:6f1d7d53-fe01-4e80-9e6a-5ff54fffa92a"
      3. 2) "spring:session:expirations:1659688680000"
      4. 3) "spring:session:sessions:6f1d7d53-fe01-4e80-9e6a-5ff54fffa92a"

      17.商品筛选

      商城类的应用,都会有类似于下图的一个商品筛选的功能,来帮用户快速搜索理想的商品;

       

      假如现在iphone 100 、华为mate 5000 已发布,在各大商城上线;下面就通过 Redis 的 set 来实现上述的商品筛选功能;

      功能所需命令

    • SADD key member [member …]:添加一个或多个元素

    • SINTER key [key …]:返回给定所有集合的交集

    • HSET key field value : 将哈希表 key 中的字段 field 的值设为 value ;

    • HMSET key field1 value1 [field2 value2 ] :同时将多个 field-value (域-值)对设置到哈希表 key 中。

    • HGET key field:获取存储在哈希表中指定字段的值。

    • HGETALL key :获取在哈希表中指定 key 的所有字段和值

    • Redis key 过期提醒配置

      修改 redis 相关事件配置。找到 redis 配置文件 redis.conf,查看 notify-keyspace-events 配置项,如果没有,添加 notify-keyspace-events Ex,如果有值,则追加 Ex,相关参数说明如下:

      • K:keyspace 事件,事件以 keyspace@ 为前缀进行发布

      • E:keyevent 事件,事件以 keyevent@ 为前缀进行发布

      • g:一般性的,非特定类型的命令,比如del,expire,rename等

      • $:字符串特定命令

      • l:列表特定命令

      • s:集合特定命令

      • h:哈希特定命令

      • z:有序集合特定命令

      • x:过期事件,当某个键过期并删除时会产生该事件

      • e:驱逐事件,当某个键因 maxmemore 策略而被删除时,产生该事件

      • A:g$lshzxe的别名,因此”AKE”意味着所有事件

    • 添加RedisKeyExpirationListener的监听

      1. import org.springframework.context.annotation.Bean;
      2. import org.springframework.context.annotation.Configuration;
      3. import org.springframework.data.redis.connection.RedisConnectionFactory;
      4. import org.springframework.data.redis.listener.RedisMessageListenerContainer;
      5. @Configuration
      6. public class RedisListenerConfig {
      7.     @Bean
      8.     RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory) {
      9.         RedisMessageListenerContainer container = new RedisMessageListenerContainer();
      10.         container.setConnectionFactory(connectionFactory);
      11.         return container;
      12.     }
      13. }

      KeyExpirationEventMessageListener 接口监听所有 db 的过期事件 keyevent@*:expired"

      1. package com.ehang.redis.config;
      2. import lombok.extern.slf4j.Slf4j;
      3. import org.springframework.data.redis.connection.Message;
      4. import org.springframework.data.redis.listener.KeyExpirationEventMessageListener;
      5. import org.springframework.data.redis.listener.RedisMessageListenerContainer;
      6. import org.springframework.stereotype.Component;
      7. /**
      8.  * 监听所有db的过期事件__keyevent@*__:expired"
      9.  *
      10.  * @author 龍揹仩哋騎仕
      11.  * @title: RedisKeyExpirationListener
      12.  * @projectName ehang-spring-boot
      13.  * @description: TODO
      14.  * @date 2022/8/5 16:36
      15.  */
      16. @Component
      17. @Slf4j
      18. public class RedisKeyExpirationListener extends KeyExpirationEventMessageListener {
      19.     public RedisKeyExpirationListener(RedisMessageListenerContainer listenerContainer) {
      20.         super(listenerContainer);
      21.     }
      22.     /**
      23.      * 针对 redis 数据失效事件,进行数据处理
      24.      *
      25.      * @param message
      26.      * @param pattern
      27.      */
      28.     @Override
      29.     public void onMessage(Message message, byte[] pattern) {
      30.         // 获取到失效的 key,进行取消订单业务处理
      31.         // 由于这里是监听了所有的key,如果只处理特定数据的话,需要做特殊处理
      32.         String expiredKey = message.toString();
      33.         log.info("过期的Key:{}", expiredKey);
      34.     }
      35. }
    • 测试

      为了快速验证效果,这里 将过期时间调整为2秒;

      注意,由于过期之后,Redis中的Key已经不存在了,因此,一定要将订单号作为key,不能作为值保存,否则监听到过期Key之后,将拿不到过期的订单号;

      • HINCRBY key field increment :为哈希表 key 中的指定字段的整数值加上增量 increment 。

      • HLEN key:获取哈希表中字段的数量

      • 不推荐使用

        基于这一套机制,确实能够实现订单的超时取消,但是还是不太建议使用,这里仅作为一个思路;原因主要有以下几个:

        1. redis 的过期删除策略是采用定时离线扫描,或者访问时懒性检测删除,并没有办法保证时效性,有可能key已经到期了,但Redis并没有扫描到,导致通知的延迟;

        2. 消息发送即忘(fire and forget),并不会保证消息的可达性,如果此时服务不在线或者异常,通知就再也收不到了;

      • RPUSH key value1 [value2]:在列表中添加一个或多个值,(升序时间线)

      • LPUSH key value1 [value2]:将一个或多个值插入到列表头部(降序时间线)

      • LRANGE key start stop:获取列表指定范围内的元素

      • 升序

        1. 127.0.0.1:6379> RPUSH time:line:asc 20220805170000
        2. (integer) 1
        3. 127.0.0.1:6379> RPUSH time:line:asc 20220805170001
        4. (integer) 2
        5. 127.0.0.1:6379> RPUSH time:line:asc 20220805170002
        6. (integer) 3
        7. 127.0.0.1:6379> LRANGE time:line:asc 0 -1
        8. 1) "20220805170000"
        9. 2) "20220805170001"
        10. 3) "20220805170002"
      • 降序

        1. 127.0.0.1:6379> LPUSH time:line:desc 20220805170000
        2. (integer) 1
        3. 127.0.0.1:6379> LPUSH time:line:desc 20220805170001
        4. (integer) 2
        5. 127.0.0.1:6379> LPUSH time:line:desc 20220805170002
        6. (integer) 3
        7. 127.0.0.1:6379> LRANGE time:line:desc 0 -1
        8. 1) "20220805170002"
        9. 2) "20220805170001"
        10. 3) "20220805170000"
      1. noeviction(默认策略):对于写请求不再提供服务,直接返回错误(DEL请求和部分特殊请求除外)

      2. allkeys-lru:从所有key中使用LRU算法进行淘汰(LRU算法:即最近最少使用算法)

      3. volatile-lru:从设置了过期时间的key中使用LRU算法进行淘汰

      4. allkeys-random:从所有key中随机淘汰数据

      5. volatile-random:从设置了过期时间的key中随机淘汰

      6. volatile-ttl:在设置了过期时间的key中,淘汰过期时间剩余最短的

      1. 获取当前内存淘汰策略:

        127.0.0.1:6379> config get maxmemory-policy
        

        可以看到当前使用的默认的noeviction策略

      2. 获取Redis能使用的最大内存大小

        127.0.0.1:6379> config get maxmemory
        

        如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制内存大小,在32位操作系统下最多使用3GB内存。32 位的机器最大只支持 4GB 的内存,而系统本身就需要一定的内存资源来支持运行,所以 32 位机器限制最大 3 GB 的可用内存

      3. 设置淘汰策略

        通过配置文件设置淘汰策略(修改redis.conf文件):

        maxmemory-policy allkeys-lru
        

        通过命令修改淘汰策略:

        127.0.0.1:6379> config set maxmemory-policy allkeys-lru
        
      4. 设置Redis最大占用内存大小

        1. #设置Redis最大占用内存大小为100M
        2. 127.0.0.1:6379> config set maxmemory 100mb
  • 相关阅读:
    动态域名解析
    XML文件格式学习
    Git概述
    第七章《Java的异常处理》第4节:throw与throws关键字
    shouldComponentUpdate 是做什么的?
    Python基于Excel数据加以反距离加权空间插值并掩膜图层
    抽象类和接口概念和区别
    分片机制在redis中的实践
    数商云:从规划到落地,五矿集团如何快速构建数字化发展新格局?
    汽车油封的重要性
  • 原文地址:https://blog.csdn.net/weixin_48321993/article/details/126260433