• 【2023】Redis缓存高并发


    1.Redis缓存

    Redis是一种高性能的键值对存储系统,它支持多种数据结构,包括字符串、散列、列表和有序集合等。它的缓存机制也非常强大,支持多种缓存策略,包括缓存预热、缓存过期、缓存监测等。

    Redis缓存可以用于处理高并发的请求,减轻数据库负载,提高系统性能。它可以将常用数据存储在内存中,以便于快速访问,从而减少了对数据库的查询次数,提高了响应速度。

    单个Redis实例可以支持数万甚至数十万每秒的并发读取操作。但是,这取决于Redis的配置和性能优化,以及应用程序的具体需求。

    1.1.Redis缓存的优点包括:

    • 高性能:Redis支持多种数据结构和缓存策略,可以大大提高数据读取和写入的速度。
    • 可扩展性:Redis支持分布式部署,可以在不增加硬件资源的情况下支持更高的并发访问。
    • 可靠性:Redis支持多种数据备份和故障恢复方法,可以保证数据的安全和完整性。
    • 简单易用:Redis提供了多种API和SDK,支持多种编程语言,可以方便地集成到已有的系统中。

    1.2.Redis缓存的缺点包括:

    • 数据存储有限:Redis的内存容量有限,不能存储过多的数据。因此,在使用Redis缓存之前,需要对数据进行清洗和压缩,以便于存储。
    • 缓存过期:如果缓存数据没有及时清除,或者缓存的过期时间已经到了,那么缓存中的数据就会丢失。因此,需要定期清除缓存中的数据,或者设置缓存过期时间。
    • 并发访问的安全性:如果没有对并发访问进行安全控制,那么可能会出现缓存数据被篡改或者冲突的情况。因此,需要对并发访问进行安全控制,保证缓存的安全和完整性。

    在一个高并发的场景下,缓存可能会面临以下问题:

    2.缓存雪崩

    缓存雪崩是指大量数据同时访问缓存系统,导致缓存系统负载过高,出现服务器宕机或者缓存数据丢失的情况。

    如果发生在服务器宕机的情况:可以将Redis部署为集群模式,确保一份数据在多节点存在,这样即使有单节点不可用,也会有其他节点作为代替。

    如果有更大的规模,也可以将Redis集群跨机房部署,Master节点与Slave节点部署在不同的机房,以满足容灾要求。

    人为制造雪崩:不管是有意也好,无意也好,总之假如你需要重启服务器了,而并没有将缓存数据做持久化处理,那么服务器重启后数据将空空如也,也就是人为制造雪崩,所以重启需谨慎。

    大量缓存失效:有时候,缓存的数据是集中预热的,比如你每天的某个时间点将数据更新到缓存,就可能导致一大批缓存是集中于一个时间更新的,然后也可能会在某段时间后突然集中失效。可以通过在原有过期时间的基础上设置一个范围的随机数,这样即使是同一时间更新,也不会发生集中失效。

    3.缓存穿透

    缓存穿透指的是当请求一个缓存中不存在的数据时,这个请求会直接访问数据库。如果请求的数据在数据库中也不存在,那么这个请求会一直被重复发出直到被处理掉,这就导致了大量的无效数据库请求,从而影响系统的性能。

    通常,这种攻击是由恶意攻击者发起的,他们会发送大量的请求来试探系统中是否存在他们想要的数据。缓存穿透问题可以通过使用布隆过滤器等技术来解决。

    解决思路:

    1️⃣:布隆过滤器:在Redis中使用布隆过滤器存储所有可能的请求参数,当请求到来时,首先通过布隆过滤器判断该请求是否在可能的参数范围内,如果不在,则直接返回无结果。

    2️⃣:缓存空白值:在缓存中存储一个空对象,如null或者空字符串,当缓存中查询不到数据时,直接返回空对象。

    3️⃣:接口限流:对接口的访问进行限流,例如使用Redis进行令牌桶限流等。

    4️⃣:数据预热:在系统启动时,将热门数据预热到缓存中,保证缓存中有足够的数据,避免发生缓存穿透。

    4.缓存穿击

    如果我们的key过期了,但是这个key又是个热门,这些流量就可能会穿击透过redis进入数据库,如果并发大可能会打垮数据库/

    对于这种情况,可以考虑这些解决办法:

    1️⃣:对于一些热门的key,不设置过期时间,而是定期更新其值
    2️⃣:逻辑过期,当数据过期时候,让任务异步重新刷新这个缓存,重新设置过期时间和逻辑过期时间。

    3️⃣:互斥锁,即每次发现key不存在的时候就加锁,只放一条线程去数据库查询真实数据,其他线程等候,直到被唤醒的时候重新检查缓存,就能直接返回缓存数据。

    5.缓存打满

    缓存打满是指缓存系统中所有可用空间都已被占满的状态。在这种情况下,当有新的数据需要被缓存时,缓存系统就需要将一些已缓存的数据删除,以便为新的数据腾出空间。

    缓存打满可能会导致系统性能下降,因为当缓存系统需要删除已缓存的数据时,它需要花费更多时间来查找和删除数据,从而增加了系统的响应时间。

    为了避免缓存打满的情况发生,可以通过增加缓存大小或者使用更高效的缓存算法来提高缓存系统的性能。

    上限由配置maxmemory决定

    缓存打满一般发生在数据没设置过期时间设置过期时间不合理的情况

    可通过这些办法解决:

    1️⃣:存储隔离,针对一些不过期的数据,与正常的缓存数据做分离

    2️⃣:容量监控,针对内存作监控,针对key的过期时间做监控等

  • 相关阅读:
    20.Sleuth链路追踪(springcloud)
    C#的LINQ to XML 类中使用最多的三个类:XElement、XAttribute 和 XDocument
    MindSpore版本问题:1.1版本下的报错,在1.0版本并未报错,求解
    Bigemap如何添加谷歌历史影像
    常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)
    我说MySQL里每张表不要超过100w数据,面试官让我回去等通知?
    数据可视化之:没有西瓜的夏天不叫夏天
    4、Buffer
    Ubuntu22.04深度学习GPU环境配置:Nvidia CUDA 11.7、cuDNN 8.5 详细解读(20220910)
    TcpConnection的读写操作【深度剖析】
  • 原文地址:https://blog.csdn.net/qq_42527269/article/details/131345162