Redis 大 key 问题

1 什么是大 key
Redis 中有常见的几种数据结构，每种结构对大 key 的定义不同，比如：
value 是 String 类型时，size 超过 10KB 为大 key；
value 是 ZSET、Hash、List、Set等集合类型时，它的成员数量超过 1 万个为大 key。
2大 key 有什么影响
我们都知道，Redis 的一个典型特征就是：核心工作线程是单线程。
单线程中请求任务的处理是串行的：如果前面完不成，后面就处理不了。同时也导致分布式架构中内存数据和 CPU 的不平衡。

• 执行大 key 命令的客户端本身，耗时明显增加，甚至超时；
• 执行大 key 相关读取或者删除操作时，会严重占用带宽和CPU，影响其他客户端；
• 大 key 本身的存储带来分布式系统中分片数据不平衡，CPU使用率也不平衡；
• 大 key 有时候也是热 key，读取操作频繁，影响面会很大；
• 执行大 key 删除时，在低版本 Redis 中可能阻塞线程。
  这样看来大 key 的影响还是很明显的，最典型的就是阻塞线程，并发量下降，导致客户端超时，服务端业务成功率下降。

3.大 key 是如何产生的
大 key 的产生往往是业务方设计不合理，没有预见 vaule 的动态增长问题：
（1）一直往 value 塞数据，没有删除机制，迟早要爆炸；
（2）数据没有合理做分片，将大 key 变成小 key。

4. 如何找到大 key
   4.1增加内存、流量、超时等指标监控
   由于大 key 的 value 很大，执行读取时可能阻塞线程。导致 Redis 整体 QPS 下降，并且客户端超时会增加，网络带宽会上涨。配置这些报警可以让我们发现大 key 的存在。

• bigkeys 命令
  使用 bigkeys 命令以遍历的方式分析 Redis 实例中的所有 key，并返回整体统计信息与每个数据类型中排名第一的大 key。
• redis-rdb-tools
  使用redis-rdb-tools离线分析工具来扫描RDB持久化文件，虽然实时性略差，但是完全离线对性能无影响。
  redis-rdb-tools 是用 Python 编写的 Redis rdb 快照文件分析工具，它可以把 rdb 快照文件生成 JSON 文件，或者生成报表用来分析 Redis 的使用详情。
• 集成化可视化工具
  基于某些公有云或者公司内部架构中，Redis 一般都会有可视化的页面和分析工具，来帮助定位大 key，当然页面底层也可能是基于 bigkey s或者 rdb 文件离线分析的结果。

5. 如何解决大 key 问题

根据大 key 的实际用途可以分为两种情况：可删除和不可删除。

5.1删除大 key

如果发现某些大 key 并非热 key，可以在 DB 中查询使用，则可以在 Redis 中删掉：
当 Redis 版本大于4.0时，可使用 UNLINK 命令安全地删除大 key，该命令能够以非阻塞的方式，逐步地清理传入的 key。

Redis UNLINK 命令类似 DEL 命令，表示删除指定的 key。如果指定 key 不存在，命令会对此忽略。UNLINK 命令不同于 DEL 命令之处在于，它是异步执行的，因此不会阻塞。UNLINK 命令是非阻塞删除，非阻塞删除简言之，就是将删除操作放到另外一个线程去处理。

当 Redis 版本小于 4.0 时，避免使用阻塞式命令 KEYS。而是建议通过 SCAN 命令执行增量迭代扫描 key，然后判断进行删除。

Redis Scan 命令用于迭代数据库中的数据库键。SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。

• 压缩和拆分 key

当 vaule 是 string 时，比较难拆分。可使用序列化、压缩算法将 key 的大小控制在合理范围内，但是序列化和反序列化都会带来更多时间上的消耗；

当 value 是 string，且压缩之后仍然是大 key，则需要进行拆分。一个大 key 分为不同的部分，记录每个部分的 key，使用 multiget 等操作实现事务读取；

当 value 是 list/set 等集合类型时，根据预估的数据规模来进行分片。不同的元素计算后分到不同的片。