• Redis key(BigKey、MoreKey)的存储策略


    1. MoreKey 案例

    1.1 大批量往 redis 里面 插入2000w 测试数据key

    (1) Linux Bash 下面执行,插入 100w

    root@spray:~# for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt;  done;

    查看

    root@spray:~# more /tmp/redisTest.txt

    set k1 v1
    set k2 v2
    set k3 v3

    (2) 通过redis提供的管道  --pipe  命令插入 100w 大批量数据

    root@spray:~# cat /tmp/redisTest.txt | redis-cli -h 47.101.139.8  -p 6379 --pipe
    All data transferred. Waiting for the last reply...
    Last reply received from server.
    errors: 0, replies: 1000000

    查看

    :6379> get k1000000
    v1000000

    * 企业中建议禁止使用 keys*  、 flushdb 、 flushall等命令

    1.2 Scan命令 用于迭代数据库中的 数据库键

    1. // 其中 scan 的是 游标,当游标为0时 ,遍历结束
    2. :6379> scan 0 match k* count 5
    3. [
    4. "65536",
    5. [
    6. "k578034",
    7. "k899828",
    8. "k667111",
    9. "k720478",
    10. "k115954"
    11. ]
    12. ]
    13. :6379> scan 65536 match k* count 5
    14. [
    15. "720896",
    16. [
    17. "k133147",
    18. "k151526",
    19. "k549678",
    20. "k541042",
    21. "k937688",
    22. "k662333",
    23. "k652940",
    24. "k517887"
    25. ]
    26. ]

    2.BigKey 案例

    1.多大的key算作BigKey呢?

    set k1 v1    (string    512MB)

    根据阿里云 Redis 开发规范

    string类型  > 大于10kb

    hash、list、set、zset 其中的元素个数  >  非5000个

    注意:非字符串的bigkey ,使用hscan、sscan、zscan方式删除(不建议是用del)

    2. bigKey 有哪些危害

    (1)内存不均、集群迁移困难

    (2)网络流量阻塞

    (3)超时删除,大key删除作梗

    3. 如何产生

    (1)社交类

            某网红的粉丝列表,粉丝数量逐步递增

    (2)汇总统计

            某个报表,日月年的数据积累

    4. 如何发现 bigkeys

    (1)redis-cli --bigkeys

            给出每种数据类型Top 1 bigkey,同时给出每种数据类型的键值个数+平均大小

    (2)memory usage 键

            对于大于10kb的key使用

    1. root@spray:~# redis-cli -h 47.101.139.8 -p 6379 --bigkeys
    2. # Scanning the entire keyspace to find biggest keys as well as
    3. # average sizes per key type. You can use -i 0.1 to sleep 0.1 sec
    4. # per 100 SCAN commands (not usually needed).
    5. [00.00%] Biggest string found so far '"k578034"' with 7 bytes
    6. [02.06%] Biggest string found so far '"backup4"' with 72 bytes
    7. -------- summary -------
    8. [16.34%] Sampled 163375 keys in the keyspace!
    9. Total key length in bytes is 1125560 (avg len 6.89)
    10. Biggest string found '"backup4"' has 72 bytes
    11. 0 lists with 0 items (00.00% of keys, avg size 0.00)
    12. 0 hashs with 0 fields (00.00% of keys, avg size 0.00)
    13. 163375 strings with 1125625 bytes (100.00% of keys, avg size 6.89)
    14. 0 streams with 0 entries (00.00% of keys, avg size 0.00)
    15. 0 sets with 0 members (00.00% of keys, avg size 0.00)
    16. 0 zsets with 0 members (00.00% of keys, avg size 0.00)
    1. :6379> memory usage k100
    2. (integer) 56

    3.BigKey 生产调优

            redis.conf 配置文件 LAZY FREEING 相关说明

    vim /myredis/redis7.conf

    Redis有两个原语来删除键。

    (1)阻塞刪除命令:(默认)

            一种称为DEL,是对象的阻塞删除。
            这意味着服务器停止处理新命令,以便以同步方式回收与对象关联的所有内存。如果删除的键与一个小对象相关联,则执行DEL命令所需的时间非常短,可与大多数其他命令相媲美
    Redis中的0(1)或O(log_N)命令。

            但是,如果键与包含数百万个元素的聚合值相关联,则服务器可能阻塞很长时间(甚至几秒钟)才能完成操作。

    (2)非阻塞删除命令

            UNLINK非阻塞DEL以及FLUSHALL和FLUSHDB命令的ASYNC选项,以便在后台回收内存。

            这些命令在恒定时间内执行。另一个线和程将尽可能快地逐步释放后台中的对象。
    FLUSHALL和FLUSHDB的DEL、UNLINK和ASYNC选项是用户控制的。这取决于应用程序的设计,以了解何时使用其中一个是个好主意。

            然而,作为其他操作的副作用,Redis服务器有时不得不删除键或刷新整个数据库。具体而言,Redis在以下场景中独立于用户调用删除对象:

     

    4.面试案例:

    1. 海量数据里  查询  某一固定前缀的  Key   (阿里广告平台)

    scan  0 match k* count 5

    2. 如何生产上限制 keys */ flushdb / flushall 等危险命令以防止  误删无用

    配置文件中禁止使用

    3. 美团,MEMORY USAGE 命令使用过吗?

    多用于查找大于10kb(string类型)的key使用

    4. BigKey 问题,多大算big ? 如何发现? 如何处理? 如何删除?

    BigKey:

    string类型  > 大于10kb

    hash、list、set、zset 其中的元素个数  >  非5000个

    如何发现:

    redis-cli -h 47.101.139.8 -p 6379 --bigkeys

    memory usage k100

    如何处理:

     如何删除:

      一种称为DEL,是对象的阻塞删除。

    UNLINK非阻塞DEL以及FLUSHALL和FLUSHDB命令的ASYNC选项,以便在后台回收内存。

    5.BigKey 如何 调优, 如何  惰性释放 lazyfree?

      redis.conf 配置文件 LAZY FREEING

    6.MoreKey 问题, 生产上redis 数据库有 1000w 记录 ,如何遍历? key * 可以吗?

    不可以

    Scan命令 用于迭代数据库中的 数据库键

    其中 scan 的是 游标,当游标为0时 ,遍历结束

  • 相关阅读:
    jdk 下载 ,开发工具下载 [jdk1.8.0_251.zip]
    Toronto Research Chemicals盐酸乙环胺应用说明
    设计模式:观察者模式
    学生党入手哪个蓝牙耳机好?适合学生党的平价运动蓝牙耳机
    PHP+Lunix+GIT 如何快速使用宝塔WebHook快速自动化部署
    【MySQL】MySQL操作库
    python生成模拟微信气泡图片
    谁还不爱吃肉?现在就教你采集一座城市里的烤肉店数据(附完整代码)
    未授权访问:MongoDB未授权访问漏洞
    物联网数据采集网关连接设备与云平台的关键桥梁
  • 原文地址:https://blog.csdn.net/qq_43457850/article/details/137951372