• RedisObject


    前言

    Redis 是一个基于内存的,以 Key-Value 形式存储数据的 NoSQL 数据库。
    相较于其它 NoSQL 数据库,Redis 提供了更丰富的数据类型和 API,开发者可以基于 Redis 实现数据缓存、消息队列、分布式锁等场景。

    Redis 底层用一个全局哈希表来存储所有的键值对,Value 是一个指针,指向 Key 对应的数据对象。
    Redis 服务端在执行数据处理命令时,首先要检查命令和操作的对象类型是否匹配,例如调用 GET 命令处理 Hash 对象,Redis 就会返回一个错误信息:

    > HSET hash_key name Lisa
    (integer) 1
    > get hash_key
    (error) WRONGTYPE Operation against a key holding the wrong kind of value
    
    • 1
    • 2
    • 3
    • 4

    由此可见,Redis 首先要能根据 Key 获取到 Value 的数据类型,最简单的方式就是用一个结构体来对 Value 指向的底层数据结构做一个描述封装,这个结构体就是 RedisObject。

    RedisObject

    源码中对 RedisObject 结构体的定义如下:

    typedef struct redisObject {
        unsigned type:4;
        unsigned encoding:4;
        unsigned lru:LRU_BITS;
        int refcount;
        void *ptr;
    } robj;
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    属性长度说明
    type4 Bit对外的对象类型 例如:string list hash
    encoding4 Bit对象的编码类型 例如:ziplist skiplist intset
    lru24 Bit对象最近一次访问的时间戳 用于LRU缓存淘汰
    refcount4 Byte对象引用次数
    ptr8 Byte指向底层数据结构的指针

    type、encoding、lru 三个属性后面都有一个冒号跟着一个数值,这是 C 语言里的位域定义法,目的是节省内存空间。当一个变量占用不了所有 Bit 时,就可以将其划分成多个位域,每个位域占用的 Bit 数称作 位宽。这里 type 和 encoding 的位宽都是 4,lru 的位宽是 24,合在一起就是 32 Bit,即 4 个字节。

    下面分别介绍各个属性的作用。

    type
    type 表示 RedisObject 对外的数据类型,常用类型有以下五种,大家都很熟悉了。

    #define OBJ_STRING 0    /* String object. */
    #define OBJ_LIST 1      /* List object. */
    #define OBJ_SET 2       /* Set object. */
    #define OBJ_ZSET 3      /* Sorted set object. */
    #define OBJ_HASH 4      /* Hash object. */
    
    • 1
    • 2
    • 3
    • 4
    • 5

    encoding
    encoding 表示 RedisObject 底层的编码类型,即使是同一种数据类型,也可以用不同的编码类型来实现。例如:hash 既可以用 哈希表实现,也可以用 ziplist 实现。
    目前的编码类型有以下十一种:

    #define OBJ_ENCODING_RAW 0     /* Raw representation */
    #define OBJ_ENCODING_INT 1     /* Encoded as integer */
    #define OBJ_ENCODING_HT 2      /* Encoded as hash table */
    #define OBJ_ENCODING_ZIPMAP 3  /* Encoded as zipmap */
    #define OBJ_ENCODING_LINKEDLIST 4 /* No longer used: old list encoding. */
    #define OBJ_ENCODING_ZIPLIST 5 /* Encoded as ziplist */
    #define OBJ_ENCODING_INTSET 6  /* Encoded as intset */
    #define OBJ_ENCODING_SKIPLIST 7  /* Encoded as skiplist */
    #define OBJ_ENCODING_EMBSTR 8  /* Embedded sds string encoding */
    #define OBJ_ENCODING_QUICKLIST 9 /* Encoded as linked list of ziplists */
    #define OBJ_ENCODING_STREAM 10 /* Encoded as a radix tree of listpacks */
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    根据 type 和 encoding 俩属性,Redis 就知道 ptr 指针指向的具体数据类型了,也就知道该如何访问对象了。

    lru
    lru 代表对象最近一次访问的时间戳,Redis 每次访问对象,都会写入最新的时间戳,当内存资源不够时,Redis 会随机采样一批对象,然后比较 lru 字段,把最久未访问的对象清理掉。
    你应该已经发现了,lru 字段才占用 24 Bit,Redis 为了节省内存,没有写入全量时间戳,而是以秒为单位,只写入时间戳的低 24 位。
    获取 LRU 时钟的方法是getLRUClock()

    unsigned int getLRUClock(void) {
        /**
         * 毫秒时间戳/1000 & lru时钟最大值
         * 当前秒级时间戳 只保留低24位 16777215/3600/24 约194天
         */
        return (mstime()/LRU_CLOCK_RESOLUTION) & LRU_CLOCK_MAX;
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    预估对象闲置时间的方法是estimateObjectIdleTime()

    unsigned long long estimateObjectIdleTime(robj *o) {
        // 获取LRU时钟 以秒为单位的当前时间戳,只保留低24位
        unsigned long long lruclock = LRU_CLOCK();
        if (lruclock >= o->lru) {
            return (lruclock - o->lru) * LRU_CLOCK_RESOLUTION;
        } else {
            // 溢出了,要加上溢出值
            return (lruclock + (LRU_CLOCK_MAX - o->lru)) *
                        LRU_CLOCK_RESOLUTION;
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    为什么是“预估”呢?因为受限于 lru 的空间限制,Redis 无法获得对象真正被闲置的时间。lru 只有 24 Bit,以秒为单位,最多能表示 16777215 秒,约 194 天。一旦超过这个范围,就会发生溢出,此时就会出现这种现象:一个对象明明已经闲置 194 天了,但是 Redis 认为它刚刚才被访问过,此时的LRU淘汰策略就会出问题,好在发生这种情况的概率并不高。

    refcount
    refcount 代表对象的引用次数。Redis 是内存数据库,对象的存储和释放都要进行内存管理,当 refcount=0 时代表对象可以被安全的回收。
    另外,Redis 为了节约资源会尽量避免创建相同对象,会提前创建一批共享对象缓存起来以实现对象复用,例如服务端的响应信息:+OK \r\nPONG\r\n等:

    void createSharedObjects(void) {
        shared.crlf = createObject(OBJ_STRING,sdsnew("\r\n"));
        shared.ok = createObject(OBJ_STRING,sdsnew("+OK\r\n"));
        shared.emptybulk = createObject(OBJ_STRING,sdsnew("$0\r\n\r\n"));
        shared.czero = createObject(OBJ_STRING,sdsnew(":0\r\n"));
        shared.cone = createObject(OBJ_STRING,sdsnew(":1\r\n"));
        shared.emptyarray = createObject(OBJ_STRING,sdsnew("*0\r\n"));
        shared.pong = createObject(OBJ_STRING,sdsnew("+PONG\r\n"));
        shared.queued = createObject(OBJ_STRING,sdsnew("+QUEUED\r\n"));
        shared.emptyscan = createObject(OBJ_STRING,sdsnew("*2\r\n$1\r\n0\r\n*0\r\n"));
        shared.space = createObject(OBJ_STRING,sdsnew(" "));
        shared.colon = createObject(OBJ_STRING,sdsnew(":"));
        shared.plus = createObject(OBJ_STRING,sdsnew("+"));
        ......
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    如果要修改一个共享对象,首先要检查 refcount 是否为0,大于0代表对象已经被引用,此时必须拷贝一个副本修改,以保证共享数据不被破坏。

    ptr
    ptr 是一个指针,指向 Value 的底层数据结构。根据 type 和 encoding 的不同,ptr 指向的数据结构也不相同。

  • 相关阅读:
    Rustdesk 自建服务器教程
    系列文章之一文纵览机器学习(6)——文本数据的转换处理 | 图像数据的转换处理 | 附:CNN激活层可视化(附源代码)
    国际经济学名词解释
    Day 49 前端开发
    Python武器库开发-flask篇之URL重定向(二十三)
    两种K线形态预示今日伦敦银走向
    【学习笔记】LOJ #6240. 仙人掌
    网络安全态势感知运营中心建设解决方案
    扩散模型基本原理
    UI 自动化测试框架:PO模式+数据驱动
  • 原文地址:https://blog.csdn.net/qq_32099833/article/details/133889069