Redis数据结构原理浅析

目录
  • RedisDb
  • RedisObject
    • 修改内存淘汰策略
  • int
  • embstr与raw
  • dict

RedisDb

Redis服务器默认有16个数据库，一个数据库对应一个RedisDB数据结构。

typedef struct redisDb {
    dict *dict;
    dict *expires;
    dict * blocking_keys;
    dict * ready_keys;
    dict * watched_keys;
    ......
}
  • dict:键空间散列表，用于存放所有键值对
  • expires:过期时间散列表，存放键的过期时间
  • blocking_keys:处于阻塞状态的键和对应的client
  • ready_keys:解除阻塞状态的键和对应的client，与blocking_keys属性相对
  • watched_keys:watch的键和对应的client，主要用于事务

RedisObject

Redis的键值都是redisObject对象，每次当我们在Redis的数据库中新创建一个键值对时，会生成一个用于键名的redisObject对象和一个用于键值的redisObject对象

trpedef struct RedisObject {
    int4 type;
    int4 encoding;
    void *ptr;
    int24 lru;
    int32 refcount;
}
字段 描述 说明
type 用于表示Redis对应的类型 string、list、hash、set、zset、stream等，用枚举表示
encoding 内部编码 int，embstr，raw，hashtable，quicklist， ziplist，intset，skiplist等，用枚举表示
lru 24位，可选LFU或LRU 当为LRU时，表示最后一次访问时间；当为LFU时，高16位用来表示分钟级别的访问时间，低8位用来表示访问频次，频次的增加使用的是概率算法，基数越大越难增加；访问时间更新时，存在一定概率将访问频次衰减。（两者共有）访问时间是对一个数取模，当前时间也取模， 当前时间大于访问时间，则为两数之差；当前时间小于访问时间，则为当前时间加上模数与访问时间之差
refcount 引用计数 初始值为1，实际应用中参考意义不大
ptr 指针，占8个字节，指向数据的地址 dict、expires等，指针指向同一个地址

object命令，就是对RedisObject的相关操作。

修改内存淘汰策略

object idletime key # 返回key的空闲时间，即上次读写键以来经过的近似描述，在lfu模式下不可用

config set maxmemory-policy volatile-lfu # 修改内存淘汰策略
set name zhangsan
object freq name # 获取计数值，仅lfu模式下可用，初始化为5

get name

object freq name # 再次访问，返回为6

int

当string值为整数并且小于等于long的最大值时，encoding为int类型，ptr直接指向该int型地址

embstr与raw

Redis的字符串叫SDS（Simple Dynamic String，简单字符串），对应key，非整数型的String值

trpedef struct SDS {
    int8 capacity; // 数组容量
    int8 len; // 实际长度
    int8 flags;
    byte[] content; // 数组内容
}

可以看出，SDS与Java的ArrayList结构类似，也是分配初始长度，长度超出时扩容。Redis规定字符串的长度不能超过512M。

当长度特别短时，使用embstr形式存储；当长度超出44字节时，使用raw形式存储。

已知内存分配器最大分配单位是64字节，RedisObject占16个字节，SDS标识占3个字节，字符串以NULL结尾需要占用一个字节，因此当字符串长度小于等于44时，只需要分配一次内存。RedisObject与SDS在同一内存单位，我们将这种数据结构称为embstr，而不在同一内存单位的，称为raw。

dict

dict（encoding编码为hashtable类型，字典）对应hash、set、zset（用于存储value与score的映射）集合。

dict与Java的HashMap结构类似，不同的是HashMap扩容是申请数组，然后遍历，将旧数据重新hash后挂到数组下面，作为单线程的Redis很难承受这样耗时的过程，所以它使用了两个数组，先返回，然后空闲的时候一点一点搬数据，搬完之后再将旧数据清空，我们将这样的过程成为渐进式rehash。

typedef struct dict {
    dictht ht[2];
}

以上就是Redis数据结构原理浅析的详细内容，更多关于Redis数据结构的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 分布式架构Redis中有哪些数据结构及底层实现原理

    分布式架构Redis中有哪些数据结构及底层实现原理

    目录 引言 1.面试官:我看你提到,项目中使用了Reids作为缓存,为什么是Reids而不是其他,Redis有什么优势吗? 2.面试官:刚刚你提到Redis是单线程,为什么单线程模型的Redis性能不减. 3.面试官:那你刚刚说的Redis数据结构都有哪几种,如何选择使用哪种? 深入分析 1.简单动态字符串结构,Redis字符串的实现方式 2.链表数据结构,List底层结构 3.跳跃表,sortedset底层结构 关于缓存的一些算法 常用缓存数据淘汰策略 缓存数据更新策略 总结 引言 面完了负载

  • Redis数据结构类型示例解析

    目录 intset ziplist quicklist skiplist 总结 HyperLogLog pfadd pfcount intset 当set集合存储的是整数时,encoding为intset类型(小整数集合) typedef struct intset { int32 encoding; int32 length; int contents[]; } 字段 描述 说明 encoding 决定整数位宽是16位.32位还是64位 枚举表示 length 元素个数 contents 整数

  • 详解Redis数据结构之跳跃表

    1.简介 我们先不谈Redis,来看一下跳表. 1.1.业务场景 场景来自小灰的算法之旅,我们需要做一个拍卖行系统,用来查阅和出售游戏中的道具,类似于魔兽世界中的拍卖行那样,还有以下需求: 拍卖行拍卖的商品需要支持四种排序方式,分别是:按价格.按等级.按剩余时间.按出售者ID排序,排序查询要尽可能地快.还要支持输入道具名称的精确查询和不输入名称的全量查询. 这样的业务场景所需要的数据结构该如何设计呢?拍卖行商品列表是线性的,最容易表达线性结构的是数组和链表.假如用有序数组,虽然查找的时候可以使用

  • 通俗易懂的Redis数据结构基础教程(入门)

    通俗易懂的Redis数据结构基础教程(入门)

    Redis有5个基本数据结构,string.list.hash.set和zset.它们是日常开发中使用频率非常高应用最为广泛的数据结构,把这5个数据结构都吃透了,你就掌握了Redis应用知识的一半了. string 首先我们从string谈起.string表示的是一个可变的字节数组,我们初始化字符串的内容.可以拿到字符串的长度,可以获取string的子串,可以覆盖string的子串内容,可以追加子串. Redis的字符串是动态字符串,是可以修改的字符串,内部结构实现上类似于Java的ArrayL

  • Redis核心原理与实践之字符串实现原理

    Redis核心原理与实践之字符串实现原理

    本文分析Redis字符串的实现原理,内容摘自新书<Redis核心原理与实践>.这本书深入地分析了Redis常用特性的内部机制与实现方式,内容源自对Redis源码的分析,并从中总结出设计思路.实现原理.通过阅读本书,读者可以快速.轻松地了解Redis的内部运行机制. Redis是一个键值对数据库(key-value DB),下面是一个简单的Redis的命令: > SET msg "hello wolrd" 该命令将键"msg".值"hell

  • Redis定时任务原理的实现

    Redis定时任务原理的实现

    目录 数据结构 常见操作 1.创建定时事件 2.触发定时事件 3.执行定时事件 总结 本文主要是基于 redis 6.2 源码进行分析定时事件的数据结构和常见操作. 数据结构 在 redis 中通过 aeTimeEvent 结构来创建定时任务事件,代码如下: /* Time event structure */ typedef struct aeTimeEvent {     // 标识符     long long id; /* time event identifier. */     //

  • Redis核心原理详细解说

    Redis核心原理详细解说

    目录 1.Redis为什么这么快 2.Redis网络模型 3.Redis数据结构 4.Redis持久化 RDB快照(snapshot) AOF(append-only file) RDB与AOF区别 Redis数据备份策略 5.Redis管道(Pipeline) 6.Redis使用lua脚本 7.Redis分布式锁 8.Redis主从架构 9.Redis哨兵架构 10.Redis集群 11.Redis优化 12.Redis问题 缓存穿透 缓存失效(击穿) 缓存雪崩 1.Redis为什么这么快 C

  • redis数据结构之intset的实例详解

    redis数据结构之intset的实例详解

    redis数据结构之intset的实例详解 在redis中,intset主要用于保存整数值,由于其底层是使用数组来保存数据的,因而当对集合进行数据添加时需要对集合进行扩容和迁移操作,因而也只有在数据量不大时redis才使用该数据结构来保存整数集合.其具体的底层数据结构如下: typedef struct intset { // 编码方式 uint32_t encoding; // 集合包含的元素数量 uint32_t length; // 保存元素的数组 int8_t contents[]; }

  • 详解redis数据结构之sds

    详解redis数据结构之sds

    详解redis数据结构之sds 字符串在redis中使用非常广泛,在redis中,所有的数据都保存在字典(Map)中,而字典的键就是字符串类型,并且对于很大一部分字典值数据也是又字符串组成的.以下是sds的具体存储结构: 从图中可以看出,sds的属性有三个:len.free和buf数组.这里len字段是用来保存sds字符串中所包含字符数目的,free字段则是用来保存buf数组中空余的部分的长度的,而buf数组则是实际用来保存字符串的.比如如下结构保存了"Hello World!"这个字

  • 详解redis数据结构之压缩列表

    详解redis数据结构之压缩列表

     详解redis数据结构之压缩列表 redis使用压缩列表作为列表键和哈希键的底层实现之一.当一个列表键只包含少量的列表项,并且每个列表项都是由小整数值或者是短字符串组成,那么redis就会使用压缩列表存储列表项:同理,当一个哈希表包含的键值对都是由小整数值或者是短字符串组成,并且存储的键值对数目不多时,redis也会使用压缩列表来存储哈希表.以下是压缩列表存储结构: zlbytes长度为4个字节,记录了整个压缩列表所占用的字节数 zltail长度为4个字节,记录了压缩列表起始位置到压缩列表尾节

  • Javascript自执行匿名函数(function() { })()的原理浅析

    函数是JavaScript中最灵活的一种对象,这里只是讲解其匿名函数的用途.匿名函数指没有指定函数名或指针的函数,自执行匿名函数只是其中一种,下文中称这种函数为:自执行函数 下面是一个最常见的自执行函数: // 传统匿名函数 (function() { alert('hello'); })(); 这段代码的执行效果就是在页面再载入时弹出:"hello" 是什么促使它自动执行的?,来看下面的代码 // 在传统写法上去掉小括号,并在前面加上运算符 ~,!,+,- ~function(){

  • Android微信抢红包功能的实现原理浅析

    快到过农历年了,微信红包也越来越多了,出现了好多红包外挂程序,就很好奇如何实现的,于是自己研究了一番,亲自写了个微信抢红包的APP.现在就一步一步来实现它. 实现思路 微信抢红包程序开启时候,他就可以随时识别.捕获红包,服务可以实现正在功能,当我们开启服务的时候,服务就不停的在后台运行,不停地轮询着微信里面的消息,当发现红包时候就立即打开微信红包所在的界面.但是他怎识别红包呢?需要找到微信抢红包里面节点的view,当找到对应的view,在获取view的关键字或者id,根据关键字或者id,自动的模

随机推荐