Redis删除策略的三种方法及逐出算法

目录
  • 一、前言
  • 二、Redis中的数据特征
  • 三、时效性数据储存结构
  • 四、数据删除策略
    • 1、定时删除
    • 2、惰性删除
    • 3、定期删除
  • 五、删除策略对比
  • 六、逐出算法
    • 1、概念引入
    • 2、八种配置

一、前言

在文章开始之前，我先问大家一个问题：当我们使用指令：expire key second给一个key设置过期时间，过期时间一到，这个key对应的过期数据真的被服务器立即删除了吗？答案是并不会立即删除。知道了这个答案，就来看看Redis中如何处理过期的数据。

二、Redis中的数据特征

Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态，有三种状态： 

指令结果 状态
XX 具有时效性的数据
-1 永久有效的数据
-2 已经过期的数据 或 被删除的数据 或 未定义的数据

三、时效性数据储存结构

当我们用指令设置过期数据后，数据对应的地址会放在expires空间中，存储方式是哈希，存储的value是过期时间。

四、数据删除策略

数据删除策略目标：在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露

1、定时删除

  • 创建一个定时器，当key设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除操作
  • 优点：节约内存，到时就删除，快速释放掉不必要的内存占用
  • 缺点：CPU压力很大，无论CPU此时负载量多高，均占用CPU，会影响redis服务器响应时间和指令吞吐量

2、惰性删除

  • 数据到达过期时间，不做处理。等下次访问该数据时，会调用expireIfNeeded()函数来判断该数据是否过期： 如果未过期，返回数据，发现已过期，删除，返回不存在
  • 优点：节约CPU性能，发现必须删除的时候才删除
  • 缺点：内存压力很大，出现长期占用内存的数据

3、定期删除

流程分析：

  • Redis服务器启动初始化时，读取配置server.hz的值，默认为10
  • 然后每秒钟执行10次serverCron()方法，该方法用来检测服务器
  • serverCron()方法又会调用databasesCron()方法，该方法是用来遍历数据库的，redis默认有16个数据库，从第一个数据库开始
  • databasesCron()方法又会调用activeExpireCycle()方法，该方法会对每一个expires[*]逐一进行检测，每次执行250ms/server.hz；对某个expires[*]检测时，随机挑选W个key检测
  • 如果检测到key超时，则删除key；如果一轮中删除的key的数量>W25%，循环该过程；如果一轮中删除的key的数量≤W25%，检查下一个expires[*]，0-15循环。其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值
  • 如果activeExpireCycle()执行时间到期，下次从current_db继续向下执行
  • 参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行

  • 总结：周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度
  • 内存压力不是很大，长期占用内存的冷数据会被持续清理

五、删除策略对比

定时删除 节约内存，无占用 不分时段占用CPU资源，频度高 拿时间换空间
惰性删除 内存占用严重 延时执行，CPU利用率高 拿空间换时间
定期删除 内存定期随机清理 每秒花费固定的CPU资源维护内存 随机抽查，重点抽查

六、逐出算法

1、概念引入

当新数据进入redis时，如果内存不足怎么办？Redis使用内存存储数据，在执行每一个命令前，会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法。

注意：逐出数据的过程不是100%能够清理出足够的可使用的内存空间，如果不成功则反复执行。当对所有数据尝试完毕后，如果不能达到内存清理的要求，将出现错误信息。

2、八种配置

检测易失数据（可能会过期的数据集server.db[i].expires ）

volatile-lru 挑选最近最少使用的数据淘汰
volatile-lfu 挑选最近使用次数最少的数据淘汰
volatile-ttl 挑选将要过期的数据淘汰
volatile-random 任意选择数据淘汰

检测全库数据（所有数据集server.db[i].dict ）

allkeys-lru 挑选最近最少使用的数据淘汰
allkeys-lfu 挑选最近使用次数最少的数据淘汰
allkeys-random 任意选择数据淘汰

放弃数据驱逐：

no-enviction 禁止驱逐数据（redis4.0中默认策略）

到此这篇关于Redis删除策略的三种方法及逐出算法的文章就介绍到这了,更多相关Redis删除策略内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 浅谈Redis 中的过期删除策略和内存淘汰机制

    浅谈Redis 中的过期删除策略和内存淘汰机制

    目录 前言 Redis 中 key 的过期删除策略 1.定时删除 2.惰性删除 3.定期删除 Redis 中过期删除策略 从库是否会脏读主库创建的过期键 内存淘汰机制 内存淘汰触发的最大内存 有哪些内存淘汰策略 内存淘汰算法 LRU LFU 为什么数据删除后内存占用还是很高 内存碎片如何产生 碎片率的意义 如何清理内存碎片 总结 参考 前言 Redis 中的 key 设置一个过期时间,在过期时间到的时候,Redis 是如何清除这个 key 的呢? 这来分析下 Redis 中的过期删除策略和内存淘

  • redis 数据删除策略和逐出算法的问题小结

    数据存储和有效期 在 redis 工作流程中,过期的数据并不需要马上就要执行删除操作.因为这些删不删除只是一种状态表示,可以异步的去处理,在不忙的时候去把这些不紧急的删除操作做了,从而保证 redis 的高效 数据的存储 在redis中数据的存储不仅仅需要保存数据本身还要保存数据的生命周期,也就是过期时间.在redis 中 数据的存储结构如下图: 获取有效期 Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态 删除策略 在内存占用与CPU占用之间寻找一

  • Redis 的内存淘汰策略和过期删除策略的区别

    Redis 的内存淘汰策略和过期删除策略的区别

    目录 前言 过期删除策略 如何设置过期时间? 如何判定 key 已过期了? 过期删除策略有哪些? Redis 过期删除策略是什么? 内存淘汰策略 如何设置 Redis 最大运行内存? Redis 内存淘汰策略有哪些? LRU 算法和 LFU 算法有什么区别? 总结 前言 Redis 是可以对 key 设置过期时间的,因此需要有相应的机制将已过期的键值对删除,而做这个工作的就是过期键值删除策略. Redis 的「内存淘汰策略」和「过期删除策略」,很多小伙伴容易混淆,这两个机制虽然都是做删除的操作,

  • Redis中键的过期删除策略深入讲解

    Redis中键的过期删除策略深入讲解

    如果一个键过期了,那么它什么时候会被删除呢? 这个问题有三种可能的答案,它们分别代表了三种不同的删除策略: 定时删除:在设置键的过期时间的同时,创建一个定时器( timer ). 让定时器在键的过期时间来临时,立即执行对键的删除操作. 惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键. 定期删除: 每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键.至于要删除多少过期键,以及要检查多少个数据库, 则由算法决定

  • 浅谈Redis中的内存淘汰策略和过期键删除策略

    浅谈Redis中的内存淘汰策略和过期键删除策略

    目录 8种淘汰策略 过期键的删除策略 总结 redis是我们现在最常用的一个工具,帮助我们建设系统的高可用,高性能. 而且我们都知道redis是一个完全基于内存的工具,这也是redis速度快的一个原因,当我们往redis中不断缓存数据的时候,其内存总有满的时候(而且内存是很贵的东西,尽量省着点用),所以尽可能把有用的数据,或者使用频繁的数据缓存在redis中,物尽其用. 那么如果正在使用的redis内存用完了,我们应该怎么取舍redis中已存在的数据和即将要存入的数据呢,我们要怎么处理呢? re

  • Redis删除策略的三种方法及逐出算法

    Redis删除策略的三种方法及逐出算法

    目录 一.前言 二.Redis中的数据特征 三.时效性数据储存结构 四.数据删除策略 1.定时删除 2.惰性删除 3.定期删除 五.删除策略对比 六.逐出算法 1.概念引入 2.八种配置 一.前言 在文章开始之前,我先问大家一个问题:当我们使用指令:expire key second给一个key设置过期时间,过期时间一到,这个key对应的过期数据真的被服务器立即删除了吗?答案是并不会立即删除.知道了这个答案,就来看看Redis中如何处理过期的数据. 二.Redis中的数据特征 Redis是一种内

  • Redis实现限流器的三种方法(小结)

    目录 方法一:基于Redis的setnx的操作 方法二:基于Redis的数据结构zset 方法三:基于Redis的令牌桶算法 方法一:基于Redis的setnx的操作 我们在使用Redis的分布式锁的时候,大家都知道是依靠了setnx的指令,在CAS(Compare and swap)的操作的时候,同时给指定的key设置了过期实践(expire),我们在限流的主要目的就是为了在单位时间内,有且仅有N数量的请求能够访问我的代码程序.所以依靠setnx可以很轻松的做到这方面的功能. 比如我们需要在1

  • Python使用三种方法实现PCA算法

    Python使用三种方法实现PCA算法

    主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域.它的主要作用是对高维数据进行降维.PCA把原先的n个特征用数目更少的k个特征取代,新特征是旧特征的线性组合,这些线性组合最大化样本方差,尽量使新的k个特征互不相关.关于PCA的更多介绍,请参考:https://en.wikipedia.org/wiki/Principal_component_analysis. 主成分分析(PCA) vs 多元判别式分析(MD

  • ORACLE查询删除重复记录三种方法

    比如现在有一人员表 (表名:peosons) 若想将姓名.身份证号.住址这三个字段完全相同的记录查询出来 复制代码 代码如下: select p1.*   from persons  p1,persons  p2   where p1.id<>p2.id   and  p1.cardid = p2.cardid and p1.pname = p2.pname and p1.address = p2.address 可以实现上述效果． 几个删除重复记录的SQL语句 1.用rowid方法 2.用g

  • Python列表删除的三种方法代码分享

    1.使用del语句删除元素 >>> i1 = ["a",'b','c','d'] >>> del i1[0] >>> print(i1) ['b', 'c', 'd'] >>> del语句将值从列表中删除后,就再也无法访问它了. 2.使用pop()删除元素 pop()可删除列表末尾的元素,并让你能够接着使用它.食欲弹出(pop)源自这样的类比:列表就是一个栈,而删除列表末尾的元素相当于弹出栈顶元素. >>

  • python操作redis数据库的三种方法

    安装依赖 pip3 install redis 使用的三种方式 直接使用 import redis r = redis.Redis(host='127.0.0.1', port=6379, db=1, password=None, decode_responses=True) 连接池使用 import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379, db=1, max_connections=100, password

  • Python 删除List元素的三种方法remove、pop、del

    1.remove: 删除单个元素,删除首个符合条件的元素,按值删除,从左向右依次删除符合条件的值 举例说明: >>> str=[1,2,3,4,5,2,6] >>> str.remove(2) >>> str [1, 3, 4, 5, 2, 6] 2.pop: 删除单个或多个元素,按位删除(根据索引删除) >>> str=[0,1,2,3,4,5,6] >>> str.pop(1) #pop删除时会返回被删除的元素

  • Golang切片删除指定元素的三种方法对比

    目录 前言 1.截取法(修改原切片) 2.拷贝法(不改原切片) 3.移位法(修改原切片) 3.1 方式一 3.2 方式二 4.性能对比 5.小结 前言 Go 并没有提供删除切片元素专用的语法或函数,需要使用切片本身的特性来删除元素. 删除切片指定元素一般有如下几种方法,本文以 []int 为例给出具体实现. 1.截取法(修改原切片) 这里利用对 slice 的截取删除指定元素.注意删除时,后面的元素会前移,所以下标 i 应该左移一位. // DeleteSlice1 删除指定元素. func D

  • redis实现加锁的几种方法示例详解

    前言 本文主要给大家介绍了关于redis实现加锁的几种方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. 1. redis加锁分类 redis能用的的加锁命令分表是INCR.SETNX.SET 2. 第一种锁命令INCR 这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一. 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中. 1. 客户端A请求服务器获取key的值为1表示

  • Java实现redis分布式锁的三种方式

    Java实现redis分布式锁的三种方式

    目录 一.引入原因 二.分布式锁实现过程中的问题 问题一:异常导致锁没有释放 问题二:获取锁与设置过期时间操作不是原子性的 问题三:锁过期之后被别的线程重新获取与释放 问题四:锁的释放不是原子性的 问题五:其他的问题? 三.具体实现 1. RedisTemplate 2. RedisLockRegistry 3. 使用redisson实现分布式锁 一.引入原因 在分布式服务中,常常有如定时任务.库存更新这样的场景. 在定时任务中,如果不使用quartz这样的分布式定时工具,只是简单的使用定时器来

随机推荐