还不懂Redis?看完这个趣味小故事就明白了!

你好,我是Redis,一个叫Antirez的男人把我带到了这个世界上。

说起我的诞生,跟关系数据库MySQL还挺有渊源的。

在我还没来到这个世界上的时候,MySQL过的很辛苦,互联网发展的越来越快,它容纳的数据也越来越多,用户请求也随之暴涨,而每一个用户请求都变成了对它的一个又一个读写操作,MySQL是苦不堪言。尤其是到“双11”、“618“这种全民购物狂欢的日子,都是MySQL受苦受难的日子。

据后来MySQL告诉我说,其实有一大半的用户请求都是读操作,而且经常都是重复查询一个东西,浪费它很多时间去进行磁盘I/O。

后来有人就琢磨,是不是可以学学CPU,给数据库也加一个缓存呢?于是我就诞生了!

出生不久,我就和MySQL成为了好朋友,我们俩常常携手出现在后端服务器中。

应用程序们从MySQL查询到的数据,在我这里登记一下,后面再需要用到的时候,就先找我要,我这里没有再找MySQL要。

为了方便使用,我支持好几种数据结构的存储:

String

Hash

List

Set

SortedSet

Bitmap

······

因为我把登记的数据都记录在内存中,不用去执行慢如蜗牛的I/O操作,所以找我要比找MySQL要省去了不少的时间呢。

可别小瞧这简单的一个改变,我可为MySQL减轻了不小的负担!随着程序的运行,我缓存的数据越来越多,有相当部分时间我都给它挡住了用户请求,这一下它可乐得清闲自在了!

有了我的加入,网络服务的性能提升了不少,这都归功于我为数据库挨了不少枪子儿。

缓存过期 && 缓存淘汰

不过很快我发现事情不妙了,我缓存的数据都是在内存中,可是就算是在服务器上,内存的空间资源还是很有限的,不能无节制的这么存下去,我得想个办法,不然吃枣药丸。

不久,我想到了一个办法:给缓存内容设置一个超时时间,具体设置多长交给应用程序们去设置,我要做的就是把过期了的内容从我里面删除掉,及时腾出空间就行了。

超时时间有了,我该在什么时候去干这个清理的活呢?

最简单的就是定期删除,我决定100ms就做一次,一秒钟就是10次!

我清理的时候也不能一口气把所有过期的都给删除掉,我这里面存了大量的数据,要全面扫一遍的话那不知道要花多久时间,会严重影响我接待新的客户请求的!

时间紧任务重,我只好随机选择一部分来清理,能缓解内存压力就行了。

就这样过了一段日子,我发现有些个键值运气比较好,每次都没有被我的随机算法选中,每次都能幸免于难,这可不行,这些长时间过期的数据一直霸占着不少的内存空间!气抖冷!

我眼里可揉不得沙子!于是在原来定期删除的基础上,又加了一招:

那些原来逃脱我随机选择算法的键值,一旦遇到查询请求,被我发现已经超期了,那我就绝不客气,立即删除。

这种方式因为是被动式触发的,不查询就不会发生,所以也叫惰性删除!

可是,还是有部分键值,既逃脱了我的随机选择算法,又一直没有被查询,导致它们一直逍遥法外!而于此同时,可以使用的内存空间却越来越少。

而且就算退一步讲,我能够把过期的数据都删除掉,那万一过期时间设置的很长,还没等到我去清理,内存就吃满了,一样要吃枣药丸,所以我还得想个办法。

我苦思良久,终于憋出了个大招:内存淘汰策略,这一次我要彻底解决问题!

我提供了8种策略供应用程序选择,用于我遇到内存不足时该如何决策:

noeviction:返回错误,不会删除任何键值

allkeys-lru:使用LRU算法删除最近最少使用的键值

volatile-lru:使用LRU算法从设置了过期时间的键集合中删除最近最少使用的键值

allkeys-random:从所有key随机删除

volatile-random:从设置了过期时间的键的集合中随机删除

volatile-ttl:从设置了过期时间的键中删除剩余时间最短的键

volatile-lfu:从配置了过期时间的键中删除使用频率最少的键

allkeys-lfu:从所有键中删除使用频率最少的键

有了上面几套组合拳,我再也不用担心过期数据多了把空间撑满的问题了~

缓存穿透 && 布隆过滤器

我的日子过的还挺舒坦,不过MySQL大哥就没我这么舒坦了,有时候遇到些烦人的请求,查询的数据不存在,MySQL就要白忙活一场!不仅如此,因为不存在,我也没法缓存啊,导致同样的请求来了每次都要去让MySQL白忙活一场。我作为缓存的价值就没得到体现啦!这就是人们常说的缓存穿透。

这一来二去,MySQL大哥忍不住了:“唉,兄弟,能不能帮忙想个办法,把那些明知道不会有结果的查询请求给我挡一下”

这时我想到了我的另外一个好朋友:布隆过滤器

我这位朋友别的本事没有,就擅长从超大的数据集中快速告诉你查找的数据存不存在(悄悄告诉你,我的这位朋友有一点不靠谱,它告诉你存在的话不能全信,其实有可能是不存在的,不过它他要是告诉你不存在的话,那就一定不存在)。

如果你对我这位朋友感兴趣的话,可以看看这里《白话布隆过滤器BloomFilter》

我把这位朋友介绍给了应用程序,不存在的数据就不必去叨扰MySQL了,轻松帮忙解决了缓存穿透的问题。

缓存击穿 && 缓存雪崩

这之后过了一段时间太平日子,直到那一天···

有一次,MySQL那家伙正优哉游哉的摸鱼,突然一大堆请求给他怼了过去,给他打了一个措手不及。

一阵忙活之后,MySQL怒气冲冲的找到了我,“兄弟,咋回事啊,怎么一下子来的这么猛”

我查看了日志,赶紧解释到:“大哥,实在不好意思,刚刚有一个热点数据到了过期时间,被我删掉了,不巧的是随后就有对这个数据的大量查询请求来了,我这里已经删了,所以请求都发到你那里来了”

“你这干的叫啥事,下次注意点啊”,MySQL大哥一脸不高兴的离开了。

这一件小事我也没怎么放在心上,随后就抛之脑后了,却没曾想几天之后竟捅了更大的篓子。

那一天,又出现了大量的网络请求发到了MySQL那边,比上一次的规模大得多,MySQL大哥一会儿功夫就给干趴下了好几次!

等了好半天这一波流量才算过去,MySQL才缓过神来。

“老弟,这一次又是什么原因?”,MySQL大哥累的没了力气。

“这一次比上一次更不巧,这一次是一大批数据几乎同时过了有效期,然后又发生了很多对这些数据的请求,所以比起上一次这规模更大了”

MySQL大哥听了眉头一皱,“那你倒是想个办法啊,三天两头折磨我,这谁顶得住啊?”

“其实我也很无奈,这个时间也不是我设置的,要不我去找应用程序说说,让他把缓存过期时间设置的均匀一些?至少别让大量数据集体失效”

“走,咱俩一起去”

后来,我俩去找应用程序商量了,不仅把键值的过期时间随机了一下,还设置了热点数据永不过期,这个问题缓解了不少。哦对了,我们还把这两次发生的问题分别取了个名字:缓存击穿和缓存雪崩。

我们终于又过上了舒适的日子···

(0)

相关推荐

  • Windows下如何安装配置Redis环境

    下载redis:https://github.com/MicrosoftArchive/redis/releases(这里选择Redis-x64-3.0.504.zip) 一.单节点环境Redis临时服务 # 打开cmd,进入到刚才解压到的目录,启动临时服务:redis-server.exe redis.windows.conf (备注:通过这个命令,会创建Redis临时服务,不会在window Service列表出现Redis服务名称和状态,此窗口关闭,服务会自动关闭.) #打开另一个cmd窗

  • Redis六大数据类型使用方法详解

    我们说 Redis 相对于Memcache 等其他的缓存产品,有一个比较明显的优势就是 Redis 不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储.本篇博客我们就将介绍这些数据类型的详细使用以及顺带介绍Redis系统的相关命令用法. 注意:Redis的命令不区分大小写,但是key 严格区分大小写!!! 0.写在前面 下面介绍的Redis命令有很多,如果你想通过死记硬背来记住这些命令几乎不可能,但是如果理解了Redis的一些机制,这些命

  • 还不懂Redis?看完这个趣味小故事就明白了!

    你好,我是Redis,一个叫Antirez的男人把我带到了这个世界上. 说起我的诞生,跟关系数据库MySQL还挺有渊源的. 在我还没来到这个世界上的时候,MySQL过的很辛苦,互联网发展的越来越快,它容纳的数据也越来越多,用户请求也随之暴涨,而每一个用户请求都变成了对它的一个又一个读写操作,MySQL是苦不堪言.尤其是到"双11"."618"这种全民购物狂欢的日子,都是MySQL受苦受难的日子. 据后来MySQL告诉我说,其实有一大半的用户请求都是读操作,而且经常都

  • 分布式锁为什么要选择Zookeeper而不是Redis?看完这篇你就明白了

    在分布式的应用中,为了防止单点故障,保障高可用,通常会采用主从结构,当主节点挂掉后,从节点可以代替主节点提供服务. Redis通过复制 + sentinel哨兵来实现主从模式. Zookeeper通过replicated mode复制模式来实现主从模式. 单从结构上看,Redis和Zookeeper都是主从架构,那Zookeeper的优势是什么?为什么要选择Zookeeper?难道只是因为Zookeeper是目录结构,Redis是K-V结构吗? 同步机制的不同 Redis Redis在给从节点同

  • 68个经典励志小故事 哲理小故事,让你终身受益第1/2页

    同时给你一点启发,一些感悟,这些励志故事和哲理故事为你的成功指明方向,提供动力,激励你的人生每一天! 小故事一.用人之道 去过庙的人都知道,一进庙门,首先是弥陀佛,笑脸迎客,而在他的北面,则是黑口黑脸的韦陀.但相传在很久以前,他们并不在同一个庙里,而是分别掌管不同的庙. 弥乐佛热情快乐,所以来的人非常多,但他什么都不在乎,丢三拉四,没有好好的管理账务,所以依然入不敷出.而韦陀虽然管账是一把好手,但成天阴着个脸,太过严肃,搞得人越来越少,最后香火断绝. 佛祖在查香火的时候发现了这个问题,就将他们俩

  • 看完工资立马翻3倍!(非程序员勿看)

    看完下面阿里巴巴架构师出品的全套秘籍,你工资起码翻3倍!起步薪资30K!如果达不到,我立马赔给你1000元整!每天前10名直接免费!免费!免费! 有不懂的还可以直接问我! 我私人微信在下面的图片里!

  • Springboot 整合RabbitMq(用心看完这一篇就够了)

    该篇文章内容较多,包括有rabbitMq相关的一些简单理论介绍,provider消息推送实例,consumer消息消费实例,Direct.Topic.Fanout的使用,消息回调.手动确认等. (但是关于rabbitMq的安装,就不介绍了) 在安装完rabbitMq后,输入http://ip:15672/ ,是可以看到一个简单后台管理界面的. 在这个界面里面我们可以做些什么? 可以手动创建虚拟host,创建用户,分配权限,创建交换机,创建队列等等,还有查看队列消息,消费效率,推送效率等等. 以上

  • vue3自定义指令看完这篇就入门了

    目录 前言 1. 什么是自定义指令 2. 声明私有自定义指令的语法 3. 使用自定义指令 4. 声明全局自定义指令的语法 5. updated 函数 6. 函数简写 7. 指令的参数值 附:下面根据自定义指令知识点衍生的一个小例子 总结 前言 这篇文章介绍vue组件中的自定义指令!看完不会你打我.哈哈哈,开玩笑的!! 1. 什么是自定义指令 vue 官方提供了 v-for.v-model.v-if 等常用的内置指令.除此之外 vue 还允许开发者自定义指令. vue 中的自定义指令分为两类,分别

  • Java中你真的会用Constructor构造器吗之看完本篇你就真的会了

    引言 相信大家对于java里的构造器应该都是有了解的,这次我们来了解一些构造器的不同使用方式,了解构造器的调用顺序,最后可以灵活的在各种情况下定义使用构造器,进一步优化我们的代码: 构造器简介 还是简单介绍一下构造器到底是什么吧, 构造器是类中一种特殊的方法,通过调用构造器来完成对象的创建,以及对象属性的初始化操作. 构造器定义方式: [修饰符列表] 构造器名(形式参数列表){ 构造方法体; } 构造器有以下几个特点: 构造器名和类名一致: 构造器用来创建对象,以及完成属性初始化操作: 构造器返

  • 你了解C#的协变和逆变吗,看完这篇就懂了

    从C# 4.0开始,泛型接口和泛型委托都支持协变和逆变,由于历史原因,数组也支持协变. 里氏替换原则:任何基类可以出现的地方,子类一定可以出现. 协变(out) 协变:即自然的变化,遵循里氏替换原则,表现在代码上则是任何基类都可以被其子类赋值,如Animal = Dog.Animal = Cat 使用out关键字声明(注意和方法中修饰参数的out含义不同) 被标记的参数类型只能作为方法的返回值(包括只读属性) 在没有协变时: abstract class Animal {} class Dog

  • 程序员最实用的 SQL 语句收藏,看完这篇就够了

    前言 文章沿着设计一个假想的应用 awesome_app 为主线,从零创建修改数据库,表格,字段属性,索引,字符集,默认值,自增,增删改查,多表查询,内置函数等实用 SQL 语句.收藏此文,告别零散又低效地搜索经常使用的 SQL 语句.所有 SQL 都在 MySQL 下通过验证,可留着日后回顾参考,也可跟着动手一起做,如果未安装 MySQL 可参考 <macOS 安装 mysql> (windows 安装大同小异). 1. 创建 1.1 创建数据库 语法:create database db_

  • Java看完秒懂版熔断和降级的关系

    目录 降级 熔断 什么是服务熔断 熔断和降级的关系 降级方式 1.熔断降级(不可用) 2.超时降级 3.限流降级 完 刚开始我以为熔断和降级是一体的,以为他们必须配合使用: 只不过名字不一样而已,但是当我经过思考过后,发现他们其实不是一个东西; 降级 什么是服务降级呢?降级主要有以下几种情况 超时:当下游的服务因为某种原因响应过慢,下游服务主动停掉一些不太重要的业务,释放出服务器资源,增加响应速度! 不可用:当下游的服务因为某种原因不可用,上游主动调用本地的一些降级逻辑,避免卡顿,迅速返回给用户

随机推荐