聊一聊Redis与MySQL双写一致性如何保证

1 什么是一致性?

一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。

强一致性: 这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验性好,但实现起来往往对系统的性能影响大;

弱一致性: 这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态;

最终一致性: 最终一致性是弱一致性的一个特例,系统会保证在一定时间内,能够达到一个数据一致的状态。这里之所以将最终一致性单独提出来,是因为它是弱一致性中非常推崇的一种一致性模型,也是业界在大型分布式系统的数据一致性上比较推崇的模型;

2 三个经典的缓存模式

缓存可以提升性能、缓解数据库压力,但是使用缓存也会导致数据不一致性的问题。一般我们是如何使用缓存呢?有三种经典的缓存使用模式:

  • Cache-Aside Pattern;
  • Read-Through / Write-Through
  • Write-behind

(1) Cache-Aside

Cache-Aside Pattern, 即旁路缓存模式。它的提出是为了尽可能地解决缓存与数据库的数据不一致问题。

a. Cache-Aside读流程

Cache-Aside Pattern的读请求流程如下:

读的时候,先读缓存,缓存命中的话,直接返回数据;缓存没有命中的话,就去读数据库,从数据库中取出数据,放入缓存后,同时返回响应; b.Cache-Aside写流程

Cache-Aside Pattern的写请求流程如下:

更新得到时候,先更新数据库,然后再删除缓存。

当这个数据在下一次需要的时候,使用Cache-Aside模式将会在获取数据的时候,同时从数据仓库中获取数据,并且写到Cache之中。

(2) Read-Through/Write-Through(读写穿透)

Read/Write - Through模式中,服务端把缓存作为主要数据存储。应用程序跟数据库缓存交互,都是通过抽象缓存层完成的。

a.Read-Through

Read-Through读的简要流程如下:

从缓存中读取数据,读到直接返回;

如果读取不到的话,从数据库中加载,写入缓存后,再返回响应;

这个简要流程是不是跟Cache-Aside很像呢?其实Read-Through就是多了一层Cache-Provider而已,流程如下:

Read-Through 实际上只是在Cache-Aside之上进行了一层封装,它会让程序代码变得更加简洁,同时也减少数据源上的负载。

b.Write-Through

Write-Through模式下,当发生写请求时,也是由缓存抽象层完成数据源和缓存数据的更新,流程如下:

(3) Write-behind(异步缓存写入)

Write-behind跟Read-Through/Write-Through有很多相似的地方,都是由Cache Provider来负责缓存和数据库的读写。它们又有个很大的不同:Read/Write-Through是同步更新缓存和数据的,Write-Behind则是只更新缓存,不直接更新数据库,通过批量异步的方式来更新数据库。

这种方式下,缓存和数据库的一致性不强,对一致性要求高的系统要谨慎使用。

但是它适合频繁写的场景,MySQL的Innodb Buffer Pool机制就是用到这种模式。

3 操作缓存的时候,到底是删除缓存呢,还是更新缓存?

日常开发中,我们一般使用的就是Cache-Aside模式。但这里我们注意到Cache-Aside在写入请求的时候,为什么是删除缓存而不是更新缓存呢?

我们在操作缓存的时候,到底应该删除缓存还是更新缓存呢?这里通过一个例子来说明一下:

线程A先发起一个写操作,第一步先更新数据库;线程B先发起一个写操作,第二步后更新数据库;但是由于网络等原因,线程B先更新了缓存;线程A更新缓存;

此外, 更新缓存相对于删除缓存,还有两点劣势:

如果你写入的缓存值,是经过复杂计算才得到的话,更新缓存频率高的话,就浪费性能了;在写数据库场景多、读数据场景少的情况下,数据很多时候还没被读取到,又被更新了,这也浪费了性能呢。 4 双写的情况下,先操作数据库还是先操作缓存呢?

Cache-Aside缓存模式中,有些小伙伴还是会有疑问,在写请求过来的时候,为什么是先操作数据库呢?为什么不先操作缓存呢?

例子:假设有A、B两个请求,请求A做更新操作,请求B做查询读取操作。

线程A发起一个写操作,第一步del cache;此时线程B发起一个读操作,cache miss;线程B继续读DB,读出来一个老数据,此时线程B把老数据设置入cache;线程A写入DB更新数据;

这里就存在这样的一个问题了:缓存和数据库的数据不一致了。缓存保存的是老数据,数据库保存的是新数据。 因此,Cache-Aside缓存模式,选择了先操作数据库而不是先操作缓存。

但可能这时候有小伙伴会思考:先操作数据库再操作缓存,不一样也会导致不一致嘛?它俩又不是原子性操作的。这个是会的。但是这种方式,一般会因为删除缓存失败等原因,才会导致脏数据,这个概率就很低。

那么针对这种删除缓存失败的情况,如何保证一致性呢?

数据库和缓存数据保持强一致,可以嘛?

实际上,没办法做到数据库和缓存的绝对的一致性

加锁可以嘛?并发写期间加锁,任何读操作不写入缓存?缓存以及数据库封装CAS乐观锁,更新缓存时通过lua脚本?分布式事务,3PC?TCC?

其实,这是由CAP理论 决定的。缓存系统适用的场景就是非强一致性的场景,它属于CAP中的AP 。个人觉得,追求绝对一致性的业务场景,不适合引入缓存。

CAP理论,指的是在一个分布式戏中,Consistency(一致性)、Availability(可用性)、Partition tolerance(分区容错性)。三者不可兼得

5 几种方案保证数据库与缓存的一致性 (1) 缓存延时双删

有些小伙伴可能会说,并不一定要先操作数据库呀,采用缓存延时双删策略,就可以保证数据的一致性拉。那么什么是延时双删呢?

先删除缓存;再更新数据库;再休眠一会(比如1秒),再次删除缓存;

那么这个休眠一会,一般多久呢?都是1秒?

这个休眠时间 = 读业务逻辑数据的耗时 + 几百毫秒。 为了确保读请求结束,写请求可以删除读请求可能带来的缓存脏数据;

这种方案还算可以,只有休眠那一会(比如就那1秒),可能有脏数据,一般业务也会接受的。但是如果第二次删除缓存失败呢?缓存和数据库的数据还是可能不一致,对吧?给Key设置一个自然的expire过期时间,让它自动过期怎样?那业务要接受过期时间内,数据的不一致咯?还是有其他更佳方案呢?

(2) 删除缓存重试机制

不管是延时双删还是Cache-Aside的先操作数据库再删除缓存, 都可能会存在第二步的删除缓存失败,导致的数据不一致问题。可以使用这个方案优化:删除失败就多删除几次呀,保证删除缓存成功就可以了呀~ 所以可以引入删除缓存重试机制

写请求更新数据库;缓存因为某些原因,删除失败;把删除失败的key放到消息队列;消费消息队列的消息,获取要删除的key;重试删除缓存操作; (3) 读取binlog异步删除缓存

重试删除缓存机制还可以,但是会造成好多业务代码入侵。其实,还可以这样优化:通过数据库的binlog来异步淘汰key。

以上就是Redis与MySQL双写一致性如何保证呢的详细内容,更多关于Redis与MySQL双写一致性的资料请关注我们其它相关文章!

(0)

相关推荐

  • mysql事务select for update及数据的一致性处理讲解

    MySQL中的事务,默认是自动提交的,即autocommit = 1: 但是这样的话,在某些情形中就会出现问题:比如: 如果你想一次性插入了1000条数据,mysql会commit1000次的, 如果我们把autocommit关闭掉[autocommit = 0],通过程序来控制,只要一次commit就可以了,这样也才能更好的体现事务的特点! 对于需要操作数值,比如金额,个数等等! 记住一个原则:一锁二判三更新 在MySQL的InnoDB中,预设的Tansaction isolation lev

  • 如何恢复MySQL主从数据一致性

    最近被告知,MySQL主从数据库的数据不一致,猜测备库在同步过程中出现了问题,于是,登上备库,使用 mysql> show slave status\G查看,果然,备库在insert语句中因违反主键约束,导致备库停止了同步.现在的问题很明确,就是如何恢复主从库数据的一致性. 可选方案如下: 一.查看Master最新的Position,将其作为Slave复制的起点. 这种思路体现的是过去的不一致既往不咎,现在保持同步即可.看起来,这个思路和恢复主从库数据的一致性的初衷有所违背,但这种方法,简单,高

  • 分析Mysql事务和数据的一致性处理问题

    这篇文章通过安全性,用法,并发处理等方便详细分析了Mysql事务和数据的一致性处理问题,以下就是全部内容: 在工作中,我们经常会遇到这样的问题,需要更新库存,当我们查询到可用的库存准备修改时,这时,其他的用户可能已经对这个库存数据进行修改了,导致,我们查询到的数据会有问题,下面我们就来看解决方法. 在MySQL的InnoDB中,预设的Tansaction isolation level 为REPEATABLE READ(可重读) 如果SELECT 后面若要UPDATE 同一个表单,最好使用SEL

  • MySQL备份与恢复之保证数据一致性(5)

    在上一篇文章中我们提到热拷贝(MySQL备份与恢复之热拷贝),热拷贝也就是在MySQL或者其他数据库服务在运行的情况下使用mysqlhotcopy命令进行备份.这篇文章我们讲解怎样保证数据一致性.现在假设有这样一种情况,我们总是在凌晨对数据库进行备份,假设在凌晨之后发生数据库异常,并且导致数据丢失.这样凌晨之前的数据我们已经做了备份,但是凌晨到发生异常这段时间的数据就会丢失(没有binlog的情况下).好在InnoDB存储引擎支持事务,也支持Binlog,凌晨到发生异常这段时间的数据就可以通过日

  • 详解redis缓存与数据库一致性问题解决

    数据库与缓存读写模式策略 写完数据库后是否需要马上更新缓存还是直接删除缓存? (1).如果写数据库的值与更新到缓存值是一样的,不需要经过任何的计算,可以马上更新缓存,但是如果对于那种写数据频繁而读数据少的场景并不合适这种解决方案,因为也许还没有查询就被删除或修改了,这样会浪费时间和资源 (2).如果写数据库的值与更新缓存的值不一致,写入缓存中的数据需要经过几个表的关联计算后得到的结果插入缓存中,那就没有必要马上更新缓存,只有删除缓存即可,等到查询的时候在去把计算后得到的结果插入到缓存中即可. 所

  • mysql视图之确保视图的一致性(with check option)操作详解

    本文实例讲述了mysql视图之确保视图的一致性(with check option)操作.分享给大家供大家参考,具体如下: 我们有的时候,会创建一个视图来显示表的部分数据.我们知道,简单视图是的,因此可以更新通过视图不可见的数据,但是此更新会使的视图不一致.为了确保视图的一致性,在创建或修改视图时使用WITH CHECK OPTION可更新子句.我们来看下WITH CHECK OPTION可更新子句的语法结构: CREATE OR REPLACE VIEW view_name AS select

  • 聊一聊Redis与MySQL双写一致性如何保证

    1 什么是一致性? 一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的. 强一致性: 这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验性好,但实现起来往往对系统的性能影响大: 弱一致性: 这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态: 最终一致性: 最终一致性是弱一致性的一个特例,系统会保证在一定时间内,能够达到一

  • Redis与MySQL的双写一致性问题

    目录 更新缓存? 删除缓存? 先更新缓存再更新数据库 先更新数据库,再更新缓存 先删除缓存再更新数据库 先更新数据库,再删除缓存 解决方案 1. 重试 2. 异步重试 2.1 使用消息队列实现重试 2.2 Binlog实现异步重试删除 3. 延时双删 总结 Redis与MySQL双写一致性是指在使用缓存和数据库同时存储数据的场景下( 主要是存在高并发的情况),如何保证两者的数据一致性(内容相同或者尽可能接近). 正常业务流程: 读没什么问题,关键就在于写(更新)操作,这就会出现几个问题了,这里是

  • 浅谈Redis跟MySQL的双写问题解决方案

    目录 写在前面 三种读写缓存策略 Cache-AsidePattern(旁路缓存模式) Read-Through/Write-Through(读写穿透) WriteBehindPattern(异步缓存写入) 旁路缓存模式解析 CacheAsidePattern的一些疑问 CacheAsidePattern的缺陷 项目中有遇到这个问题,跟MySQL中的数据不一致,研究一番发现这里面细节并不简单,特此记录一下. 写在前面 严格意义上任何非原子操作都不可能保证一致性,除非用阻塞读写实现强一致性,所以缓

  • Mysql迁移到TiDB双写数据库兜底方案详解

    目录 正文 兼容策略 三种方案比较 Django双写mysql与tidb策略 正文 TiDB 作为开源 NewSQL 数据库的典型代表之一,同样支持 SQL,支持事务 ACID 特性.在通讯协议上,TiDB 选择与 MySQL 完全兼容,并尽可能兼容 MySQL 的语法.因此,基于 MySQL 数据库开发的系统,大多数可以平滑迁移至 TiDB,而几乎不用修改代码.对用户来说,迁移成本极低,过渡自然. 然而,仍有一些 MySQL 的特性和行为,TiDB 目前暂时不支持或表现与 MySQL 有差异.

  • 关于redis的延迟双删策略总结

    目录 redis延迟双删策略 1.什么是延迟双删? 2.为什么要进行延迟双删? 3.如何实现延迟双删? 4.需要注意的点 5.小结 redis为什么要延时双删 redis延迟双删策略 1.什么是延迟双删? 延迟双删策略是分布式系统中数据库存储和缓存数据保持一致性的常用策略,但它不是强一致.其实不管哪种方案,都避免不了Redis存在脏数据的问题,只能减轻这个问题,要想彻底解决,得要用到同步锁和对应的业务逻辑层面解决. 2.为什么要进行延迟双删? 一般我们在更新数据库数据时,需要同步redis中缓存

  • 浅谈一下如何保证Redis缓存与数据库的一致性

    目录 1.四种同步策略: 2.更新缓存还是删除缓存 2.1 更新缓存 2.2 删除缓存 3.先操作数据库还是缓存 3.1 先删除缓存再更新数据库 3.2 先更新数据库再删除缓存 最终结论: 4.延时双删 4.1 采用读写分离的架构怎么办? 5.利用消息队列进行删除的补偿 1.四种同步策略: 想要保证缓存与数据库的双写一致,一共有4种方式,即4种同步策略: 先更新缓存,再更新数据库: 先更新数据库,再更新缓存: 先删除缓存,再更新数据库: 先更新数据库,再删除缓存. 从这4种同步策略中,我们需要作

  • SpringBoot AOP Redis实现延时双删功能实战

    目录 一.业务场景 1.此时存在的问题 2.解决方案 3.为何要延时500毫秒? 4.为何要两次删除缓存? 二.代码实践 1.引入Redis和SpringBoot AOP依赖 2.编写自定义aop注解和切面 3.application.yml 4.user_db.sql脚本 5.UserController 6.UserService 三.测试验证 四.代码工程及地址 一.业务场景 在多线程并发情况下,假设有两个数据库修改请求,为保证数据库与redis的数据一致性,修改请求的实现中需要修改数据库

  • Java基于redis和mysql实现简单的秒杀(附demo)

    一.秒杀业务分析 所谓秒杀,就是网络卖家发布一些超低价格的商品,所有买家在同一时间网上抢购的一种销售方式.秒杀商品通常有两种限制:时间限制,库存限制,其中库存超卖问题是本教程的重点! 秒杀业务的运行流程主要可以分为以下几点: 商家提交秒杀商品申请,录入秒杀商品数据,主要有:商品标题,商品原价,秒杀价格,商品图片,介绍等信息 运营商审核秒杀申请 秒杀频道首页列出秒杀商品,点击秒杀商品图片可以跳转到秒杀商品详细页面 商品详细页面显示秒杀商品信息,点击立即抢购实现秒杀下单,下单时扣减库存,当库存为0或

  • Redis整合MySQL主从集群的示例代码

    目录 1.用Docker搭建MySQL主从集群 1.1 拉取mysql镜像 1.2 创建配置文件夹 1.3 编写主服务器的配置文件信息 1.4 启动mysql主服务器的容器 1.5 观察主服务器状态 1.6 配置mysql从服务器 1.7 启动mysql从服务器 1.8 确认主从关系 2.准备数据 2.1 创建数据库 2.2 创建student数据表 2.3 向student表插入几条数据 3.用Java代码读写MySQL集群和Redis 3.1 引入redis和mysql依赖 3.2 代码整合

  • MySQL双主(主主)架构配置方案

    在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动.因此,如果是双主或者多主,就会增加mysql入口,增加高可用.不过多主需要考虑自增长ID问题,这个需要特别设置配置文件,比如双主,可以使用奇偶,总之,主之间设置自增长ID相互不冲突就能完美解决自增长ID冲突问题. 主从同步复制原理 在开始之前,我们先来了解主从同步复制原理. 复制分成三步: 1. master将改变记录到二进制日志(binary

随机推荐