深入理解MySQL重做日志 redo log

目录
  • 一、redo log概念
  • 二、缓存、磁盘结构

在事务的ACID特性中，原子性（A）、一致性（C）、持久性（D）由undo log和redo log实现，隔离性（I）由锁+MVCC实现

undo log：事务还没有commit，中途执行异常，可以使用undo log把数据恢复到事务执行前的状态，确保事务的原子性

redo log：事务commit成功，由于更新磁盘数据需要一段时间，此时若发生异常，可以使用redo log重新执行这一事务的SQL，确保事务的持久性（只要事务commit成功，不管发生什么异常事件，只要下一次MySQL服务正常进行，那上一次commit的数据一定要恢复回来）

一、redo log概念

redo log：被称为物理日志，记录的就是最终修改后的按页面存储的数据页，直接存数据最终的状态，用于确保事务的持久性

undo log：被称为逻辑日志，存储的是具体的相应的SQL语句。如果现在执行的是insert，回滚的时候就执行delete；如果现在执行的update，就把原来的旧值再update回来

redo log默认放在/var/lib/mysql下

redo log是在事务begin时就开始记录（并不是事务commit时才记录，因为整个事务做的操作可能很多，如果在commit的时候才写redo log，此时一旦发生异常，redo log还没写，这就太晚了，无法确保事务的持久性），不管事务是否提交都会记录下来，在异常发生时（如数据持久化过程中掉电），InnoDB会使用redo log恢复到掉电前的时刻，保证数据的完整性

innodb_log_buffer_size默认是16M，就是redo log缓冲区的大小，它随着事务开始，就开始写redo log，如果事务比较大，为了避免事务执行过程中花费过多磁盘IO，可以设置比较大的redo log缓存，节省磁盘IO。往磁盘上刷是有刷新的时机，达到时机就花费磁盘IO，如果buffer比较大，会更慢的达到刷新的时机，效率更高。

InnoDB修改操作数据，不是直接修改磁盘上的数据，实际只是修改Buffer Pool中的数据。InnoDB总是先把Buffer Pool中的数据改变记录到redo log中，用来进行崩溃后的数据恢复。 优先记录redo log，然后再找时机慢慢的将Buffer Pool中的脏数据刷新到磁盘上。

innodb_log_group_home_dir指定的目录下的两个文件：ib_logfile0，ib_logfile1，该文件被称作重做日志

buffer pool缓存池： 可存放索引缓存、数据缓存等，可加速读写，直接操作数据页，写redo log修改就算完成，有专门的线程去做把buffer pool中的dirty page写入磁盘

buffer pool默认大小为134M（MySQL 5.7）

大致结构如图所示：

事务读取，修改都是优先操作缓存池中的数据。在实际项目中，mysqld会单独的跑在一个机器上，可以分配大量的内存专门做InnoDB的buffer pool，加快CRUD

二、缓存、磁盘结构

当事务commit的时候，在关系图上的操作就是把InnoDB Log Buffer的内容写入磁盘，写成功的话，在磁盘上的redo log会记录状态——commit，如果没有写成功或者写完，则记录状态——prepare

log在写入磁盘的过程中也有可能发生异常，断电等问题，导致在写redo log的时候没有写完（这相当于事务没有commit成功），此时MySQL下次在恢复的时候就没有必要考虑这个事务的完整性，因为状态并不是commit，都写入磁盘上才表示redo log写成功，状态才变成commit。状态变成commit后需要维护事务的ACID特性。

是不是commit的时候，buffer poll里面的脏数据（数据有被修改）才被写入磁盘？

并不需要等commit的时候才开始。事务可能修改的数据量比较大，而缓存容量有限，对于buffer poll缓存的数据，会有专门的线程在合适的时间，往磁盘上去刷新，如果出现掉电，下一次MySQL启动后，会根据redo log里面记录的数据，对数据进行恢复。

undo log本身也是记录在redo log中

undo log支持事务回滚，也不是一瞬间就能完整，最终要修改的也是磁盘上的数据，为防止回滚过程中出现异常，所以undo log要记录在redo log里面。事务commit成功或者rollback成功，对于底层，都是成功的把操作写到redo log里面。

什么是真正的事务commit成功？

不是把数据全部刷到磁盘，而是把记录事务完整操作的redo log从log buffer写入磁盘，再把被修改数据的状态置为commit才算是实现了事务commit成功。此时虽然数据还在buffer poll，但只要我们的redo log保存完整，数据就可以恢复，会有专门的线程去负责把buffer poll里的数据写入磁盘

事务进行操作的时候，永远是先写redo log，然后才是写buffer pool；事务成功commit，就是要保证redo log完整记录到磁盘上

至于表数据的更改，buffer pool的脏数据页是不是刷新到磁盘上，我们根本不用担心，只要redo log完整的写到磁盘上，我们可以随时通过redo log重做日志来恢复事务成功commit的数据状态（数据库最重要的是日志，而不是数据）

到此这篇关于深入理解MySQL重做日志 redo log的文章就介绍到这了,更多相关MySQL redo log内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • MySQL系列之redo log、undo log和binlog详解

    MySQL系列之redo log、undo log和binlog详解

    事务的实现 redo log保证事务的持久性,undo log用来帮助事务回滚及MVCC的功能. InnoDB存储引擎体系结构 redo log Write Ahead Log策略 事务提交时,先写重做日志再修改页:当由于发生宕机而导致数据丢失时,就可以通过重做日志来完成数据的恢复. InnoDB首先将重做日志信息先放到重做日志缓存 按一定频率刷新到重做日志文件 重做日志文件: 在默认情况,InnoDB存储引擎的数据目录下会有两个名为ib_logfile1和ib_logfile2的文件.每个In

  • mysql中redo log和 binlog的区别

    mysql中redo log和 binlog的区别

    想跟大家聊聊关于 mysql 中的两个小的知识点:redo log 和 binlog . redo log :InnoDB 存储引擎层方面的日志,所以如果你使用的存储引擎不是 InnoDB 的话,那就根本谈不上 redo log. binlog : MySQL Server 层记录的日志,所以不管是用的什么存储引擎,只要是 MySQL 都是会有 binlog 的存在,在做 MySQL 主从复制的时候,利用的就是 binlog. 接下来,我们就详细来看看它们都分别做了啥? redo log 为什么

  • 基于Redo Log和Undo Log的MySQL崩溃恢复解析

    基于Redo Log和Undo Log的MySQL崩溃恢复解析

    目录 MySQL崩溃恢复流程 1.黑盒下的更新数据流程 2.Redo Log & Undo Log 3.实现日志后的更新流程 3.流程中仍然存在的问题 4.基于2PC的一致性保障 5.验证2PC机制的可用性 MySQL崩溃恢复流程 Buffer Pool是MySQL内存结构中十分核心的一个组成,你可以先把它想象成一个黑盒子. 1.黑盒下的更新数据流程 当我们查询数据的时候,会先去Buffer Pool中查询.如果Buffer Pool中不存在,存储引擎会先将数据从磁盘加载到Buffer Pool

  • MySQL 撤销日志与重做日志(Undo Log与Redo Log)相关总结

    MySQL 撤销日志与重做日志(Undo Log与Redo Log)相关总结

    Undo Log 数据库事务开始之前,会将要修改的记录存放到 Undo 日志里,当事务回滚时或者数据库崩溃时,可以利用 Undo 日志,撤销未提交事务对数据库产生的影响. Undo Log产生和销毁 Undo Log在事务开始前产生:事务在提交时,并不会立刻删除undo log,innodb会将该事务对应的undo log放入到删除列表中,后面会通过后台线程purge thread进行回收处理. Undo Log属于逻辑日志,记录一个变化过程.例如执行一个delete,undolog会记录一个i

  • 一文弄懂MySQL中redo log与binlog的区别

    目录 前言 1. 什么是redo log? 1.1 redo日志文件名 1.2 影响redo log参数 1.3 redo log大小怎么设置? 2. 什么是binlog 2.1 binlog文件名 2.2 影响binlog的参数 2.3 查看binlog 3. redo log与binlog的区别 总结 前言 MySQL中有六种日志文件,分别是:重做日志(redo log).回滚日志(undo log).二进制日志(binlog).错误日志(errorlog).慢查询日志(slow query

  • MySQL 8.0 redo log的深入解析

    MySQL 8.0 redo log的深入解析

    前言 最开始了解mysql实现的时候,总听到redo log, WAL(write-ahead logging),undo log这些关键词,了解到redo log主要是用于实现事务的持久化的.为了进一步了解redo log,看了下相关代码(源码版本: mysql 8.0.12),这里简单总结下,主要介绍redo log是如何产生,如何落盘,以及最终通知用户的. redo log的产生 读写事务在执行的过程中,会不断的产生redo log.申请数据页.修改数据页.记录undo log等,都会产生

  • MySQL中的redo log和undo log日志详解

    MySQL中的redo log和undo log日志详解

    MySQL日志系统中最重要的日志为重做日志redo log和归档日志bin log,后者为MySQL Server层的日志,前者为InnoDB存储引擎层的日志. 1 重做日志redo log 1.1 什么是redo log redo log用于保证事务的持久性,即ACID中的D. 持久性:指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来即使数据库发生故障也不应该对其有任何影响. redo log有两种类型,分别为物理重做日志和逻辑重做日志.在InnoDB中redo log大多数情

  • 详解MySQL 重做日志（redo log）与回滚日志（undo logo）

    前言: 前面文章讲述了 MySQL 系统中常见的几种日志,其实还有事务相关日志 redo log 和 undo log 没有介绍.相对于其他几种日志而言, redo log 和 undo log 是更加神秘,难以观测的.本篇文章将主要介绍这两类事务日志的作用及运维方法. 1.重做日志(redo log) 我们都知道,事务的四大特性里面有一个是 持久性 ,具体来说就是只要事务提交成功,那么对数据库做的修改就被永久保存下来了,不可能因为任何原因再回到原来的状态.那么 MySQL 是如何保证一致性的呢

  • Mysql中undo、redo与binlog的区别浅析

    Mysql中undo、redo与binlog的区别浅析

    目录 前言 [undo log] [redo log] [binlog] 总结 前言 MySQL中有六种日志文件,分别是:重做日志(redo log).回滚日志(undo log).二进制日志(binlog).错误日志(errorlog).慢查询日志(slow query log).一般查询日志(general log),中继日志(relay log). 其中重做日志和回滚日志与事务操作息息相关,二进制日志也与事务操作有一定的关系,这三种日志,对理解MySQL中的事务操作有着重要的意义.   与

  • 深入理解MySQL重做日志 redo log

    深入理解MySQL重做日志 redo log

    目录 一.redo log概念 二.缓存.磁盘结构 在事务的ACID特性中,原子性(A).一致性(C).持久性(D)由undo log和redo log实现,隔离性(I)由锁+MVCC实现 undo log:事务还没有commit,中途执行异常,可以使用undo log把数据恢复到事务执行前的状态,确保事务的原子性 redo log:事务commit成功,由于更新磁盘数据需要一段时间,此时若发生异常,可以使用redo log重新执行这一事务的SQL,确保事务的持久性(只要事务commit成功,不

  • MySQL事务日志(redo log和undo log)的详细分析

    MySQL事务日志(redo log和undo log)的详细分析

    目录 前言 1.redo log 1.1 redo log和二进制日志的区别 1.2 redo log的基本概念 1.3 日志块(log block) 1.4 log group和redo log file 1.5 redo log的格式 1.6 日志刷盘的规则 1.7 数据页刷盘的规则及checkpoint 1.8 LSN超详细分析 1.9 innodb的恢复行为 1.10 和redo log有关的几个变量 2.undo log 2.1 基本概念 2.2 undo log的存储方式 2.3 和

  • mysql 重要日志文件汇总

    作者:丁仪 来源:https://chengxuzhixin.com/blog/post/mysql_zhong_yao_ri_zhi_wen_jian_zong_jie.html 日志是所有应用的重要数据,MySQL 也有错误日志.查询日志.慢查询日志.事务日志等.本文简单总结下各种日志,以备查阅. 二进制日志 binlog 二进制日志 binlog 用于记录数据库执行的写入性操作(不包括查询)信息,以二进制的形式保存在磁盘中.使用任何存储引擎的 mysql 数据库都会记录 binlog 日志

  • mysql日志文件之undo log和redo log

    mysql日志文件之undo log和redo log

    目录 前言 1 undo 1.1 undo是什么 1.2 undo参数 1.3 undo空间管理 2 redo 2.1 redo是什么 2.2 redo 参数 2.3 redo 空间管理 3 undo及redo如何记录事务 3.1 Undo + Redo事务的简化过程 3.2  IO影响 3.3 恢复 总结 前言 在数据库系统中,既有存放数据的文件,也有存放日志的文件.日志在内存中也是有缓存Log buffer,也有磁盘文件log file,本文主要描述存放日志的文件. MySQL中的日志文件,

  • MySQL日志专项之redo log和undo log介绍

    MySQL日志专项之redo log和undo log介绍

    目录 Redo Log redo log刷盘策略 其他参数 Undo Log 回滚段与undo页 Undo类型 undo log的生命周期 详细生成过程 undo log是如何回滚的 扩展 bin log 写入时机 binlog与redo log对比 两阶段提交 Redo Log REDO LOG称为重做日志 ,当MySQL服务器意外崩溃或者宕机后,保证已经提交的事务持久化到磁盘中(持久性). InnoDB是以页为单位去操作记录的,增删改查都会加载整个页到buffer pool中(磁盘->内存)

随机推荐