MySQL使用Xtrabackup备份流程详解

01 背景

Xtrabackup是Percona公司开发的一款开源的MySQL热备份工具，之前的工作中也是经常使用，但是也仅仅是停留在使用的阶段，对于这个工具的细节，并没有做过多的研究，今天细细看了一下过程，还是有点收获的，写下来记录一下，有不对的地方，还请指正。

Xtrabackup工具能够备份InnoDB，XtraDB和MyISAM的表，它支持Percona Server的所有版本，而且兼容MySQL，也兼容MariaDB，还支持一些高级的特性，例如流方式备份、压缩、加密、以及增量备份等等。

优点如下：

1、无需停止数据库进行InnoDB热备份，在50G以上的数据量备份时候，应该是首选工具。

2、支持增量备份MySQL并通过流传输到其他的服务器上。

3、备份MySQL的时候不会增加服务器的负载。

02 简介

在这个工具中，最主要的应用程序有两个，分别是innobackupex与xtrabackup，其中前者是perl脚本，后面是C++变异的二进制程序，需要注意，后者不能备份除了Innodb存储引擎的其他表。Innobackup是对xtrabackup的封装，可以备份非Innodb的表。

以上所述，可能大家都知道，这里需要留意，由于mysql等系统数据库中的表有些存储引擎是基于MyISAM的，所以一般情况下使用innobackupex来备份系统库。

03 工作流程

下面讲述Innobackupex和Xtrabackup的工作流程，可能有些交叉的部分，二者共同完成备份任务。

主要的工作流程如下：

1、innobackupex启动之后，首先会创建xtrabackup进程，并且启动，然后等待xtrabackup完成innodb相关文件的备份。

2、xtrabackup在备份InnoDB相关文件时，会开启如下两种线程，一种是ibd复制线程，负责复制表空间ibd文件，一种是redo log复制线程，负责复制redo log信息。其中redo log线程先于ibd线程开始，redo log线程会从最近的checkpoint点开始复制redo log，(关于checkpoint，之前的文章中讲过)，复制完成之后启动ibd线程。需要注意的是，在这个过程中，innobackupex进程处于等待状态，等待被xtrabackup进程唤醒。

3、xtrabackup复制ibd完成之后(redo log线程可能还在工作)，通知innobackupex进程，同时自己进入wait状态。

4、innobackupex收到通知，会执行备份锁，渠道一致性的位点，然后开始复制非innodb的文件。

5、当非innodb文件复制完成之后，innobackupex开始获取binlog的位置。

6、创建xtrabackup_binlog_info文件，并将binlog的点位信息写入文件中。

7、接着，innobackupex会发起一个通知给xtrabackup进程，同时自己进入等待状态。

8、xtrabackup进程收到通知后，就会停止redo log的复制线程，并告知redo log复制完毕，然后通知innodbbackupex开始释放锁。

9、紧接着，就是一些收尾工作，释放资源，备份元数据信息，打印备份目录，备份binlog的位置信息，以及写入xtrabackup_info文件信息等。

10、innobackupex进程等待xtrabackup进程结束后退出。

04 一些疑问

1、为什么要复制redo log？

这是因为备份ibd文件的过程中，该文件可能被修改，这样备份出来的文件就有可能是包含脏数据的，在恢复的时候，需要听过redo log进行数据恢复，也就是应用已经提交的事务，回滚那些没有提交的事务。

2、innobackupex和xtrabackup是如何交互的？

其实本质是通过删除和创建两个特定的文件，这两个进程都会监听指定目录下是否包含特定的文件，如果包含，就进行工作，不包含，则停止工作，进入等待状态。

05 备份文件

一般备份完成之后，备份目录中会产生7个重要的文件，包含：

  • backup-my.cnf：此文件包含了备份所需的my.cnf中的选项。恢复的时候，会依赖这个文件。
  • xtrabackup_checkpoints：记录备份的类型、备份的状态信息、增量备份依赖于这个信息
  • xtrabackup_binlog_info：该文件记录备份时候的二进制文件信息和偏移量位置信息。
  • xtrabackup_binlog_pos_innodb：该文件记录了innodb表的二进制文件和位置信息，当执行--apply-log的时候，会创建这个文件。
  • xtrabackup_binary:该文件记录备份进程使用的xtrabackup二进制文件。
  • xtrabackup_logfile：该文件记录apply log操作时所需的数据，如果apply log的时间比较长，这个文件就会很大。
  • xtrabackup_slave_info:这个文件很常用，它记录了在建立主从关系的时候，change master 语句所需要的信息。

以上就是MySQL使用Xtrabackup备份流程详解的详细内容，更多关于MySQL使用Xtrabackup备份的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 使用xtrabackup实现mysql备份

    下载地址:https://www.percona.com/downloads/XtraBackup/ 安装xtrabackup [root@node1 ~]# yum install percona-xtrabackup 完全备份 节点一 修改配置文件,设置为每张表单独一个表空间,此项必须在安装数据库的时候就设置 [root@node1 ~]# vim /etc/my.cnf [mysqld] innodb_file_per_table=ON 创建备份目录 [root@node1 ~]# mkd

  • MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程

    大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 一.Xtrabackup介绍 1.Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品. Xtrabackup有两个主要的工具:xtrabackup.innobackupex 1.xtraback

  • 利用Xtrabackup工具备份及恢复(MySQL DBA的必备工具)

    利用Xtrabackup工具备份及恢复(MySQL DBA的必备工具)

    Xtrabackup------MySQL DBA的必备工具 注意: 1)文档参照http://www.percona.com/docs/wiki/percona-xtrabackup:start 2)mysql要使用5.1.50版本或以上. 一.Xtrabackup简介及安装 1.Xtrabackup  是percona的一个开源项目,可以热备份innodb ,XtraDB,和MyISAM(会锁表),可以看做是InnoDB Hotbackup的免费替代品. Percona Support fo

  • 编写脚本令Xtrabackup对MySQL数据进行备份的教程

    编写脚本令Xtrabackup对MySQL数据进行备份的教程

    Xtrabackup备份恢复原理 备份innodb表时,xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)中.在此过程中,发生的物理写操作越多,xtrabackup_logfile越大.在拷贝完成后的第一个prepare阶段,xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事务回滚.如果同时需要备份myisam表以及inn

  • 安装使用Percona XtraBackup来备份恢复MySQL的教程

    1.安装XtraBackup yum的安装方法: 自动 $ rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm 然后会看到: Retrieving http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm Preparing... ################

  • mysql xtrabackup 备份恢复实现分享

    简介 Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点: (1)备份过程快速.可靠: (2)备份过程不会打断正在执行的事务: (3)能够基于压缩等功能节约磁盘空间和流量: (4)自动实现备份检验: (5)还原速度快: Xtrabackup中包含两个工具: * xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表. * innobackupex

  • MySQL使用xtrabackup进行备份还原操作

    本文实例为大家分享了xtrabackup备份还原的具体代码,供大家参考,具体内容如下 使用rpm包安装xtrabackup ## 安装依赖包 yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL rsync ## 安装libev4包 rpm -ivh libev4-4.15-7.1.x86_64.rpm ## 安装percona-xtrabackup rpm -ivh percona-x

  • xtrabackup备份还原MySQL数据库

    xtrabackup备份还原MySQL数据库

    mysqldump 备份鉴于其自身的某些特性(锁表,本质上备份出来insert脚本或者文本,不支持差异备份),不太适合对实时性要求比较高的情况 Xtrabackup可以解决mysqldump存在的上述的一些问题,生产环境应用的也会更多一些. 本文简单测试一下Xtrabackup对MySQL数据库的备份还原操作. 本着先把功能先撸起来再深入细节的原则,粗略地实现了一个备份还原,并未深入细节. 网上有不少xtrabackup的文章,因为环境不一样,有些需要配置xtrabackup的配置文件, 但是我

  • MySQL使用Xtrabackup备份流程详解

    01 背景 Xtrabackup是Percona公司开发的一款开源的MySQL热备份工具,之前的工作中也是经常使用,但是也仅仅是停留在使用的阶段,对于这个工具的细节,并没有做过多的研究,今天细细看了一下过程,还是有点收获的,写下来记录一下,有不对的地方,还请指正. Xtrabackup工具能够备份InnoDB,XtraDB和MyISAM的表,它支持Percona Server的所有版本,而且兼容MySQL,也兼容MariaDB,还支持一些高级的特性,例如流方式备份.压缩.加密.以及增量备份等等.

  • MySQL binlog 远程备份方法详解

    以前备份binlog时,都是先在本地进行备份压缩,然后发送到远程服务器中.但是这其中还是有一定风险的,因为日志的备份都是周期性的,如果在某个周期中,服务器宕机了,硬盘损坏了,就可能导致这段时间的binlog就丢失了. 而且,以前用脚本对远程服务器进行备份的方式,有个缺点:无法对MySQL服务器当前正在写的二进制日志文件进行备份.所以,只能等到MySQL服务器全部写完才能进行备份.而写完一个binlog的时间并不固定,这就导致备份周期的不确定. 从MySQL5.6开始,mysqlbinlog支持将

  • Java+MyBatis+MySQL开发环境搭建流程详解

    主要搭建过程 1. pom.xml文件中加入mybatis和数据库依赖,这里使用mysql: <properties> <mybatis.version>3.2.3</mybatis.version> <mysql.version>5.1.26</mysql.version> <slf4j.api.version>1.7.5</slf4j.api.version> <testng.version>6.8.7&l

  • python实现文件的备份流程详解

    python实现输入要备份的文件名称:test.txt 12行代码实现文件备份功能 第一步:打开我们的pycharm软件,然后新建一个Python文件 第二步:新建好我们的Python文件后,我们在编辑界面输入以下代码: oldfilename=input("请输入要备份的文件名:") #输入需要备份的旧文件名 oldfile=open(oldfilename,'r') #打开旧文件 if oldfile: #如果文件存在,则执行下面的语句 fileflagnum=oldfilenam

  • 微信小程序访问mysql数据库流程详解

    微信小程序访问mysql数据库流程详解

    目录 1 开通云上的mysql 2 创建自定义连接器 3 创建云函数 4 安装依赖 5 出参映射 6 在小程序中使用连接器 总结 1 开通云上的mysql 经过询价,我发现阿里云的数据库是比较便宜的,新人购买非常划算.对于爱学习的博主来说,果断购买一个. 按照操作指引购买后,云会帮你创建一系列的环境,在控制台就可以看到属于自己的实例 点击操作列上的管理,就可以创建我们自己的数据库.配置的步骤是先创建数据库的账号 然后创建一个数据库 都设置好之后就可以登录数据库,创建表,加数据了 刚创建好的数据库

  • Mysql表连接的执行流程详解

    Mysql表连接的执行流程详解

    目录 1. 前言 1.1 mysql连接的原理 1.2 show warnings命令 2. 准备工作 3. inner join内连接on.where的区别 4. left join左连接on.where的区别 4.1 where驱动表过滤条件 4.2 on驱动表过滤条件 4.3 on被驱动表过滤条件 4.4 where被驱动表过滤条件 5. 总结 1. 前言 对于连接操作,驱动表和被驱动表的关联条件我们放在on后面,如果额外增加对驱动表和被驱动表的过滤条件,放到on或者where后面都不会报

  • MySQL执行SQL语句的流程详解

    MySQL执行SQL语句的流程详解

    目录 1.通常sql执行流程 1.1 问题1:MySQL谁去处理网络请求? 1.2 问题2:MySQL如何执行sql语句? 1.3 查询解析器 1.4 查询优化器 1.5 存储引擎 1.6 执行器 2.总结 1.通常sql执行流程 用户发起请求到业务服务器,执行sql语句时,先到连接池中获取连接,然后到mysql服务器执行查询. 1.1 问题1:MySQL谁去处理网络请求? msyql服务器谁负责从这个连接中去监听这个网络请求?谁负责从网络连接里把数据读出来? 其实大家都知道,网络连接必须得分配

  • 基于PHP的微信公众号的开发流程详解

    微信公众号开发分傻瓜模式和开发者模式两种,前者不要考虑调用某些接口,只要根据后台提示傻瓜式操作即可,适用于非专业开发人员. 开发模式当然就是懂程序开发的人员使用的. 下面简单说一下微信公众号开发的简易流程,新手看看会有帮助,高手请一笑而过. 1.配置服务器: A.首先在本机建立如下结构的文件夹(这里是我自己的习惯,仅供参考) MMPN:总目录mro message public number 微信公众号 backup:备份目录,主要用于备份php文件,每次修改时将原稿备份到里面去. images

  • MySQL之高可用架构详解

    MySQL之高可用架构详解

    目录 引言 MySQL高可用 一主一备: MySQL主从同步的几种模式: 总结 引言 "高可用"是互联网一个永恒的话题,先避开MySQL不谈,为了保证各种服务的高可用有几种常用的解决方案. 服务冗余:把服务部署多份,当某个节点不可用时,切换到其他节点.服务冗余对于无状态的服务是相对容易的. 服务备份:有些服务是无法同时存在多个运行时的,比如说:Nginx的反向代理,一些集群的leader节点.这时可以存在一个备份服务,处于随时待命状态. 自动切换:服务冗余之后,当某个节点不可用时,要做

  • Redis Sentinel服务配置流程(详解)

    Redis Sentinel服务配置流程(详解)

    1.Redis Sentinel服务配置 1.1简介 Redis 的 Sentinel 系统用于管理多个 Redis 服务器(instance), 该系统执行以下三个任务: 监控(Monitoring): Sentinel 会不断地检查你的主服务器和从服务器是否运作正常. 提醒(Notification): 当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过API 向管理员或者其他应用程序发送通知. 自动故障迁移(Automatic failover): 当一个主服务器不

随机推荐