MySQL的主从复制原理详细分析

目录
  • 前言
  • 一、主从复制概念
  • 二、读写分离的概念
  • 三、主库和从库
    • 1. 主库
    • 2. 从库
  • 四、主从复制的流程
  • 五、主从复制效果展示

前言

在实际生产环境中，如果对mysql数据库的读和写都在一台数据库服务器中操作，无论是在安全性、高可用性，还是高并发等各个方面都是不能满足实际需求的，一般要通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。

一、主从复制概念

主从复制是MySQL提供的基本的技术，主从复制的流程：binlog二进制日志（除了查询其他的更改相关的操作都会记录在binlog里面）、relay log日志和三个线程（master的一个线程和slave的两个线程）。

主库(master)对外提供数据的增删改查服务，主库中涉及到数据的修改都会写在binlog从库(slave)用来数据同步和数据备份，通过专门的线程从主库里面的binlog把主库和数据、权限、表结构相关的修改同步到从库里面，相当于是在主库上做的所有修改都会通过都会通过主从复制机制体现在从库上。

主从复制的好处：数据备份，我们甚至可以给它做一个热备份，就是通过MySQL中间件mycat，可以实现容灾，容灾也体现了高可用。
容灾：如果主库挂了，由中间件代理mycat自动把服务的请求映射到从库，由从库继续对外提供服务，体现出了高可用性（后端的服务允许一定的异常发生，但是后端的架构服务要可以容错，把这些异常的错误处理掉，并对外重新提供正常的服务）

二、读写分离的概念

读写分离是基于主从复制来实现的。在实际的应用环境中，肯定是读操作多，就像我们在电商平台上去购买东西，可能看了100个也就买了一两个。所以读操作永远比写这种更新操作多很多。所以我们基于主从复制的读写分离配置，就是让一个主库专门用来做数据的修改，写的时候专门在主库上写，主库通过主从复制把数据的更改通过binlog同步到从库上去，那么其他的客户端查询的请求都会最终映射到从库上去，而我们一个主库带上两三个从库，主库专门用来做数据的更新（写操作），从库专门用来做读操作这样一来可以很好的分摊读写的压力，不用全部都集中在主库上，对于后端服务的并发处理能力有很大的提高，另外就是它的高可用容灾，当主库挂了以后，可以把指定的从库变成主库。

上图中的binlog，即使我们没有主从复制，也是会写binlog的，只不过主从复制是通过binlog来实现的。

三、主库和从库

1. 主库

主库master服务器创建一个binlog转储线程，将二进制日志内容发送到从服务器

2. 从库

  • 从库里面专门有一个I/O线程专门读取接收主库发送的内容，它会把主库里面发过来的binlog内容接收并写到一个relay log里面，中继日志相当于做了一个缓冲，这样 master 就不必等待 slave 执行完成才发送下一个事件。并不是把主库里面的binlog内容读过来直接就执行，这样直接执行不好的地方就是主库的binlog内容可能会很多，而从库接收到binlog内容执行起来可能会很慢，导致从库更新数据和主库差距会越来越大。数据的复制可能比较落后。
  • 从库还会启一个SQL线程，专门从中继日志读取相应的操作，所有的SQL都执行一遍，这样就实现了从库内容和主库内容的同步

四、主从复制的流程

主从复制的流程：两个日志（binlog二进制日志和relay log日志）和三个线程（master的一个线程和slave的两个线程）。

  • 主库的更新操作写入binlog二进制日志中（主库需要打开binlog开关）
  • master服务器创建一个binlog转储线程，将二进制日志内容发送到从服务器
  • slave机器执行START SLAVE命令会在从服务器创建一个IO线程，接收master的binary log复制到其中继日志（处于内存中，读写快）。 首先slave开始一个工作线程（I/O线程），I/O线程会主动连接master ，然后主库会开启dump线程，dump线程从master的binlog中读取事件并发送给slave的I/O线程，如果dump线程已经跟上master（主库上的dump线程已经把binlog的内容发完了，而且主库上binlog没有产生更多的内容），dump线程会睡眠并等待binlog产生新的事件，slave的I/O线程接收的事件写入中继日志
  • slave的SQL线程处理该过程的最后一步，SQL线程从relay log中读取事件，并执行其中的事件更新slave的数据，使其与master的数据同步。只要SQL线程与I/O线程保持一致，中继日志通常会位于os缓存中，所以中继日志的开销很小

五、主从复制效果展示

linux上的centos作为主库win10上的mysql server作为从库来演示：

主从复制是单向同步，master的更改往slave同步。配置好主从复制的时候，两个库的数据可能是不一样的，从配置好主从复制开始，主库所有的更改都会同步到从库。

master创建mytest数据库：

查看slave，发现mytest同步过来了：

master创建了user表，slave也同步了user表：

现在linux端的MySQL（master）删除mytest库

此时slave的mytest也不存在了

show processlist可以查看master当前环境下的工作线程

查看slave当前环境下的工作线程

到此这篇关于MySQL的主从复制原理详细分析的文章就介绍到这了,更多相关MySQL主从复制内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • MySQL主从复制之GTID模式详细介绍 

    MySQL主从复制之GTID模式详细介绍 

    目录 一.GTID概述 二.GTID相较与传统复制的优势 三.GTID自身存在哪些限制 四.GTID工作原理简单介绍 五.如何开启GTID复制 六.查看GTID相关参数 七.GTID与传统模式建立复制时候语句的不同点 八.GTID同步状态简单解析 一.GTID概述 MySQL5.6 在原有主从复制的基础上增加了一个新的复制方式,即基于GTID的复制方式,它由UUID和事务ID两个部分组成,具有如下特点. GTID事务是全局唯一性的,并且一个事务对应一个GTID值. 一个GTID值在同一个MySQ

  • MySQL 配置主从复制实践分享

    MySQL 配置主从复制实践分享

    目录 一.检测通信 二.master配置 1. 开启二进制日志 2. 创建一个用于主从库通信用的账号 3. 获取binlog的日志文件名和position 三.slave配置 1. 配置全局唯一的server-id 2. 使用master创建的账户读取binlog同步数据 3. 开启slave服务 四.配置中可能出现的问题 1. 网络连接问题 2. binlog的position问题 3. SQL线程出错 一.检测通信 查看主库(master)和从库(slave)的ip地址,并检测是否可以通信

  • MySQL实现配置主从复制项目实践

    MySQL实现配置主从复制项目实践

    目录 一.检测通信 二.master配置 1. 开启二进制日志 2. 创建一个用于主从库通信用的账号 3. 获取binlog文件名和position 三.slave配置 1. 配置全局唯一的server-id 2. 使用master创建的账户读取binlog同步数据 3. 开启slave服务 四.配置中可能出现的问题 1. 网络连接问题 2. binlog的position问题 3. SQL线程出错 一.检测通信 查看master(centos7)和slave(win10)的ip地址,并检测是否

  • MySQL主从复制之半同步semi-sync replication

    MySQL主从复制之半同步semi-sync replication

    目录 一.半同步简介 二.两种模式介绍 三.两种方式比较 四.如何开启半同步 五.查看插件开启情况 六.开启半同步功能 七.查看半同步是否运行 八.半同步参数信息 九.半同步状态信息 十.测试一下半同步的同步情况 1.从节点暂时先关掉IO线程 2.主节点写入几条测试数据 3.等待10s后查看复制状态,半同步已经关掉了 4.从节点开启IO线程 5.再次查看复制状态,半同步复制自动开启了 一.半同步简介 MASTER节点在执行完客户端提交的事务后不是立刻返回结果给客户端,而是等待至少一个SLAVE节

  • MySQL 主从复制数据不一致的解决方法

    MySQL 主从复制数据不一致的解决方法

    目录 1. 准备工作 1.1 主机配置 1.2 从机配置 2. 数据不一致问题 3. 原因分析 4. 问题解决 5. 小结 今天来说说 MySQL 主从复制数据不一致的问题,通过几个具体的案例,来向小伙伴们展示 binlog 不同 format 之间的区别. 1. 准备工作 以下配置基于 Docker. 我这里有一张简单的图向大伙展示 MySQL 主从的工作方式: 这里,我们准备两台机器: 主机:10.3.50.27:33061 从机:10.3.50.27:33062 1.1 主机配置 主机的配

  • MySQL主从复制问题总结及排查过程

    MySQL主从复制问题总结及排查过程

    目录 一.概述 二.mysql主从复制原理 1.MYSQL主从复制过程 三.问题及解决方法 1.show slave status \G 显示如下报错信息 2.根据提示信息定位报错位置 四.通用解决方法 1. 跳过指定数量的事务 2. 跳所有错误或指定类型的错误 一.概述 mysql主从是常用的高可用架构之一,也是使用最广泛的的系统架构.在生产环境中mysql主从复制有时会出现复制错误问题.MySQL主从复制中的问题(Coordinator stopped beacause there were

  • MySQL数据库主从复制与读写分离

    MySQL数据库主从复制与读写分离

    目录 一.主从复制 主从复制三线程 主从复制的过程: 主从复制的策略: 主从复制高延迟 二.读写分离 读写分离概念 读写分离原因与场景 总结 一.主从复制        主从复制:在实际的生产中,为了解决Mysql的单点故障以及提高MySQL的整体服务性能,一般都会采用主从复制.即:对数据库中的数据.语句做备份. 主从复制三线程        Mysql的主从复制中主要有三个线程:master(binlog dump thread).slave(I/O thread .SQL thread),M

  • MySQL主从复制原理详情

    MySQL主从复制原理详情

    目录 前言: 一.为什么需要主从复制? 二.什么是mysql的主从复制? 三.mysql复制原理 具体步骤 四.mysql主从同步延时分析 五.主从复制的配置 1.基础设置准备 2.安装mysql数据库 3.在两台数据库中分别创建数据库 4.在主(node1)服务器进行如下配置: 5.配置从(node2)服务器登录主服务器的账号授权 6.从(node2)服务器的配置 7.重启主服务器的mysqld服务 8.重启从服务器并进行相关配置 前言: 对于现在的系统来说,在业务复杂的系统中,数据库往往是应

  • Docker搭建MySQL5.7主从复制的实现

    Docker搭建MySQL5.7主从复制的实现

    目录 1.新建mysql-master主服务器容器实例3307 2.新建mysql-master主服务器配置文件my.cnf 3 重启master实例 4 进入mysql-master容器 5 master容器实例内创建数据同步用户 6 新建mysql-slave从服务器实例3308 7 进入/usr/local/mysql-slave/conf目录下新建my.cnf 8 修改完配置后重启slave实例 9 在主数据库中查看主从同步状态 10 进入mysql-slave容器 11 在从数据库中配

  • MySQL的主从复制原理详细分析

    MySQL的主从复制原理详细分析

    目录 前言 一.主从复制概念 二.读写分离的概念 三.主库和从库 1. 主库 2. 从库 四.主从复制的流程 五.主从复制效果展示 前言 在实际生产环境中,如果对mysql数据库的读和写都在一台数据库服务器中操作,无论是在安全性.高可用性,还是高并发等各个方面都是不能满足实际需求的,一般要通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力. 一.主从复制概念 主从复制是MySQL提供的基本的技术,主从复制的流程:binlog二进制日志(除了查询其他的更改相关的操作都会记录在b

  • MySQL数据库主从复制原理及作用分析

    目录 1.数据库主从分类: 2.mysql主从介绍由来 3.主从作用 4.主从复制原理 5.主从复制配置(数据一致时) 5.1主从服务器分别安装mysql5.7 5.2主数据库与从数据库数据一致 5.3在主数据库里创建一个同步账号授权给从数据库使用 5.4在从库上测试连接 5.5配置主数据库 5.6配置从数据库 5.7配置并启动主从复制的功能(mysql02从数据库上) 5.8测试: 主库: 从库: 主库创建数据库clq并且加入数据: 从库中查看: 6.主从配置(数据不一致时) 6.1一般全备主

  • SpringBoot自动配置特点与原理详细分析

    SpringBoot自动配置特点与原理详细分析

    目录 一.SpringBoot是什么 二.SpringBoot的特点(核心功能) 三.SpringBoot的自动配置原理 1. @SpringBootApplication 2. @SpringBootConfiguration 3. @EnableAutoConfiguration 4. @ComponentScan 四.核心原理图 五.常用的Conditional注解 一.SpringBoot是什么 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Sprin

  • React diff算法原理详细分析

    React diff算法原理详细分析

    目录 抛砖引玉 传统diff算法 React diff原理 tree diff component diff element diff 应用实践 页面指定区域刷新 更加方便地监听props改变 react-router中Link问题 结语 抛砖引玉 React通过引入Virtual DOM的概念,极大地避免无效的Dom操作,已使我们的页面的构建效率提到了极大的提升.但是如何高效地通过对比新旧Virtual DOM来找出真正的Dom变化之处同样也决定着页面的性能,React用其特殊的diff算法解

  • Sklearn调优之网格搜索与随机搜索原理详细分析

    目录 前言 网格搜索(Grid Search) 随机搜索(Randomized Search) 前言 超参调优是“模型调优”(Model Tuning)阶段最主要的工作,是直接影响模型最终效果的关键步骤,然而,超参调优本身却是一项非常低级且枯燥的工作,因为它的策略就是:不断变换参数值,一轮一轮地去“试”,直到找出结果最好的一组参数.显然,这个过程是可以通过编程封装成自动化的工作,而不是靠蛮力手动去一遍一遍的测试.为此,Sklearn提供了多种(自动化)超参调优方法(官方文档),其中网格搜索(Gr

  • Vue高级特性概念原理详细分析

    目录 1. 自定义v-model 2. $nextTick 3. slot 插槽 4. Vue 动态组件 5. Vue 异步组件 6. 使用 keep-alive 缓存组件 7. mixin 混入 1. 自定义v-model Vue中的自定义v-model指的是在自定义组件中使用v-model语法糖来实现双向绑定.在Vue中,通过v-model指令可以将表单元素的值与组件实例的数据进行双向绑定.但是对于自定义组件,如果要实现v-model的双向绑定,就需要自定义v-model的实现方式. 自定义

  • MySQL主从复制原理以及需要注意的地方

    写在前面 最近在写Mycat专题,由于不少小伙伴最近要出去面试,问我能不能简单写下MySQL的主从复制原理和注意事项,因为在之前的面试中被问到了这些问题.我:可以啊,安排上了!! 主从复制原理 (1) Master 将数据改变记录到二进制日志(binary log)中,也就是配置文件 log-bin 指定的文件, 这些记录叫做二进制日志事件(binary log events): (2) Slave 通过 I/O 线程读取 Master 中的 binary log events 并写入到它的中继

  • 详细分析MySQL主从复制

    前言: 在MySQL中,主从架构应该是最基础.最常用的一种架构了.后续的读写分离.多活高可用架构等大多都依赖于主从复制.主从复制也是我们学习MySQL过程中必不可少的一部分,关于主从复制的文章有很多,笔者也来凑凑热闹,写写这方面的内容吧,同时分享下自己的经验和方法. 1.主从复制简介及原理 主从复制(也称 AB 复制)是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中.对于多级复制,数据库服务器既可充当主机,也可充当从机.MySQL默认

  • 详细分析mysql视图的原理及使用方法

    前言: 在MySQL中,视图可能是我们最常用的数据库对象之一了.那么你知道视图和表的区别吗?你知道创建及使用视图要注意哪些点吗?可能很多人对视图只是一知半解,想详细了解视图的同学看过来哟,本篇文章会详细介绍视图的概念.创建及使用方法. 1.视图定义及简单介绍 视图是基于 SQL 语句的结果集的可视化的表,即视图是一个虚拟存在的表,可以包含表的全部或者部分记录,也可以由一个表或者多个表来创建.使用视图就可以不用看到数据表中的所有数据,而是只想得到所需的数据.当我们创建一个视图的时候,实际上是在数据

  • mysql中binlog_format模式与配置详细分析

    mysql复制主要有三种方式:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR).对应的,binlog的格式也有三种:STATEMENT,ROW,MIXED. ① STATEMENT模式(SBR) 每一条会修改数据的sql语句会记录到binlog中.优点是并不需要记录每一条sql语句和每一行的数据变化,减少了binl

随机推荐