MySQL配置了双主,是如何避免出现数据回环冲突的

不知道大家想过这个问题没有？如果配置了双主，是如何避免出现数据回环冲突的，因为在数据双活的设计方案中，这可以算是方案的核心设计思想之一。

如果主库触发SQL语句：

insert into test_data(name) values(‘aa');

那么Master1生成binlog,推送数据变化到Master2,在Master2上面生成relay log,然后交由sql thread进行变更重放，反之也是类似的流程，整个流程可以这样描述。

如果Master2消费了relay的数据，然后会产生binlog(log_slave_updates默认开启），这个时候产生的binlog会继续推送到Master1消费，然后来来回回推送，一套insert语句就无穷无尽了，显然这种设计是不合理的，MySQL也肯定不会这么做。

那么问题的关键的部分就是：Master2是否推送了先前的binlog到Master1？

a) 如果推送了，Master1是如何过滤，避免后续无限循环

b) 如果没有推送，Master2是如何过滤的

如果要理解这个过程，我们就需要模拟测试，查看数据流转过程中的binlog情况,可以参考这个流程。

1) Master1的binlog

2) Master2的 relay log

3) Master的binlog

很快就部署好了一套主从环境，然后添加change master to 就快速搭建好了一套测试的双主环境。

为了尽可能看到完整的binlog事件信息，我们开启参数binlog_rows_query_log_events

在Master1触发语句:

insert into test_data(name) values(‘gg');

得到的binlog事件如下，可以清楚的看到相关的SQL语句。

在Master2端，我们查看binlog的情况，在开启binlog_rows_query_log_events的前提下会看到明显少了事件：Rows_query.

此时需要思考的是，在这个过程中偏移量是否发生了变化，从Master1产生的binlog到Master的relay log,如果通过mysqlbinlog去解析，得到的偏移量情况都是一模一样，而在Master2消费后，产生了相关的binlog信息。

问题的关键就在这里，在Maser2里面是通过Server_id来标注了数据的源头，所以在这里就称为整个数据流转的终点了，也就意味着数据复制的时候是按照server_id来进行U过滤的，每个Master端只会传送自己相关的binlog信息。

如果从这个角度来说，MySQL对于复制中的server_id如此重要的一个原因就是基于此。

而如果换一个角度，看待基于偏移量的异步复制，其实也可以得到类似的信息。

这是Master1触发insert语句后的binlog细节。

这是Master2接受实时数据后的binlog细节。

其实看到这里，还存在一个问题，那就是在偏移量模式下，如果需要一个数据变更操作在Master2丢失了，那么是没有办法进行回溯的。

而基于GTID模式可以唯一性标识全局事务，那么哪怕对这个操作进行了重复应用，哪怕是DDL语句，操作的影响行数也是0.

我们对一个已经执行的操作进行再次应用，看看MySQL是否会自动舍弃该类操作。

mysql> SET @@SESSION.GTID_NEXT= '6fb744dd-05dd-11ea-ada7-52540043a8b5:6';

Query OK, 0 rows affected (0.00 sec)

mysql> use `test`; create table test_data (id int primary key auto_increment,name varchar(30));

Database changed

Query OK, 0 rows affected (0.00 sec)

查看show binlog events发现这个过程不会产生额外的binlog。

所以基于此，我们也基本明确了数据回环解决方法的一个设计思想，那就是如何让MySQL能够识别出那些已经应用的事务数据，我想GTID是一个答案，而且分布式ID不用，这是MySQL内部的处理机制，而且是MySQL能够识别的方式。

以上就是MySQL配置了双主,是如何避免出现数据回环冲突的的详细内容，更多关于MySQL 避免数据回环冲突的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • MySQL数据类型全解析

    数据类型:定义列中可以存储什么数据以及该数据实际怎样存储的基本规则. 数据类型用于以下目的: 1.允许限制可存储在列中的数据.如:数值数据类型列只能接受数值. 2.允许在内部更有效地存储数据.如:用比文本串更简洁的格式存储数值和日期时间值. 3.允许变换排序顺序.如:数据都作为串处理,则1位于10前,10位于2前(串以字典顺序排序,从左边开始比较,一次一个字符):作为数值数据类型,数值才能正确排序. 一.串数据类型 最常用的数据类型,存储串,如名字.地址.电话号码等. 两种基本的串类型:定长串和

  • 最全50个Mysql数据库查询练习题

    最全50个Mysql数据库查询练习题

    此数据库查询语句是网络上50个数据库查询练习题目,网上有些版本是oracle语句写的,大多数公司还是用免费的mysql数据库,以下都是mysql版本,全部都有验证过. 表名和字段 –1.学生表 Student(s#, sname, sage,ssex) –学生编号,学生姓名, 出生年月,学生性别 –2.课程表 Course(c#,cname,t#) – –课程编号, 课程名称, 教师编号 –3.教师表 Teacher(t#,tname) –教师编号,教师姓名 –4.成绩表 Sc(s#,c#,sc

  • python mysql 字段与关键字冲突的解决方式

    解决方法:python中把字段名称用反引号(`),也就是ESC下面~那个按钮. 示例: 数据字段设计如下截图所示 待插入数据: datas = { 'sign_event':[ {'id': 1, 'name': '华为mate9发布会' , 'limit': 100, 'status': 1, 'address': '会展中心1号厅', 'start_time': '2017-09-20 14:00:00','create_time':'2017-08-20 14:00:00'}, {'id'

  • MySQL 5.7双主同步部分表的实现过程详解

    MySQL 5.7双主同步部分表的实现过程详解

    前言 最近遇到一个需求,由于公司自身业务,两个数据库之间某些表需要实时双向同步数据,且其中任何一台数据库宕机都不会影响另外一台数据库,这里记录一下自己的技术调研,以便后期重构中使用.下面话不多说了,来一起看看详细的介绍吧. 安装MySQL5.7 推荐直接进官网 https://dev.mysql.com 下载yum源的方式安装,毕竟安全又省事. wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm y

  • mysql 双向同步的键值冲突问题的解决方法分享

    出现的问题(多主自增长ID重复) 1:首先我们通过A,B的test表结构 2:掉A,在B上对数据表test(存在自增长ID)执行插入操作,返回插入ID为1 3:后停掉B,在A上对数据表test(存在自增长ID)执行插入操作,返回的插入ID也是1 4:然后 我们同时启动A,B,就会出现主键ID重复 解决方法: 我们只要保证两台服务器上插入的自增长数据不同就可以了 如:A查奇数ID,B插偶数ID,当然如果服务器多的话,你可以定义算法,只要不同就可以了 在这里我们在A,B上加入参数,以实现奇偶插入 A

  • Mysql实现定时清空一张表的旧数据并保留几条数据(推荐)

    要达到如下目的: Mysql数据库会每隔一段时间(可以是2小时,也可以是一天,这个可以自定义),定时对一张库中的表做一个判断,如果这张表的数据超过了20条(这个数据也是自定义的,也可以是200条),就保留最新的10条数据(这个数据同样可以自定义,但要小于等于之前的超过数据条数). 简单说一下解决的思路(从后往前推导): 1.开启一个定时器,这个定时器做了两件事: ⑴设置了时间间隔 ⑵调用一个存储过程 2.写一个存储过程,此存储过程要做两件事: ⑴判断表的数据条数是否超过20,如果超过20才做下面

  • MySQL数据库是如何实现XA规范的

    MySQL数据库是如何实现XA规范的

    MySQL 的一致性日志 如果 MySQL 数据库断电了,未提交的事务怎么办? 答案:依靠日志. 因为在执行一个操作之前,数据库会首先把这个操作的内容写入到文件系统日志里,然后再进行操作.当宕机或者断电的时候,即使操作并没有执行完,但是日志在操作前就已经写好了,我们仍然可以根据日志的内容来进行恢复. MySQL InnoDB 引擎中和一致性相关的有重做日志(redo log).回滚日志(undo log)和二进制日志(binlog). redo log 每当有操作执行前,在数据真正更改前会先把相

  • MySQL中字段名和保留字冲突的解决办法

    我们知道通常的SQL查询语句是这么写的: 复制代码 代码如下: select col from table; 这当然没问题,但如果字段名是"from"呢? 复制代码 代码如下: select from from table; 若真的这么写,必然出错,当字段名与MySQL保留字冲突时,可以用字符"`"将字段名括起来: 复制代码 代码如下: select `from` from table; 总结 刚发现我原先设计的数据库表里有两个字段都用了保留字(add,commen

  • MySQL配置了双主,是如何避免出现数据回环冲突的

    MySQL配置了双主,是如何避免出现数据回环冲突的

    不知道大家想过这个问题没有?如果配置了双主,是如何避免出现数据回环冲突的,因为在数据双活的设计方案中,这可以算是方案的核心设计思想之一. 如果主库触发SQL语句: insert into test_data(name) values('aa'); 那么Master1生成binlog,推送数据变化到Master2,在Master2上面生成relay log,然后交由sql thread进行变更重放,反之也是类似的流程,整个流程可以这样描述. 如果Master2消费了relay的数据,然后会产生bi

  • Mysql双主搭建的方法步骤

    目录 1. Mysql binlog参数配置 2. Mysql binlog查看详细内容 3. Mysql双主搭建 4. Mysql双主解决数据回环 4.1 双主同步测试一 4.2 双主同步测试二 4.3 双主同步测试三 1. Mysql binlog参数配置 log-bin=mysql-bin 打开二进制日志功能,默认在datadir下 binlog-ignore-db binlog-ignore-db=mysql binlog-ignore-db=information_schema bin

  • MySQL双主（主主）架构配置方案

    MySQL双主（主主）架构配置方案

    在企业中,数据库高可用一直是企业的重中之重,中小企业很多都是使用mysql主从方案,一主多从,读写分离等,但是单主存在单点故障,从库切换成主库需要作改动.因此,如果是双主或者多主,就会增加mysql入口,增加高可用.不过多主需要考虑自增长ID问题,这个需要特别设置配置文件,比如双主,可以使用奇偶,总之,主之间设置自增长ID相互不冲突就能完美解决自增长ID冲突问题. 主从同步复制原理 在开始之前,我们先来了解主从同步复制原理. 复制分成三步: 1. master将改变记录到二进制日志(binary

  • Mysql双主配置的详细步骤

    目录 前言 一.mysql配置文件 (1)节点A配置 (2)节点B配置 二.配置节点A为节点B的master(主从模式) 三.完成双主配置 四.测试 五.控制同步的库或表 六.一个账号多个IP 总结 前言 特点:在双主配置中,两台mysql互为主从节点.节点A是节点B的master,同时节点B也是节点A的master. 安装mysql步骤略过 一.mysql配置文件 (1)节点A配置 # 设置server-id,两节点必须不一样 server-id = 100 # 开启bin_log,模式为RO

  • MariaDB配置双主复制方案

    本文环境 Debian 8 MariaDB 10.1.21 配置文件 1 修改服务器 1 上 mysql 配置文件 /etc/mysql/my.cnf 有些配置默认就存在的,如果你有洁癖,请先搜索,再添加配置项. [mysqld] server-id = 1 log_bin = /var/log/mysql/mariadb-bin log_bin_index = /var/log/mysql/mariadb-bin.index binlog-do-db = tudou1 #需要同步的数据库,这里

  • Ubuntu搭建Mysql+Keepalived高可用的实现(双主热备)

    Ubuntu搭建Mysql+Keepalived高可用的实现(双主热备)

    Mysql5.5双机热备 实现方案 安装两台Mysql 安装Mysql5.5 sudo apt-get update apt-get install aptitude aptitude install mysql-server-5.5 或 sudo apt-cache search mariadb-server apt-get install -y mariadb-server-5.5 卸载 sudo apt-get remove mysql-* dpkg -l |grep ^rc|awk '{

  • MySQL 8.0.15配置MGR单主多从的方法

    一.简介 MySQL Group Replication(简称MGR)字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本. 是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案,提供了高可用.高扩展.高可靠的MySQL集群服务. 也是mysql官方基于组复制概念并充分参考MariaDB Galera Cluster和Percona XtraDB Cluster结合而来的新的高可用集群架构. MySQL Grou

  • Mysql实现主从配置和多主多从配置

    我们现在模拟的是主从(1台主机.一台从机),其主从同步的原理,就是对bin-log二进制文件的同步,将这个文件的内容从主机同步到从机. 一.配置文件的修改 1.主机配置文件修改配置 我们首先需要mysql主机(192.168.254.130)的/etc/my.cnf配置文件,添加如下配置: #主机唯一ID server-id=1 #二进制日志 log-bin=mysql-bin #不需要同步的数据库 binlog-ignore-db=mysql binlog-ignore-db=informat

  • MySQL配置主从服务器(一主多从)

    MySQL配置主从服务器(一主多从)

    目录 思路 主机配置 修改conf 重启 检验 从机1配置 从机2配置 配置主从关联 测试数据同步 常见问题 原因 解决方案 本文主要介绍了MySQL配置主从服务器(一主多从),感兴趣的可以了解一下 当前环境 Centos 7.6 Mysql 5.7 Centos 7.6 安装MySQL 5.7 请参考:https://www.jb51.net/article/99965.htm 思路 主机配置 修改conf vim /etc/my.cnf 在 [mysqld] 后面换行追加配置,保存并退出 s

随机推荐