mysql 复制原理与实践应用详解

本文实例讲述了mysql 复制原理与实践应用。分享给大家供大家参考,具体如下:

复制功能是将一个mysql数据库上的数据复到一个或多个mysql从数据库上。

复制的原理:在主服务器上执行的所有DDL和DML语句都会被记录到二进制日志中,这些日志由连接到它的从服务器获取,并复制到从库,并保存为中继日志,

这个过程由一个称为 IO线程 的线程负责,还有一个称为 SQL线程 的则按顺序执行中继日志中的语句。

复制有多种拓扑形式:

1、传统复制,一主多从,一个主服务器多个从服务器。

2、链式复制,一台服务器从主库复制,而另一台服务器又从这台复制,中间服务器又叫中继主库。

3、主主复制,两个主库互相接受写入和复制。

4、多源复制,一个从库,从多个主库复制。

一、复制如何操作

1、在主库上启用二进制日志记录。

2、在主库上创建一个复制用户。

3、在从训上设置唯一的 server_id。

4、从主库中备份数据。

5、在从库上恢复主库备份的数据。

6、执行CHANGE MASTER TO命令。

7、开始复制。

二、具体的操作步骤如下:

1、在 主库 上,启用二进制日志并设置server_id。

#设置server_id
server_id = 1
#开启binlog日志
log-bin = mysql-bin

2、在主库上创建复制用户

create user '用户名'@'%' identified by '密码';
grant replication slave on *.* to '用户名'@'%';

3、在从库上设置server_id

#设置server_id
server_id = 10

4、备份主库上的数据

mysqldump -u root -p --all-databases --routines --events --triggers --single-transaction --master-data > 导出路径

5、在从库上恢复主库导出的数据

mysql -u root -p -f < 主库备份文件.sql

6、在从库上执行 CHANGE MASTER TO 命令

CHANGE MASTER TO
MASTER_HOST='主库IP',
MASTER_USER='主库复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='二进制日志名称',
MASTER_LOG_POS=二进制日志位置;

二进制日志名称和二进制日志位置,已经在备份主库文件中包含了,类似如下所示:

CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000016', MASTER_LOG_POS=47845;

7、从库上运行 start slave,然后 show slave status\G; 查看复制状态;

三、设置主主复制

假设主库分别是master1和master2。

1、设置master2为只读

set @@global.read_only = on;

2、在master2上创建复制用户,如果存在,则不用创建了

create user '用户名'@'%' identified by '密码';
grant replication slave on *.* to '用户名'@'%';

3、确保master2已开启二进制日志,检查master2上的二进制日志的坐标

show master status;

4、根据第2步的信息,在master1上执行 CHANGE MASTER TO 命令

CHANGE MASTER TO
MASTER_HOST='MASTER2主机IP',
MASTER_USER='MASTER2复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='二进制日志名称',
MASTER_LOG_POS=二进制日志位置;

5、在master1上开启 slave 模式

start slave;

6、设置master2为可读写

set @@global.read_only = off;

四、设置多源复制

设置 server3 为 server1 和 server2 的从库。

1、设置 server1 和 server2 的二进制日志和server_id,具体操作可参考上面。

2、在 server1 和 server2 上创建复制用户,具体操作可参考上面。

3、在 server3 上设置 server_id。

4、备份 server1 和 server2 的数据。

5、在 server3 上恢复 server1 和 server2 上备份的数据。

6、在 server3 上,将复制存储库从 FILE 改为 TABLE,

stop slave;
set global master_info_repository = 'TABLE';
set global relay_log_info_repository = 'TABLE';

还需要在配置文件中修改:

[mysqld]
master-info-repository = TABLE
relay-log-info-repository = TABLE

7、在 server3 上,执行 CHANGE MASTER TO 命令,并命名通道名

CHANGE MASTER TO
MASTER_HOST='server1主机IP',
MASTER_USER='server1复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='server1二进制日志名称',
MASTER_LOG_POS=server1二进制日志位置 FOR CHANNEL 'server1';

CHANGE MASTER TO
MASTER_HOST='server2主机IP',
MASTER_USER='server2复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='server2二进制日志名称',
MASTER_LOG_POS=server2二进制日志位置 FOR CHANNEL 'server2';

8 、在 server3 上,为每个通道执行 START SLAVE FOR CHANNEL 语句

start slave for channel 'server1';
start slave for channel 'server2';

9、查看同步状态,show slave status\G;

要获取指定通道的从库状态,show slave status for channel '通道名称'\G;

五、设置复制筛选器

可以选择要复制哪些表或数据库,在主库上,可以使用--binlog-do-db 和 --binlog-ignore-db 选项来选择要记录变更的数据库,以控制二进制日志。更好的方法是控制从库。

1、复制指定数据库

CHANGE REPLICATION FILTER REPLICATE_DO_DB = (db1, db2);

2、复制指定表

CHANGE REPLICATION FILTER REPLICATE_DO_TABLE = ('db1.table1');

3、如果想使用通配符来选择表

CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE = ('db1.tb_%');

4、忽略数据库

CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB = (db1, db2);

5、忽略指定表

CHANGE REPLICATION FILTER REPLICATE_IGNORE_TABLE = ('db1.table1');

六、将从库由主从复制切换到链式复制

比如现在服务器A为主库,服务器B和服务器C为从库,复制于服务器A。现在想把服务器C作为服务器B的从库。

1、在服务器C上停止从库运行

stop slave;
show slave status\G;

记录下Relay_Master_Log_File和Exec_Master_Log_Pos的值

2、在服务器B上停止从库运行

stop slave;
show slave status\G;

记录下Relay_Master_Log_File和Exec_Master_Log_Pos的值

3、将服务器B的日志位置与服务器C的进行比较,找出哪一个是服务器A最新同步,通常,服务器C先停止从库运行,服务器B的日志会更靠前。

4、在服务器C上,使用 START SLAVE UNTIL 语句将其同步到服务器B的日志位置:

START SLAVE UNTIL MASTER_LOG_FILE='上一步中服务器B日志名称', MASTER_LOG_POS=上一步中服务器B日志位置;

5、在服务器C上,检查 show slave status 中 Exec_Master_Log_Pos 和 Until_Log_Pos 两者应该相同。

6、在服务器B上,查看主库状态,启动从库。

show master status;
start slave;
show slave status\G;

7、在服务器C上,停止从库运行,执行 CHANGE MASTER TO 命令。

stop slave;
CHANGE MASTER TO
MASTER_HOST='服务器B的IP',
MASTER_USER='服务器B复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='上一步中通过show master status获取日志名称',
MASTER_LOG_POS=上一步中通过show master status获取日志位置;

8、在服务器C上,启动复制并查看状态

start slave;
show slave status\G;

七、将链式复制切换到主从复制

服务器A->服务器B->服务器C,如果想让服务器C直接作为服务器A的从库,该怎么做?

1、在服务器B上,停止从库运行,并记录主库状态

stop slave;
show master status\G;

2、服务器C上,确保从库的延迟已被追上,Relay_Master_Log_File和Exec_Master_Log_Pos应该等于服务器B上主库状态。

一旦延迟被追上,就停止从库的运行。

stop slave;

3、在服务器B上,从 show slave status 中获取服务器A的日志坐标值(Relay_Master_Log_File和Exec_Master_Log_Pos),并启动从库

show slave status\G;
start slave;

4、在服务器C上,停止从库运行,并执行 CHANGE MASTER TO 命令,指向服务器A

stop slave;
CHANGE MASTER TO
MASTER_HOST='服务器A的IP',
MASTER_USER='服务器A的复制用户',
MASTER_PASSWORD='密码',
MASTER_LOG_FILE='上一步中获取的日志',
MASTER_LOG_POS=上一步中获取的日志位置;

5、在服务器C上,开启从库,并查看状态。

start slave;
show slave status\G;

八、设置延迟复制

为什么需要延迟复制,有可能主库上执行了一条灾难性语句,你必须通过备份中的时间点恢复,如果数据库大小过大,这将导致长时间停机。

为了避免出现这种情况,可以使用一个延迟的从库,如果发生了灾难,并且延迟的从库还没有执行这条灾难性语句,则可以先停止复制,让从库跳过该灾难语句,最后把从库提升为主库。

1、停止从库运行

stop slave;

2、设置延迟时间,以秒为单位

CHANGE MASTER TO MASTER_DELAY = 3600;
start slave;

3、检查从库状态

show slave status\G;

SQL_Delay: 从库延迟于主库的秒数。

SQL_Remaining_Delay:延迟还剩余的秒数,当保持延迟时,这个值是NULL。

Slave_SQL_Running_State:SQL线程的状态

九、设置 GTID 复制

全局事务标识符 GTID 是在程序中创建的唯一标识符,并与主库上提交的每个事务相关联。该标识符是唯一的,不仅在主库上,在其他从库上,它都唯一。

上面描述的所有复制,都需要指明二进制文件和复制起点的位置,如果将一个从库的主库切换到另一个,就必须重新获取二进制文件位置,这会很麻烦。

为了避免,可以使用基于 GTID 的复制,mysql 使用 GTID 自动检测二进制日志的位置。

1、在所有数据库中 my.cnf 中启动 GTID

[mysqld]
gtid_mode = ON
enforce-gtid-consistency = 1
skip_slave_start

2、将主库设置为只读,确保主库与从库数据一致。

set @@global.read_only = on;

3、重新启动所有从库,使 GTID 生效。

4、重新启动主库。

5、在从库上执行 CHANGE MASTER TO 命令来设置 GTID 复制

CHANGE MASTER TO
MASTER_HOST='主库IP',
MASTER_PORT=3306,
MASTER_USER='复制用户',
MASTER_PASSWORD='密码',
MASTER_AUTO_POSITION=1;

6、在所有从库上执行 start slave; 并查看状态。

十、设置半同步复制

默认情况下,复制是异步的,主库不知道写入操作是否到达从库,如果主库与从库间存在延迟,主库崩了,尚未到达从库的那些数据就会丢失。

为了解决这种问题,半同步复制,主库会一直等待,直到至少有一个从库接收到写入的数据。

1、在主库上,安装 rpl_semi_sync_master 插件

install plugin rpl_semi_sync_master SONAME 'semisync_master.so';

windows下请使用如下:

install plugin rpl_semi_sync_master SONAME 'semisync_master.dll';

2、确认插件已激活

select plugin_name, plugin_status from information_schema.plugins where plugin_name like '%semi%';

3、开启半同步复制并调整超时时间

set @@global.rpl_semi_sync_master_enabled=1;
set @@global.rpl_semi_sync_master_timeout=100;

4、在从库上,安装 rpl_semi_sync_slave 插件

install plugin rpl_semi_sync_slave SONAME 'semisync_slave.so';

windows下请使用如下:

install plugin rpl_semi_sync_slave SONAME 'semisync_slave.dll';

5、确认插件已激活

select plugin_name, plugin_status from information_schema.plugins where plugin_name like '%semi%';

6、在从库上,启用半同步复制,并重新启动从库IO线程

set global rpl_semi_sync_slave_enabld = 1;
STOP SLAVE IO_THREAD;
START SLAVE IO_THREAD;

7、通过如下方式查看半同步状态

show status like 'rpl_semi_sync_master_clients';

查看以半同步连接到主库的客户端数量

show status like 'rpl_semi_sync_master_status';

主库在异步和半同步复制之间切换,on表示半同步,off表示异步。

更多关于MySQL相关内容感兴趣的读者可查看本站专题:《MySQL查询技巧大全》、《MySQL常用函数大汇总》、《MySQL日志操作技巧大全》、《MySQL事务操作技巧汇总》、《MySQL存储过程技巧大全》及《MySQL数据库锁相关技巧汇总》

希望本文所述对大家MySQL数据库计有所帮助。

(0)

相关推荐

  • mysql中复制表结构的方法小结

    mysql中用命令行复制表结构的方法主要有一下几种: 1.只复制表结构到新表 CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2 或者 CREATE TABLE 新表 LIKE 旧表 2.复制表结构及数据到新表 CREATE TABLE 新表 SELECT * FROM 旧表 3.复制旧表的数据到新表(假设两个表结构一样)  INSERT INTO 新表 SELECT * FROM 旧表 4.复制旧表的数据到新表(假设两个表结构不一样) INSERT INTO

  • mysql跨数据库复制表(在同一IP地址中)示例

    数据库表间数据复制分类 在利用数据库开发时,常常会将一些表之间的数据互相导入.当然可以编写程序实现,但是,程序常常需要开发环境,不方便.最方便是利用sql语言直接导入.既方便而修改也简单.以下就是导入的方法. 1. 表结构相同的表,且在同一数据库(如,table1,table2) Sql : 复制代码 代码如下: insert into table1 select   *    from table2 (完全复制)insert into table1 select   distinct   * 

  • Mysql主从复制(master-slave)实际操作案例

    在这一章节里, 我们来了解下如何在 Mysql 中进行用户授权及主从复制   这里先来了解下 Mysql 主从复制的优点:   1. 如果主服务器出现问题, 可以快速切换到从服务器提供的服务 2. 可以在从服务器上执行查询操作, 降低主服务器的访问压力 3. 可以在从服务器上执行备份, 以避免备份期间影响主服务器的服务 注意一般只有更新不频繁的数据或者对实时性要求不高的数据可以通过从服务器查询, 实时性要求高的数据仍然需要从主数据库获得   在这里我们首先得完成用户授权, 目的是为了给从服务器有

  • 详解MySQL双活同步复制四种解决方案

    对于数据实时同步,其核心是需要基于日志来实现,是可以实现准实时的数据同步,基于日志实现不会要求数据库本身在设计和实现中带来任何额外的约束. 基于MySQL原生复制主主同步方案  这是常见的方案,一般来说,中小型规模的时候,采用这种架构是最省事的. 两个节点可以采用简单的双主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然.有几个需要注意的地方,脑裂的情况,两个节点写入相同数据而引发冲突,同时把两个节点的auto_increment_in

  • 简单讲解MySQL的数据库复制方法

    MySQL复制其实就是把数据从一个节点(master) 拷贝到另一个节点(slaves), 当然根据应用架构的不同,采用的方式也不同,MySQL服务器之间的复制使用的是二进制日志机制.对master的更新与变动都会作为事件(event)记录在日志中,日志中的信息会随变化的不同被记录成不同的格式.slaves被配置成从master读取日志,并且执行二进制日志中的事件到slave本地数据库.一旦master启动二进制日志功能,那么所有语句操作都会被记录下来,每一个slave会收到一份整个日志内容的拷

  • MySQL快速复制数据库数据表的方法

    某些时候,例如为了搭建一个测试环境,或者克隆一个网站,需要复制一个已存在的mysql数据库.使用以下方法,可以非常简单地实现. 假设已经存在的数据库名字叫db1,想要复制一份,命名为newdb.步骤如下: 1. 首先创建新的数据库newdb #mysql -u root -ppassword mysql>CREATE DATABASE `newdb` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI; 2. 使用mysqldump及mysql的

  • MySQL 数据库双向镜像、循环镜像(复制)

    对于双向数据库镜像,就是数据库A的数据变化要镜像到数据库B中,同时数据库B里的修改也要同时复制到数据库A里. 对于循环数据库镜像,就是多个数据库A.B.C.D等,对其中任一个数据库的修改,都要同时镜像到其它的数据库里. 应用:同一个Zen Cart网店的数据库和程序,可以放置在不同的主机上,在任一台主机上新增的订单.客户资料,都会同时加入其它的主机数据库里. 要实现双向或循环数据库镜像,首先要解决的就是防止数据库中自动递增(AUTO_INCREMENT)字段的冲突,以免多数据库各自生成一样的增量

  • MySQL复制表结构和内容到另一张表中的SQL语句

    1.复制表结构及数据到新表 复制代码 代码如下: CREATE TABLE 新表 SELECT * FROM 旧表 2.只复制表结构到新表 复制代码 代码如下: CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2 即:让WHERE条件不成立. 方法二:(低版本的mysql不支持,mysql4.0.25 不支持,mysql5已经支持了) 复制代码 代码如下: CREATE TABLE 新表 LIKE 旧表 3.复制旧表的数据到新表(假设两个表结构一样) 复制代码

  • mysql主从同步复制错误解决一例

    蚊子今天下午搭了一主三从的mysql复制,结果所有服务器都配置好后,发现从上报如下的错误 复制代码 代码如下: Last_IO_Error: Fatal error: The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-i

  • mysql同步复制搭建方法指南详细步骤

    1.利用MySQL自身的数据库同步功能(下面参考自网上的文章,写的非常详细了) MySQL从3.23.15版本以后提供数据库复制功能.利用该功能可以实现两个数据库同步,主从模式,互相备份模式的功能. 数据库同步复制功能的设置都在mysql的设置文件中体现.mysql的配置文件(一般是my.cnf),在unix环境下在/etc/mysql/my.cnf或者在mysql用户的home目录下的my.cnf. windows环境中,如果c:根目录下有my.cnf文件则取该配置文件.当运行mysql的wi

  • MySQL主从复制的原理及配置方法(比较详细)

    一.复制的原理 MySQL 复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新.删除等等).每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新,以便从服务器可以对其数据拷贝执行相同的更新. 将主服务器的数据拷贝到从服务器的一个途径是使用LOAD DATA FROM MASTER语句.请注意LOAD DATA FROM MASTER目前只在所有表使用MyISAM存储引擎的主服务器上工作.并且,该语句将获得全局读锁定. MySQL 使用3个线程来执行复制功能,其中1个在主服

随机推荐