mysql分表之后如何平滑上线详解

2024-10-28 02:33:35

分表的目的

项目开发中，我们的数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询数据变慢，而且由于表的锁机制导致应用操作也受到严重影响，出现了数据库性能瓶颈。

当出现这种情况时，我们可以考虑分表，即将单个数据库表进行拆分，拆分成多个数据表，然后用户访问的时候，根据一定的算法，让用户访问不同的表，这样数据分散到多个数据表中，减少了单个数据表的访问压力。提升了数据库访问性能。

举个栗子

比如咱们最常见的用户表（user表）

id	user_id	其他字段
主键id	用户id	其他字段

咱们一般都会用user_id去查询对应的用户信息，但是随着业务的增长，这张表会越来越大，甚至上亿，严重影响了查询性能。所以咱们就会对这张表进行分表处理，分到多张表减小查询压力

分表策略

以分10张表为例(具体分多少张表根据实际情况来估算) 首先咱们建10张表 user1、user2、user3。。。。。user10

一般情况下，我们都会用作为索引的字段(user_id)进行取模处理。想分多少张表，就按照多少取模，比如这个case就是10

$table_name = $user_id % 10;

按照上面的取模公式

user_id为1295的会落在user5里面
user_id为8634的会落在user4里面
。。。。。。。

「每次CURD根据上面查找表的策略进行就行了」，这个问题不大，我们暂且先不多说。

已经上线的运行中的表怎么办？

其实上面的方法大家应该都知道怎么用，但是有个问题，已经上线了的表怎么办？那张表的数据在线上是一直被查找或者改变的。如何能够进行平滑的分表，并且让用户无感知呢？

方法1

直接上线，提前写个脚本，脚本内容是把旧表(user)的数据同步到user1表到user10表，一上线了赶紧执行

这种方法明显是行不通的，主要是存在以下问题

如果执行过程中脚本有问题怎么办？代码全部回滚？
脚本把把旧表(user)的数据同步到user1表到user10表，这个脚本得执行多久？如果是1个小时，那么这段时间线上和这张表相关的业务都是不正常的

这显然是行不通的，对线上影响很大。

方法2

先写个同步数据的脚本，脚本内容是把旧表(user)的数据同步到user1表到user10表，脚本同步完了再上线。

这个方法看起来友好了一些，不过也存在一些问题。

脚本同步完，立即上线，这两件事之间是有一些时间差的，这个时间差中线上表可能有一些改动，这些改动怎么办？

「以上两种方法看起来貌似都行不通，所以看来得来点不一样的了。咱们直接看结论。」

步骤1 上线双写

首先咱们把双写上线了，什么意思呢？比如user_id=123，对于增加，删除，修改操作来说，咱们既操作user表，也操作user_id=123对应的user3表。

function modify($user_id){  //包含增加，删除，修改操作
  modify_user();  //modify user表
  $table_name = $user_id % 10;
  modify_user($table_name) //modify对应的分表
}

因为查询的部分还是在user表中查询的，所以上面的操作对线上用户是无任何影响的。

步骤2 全量同步

写一个全量同步user表到user1-user10的表，最好找个低峰期执行脚本，以防万一影响user表的查询

这一步执行之后，因为咱们之前上线了双写(见步骤1)，所以user表和user1-user10表之间的数据已经是完全一致的了。

步骤3 查询新表数据

将查询的部分改到user1-user10

因为前面两个步骤咱们已经保证了user表和各个分表之间的数据完全一致性，所以直接把查询的部分改掉是没有任何问题的

如果按照以上步骤执行，那么对线上的数据是没有任何影响的，而且我们线上就是这么操作了，经过了多次实践确保不会出问题，放心使用即可。

总结

到此这篇关于mysql分表之后如何平滑上线的文章就介绍到这了,更多相关mysql分表平滑上线内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

MYSQL数据库数据拆分之分库分表总结

数据存储演进思路一:单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到. 数据存储演进思路二:单库多表随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能.如果使用mysql, 还有一个更严重的问题是,当需要添加一列的时候,mysql会锁表,期间所有的读写操作只能等待. 可以通过某种方式将user进行水平的切分,产生两个表结构完全一样的
MySQL动态创建表，数据分表的存储过程

复制代码代码如下: BEGIN DECLARE `@i` int(11); DECLARE `@siteCount` int(11); DECLARE `@sqlstr` VARCHAR(2560); DECLARE `@sqlinsert` VARCHAR(2560); //以上声明变量 SELECT COUNT(0) into `@siteCount` FROM tbl_base_site; //计算表tbl_base_site的记录总条数 set `@i`=1; WHILE (`@i`-
MyBatis实现Mysql数据库分库分表操作和总结（推荐）

前言作为一个数据库,作为数据库中的一张表,随着用户的增多随着时间的推移,总有一天,数据量会大到一个难以处理的地步.这时仅仅一张表的数据就已经超过了千万,无论是查询还是修改,对于它的操作都会很耗时,这时就需要进行数据库切分的操作了. MyBatis实现分表最简单步骤既然文章的标题都这么写了,不如直接上干货来的比较实际,我们就先来看看如何实现最简单的分表. 1.我们模拟用户表数据量超过千万(虽然实际不太可能) 2.用户表原来的名字叫做user_tab,我们切分为user_tab_0和user_t
mysql的3种分表方案

一.先说一下为什么要分表:当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,有可能会死在那儿了.分表的目的就在于此,减小数据库的负担,缩短查询时间. 根据个人经验,mysql执行一个sql的过程如下:1.接收到sql; 2.把sql放到排队队列中;3.执行sql; 4.返回执行结果.在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间.其实这二个是一回事,等待的同时,肯定有sql在执行.所以我们要缩短sql的执行时间. mysql中有一种机
Mysql数据库分库和分表方式(常用)

本文主要给大家介绍Mysql数据库分库和分表方式(常用),涉及到mysql数据库相关知识,对mysql数据库分库分表相关知识感兴趣的朋友一起学习吧 1 分库 1.1 按照功能分库按照功能进行分库.常见的分成6大库: 1 用户类库:用于保存了用户的相关信息.例如:db_user,db_system,db_company等. 2 业务类库:用于保存主要业务的信息.比如主要业务是笑话,用这个库保存笑话业务.例如:db_joke,db_temp_joke等. 3 内存类库:主要用Mysql的内存引擎.
MYSQL性能优化分享(分库分表)

1.分库分表很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members99,然后根据mid分发记录到这些表中,牛逼的代码大概是这样子: 复制代码代码如下: <?php for($i=0;$i< 100; $i++ ){ //echo "CREATE TA
mysql分表之后如何平滑上线详解

目录分表的目的举个栗子分表策略已经上线的运行中的表怎么办? 步骤1 上线双写步骤2 全量同步步骤3 查询新表数据总结分表的目的项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询数据变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈. 当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力.提升了
MySQL 清除表空间碎片的实例详解

MySQL 清除表空间碎片的实例详解碎片产生的原因 (1)表的存储会出现碎片化,每当删除了一行内容,该段空间就会变为空白.被留空,而在一段时间内的大量删除操作,会使这种留空的空间变得比存储列表内容所使用的空间更大: (2)当执行插入操作时,MySQL会尝试使用空白空间,但如果某个空白空间一直没有被大小合适的数据占用,仍然无法将其彻底占用,就形成了碎片: (3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分: 例如: 一个表有1万行
Mysql联表update数据的示例详解

1.MySQL UPDATE JOIN语法在MySQL中,可以在 UPDATE语句中使用JOIN子句执行跨表更新.MySQL UPDATE JOIN的语法如下: UPDATE T1, T2, [INNER JOIN | LEFT JOIN] T1 ON T1.C1 = T2. C1 SET T1.C2 = T2.C2, T2.C3 = expr WHERE condition 更详细地看看MySQL UPDATE JOIN语法: 首先,在UPDATE子句之后,指定主表(T1)和希望主表连接表
Mysql建表与索引使用规范详解

一. MySQL建表,字段需设置为非空,需设置字段默认值.二. MySQL建表,字段需NULL时,需设置字段默认值,默认值不为NULL.三. MySQL建表,如果字段等价于外键,应在该字段加索引.四. MySQL建表,不同表之间的相同属性值的字段,列类型,类型长度,是否非空,是否默认值,需保持一致,否则无法正确使用索引进行关联对比.五. MySQL使用时,一条SQL语句只能使用一个表的一个索引.所有的字段类型都可以索引,多列索引的属性最多15个.六. 如果可以在多个索引中进行选择,MySQL通常
Mysql数据库表定期备份的实现详解

Mysql数据库表定期备份的实现 0.背景实际开发环境中,前端程序需要在给定时间段内,将数据更新/插入到MySQL指定的库表中.随着数据量的增多,基础库表基数的增长,每更新一次都会有5s左右的卡顿. 改进方案一:批量更新,累计数10条或者100条进行一次更新入库操作: 改进方案二:将当前日期前1个月之前的数据进行备份操作,并删除当前库表中1个月前的数据.经测定,该方法一定程度提高了访问效率.根因:基础表基数少,查询效率相对提高. 1.库表的定时备份总结步骤1:备份Mysql指定数据库中的制定
MySQL单表ibd文件恢复方法详解

前言: 随着innodb的普及,innobackup也成为了主流备份方式.物理备份对于新建slave,全库恢复的需求都能从容应对. 但当面临单表数据误删,或者单表误drop的情况,如果使用物理全备进行恢复呢? 下文将进行详细分析. 恢复过程中需要用到的工具,percona data recover tool : https://launchpad.net/percona-innodb-recovery-tool 情况一:误删部分数据,需要用最近一次备份覆盖来自同一台机器的ibd恢复覆盖,且备份
MySQL 内存表和临时表的用法详解

内存表: session 1 $ mysql -uroot root@(none) 10:05:06>use test Database changed root@test 10:06:06>CREATE TABLE tmp_memory (i INT) ENGINE = MEMORY; Query OK, 0 rows affected (0.00 sec) root@test 10:08:46>insert into tmp_memory values (1); Query OK,
MySql分表、分库、分片和分区知识深入详解

一.前言数据库的数据量达到一定程度之后,为避免带来系统性能上的瓶颈.需要进行数据的处理,采用的手段是分区.分片.分库.分表. 二.分片(类似分库) 分片是把数据库横向扩展(Scale Out)到多个物理节点上的一种有效的方式,其主要目的是为突破单节点数据库服务器的 I/O 能力限制,解决数据库扩展性问题.Shard这个词的意思是"碎片".如果将一个数据库当作一块大玻璃,将这块玻璃打碎,那么每一小块都称为数据库的碎片(DatabaseShard).将整个数据库打碎的过程就叫做分片,可以
mysql分表和分区的区别浅析

一.什么是mysql分表和分区什么是分表,从表面意思上看呢,就是把一张表分成N多个小表什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上二.mysql分表和分区有什么区别呢 1.实现方式上 a)mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件. 复制代码代码如下: [root@BlackGhost test]# ls |grep use
mysql分表程序改动方法

mysql分表程序如何改动 1.实现分表的原理如下 2.做mysql集群利用mysql cluster ,mysql proxy,mysql replication,drdb的命令如下 3.出现大数据量并且访问频繁的表-->将其分为若干个表.方法代码如下 4.创建表的方法代码 5.实现拆成二张表user1和user2,每张表25W条数据的方法代码.插入的数据方法代码 6.实现更新的方法代码