MySQL性能突然下降的原因

有时会碰到这样的情况,一条 SQL 在平时执行没问题,很快。但是突然某个时间执行的就会很慢,而且这种场景并不能复现,只能随机发送的。

SQL 执行突然变慢的原因

在之前讲解 MySQL Redo log 时,说到了 WAL 机制,为了保证 MySQL 更新的速度,在进行更新操作时,先将更新内容写入 redo log,后续系统空闲时,再将 redo log 的内容应用到磁盘。

当内存数据页(redo log)和磁盘数据页内容不一致时,将该内存也称为 “脏页”。将内存数据写入到磁盘后,数据一致,内存页称为 "干净页"。

在内存数据写入磁盘时,这个过程称为 flush 过程。SQL 突然执行变得很慢,性能下降。原因就可能和 flush 操作有关。

因为在进行 flush 操作时,更新操作会等待 redo log 的写入。

引起 flush 操作的原因

场景一:redo log 日志已经记满。这时系统会停止更新操作,将 check point 向前推进,让 redo log 留出空间可以继续写。

这里假设 CP 到 CP‘ 间隙已经写入到磁盘,这部分就变成了干净页,此时 write pos 就可以写入这部分区域了。

场景二:系统内存不足,需要新的内存页时,发现内存不够用了,就需要淘汰一些数据页。如果淘汰时,这时数据页时脏页,就要将脏页写到磁盘。

这时有个问题是,命名 redo log 中的内容已经被记录到日志中了,假如内存满了,直接删除不就可以吗?下次读入时,再把 redo log 日志中的内容应用到磁盘。

没有选择直接清空内存,是从性能考虑的,因为在查询数据时,有两种情况:

  • 首先数据页在内存中,内存是就是正确的结果,直接返回
  • 内存里没有数据,从数据文件上读入内存。

所以这样效率比较高。

场景三:MySQL 会在系统空闲时,进入 flush 操作。

场景四:在 MySQL 正常关闭时,会把内存脏页 flush 到磁盘上。

引起 flush 对性能的影响

对于第三,四场景来说,是比较正常的情况,不需要考虑性能问题。

对于第一种场景,InnoDB 会尽量避免,因为在这种情况下,整个系统不再接受更新。

但有时出现人为的配置错误,比如内存为 128 GB,innodb_io_capacity 设置为 20000 的实例。通常建议将 redo log 设置成 4 个 1GB 的文件。但由于配置错误,设置成 100M 的文件。

这里由于 redo log 设置的太小,很快就会被写满。write pos 一直追着 check point. 这时,系统只能停止所有更新,推进 checkpoint.

表现就是,磁盘 IO 很小,但是出现间歇性的性能下降。

对于第二种场景,内存不够用的情况,InnoDB 会用缓冲池(buffer pool)管理内存

内存页在缓冲池中会有三种状态:

  • 没用使用的数据页
  • 使用了,但是是干净页
  • 使用了,是脏页

每个数据页头部有LSN,8字节,每次修改都会变大。

对比这个 LSN 跟 checkpoint 的 LSN,比checkpoint小的一定是干净页

由于 InnoDB 的策略是尽可能使用内存,所以对于长时间运行的库来说,未被使用的页面很少。

当发现想读入的数据页没有在内存中时,必须到缓冲池申请数据页。并会把最久不用得数据页从内存中淘汰

如果是干净页,直接释放使用
如果是脏页,必须先刷盘,变成干净页才能复用
当时,如果在下面的情况进行刷脏页,会明显影响性能:

要淘汰的脏页太多,导致查询响应时间较长。
日志写满,更新被阻塞。
为了解决这个问题,InnoDB 使用控制脏页比例的机制,来避免上面的情况。

InooDB 控制刷脏页的策略

在 InnoDB 中,通过 innodb_io_capacity 参数,来告诉 InnoDB 目前主机的磁盘能力是多少,这个值建议设置成磁盘的 IOPS.

可以通过 fio 这个工具来测试:

fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=500M -numjobs=10 -runtime=10 -group_reporting -name=mytest

由于 innodb_io_capacity 导致的性能问题很常见,比如有时系统吞吐量(TPS)很低,写入很慢,但是磁盘 IO 并不高。就有可能是该参数设置的不正确。例如,innodb_io_capacity 的值设置的很低,但是磁盘用的 SSD,导致 InooDB 认为系统能力很差,所以刷脏页特别慢。造成脏页累计,影响查询和更新性能。

InnoDB 在刷盘时主要考虑两个因素:

  1. 脏页的比例
  2. redo log 写盘速度

会通过这两个因素单独先算出两个数字。

innodb_max_dirty_pages_pct 脏页比例上限,默认 75%.

InnoDB 会根据脏页的比例(M),算出范围在 0 - 100 的数字。,过程称为 F1(M)

# M 脏页比例
F1(M)
{
 if M>=innodb_max_dirty_pages_pct then
   return 100;
 return 100*M/innodb_max_dirty_pages_pct;
}

除此之外,InnoDB 每次写入日志都会有一个序号 N. 然后根据 N 再算出一个 0 到 100 的数字,这个计算过程称为 F2(N)

N: 当前写入的序号和 checkpoint 对应序号之间的差值。

最后,根据 F1(M)和 F2(N)两个值,取其中较大的值为 R,之后引擎就可以按照 innodb_io_capacity * R 来控制刷脏页的速度。

所以无论是在查询,需要加载数据到内存数据页,而淘汰脏页。还是更新时,导致刷盘操作都有可能造成 MySQL 的性能下降。

为了避免这种情况,要合理的设置 innodb_io_capacity 的值,平时要多关注脏页比例,不让其接近 75%.

其中脏页比例可以通过下面的方式获取:

mysql> use performance_schema;
mysql> select VARIABLE_VALUE into @a from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_dirty';
select VARIABLE_VALUE into @b from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_total';
select @a/@b;

初次之外,在一个查询操作进行时,如果需要 flush 脏页的话,如果这个该脏页的邻居也是脏页的话,就会把这个邻居一起刷掉,如果恰好旁边还是脏页的话,就会一直连坐。这时导致 flush 过慢的原因。

可以通过 innodb_flush_neighbors 来控制该行为,值为 1 打开上述机制,为 0 则关闭。

对于机械硬盘来说,是可以减少很多随机 IO ,因为机械硬盘 IOPS 一般就几百,减少随机 IO 就意味着性能提升。

但如果用 SSD 这类 IOPS 较高的设备,IOPS 往往不是瓶颈,关闭就好,减少 SQL 语句的响应时间。

在 8.0 中,已经默认是 0 了.

总结

这篇中,主要介绍了 WAL 时的 flush 操作可能会造成 MySQL 突然的性能下降。

引起的原因一般是由于内存不够导致的,进而可以通过设置合适的 innodb_io_capacity 参数,来控制 InnoDB flush 的过程。

以上就是MySQL性能突然下降的原因的详细内容,更多关于MySQL性能下降的资料请关注我们其它相关文章!

(0)

相关推荐

  • 使用Grafana+Prometheus监控mysql服务性能

    Prometheus(也叫普罗米修斯)官网:https://prometheus.io/docs/introduction/overview/ Grafana官网:https://grafana.com/enterprise 特征 普罗米修斯的主要特点是: 具有由度量名称和键/值对标识的时间序列数据的多维数据模型 一个灵活的查询语言 来利用这一维度 不依赖分布式存储; 单个服务器节点是自治的 时间序列集合通过HTTP上的拉模型发生 推送时间序列通过中间网关支持 通过服务发现或静态配置发现目标 多

  • MySQL 查询速度慢与性能差的原因与解决方法

    一.什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是"每秒查询率",是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准. TPS: 是 TransactionsPerSecond的缩写,也就是事务数/秒.它是软件测试结果的测量单位.客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数. Tips: 最好不要在主库上数据库备

  • MySQL20个高性能架构设计原则(值得收藏)

    开源数据库架构设计原则 01. 技术选型 选择成熟的平台和技术,同时是最熟悉的,能做到极致的,用好不用坏,用熟不用生.目前业界的MySQL主流分支版本有Oracle官方版本的MySQL.Percona Server.MariaDB. 02. 高可用选择 高可用解决方案探讨的本质上是低宕机时间解决方案,可以理解成高可用的反面是不可用,绝大部分情况下数据库宕机才会导致数据库不可用.随着技术发展,开源数据库方面很多高可用组件(主从复制.半同步.MGR.MHA.Galera Cluster),对应场景,

  • mysql优化之like和=性能详析

    引言 那使用过数据库的人大部分都知道,like和=号在功能上的相同点和不同点,那我在这里简单的总结下: 1,不同点:like可以用作模糊查询,而'='不支持此功能:如下面的例子,查询info表中字段id第一个字母为1的数据: select * from info where id like '1%'; 2,相同点:like和"="都可以进行精确查询, 比如下面的例子,从结果上看,都是查询info表中字段id等于'12345'的结果: select * from info where i

  • Mysql索引性能优化问题解决方案

    mysql 创建的优化就是加索引,可是有时候会遇到加索引都没法达到想要的效果的情况, 加上了所以,却还是搜索的全数据,原因是sql EXPLAIN SELECT cs.sid, -- c.courseFrontTitle, -- c.imgBig, cs.studyStatus, coi.fee, -- act.PROC_INST_ID_ AS processId, cs.createDTM, cs.payStatus, cs.isCompleted, cs.saleChannel, cs.is

  • MYSQL 性能分析器 EXPLAIN 用法实例分析

    本文实例讲述了MYSQL 性能分析器 EXPLAIN 用法.分享给大家供大家参考,具体如下: 使用方法: EXPLAIN SELECT * FROM user; 环境和数据准备 -- 查看 MySQL 版本 SELECT VERSION(); -- MySQL 提供什么存储引擎 SHOW ENGINES; -- 查看默认存储引擎 SHOW VARIABLES LIKE '%storage_engine%'; 输出结果: id:输出的是整数,用来标识整个 SQL 的执行顺序.id 如果相同,从上往

  • mysql和oracle的区别小结(功能性能、选择、使用它们时的sql等对比)

    一.并发性 并发性是oltp数据库最重要的特性,但并发涉及到资源的获取.共享与锁定. mysql: mysql以表级锁为主,对资源锁定的粒度很大,如果一个session对一个表加锁时间过长,会让其他session无法更新此表中的数据. 虽然InnoDB引擎的表可以用行级锁,但这个行级锁的机制依赖于表的索引,如果表没有索引,或者sql语句没有使用索引,那么仍然使用表级锁. oracle: oracle使用行级锁,对资源锁定的粒度要小很多,只是锁定sql需要的资源,并且加锁是在数据库中的数据行上,不

  • MySQL性能优化技巧分享

    MySQL性能优化 在互联网公司MySQL的使用非常广泛,大家经常会有MySQL性能优化方面的需求.整理了一些在MySQL优化方面的实用技巧. Schema与数据类型优化 整数通常是标识列最好的选择,因为它们很快并且可以使用AUTO_INCREMENT 完全"随机"的字符串(如:MD5().SHA1()或者UUID()等产生的字符串)会任意分布在很大的空间内,会导致INSERT以及一些SELECT语句变的很慢 如果希望查询执行得快速且并发性好,单个查询最好不要做太多的关联查询(互联网公

  • MySQL性能突然下降的原因

    有时会碰到这样的情况,一条 SQL 在平时执行没问题,很快.但是突然某个时间执行的就会很慢,而且这种场景并不能复现,只能随机发送的. SQL 执行突然变慢的原因 在之前讲解 MySQL Redo log 时,说到了 WAL 机制,为了保证 MySQL 更新的速度,在进行更新操作时,先将更新内容写入 redo log,后续系统空闲时,再将 redo log 的内容应用到磁盘. 当内存数据页(redo log)和磁盘数据页内容不一致时,将该内存也称为 "脏页".将内存数据写入到磁盘后,数据

  • 19个MySQL性能优化要点解析

    以下就是跟大家分享的19个MySQL性能优化主要要点,一起学习学习. 1.为查询优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的.当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了. 这里最主要的问题是,对于程序员来说,这个事情是很容易被忽略的.因为,我们某些查询语句会让MySQL不使用缓存.请看下面的示例: // 查询缓存不开启 $r = mysq

  • MySQL性能优化之如何高效正确的使用索引

    实践是检验真理的唯一途径,本篇只是站在索引使用的全局来定位的,你只需要通读全篇并结合具体的例子,或回忆以往使用过的地方,对整体有个全面认识,并理解索引是如何工作的,就可以了.在后续使用索引,或者优化索引时,可以从这些方面出发,进一步来加深对索引正确高效的使用. 一.索引失效 索引失效,是一个老生常谈的话题了.只要提到数据库优化.使用索引,都能一口气说出一大堆索引失效的场景,什么不能用.什么不该用这类的话,在此,我就不再一一罗列啰嗦了. 索引失效,是指表中有字段创建了索引,由于sql语句书写不当导

  • MySQL性能优化的一些技巧帮助你的数据库

    你完成了你的品牌新的应用程序,一切工作就像一个魅力.用户来使用你的网络.每个人是幸福的. 然后,突然间,一个大爆发的用户杀死你的MySQL服务器,您的网站已关闭.出了什么问题?你怎么能阻止它吗? 以下是MySQL性能优化的一些技巧,将帮助你,帮助你的数据库. 大处着眼 在早期的发展阶段,你应该知道预期到您的应用程序的用户数.如果你希望很多用户来说,你应该想想大,从一开始,计划进行复制,可扩展性和性能. 但是,如果你优化你的SQL代码,架构和索引策略,也许你不会需要大环境.你必须总是三思而后行的性

  • php导入大量数据到mysql性能优化技巧

    本文实例讲述了php导入大量数据到mysql性能优化技巧.分享给大家供大家参考.具体分析如下: 在mysql中我们结合php把一些文件导入到mysql中,这里就来分享一下我对15000条记录进行导入时分析与优化,需要的朋友可以参考一下. 之前有几篇文章,说了最近tiandi在帮朋友做一个小项目,用于统计电话号码的,每次按需求从数据库里随机生成打包的电话号码,然后不停地让人打这些电话号码推销产品(小小鄙视一下这样的行为).但是朋友要求帮忙,咱也不能不帮啊,是吧.程序两个星期前已经做好,测试完毕交工

  • MySQL性能参数详解之Skip-External-Locking参数介绍

    MySQL的配置文件my.cnf中默认存在一行skip-external-locking的参数,即"跳过外部锁定".根据MySQL开发网站的官方解释,External-locking用于多进程条件下为MyISAM数据表进行锁定. 如果你有多台服务器使用同一个数据库目录(不建议),那么每台服务器都必须开启external locking:   参数解释 当外部锁定(external-locking)起作用时,每个进程若要访问数据表,则必须等待之前的进程完成操作并解除锁定.由于服务器访问数

  • MySQL查询优化之查询慢原因和解决技巧

    在做开发的朋友特别是和mysql有接触的朋友会碰到有时mysql查询很慢,当然我指的是大数据量百万千万级了,不是几十条了, 下面我们来看看解决查询慢的办法 会经常发现开发人员查一下没用索引的语句或者没有limit n的语句,这些没语句会对数据库造成很大的影响,例如一个几千万条记录的大表要全部扫描,或者是不停的做filesort,对数据库和服务器造成io影响等.这是镜像库上面的情况. 而到了线上库,除了出现没有索引的语句,没有用limit的语句,还多了一个情况,mysql连接数过多的问题.说到这里

  • MySQL 查询速度慢的原因

    谈到MySQL性能优化,查询优化作为优化的源头,它也是最能体现一个系统是否更快.本章以及接下来的几章将会着重讲解关于查询性能优化的内容,从中会介绍一些查询优化的技巧,帮助大家更深刻地理解MySQL如何真正地执行查询.究竟慢在哪里.如何让其快起来,并明白高效和低效的原因何在,这样更有助于你更好的来优化查询SQL语句. 本章从"为什么查询速度这么慢"开始谈起,让你能够清楚的知道查询可能会慢在哪些环节,这样将有助于你更好的优化查询,做到心中有数,高人一筹. 一.慢在哪? **真正衡量查询速度

  • MySQL性能优化之路---修改配置文件my.cnf

    在Apache, PHP, MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分.对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数. 下面我们了解一下MySQL优化的一些基础,MySQL的优化我分为两个部分,一是服务器物理硬件的优化,二是MySQL自身(my.cnf)的优化. 一.服务

  • MySQL性能分析及explain的使用说明

    1.使用explain语句去查看分析结果 如explain select * from test1 where id=1;会出现:id selecttype table type possible_keys key key_len ref rows extra各列. 其中, type=const表示通过索引一次就找到了: key=primary的话,表示使用了主键: type=all,表示为全表扫描: key=null表示没用到索引.type=ref,因为这时认为是多个匹配行,在联合查询中,一般

随机推荐