mysqldump造成Buffer Pool污染的研究

前言：

最近Oracle MySQL在其官方Blog上贴出了 5.6中一些变量默认值的修改。其中innodb_old_blocks_time 的默认值从0替换成了1000（即1s）

关于该参数的作用摘录如下：

how long in milliseconds (ms) a block inserted into the old sublist must stay there after its first access before it can be moved to the new sublist. Increasing this value protects against the buffer pool being filled up by data that is referenced only for a brief period, such as during a full table scan.

其实作用就是：减小单次的大批量数据查询（类似于mysqldump的行为）对于BufferPool（下称BP）的污染。

说到这里就不得不提一下BP的midpoint insert 机制。

下文就将对于这个机制做一定分析和讨论。



一、 Buffer Pool 的insert 机制

BP可以被认为是一条长链表。被分成young 和 old两个部分，其中old默认占37%的大小（由innodb_old_blocks_pct 配置）。靠近顶端的Page表示最近被放问。靠近尾端的Page表示长时间未被访问。而这两个部分的交汇处成为midpoint。每当有新的Page需要加载到BP时，该page都会被插入到midpoint的位置，并声明为old-page。当old部分的page，被访问到时，该page会被提升到链表的顶端，标识为young。

由于table scan的操作是先load page，然后立即触发一次访问。所以当innodb_old_blocks_time =0 时，会导致table scan所需要的page不读的作为young page被添加到链表顶端。而一些使用较为不频繁的page就会被挤出BP，使得之后的SQL会产生磁盘IO，从而导致响应速度变慢。这也就是标题中所提到的BP污染。

二、 修改innodb_old_blocks_time 的效果


percona之前也做过相关测试，其结论是time=0时，正常访问的吞吐量下降为10%；当time=1000时，吞吐量和没有备份时的性能一致。

是否真是如此呢，我们来亲自测试一下。

下面是测试结果：

其中concurrency代表sysbench中 --num-threads的数值。

OPT代表该环境下，没有mysqldump时的sysbench QPS。

余下两列分别代表有mysqldump时的sysbench QPS。





































































































Concurrency OPT old_time=0 old_time=1000
1 17394 1836 2141
2 29703 3670 3981
3 47347 5683 6540
4 64717 6805 8337
5 83551 8676 15885
6 99396 12978 19893
7 112330 16491 26022
8 126600 23840 33346
9 138468 30760 39194
10 150365 39034 48925
11 163053 43174 60352
12 174916 52066 70180
13 174160 63853 78076
14 173786 65164 80661
15 174268 70965 90633
16 175044 80871 102629
17 175583 90689 103423
18 175939 94805 112629
19 175114 93303 120625

由结果可以看出，time=1000并没有给查询性能带来很大的提升。最佳情况下也只是比time=0时提高80%的性能。

为什么呢？

其实不难理解，表中的concurrency很大程度上决定了测试page的冷热程度。并发数越大，每面产生的并行请求就越多，从而每个page被访问的频率就越高，page在LRU链表中的位置也就越靠顶端。反之亦然。

那么我们来想想下高频率热点数据访问时的情况。这时虽然mysqldump访问的page会不断加载在LRU顶端，但是高频度的热点数据访问会以更快的速度把page再次抢占到LRU顶端。从而导致mysqldump加载入的page会被迅速刷下，并立即被evict（淘汰）。因此，time=0或1000对这种压力环境下的访问不会造成很大影响，因为dump的数据根本抢占不过热点数据。

同样，超低频率的数据访问也是一样的情况。由于数据访问频度很低，大量的page都处于LRU链表的尾端。所以无论dump的page被加载到head或是midpoint位置，都会在热点数据的前面。也就是说无论怎样，数据page都会被淘汰。所以，这种压力环境下的性能同样不会随着time值的配置变化有很大浮动。

真正能够享受到time带来的福利的是那些 处于midpoint边缘的不温不火的数据。

从下图也可以看出，性能提升最大的情况集中在中等访问量的情况下，也即 37%的位置上

三、 Mid Point位置带来的影响

从之前的分析也可以得出这样的结论：innodb_old_blocks_time 的作用范围对page的冷热情况有直接联系。而innodb_old_blocks_pct 又决定了BP的数据分布。

那么 innodb_old_blocks_pct 的调节，能够左右 innodb_old_blocks_time的影响范围。

上图的曲线也证明了这样的观点。当innodb_old_blocks_pct 调节到60%时，波峰也相应平移到了 60%的位置。

总结：
1. innodb_old_blocks_time =1000 一定程度上可以降低mysqldump类型的访问对数据库性能带来的影响。
2. innodb_old_blocks_time =1000 的优化效果有限，对于处于midpoint附近的page能带来最大的提升效果。

赞 (0)

相关推荐

  • php缓冲 output_buffering和ob_start使用介绍

    buffer buffer是一个内存地址空间,Linux系统默认大小一般为4096(4kb),即一个内存页.主要用于存储速度不同步的设备或者优先级不同的设备之间传办理数据的区域.通过buffer,可以使进程这间的相互等待变少.这里说一个通俗一点的例子,你打开文本编辑器编辑一个文件的时候,你每输入一个字符,操作系统并不会立即把这个字符直接写入到磁盘,而是先写入到buffer,当写满了一个buffer的时候,才会把buffer中的数据写入磁盘,当然当调用内核函数flush()的时候,强制要求把buf

  • PHP中的output_buffering详细介绍

    我个人认为,Output buffering是比较纯粹的4.0特征.尽管从概念上看来相当简单,但是output buffering功能非常强大,能使开发者更容易地开发高级而有效的程序. 本文将介绍HTTP header,以及output buffering如何帮助您处理HTTP header,并介绍了output buffering的一些高级用法. HTTP Header 对 于使用HTTP 协议建立的每个请求,Web服务器产生的响应通常包括两个部分 – 标题和主体.例如,如果在Web服务器的文

  • php中ob(Output Buffer 输出缓冲)函数使用方法

    来自:http://bbs.phome.net/ShowThread/?threadid=9247&forumid=2  在PHP编程中,  我们经常会遇到一些直接产生输出的函数,  如passthru(),readfile(),  var_dump()  等.  但有时我们想把这些函数的输出导入到文件中,或者先经过处理再输出,  或者把这些函数的输出作为字符串来处理.    这时我们就要用到  Output  Buffer(输出缓冲)  函数了. 处理输出缓冲的函数主要有这么几个:    ob

  • php中mysql操作buffer用法详解

    本文实例讲述了php中mysql操作buffer用法.分享给大家供大家参考.具体分析如下: php与mysql的连接有三种方式,mysql,mysqli,pdo.不管使用哪种方式进行连接,都有使用buffer和不使用buffer的区别. 什么叫使用buffer和不使用buffer呢? 客户端与mysql服务端进行查询操作,查询操作的时候如果获取的数据量比较大,那个这个查询结果放在哪里呢? 有两个地方可以放:客户端的缓冲区和服务端的缓冲区. 我们这里说的buffer指的是客户端的缓冲区,如果查询结

  • mysql Key_buffer_size参数的优化设置

    先来看看document对这个参数的解释: 缓存myisam表的索引块大小,可以被所有进程所共享.当设置key_buffer_size,操作系统不会马上分配key_buffer_size设置的值,而是在需要的时候,再分配的.可以设置多个key_buffer,当设置不是默认key_buffer为0时,mysql会把缓存的索引块移到默认的key_buffer中去并删除不再使用的索引块.Myisam表中只能cache索引块,不能cache数据块. 原本描述: Index blocks for MyIS

  • Mysql优化调优中两个重要参数table_cache和key_buffer

    本文根据作者的一点经验,讨论了Mysql服务器优化中两个非常重要的参数,分别是table_cache,key_buffer_size. table_cache指示表高速缓存的大小.当Mysql访问一个表时,如果在Mysql表缓冲区中还有空间,那么这个表就被打开并放入表缓冲区,这样做的好处是可以更快速地访问表中的内容.一般来说,可以通过查看数据库运行峰值时间的状态值Open_tables和Opened_tables,用以判断是否需要增加table_cache的值,即如果open_tables接近t

  • Php output buffering缓存及程序缓存深入解析

    Php output buffering缓存及程序缓存深入解析

    下面测试ob缓存和程序缓存:在测试前为了测试效果更明显,我们在php.ini里先关闭ob缓存并设置明显的错误级别.Output_buffering=offDisplay_errors=on代码1: 复制代码 代码如下: echo "php";header("content-type:text/html;charset='utf-8'");echo 'ok'; 则会出现phpWarning: Cannot modify header information - hea

  • mysqldump造成Buffer Pool污染的研究

    mysqldump造成Buffer Pool污染的研究

    前言: 最近Oracle MySQL在其官方Blog上贴出了 5.6中一些变量默认值的修改.其中innodb_old_blocks_time 的默认值从0替换成了1000(即1s) 关于该参数的作用摘录如下: how long in milliseconds (ms) a block inserted into the old sublist must stay there after its first access before it can be moved to the new subl

  • 详解MySQL中的缓冲池（buffer pool）

    详解MySQL中的缓冲池（buffer pool）

    Mysql 中数据是要落盘的,这点大家都知道.读写磁盘速度是很慢的,尤其和内存比起来更是没的说.但是,我们平时在执行 SQL 时,无论写操作还是读操作都能很快得到结果,并没有预想中的那么慢. 可能你会说我有索引啊,有索引当然快了.但是铁子,索引文件也是存储在磁盘上的,查找过程会产生磁盘 I/O.如果同时对某行数据进行多次操作,那岂不是要重复产生很多次磁盘 IO 吗? 可能你想到了,那我把数据存在内存里不就可以了吗?内存速度比磁盘快,这准没毛病.没错,那该怎么存呢? 这就是我们今天所要讲的主题--

  • mysql的Buffer Pool存储及原理

    mysql的Buffer Pool存储及原理

    一.前言 1.buffer pool是什么 咱们在使用mysql的时候,比如很简单的select * from table;这条语句,具体查询数据其实是在存储引擎中实现的,数据库中的数据实际上最终都是要存放在磁盘文件上的,如果每次查询都直接从磁盘里面查询,这样势必会很影响性能,所以一定是先把数据从磁盘中取出,然后放在内存中,下次查询直接从内存中来取.但是一台机器中往往不是只有mysql一个进程在运行的,很多个进程都需要使用内存,所以mysql中会有一个专门的内存区域来处理这些数据,这个专门为my

  • mysql的Buffer Pool存储及原理解析

    mysql的Buffer Pool存储及原理解析

    目录 一.前言 1.buffer pool是什么 2.buffer pool的工作流程 3.buffer pool缓冲池和查询缓存(query cache) 二.buffer pool的内存数据结构 1.数据页概念 2.那么怎么识别数据在哪个缓存页中 3.buffer pool的初始化与配置 3.1.初始化 3.2.buffer pool的配置 3.3.Buffer Pool Size 设置和生效过程 3.4.Buffer Pool Instances 3.5.SHOW ENGINE INNOD

  • 揭秘SQL Server 2014有哪些新特性(2)-固态硬盘 Buffer Pool（缓冲池） 扩展

    揭秘SQL Server 2014有哪些新特性(2)-固态硬盘 Buffer Pool（缓冲池） 扩展

    简介 SQL Server 2014中另一个非常好的功能是,可以将SSD虚拟成内存的一部分,来供SQL Server数据页缓冲区使用.通过使用SSD来扩展Buffer-Pool,可以使得大量随机的IOPS由SSD来承载,从而大量减少对于数据页的随机IOPS和PAGE-OUT. SSD AS Buffer Pool SSD是固态硬盘,不像传统的磁盘有磁头移动的部分,因此随机读写的IOPS远远大于传统的磁盘.将SSD作为Buffer Pool的延伸,就可以以非常低的成本巨量的扩充内存.而传统的模式是

  • MySQL的查询缓存和Buffer Pool

    一.Caches - 查询缓存 下图是MySQL官网给出的:MySQL架构体系图. 人们常说的查询缓存就是下图中的Cache部分. 如果将MySQL分成 Server层和存储引擎层两大部分,那么Caches位于Server层. 另外你还得知道: 当一个SQL打向MySQL Server之后,MySQL Server首选会从查询缓存中查看是否曾经执行过这个SQL,如果曾经执行过的话,之前执行的查询结果会以Key-Value的形式保存在查询缓存中.key是SQL语句,value是查询结果.我们将这个

  • MySQL中读页缓冲区buffer pool详解

    MySQL中读页缓冲区buffer pool详解

    目录 Buffer pool buffer pool组成 free链表 缓存页的哈希处理 flush链表的管理 LRU链表 刷新脏页 多个buffer pool实例 动态调整buffer pool大小 查看buffer pool具体的信息 Buffer pool 我们都知道我们读取页面是需要将其从磁盘中读到内存中,然后等待CPU对数据进行处理.我们直到从磁盘中读取数据到内存的过程是十分慢的,所以我们读取的页面需要将其缓存起来,所以MySQL有这个buffer pool对页面进行缓存. 首先MyS

  • MySQL中Buffer Pool内存结构详情

    MySQL中Buffer Pool内存结构详情

    目录 1.回顾一下Buffer Pool是个什么东西? 1.1 增删改直接操作的是内存还是磁盘? 1.2 数据库崩溃了,内存中数据丢了怎么办? 1.3 Buffer Pool的一句话总结 2.Buffer Pool这个内存数据结构到底长个什么样子? 2.1 如何配置MySQL的Buffer Pool的大小? 2.2 数据页 2.3 磁盘上的数据页和Buffer Pool中的数据页是如何对应起来的? 2.4 缓存页描述信息 1.回顾一下Buffer Pool是个什么东西? 1.1 增删改直接操作的

  • MySql InnoDB存储引擎之Buffer Pool运行原理讲解

    目录 1. 前言 2. Buffer Pool 2.1 Buffer Pool结构 2.2 Free链表 2.3 缓冲页哈希表 2.4 Flush链表 2.5 LRU链表 2.6 多个实例 2.7 Buffer Pool状态信息 3. 总结 1. 前言 我们已经知道,对于InnoDB存储引擎而言,页是磁盘和内存交互的基本单位.哪怕你要读取一条记录,InnoDB也会将整个索引页加载到内存.哪怕你只改了1个字节的数据,该索引页就是脏页了,整个索引页都要刷新到磁盘.InnoDB是基于磁盘的存储引擎,如

  • MySQL Buffer Pool如何提高页的访问速度

    目录 如何提高SQL执行速度? Buffer Pool的数据结构是怎样的? 改进后的链表是如何工作的? Buffer Pool的相关参数 参考博客 如何提高SQL执行速度? 当我们想更新某条数据的时候,难道是从磁盘中加载出来这条数据,更新后再持久化到磁盘中吗? 如果这样搞的话,那一条sql的执行过程可太慢了,因为对一个大磁盘文件的读写操作是要耗费几百万毫秒的 真实的执行过程是,当我们想更新或者读取某条数据的时候,会把对应的页加载到Buffer Pool缓冲池中(Buffer Pool本质上就是一

随机推荐