MySQL 索引和数据表该如何维护

查找和修复数据表冲突

数据表最糟糕的事情就是发生冲突。使用MyISAM存储引擎时,通常因为崩溃导致冲突。然而,当存在硬件故障、MySQL内部Bug或操作系统Bug时,所有的存储引擎都可能遭受索引冲突。

冲突的索引可能导致查询返回错误的结果,在没有重复值时的重复索引错误增加,甚至可能导致全表扫描或崩溃。如果你遇到过偶发的事件,例如一个你认为不会发生的错误,这个时候运行CHECK TABLE命令去检测数据表是否有冲突(注意有些数据库引擎不支持这个命令,有些则支持多种选项参数去指定如何检测表)。通常,CHECK TABLE命令会捕获大部分的数据表和索引错误。

你可以通过REPAIR TABLE命令修复数据表错误,但是也不是全部存储引擎都支持这个命令。这个时候你需要执行一个“没有操作”的ALTER语句,例如将一个数据表的引擎修改为和当前的引擎一样,例如可以对InnoDB的数据表执行下面的语句:

ALTER TABLE innodb_tb1 ENGINE=INNODB;

相应地,你也可以使用一个存储引擎指定的离线修复工具,例如myisamchk,或者导出数据再重新导入。然而,如果冲突发生在系统区,或者在数据表的数据行区域,而不是索引的话,你可能无法使用这些办法。这种情况下,你可能需要从你的备份中恢复数据或从冲突的文件中恢复数据。

如果你在InnoDB中也遇到了冲突,这会是极其严重的错误,你需要使用正确的方法去分析问题。InnoDB通常不会发生冲突。它的设计对冲突处理很健壮。冲突会是硬件故障(如内存区错误或磁盘错误),DBA的操作错误(如在MySQL环境外操作了数据库文件)或InnoDB自身的Bug (这种概率很低)的表现。通常的一个原因类似视图使用rsync工具创建备份的错误。这时没有可执行的查询——由于这会引起InnoDB的数据冲突,而你认为这会避免。如果你通过一个有问题的查询引起了InnoDB的数据冲突,那这并不是你的错误,这是InnoDB的Bug。

如果真的遇到了数据冲突,最重要的事情是搞清楚引起冲突的原因,在这之前不要简单地修复数据,也许这个冲突会自动消失。你可以通过innodb_force_recovery参数将InnoDB修改为强制恢复模式来修复数据(可以查阅MySQL的操作手册)。你也可以使用开源的Percona InnoDB数据恢复工具(www.percona.com/software/my…)从损坏的数据文件中提取数据。

更新索引统计

MySQL查询优化器在决定如何使用索引前,会调用两个API获取索引值的分布。第一个是records_in_range方法,该方法接收一个范围参数,然后返回该范围的结果数量。对于MyISAM引擎来说返回结果是准确的,但是对于InnoDB来说是估计值。

第二个API是info方法,该方法返回多种类型的数据,包括索引候选者(即每个索引对应的记录数量估计值)。

当存储引擎给查询优化器提供不太准确的数据行数信息,或查询计划过于复杂而无法估计准确的行数时,优化器使用索引统计去估计数据行数。MySQL优化器是基于查询代价做出决策的,最主要的代价准则就是这次查询会查找的数据量。如果索引统计从来没有生成,或者是过期了,优化器可能会做出错误的决定。解决的方案是运行ANALYZE TABLE命令,该命令会重建索引统计。

每个存储引擎实现索引统计的方式不同,因此你运行ANALUZE TABLE命令的频率也会不同,运行该命令的代价也不同,典型的存储引擎对索引统计处理方式如下:

  • Memory引擎不存储索引统计。
  • MyISAM在磁盘存储索引统计,并且ANALYZE TABLE在计算候选数据行的时候使用全索引扫描。整个表在这个过程中会被锁定。
  • InnoDB在MySQL 5.5版本中不在磁盘存储索引统计,而是通过随机的索引采样实现并且将结果存在内存中。

可以通过SHOW INDEX FROM命令检查索引的候选者。例如:

这个命令给了很多索引相关的信息,可以查阅MySQL的手册了解具体细节。这里需要特别关注的是Cardinality列。该列展示了存储引擎估计的索引对应了多少个不同的值。在MySQL 5.0及更新的版本中,也可以通过INFORMATION_SCHEMA.STATISTICS表中获取这些信息,这十分方便。例如,你可以根据INFORMATION_SCHEMA查询去找到那些低筛选性的索引。但是注意,对于数据量庞大的服务器,这些中间表可能会导致服务器的负荷大量增加。

InnoDB的统计值得深入研究。统计的结果是通过索引数据页的随机采样计算得到的,这是假设剩余未被采样到的数据也是类似的分布。在旧的InnoDB版本中,这个采样的页数是8,但最新版本的可以通过innodb_stats_sample_pages变量调整。将这个值设置为大于8有助于生成更具代表性的索引统计,尤其是对于大的数据表,但所需要花的代价也会不同。

InnoDB在数据表第一次打开,运行ANALUZE TABLE和数据表存储大小显著改变时(1/16的变化量或20亿行的插入)会计算索引统计。

INFORMATION_SCHEMA表的某些查询,运行SHOW TABLE STATUS,执行SHOW INDEX查询或MySQL命令行客户端启用了自动完成设置,InnoDB也会计算索引统计。这实际会对大数据量,或I/O速度很慢的服务器造成严重的问题。客户端程序或监控工具导致发生重新采样会导致很多锁和加重服务器负担,也会影响终端用户的启动时间。由于SHOW INDEX命令会更新索引统计,而如果你不更改的话你无法观测到索引统计。你可以通过禁用innodb_stats_on_metadata(默认是关闭的)选项去避免这些问题。下面的命令可以查出InnoDB索引统计相关的系统变量。

SHOW GLOBAL VARIABLES WHERE Variable_name like 'innodb_stats%'

如果使用的是包含了替换InnoDB的Percona XtraDB存储引擎的Percona服务器,你可以做进一步的配置。innodb_stats_auto_update选项可以让你禁止自动采样,可以有效冻结自动统计计算,除非你手动运行ANALYZE TABLE。这可以让你摆脱不稳定的查询。这个特性是基于那些大型部署系统客户的要求添加的。

为追求更高的查询计划稳定性和更快的系统启动速度,你可以使用系统级的数据表存储索引统计。这种方式在系统重启或InnoDB第一次启动打开数据表时不需要重新计算索引统计。这个特性在Percona 5.1版本已经得到支持,并且在标准的MySQL 5.6版本已经得到支持。Percona服务器这个特性是通过innodb_use_sys_stats_table选项启用的。在MySQL 5.6版本后,是通过innodb_stats_persistent选项控制的,默认是ON。同时,还有一个变量控制单表的,innodb_stats_auto_recalc变量默认为ON,会在数据表变化量超过10%时重新统计该表的索引统计(手册可以参考:dev.mysql.com/doc/refman/…)。

如果你没有配置自动更新索引统计,你需要定期使用ANALYZE TABLE命令来更新索引统计,除非你知道不更新不会导致糟糕的查询计划。

以上就是MySQL 索引和数据表该如何维护的详细内容,更多关于MySQL 索引和数据表维护的资料请关注我们其它相关文章!

(0)

相关推荐

  • MySQL索引类型总结和使用技巧以及注意事项

    在数据库表中,对字段建立索引可以大大提高查询速度.假如我们创建了一个 mytable表: 复制代码 代码如下: CREATE TABLE mytable(   ID INT NOT NULL,    username VARCHAR(16) NOT NULL  ); 我们随机向里面插入了10000条记录,其中有一条:5555, admin. 在查找username="admin"的记录 SELECT * FROM mytable WHERE username='admin';时,如果在

  • mysql性能优化之索引优化

    作为免费又高效的数据库,mysql基本是首选.良好的安全连接,自带查询解析.sql语句优化,使用读写锁(细化到行).事物隔离和多版本并发控制提高并发,完备的事务日志记录,强大的存储引擎提供高效查询(表记录可达百万级),如果是InnoDB,还可在崩溃后进行完整的恢复,优点非常多.即使有这么多优点,仍依赖人去做点优化,看书后写个总结巩固下,有错请指正. 完整的mysql优化需要很深的功底,大公司甚至有专门写mysql内核的,sql优化攻城狮,mysql服务器的优化,各种参数常量设定,查询语句优化,主

  • mysql 添加索引 mysql 如何创建索引

    1.添加PRIMARY KEY(主键索引) mysql>ALTER TABLE `table_name` ADD PRIMARY KEY ( `column` ) 2.添加UNIQUE(唯一索引) mysql>ALTER TABLE `table_name` ADD UNIQUE ( `column` ) 3.添加INDEX(普通索引) mysql>ALTER TABLE `table_name` ADD INDEX index_name ( `column` ) 4.添加FULLTEX

  • MySQL 创建索引(Create Index)的方法和语法结构及例子

    CREATE INDEX Syntax CREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name [index_type] ON tbl_name (index_col_name,...) [index_type] index_col_name: col_name [(length)] [ASC | DESC] index_type: USING {BTREE | HASH | RTREE} 复制代码 代码如下: -- 创建无索引的表格 create t

  • MySQL查询冗余索引和未使用过的索引操作

    MySQL5.7及以上版本提供直接查询冗余索引.重复索引和未使用过索引的视图,直接查询即可. 查询冗余索引.重复索引 select * sys.from schema_redundant_indexes; 查询未使用过的索引 select * from sys.schema_unused_indexes; 如果想在5.6和5.5版本使用,将视图转换成SQL语句查询即可 查询冗余索引.重复索引 select a.`table_schema`,a.`table_name`,a.`index_name

  • MySQL 主键与索引的联系与区别分析

    关系数据库依赖于主键,它是数据库物理模式的基石.主键在物理层面上只有两个用途: 惟一地标识一行. 作为一个可以被外键有效引用的对象. 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分),它们包含着对数据表里所有记录的引用指针.下面是主键和索引的一些区别与联系. 1. 主键一定是唯一性索引,唯一性索引并不一定就是主键. 所谓主键就是能够唯一标识表中某一行的属性或属性组,一个表只能有一个主键,但可以有多个候选索引.因为主键可以唯一标识某一行记录,所以可以确保执行数据更新.删除的

  • MySQL 普通索引和唯一索引的区别详解

    1 概念区分 普通索引和唯一索引 普通索引可重复,唯一索引和主键一样不能重复. 唯一索引可作为数据的一个合法验证手段,例如学生表的身份证号码字段,我们人为规定该字段不得重复,那么就使用唯一索引.(一般设置学号字段为主键) 主键和唯一索引 主键保证数据库里面的每一行都是唯一的,比如身份证,学号等,在表中要求唯一,不重复.唯一索引的作用跟主键的作用一样. 不同的是,在一张表里面只能有一个主键,主键不能为空,唯一索引可以有多个,唯一索引可以有一条记录为空,即保证跟别人不一样就行. 比如学生表,在学校里

  • MySQL如何构建数据表索引

    理解索引概念最简单的方式是通过一个案例来进行,以下就是这样的一个案例. 假设我们需要设计一个在线的约会网站,这个网站的用户资料有许多列,例如国籍.省份.城市.性别.年龄.眼睛颜色等等.这个网站必须支持通过多种组合方式搜索用户资料.同时,也需要支持支持排序和根据用户最近在线时间和其他用户的评价返回有限的结果等等.对于这种复杂场景我们如何设计索引? 有点奇怪,首先要做的事情是要决定我们是否必须使用索引排序,或者检索后再排序是否能够接受.索引排序限制了索引和查询构建的方式.例如,在WHERE age

  • 浅谈Mysql哪些字段适合建立索引

    1 数据库建立索引常用的规则如下: 1.表的主键.外键必须有索引: 2.数据量超过300的表应该有索引: 3.经常与其他表进行连接的表,在连接字段上应该建立索引: 4.经常出现在Where子句中的字段,特别是大表的字段,应该建立索引: 5.索引应该建在选择性高的字段上: 6.索引应该建在小字段上,对于大的文本字段甚至超长字段,不要建索引: 7.复合索引的建立需要进行仔细分析:尽量考虑用单字段索引代替: A.正确选择复合索引中的主列字段,一般是选择性较好的字段: B .复合索引的几个字段是否经常同

  • MySQL复合索引的深入探究

    复合索引(又称为联合索引),是在多个列上创建的索引.创建复合索引最重要的是列顺序的选择,这关系到索引能否使用上,或者影响多少个谓词条件能使用上索引.复合索引的使用遵循最左匹配原则,只有索引左边的列匹配到,后面的列才能继续匹配.本文主要探究复合索引的创建顺序与使用情况. (一)复合索引的概念 在单个列上创建的索引我们称为单列索引,在2个以上的列上创建的索引称为复合索引.在单个列上创建索引相对简单,通常只需要考虑列的选择率即可,选择性越好,代表数据越分散,创建出来的索引性能也就更好.通常,某列选择率

  • MySQL创建索引需要了解的

    前言: 在 MySQL 中,基本上每个表都会有索引,有时候也需要根据不同的业务场景添加不同的索引.索引的建立对于数据库高效运行是很重要的,本篇文章将介绍下创建索引相关知识及注意事项. 1.创建索引方法 创建索引可以在建表时指定,也可以建表后使用 alter table 或 create index 语句创建索引.下面展示下几种常见的创建索引场景. # 建表时指定索引 CREATE TABLE `t_index` (   `increment_id` int(11) NOT NULL AUTO_I

  • MySQL创建高性能索引的全步骤

    一.索引基础 1. 索引的类型 1.1 B-Tree 索引 大多数MySQL存储引擎默认使用的是B+树的索引,不同的存储引擎用不同的方式使用B+树索引,MyISAM使用前缀压缩技术使得索引更小,但是InnoDB则按照元数据格式进行存储:MyISAM索引通过数据的物理位置引用被索引的行,而InnoDB则根据主键引用被索引的行. B树 和 B+ 树 B树: B+树: 区别: B树的关键字和记录是放在一起的,叶子节点可以看作外部节点,不包含任何信息:B+树的非叶子节点中只有关键字和指向下一个节点的索引

  • MySQL索引知识的一些小妙招总结

    一.索引基本知识 1.1 索引的优点 大大减少了服务器需要扫描的数据量,加快数据库的检索速度 帮助服务器避免排序和临时表 将随机io变成顺序io 1.2 索引的用处 速查找匹配WHERE子句的行 从consideration中消除行,如果可以在多个索引之间进行选择,mysql通常会使用找到最少行的索引 如果表具有多列索引,则优化器可以使用索引的任何最左前缀来查找行 当有表连接的时候,从其他表检索行数据 查找特定索引列的min或max值 如果排序或分组时在可用索引的最左前缀上完成的,则对表进行排序

随机推荐