MySQL如何优化索引

1.  MySQL如何使用索引

索引用于快速查找具有特定列值的行。如果没有索引,MySQL必须从第一行开始,然后遍历整个表以找到相关的行。表越大,花费越多。如果表中有相关列的索引,MySQL可以快速确定要在数据文件中间查找的位置,而不必查看所有数据。这比顺序读取每一行要快得多。

大多数MySQL索引(PRIMARY KEY,UNIQUE,INDEX和FULLTEXT)存储在B树(B-tree)中。例外情况:空间数据类型的索引使用R树; MEMORY表还支持哈希索引。 InnoDB对FULLTEXT索引使用倒排列表。

MySQL使用索引进行以下操作:

  • 快速查找与WHERE子句匹配的行
  • 如果可以在多个索引之间进行选择,则MySQL通常会使用查找最小行数(最具选择性的索引)的索引
  • 有多列索引(也叫“复合索引”或者“联合索引”),那么优化器可以使用索引的任何最左前缀来查找行。 例如,如果在(col1,col2,col3)上有一个三列索引,则在(col1),(col1,col2)和(col1,col2,col3)上都有索引搜索功能。
  • 使用关联(join)查询从其他表中检索行时,如果声明相同的类型和大小,MySQL可以更有效地在列上使用索引。在这种情况下,如果将VARCHAR和CHAR声明为相同的大小,则认为它们相同。例如,VARCHAR(10)和CHAR(10)的大小相同,但VARCHAR(10)和CHAR(15)的大小不同。
  • 对于非二进制字符串列之间的比较,两个列应使用相同的字符集
  • 如果排序或分组是在可用索引的最左前缀(例如,ORDER BY key_part1,key_part2)上完成的,则对表进行排序或分组。如果在所有key部分后面都跟随有DESC,则将以相反的顺序读取key。
  • 在某些情况下,MySQL可以使用索引来满足ORDER BY子句,并避免执行文件排序操作时涉及的额外排序。
  • 在某些情况下,可以优化查询以检索值而无需查询数据行。(为查询提供所有必要结果的索引称为覆盖索引)如果查询仅从表中使用某些索引中包含的列,则可以从索引树中检索所选值以提高速度

最后,索引对小表的查询不太重要。当查询需要访问大多数行时,顺序读取比处理索引快。

2.  避免全表扫描

当MySQL使用全表扫描来解析查询时,EXPLAIN的输出在type列中显示ALL。 这通常在以下情况下发生:

  • 表太小,以至于执行全表扫描要比索引查找要快得多。对于少于10行且行长度较短的表,这是很常见的。
  • 在ON或WHERE字句中没有使用索引列。
  • 将索引列与常量值进行比较,而MySQL已计算(基于索引树)常量覆盖了表的很大一部分并且表扫描会更快。
  • 你正在通过另一列使用基数低的键(许多行与键值匹配)。在这种情况下,MySQL假定通过使用该键,它有可能执行许多键查找,并且表扫描会更快。

对于小表,表扫描通常是合适的,并且对性能的影响可以忽略不计。

对于大表,可以尝试以下技术,以避免优化器错误地选择表扫描:

  • 用ANALYZE TABLE tbl_name来更新key的分布
  • 使用FORCE INDEX来告诉MySQL相比于使用给定的索引来说,表扫描是非常昂贵的

3.  列索引

B树(B-tree)数据结构使索引可以在WHERE子句中快速找到与运算符(例如=,>,≤,BETWEEN,IN等)相对应的特定值,一组值或一系列值。

每个存储引擎都会定义每个表的最大索引数和最大索引长度。所有存储引擎支持每个表至少16个索引,并且索引总长度至少为256个字节。

索引前缀

用col_name(N)可以创建仅使用列的前N个字符的索引。在InnoDB表中,前缀最长767字节。

全文索引

FULLTEXT索引用于全文搜索。仅InnoDB和MyISAM存储引擎支持FULLTEXT索引,并且仅支持CHAR,VARCHAR和TEXT列。索引始终在整个列上进行,并且不支持列前缀索引。

空间索引

指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的顺序排列的一种数据结构

MEMORY存储引擎上的索引

默认情况下,MEMORY存储引擎使用HASH索引,但也支持BTREE索引。

4.  多列索引

MySQL可以创建复合索引(即多列上的索引)。 一个索引最多可以包含16列。

假设有一张表示这样定义的:

CREATE TABLE test (
  id     INT NOT NULL,
  last_name CHAR(30) NOT NULL,
  first_name CHAR(30) NOT NULL,
  PRIMARY KEY (id),
  INDEX idx_name (last_name,first_name)
);

idx_name索引是建立在last_name和first_name列之上的索引,该索引可以用于指定了last_name和first_name值组合的查询,也可以用于仅指定last_name值的查询,因为该索引是最左前缀匹配的。

因此,idx_name索引可以用于下列查询:

SELECT * FROM test WHERE last_name='Jones';

SELECT * FROM test WHERE last_name='Jones' AND first_name='John';

SELECT * FROM test WHERE last_name='Jones' AND (first_name='John' OR first_name='Jon');

SELECT * FROM test WHERE last_name='Jones' AND first_name >='M' AND first_name < 'N';

然而,idx_name索引不能用于下列查询:

SELECT * FROM test WHERE first_name='John';

SELECT * FROM test WHERE last_name='Jones' OR first_name='John';

考虑下面的SQL:

SELECT * FROM tbl_name WHERE col1=val1 AND col2=val2;

如果在col1和col2上存在一个多列索引,那么可以直接抓取适当的行。如果col1和col2上分别存在单独的单列索引,则优化器将尝试使用索引合并优化,或者通过确定哪个索引需要排除更多行来查找限制性最强的索引,并使用该索引来获取行。

如果表具有多列索引,那么优化器可以使用该索引的任何最左前缀来查找行。例如,如果有一个三列索引(col1, col2, col3),那么在(col1), (col1, col2), (col1, col2, col3) 上具有索引搜索功能。

如果列不构成索引的最左前缀,则MySQL无法使用索引执行查找。

再看下面的SQL语句:

SELECT * FROM tbl_name WHERE col1=val1;
SELECT * FROM tbl_name WHERE col1=val1 AND col2=val2;

SELECT * FROM tbl_name WHERE col2=val2;
SELECT * FROM tbl_name WHERE col2=val2 AND col3=val3;

如果在(col1, col2, col3)上存在复合索引,那么只有前两个查询会使用。而后最后两个查询不会使用索引来执行查找,因为(col2)和(col2,col3)并不是(col1,col2,col3)的最左前缀。

5.  B-Tree 和 Hash 索引的比较

B树索引特征

B树(B-tree)索引可用于使用=,>,>=,<,<=,BETWEEN运算符的表达式中的列比较。如果LIKE的参数是一个不以通配符开头的常量字符串,则该索引也可以用于LIKE比较。

下列这些子句不会使用索引:

/* the LIKE value begins with a wildcard character */
SELECT * FROM tbl_name WHERE key_col LIKE '%Patrick%';
/* the LIKE value is not a constant */
SELECT * FROM tbl_name WHERE key_col LIKE other_col;

没有覆盖WHERE子句中所有AND级别的任何索引都不会用于优化查询。换句话说,为了能够使用索引,必须在每个AND组中使用索引的前缀。

下列WHERE子句会使用索引:

... WHERE index_part1=1 AND index_part2=2 AND other_column=3

  /* index = 1 OR index = 2 */
... WHERE index=1 OR A=10 AND index=2

  /* optimized like "index_part1='hello'" */
... WHERE index_part1='hello' AND index_part3=5

  /* Can use index on index1 but not on index2 or index3 */
... WHERE index1=1 AND index2=2 OR index1=3 AND index3=3;

下面这些WHERE子句不会使用索引:

/* index_part1 is not used */
... WHERE index_part2=1 AND index_part3=2

  /* Index is not used in both parts of the WHERE clause */
... WHERE index=1 OR A=10

  /* No index spans all rows */
... WHERE index_part1=1 OR index_part2=10

有时,即使有可用的索引,MySQL也不使用索引。发生这种情况的一种可能原因是,优化器估计使用索引将需要访问表中很大比例的行。(在这种情况下,表扫描可能会更快,因为它需要更少的查找。)但是,如果这样的查询使用LIMIT只检索某些行,则MySQL仍然使用索引,因为它可以更快地找到返回结果的几行。

哈希索引特征

哈希索引与刚刚讨论的索引具有一些不同的特征:

  • 哈希索引只用于=或者<=>运算符的相等比较(但非常快),不用于比较运算符来查找值的范围。依赖于这种单值查找的系统被称为“键值对存储”,为了将MySQL用于此类应用,请尽可能地使用哈希索引。
  • 优化器无法使用哈希索引来加快 ORDER BY 操作。(哈希类型的索引不能用于按顺序搜索下一个条目)
  • MySQL无法确定两个值之间大约有多少行(范围优化器使用它来决定使用哪个索引)
  • 只有整个keys可用于搜索行。(对于B树索引,key的任何最左边的前缀都可用于查找行)

B-tree

树型数据结构,广泛用于数据库索引中。该结构始终保持有序,从而可以快速查找精确匹配(等于运算符)和范围(例如,大于,小于和BETWEEN运算符)。 此类索引可用于大多数存储引擎,例如InnoDB和MyISAM。

因为B树节点可以有很多子节点,所以B树与二叉树不同,后者的每个节点最多只能有2个子节点。

术语B树的使用旨在参考索引设计的一般类别。由于经典B树设计中不存在复杂性,MySQL存储引擎使用的B树结构可能被视为变体。

Hash index

一种索引类型,专用于使用相等运算符而不是范围运算符的查询。 它可用于MEMORY表。 尽管出于历史原因,哈希索引是MEMORY表的默认索引,但是该存储引擎还支持B树索引,对于一般用途的查询而言,B树索引通常是更好的选择。

6.  优化数据大小

设计表以使得它们在磁盘上占用最少的空间。 通过减少写入磁盘和从磁盘读取的数据量,这可以带来巨大的改进。 较小的表通常在查询执行期间处理其内容时需要较少的主内存。表数据的任何空间减少都会导致索引变小,从而可以更快地处理索引。

MySQL支持许多不同的存储引擎(表类型)和行格式。对于每个表,可以决定使用哪种存储和索引方法。为应用程序选择适当的表格式可以大大提高性能。

Table Columns

  • 尽可能使用最有效(最小)的数据类型。MySQL具有许多专门的类型,可以节省磁盘空间和内存。例如,如果可能,使用较小的整数类型以获得较小的表。MEDIUMINT通常比INT更好,因为MEDIUMINT列使用的空间要少25%。
  • 如果可能,将列声明为NOT NULL。通过更好地使用索引并消除测试每个值是否为NULL的开销,它可以使SQL操作更快。而且还节省了一些存储空间,每列一比特。如果表中确实需要NULL值,那就用它们。只要避免使用默认设置,该默认设置允许每列中都为NULL值。

Row Format

为了通过压缩形式存储表数据来进一步减少空间,请在创建InnoDB表时指定ROW_FORMAT=COMPRESSED

Indexes

  • 表的主键索引应尽可能短。这使得识别每一行变得容易而高效。对于InnoDB表,主键列在每个辅助索引条目中都是重复的,因此如果你有许多辅助索引,则较短的主键可节省大量空间。
  • 仅创建需要提高查询性能的索引。索引很适合检索,但是会降低插入和更新操作的速度。如果你主要通过搜索列的组合来访问表,请在表上创建单个组合索引,而不是为每个列创建单独的索引。索引的第一部分应该是最常用的列。如果从表中查询时总是使用许多列,则索引中的第一列应是重复次数最多的列,以便更好地压缩索引。
  • 如果是一个长字符串列,则很可能在第一个字符上具有唯一的前缀,这种情况下最好使用MySQL前缀进行索引(PS:只对前几个字符进行索引)。索引越短越快,这不仅是因为它们需要较少的磁盘空间,而且还因为它们还会使索引缓存中的命中次数增加,从而减少磁盘寻道次数。

Joins

在具有相同数据类型的不同表中声明具有相同信息的列,以加快基于相应列的联接。
保持列名简单,以便可以在不同的表中使用相同的名称,并简化联接查询。例如,在名为customer的表中,使用name列名代替customer_name。为了使你的名称可移植到其他SQL服务器中,请考虑将名称长度控制在18个字符以内。

Normalization

通常,尽量保持所有数据不冗余(数据库理论中称为第三范式)。为它们分配唯一的id来代替一个重复冗长的值,根据需要在多个较小的表中重复这些id,并通过在join子句中引用id来连接查询中的表。

7.  优化数据类型

数值类型

行的唯一标识最好使用数值而不是字符串,因为大数值比相应的字符串占用更少的存储字节,因此传输和比较它们更快,占用的内存也更少。

字符和字符串类型

  • 在比较来自不同列的值时,尽可能使用相同的字符集和排序规则声明这些列,以避免在运行查询时进行字符串转换。
  • 对于小于8KB的列值,请使用二进制VARCHAR而不是BLOB。 GROUP BY和ORDER BY子句可以生成临时表,并且如果原始表不包含任何BLOB列,则这些临时表可以使用MEMORY存储引擎。
  • 如果一个表包含名称和地址等字符串列,但是许多查询没有检索这些列,那么可以考虑将字符串列分割成单独的表,并在必要时使用带有外键的连接查询。当MySQL从一行中检索任何值时,它读取包含该行所有列(可能还有其他相邻行)的数据块。保持每行较小,只包含最常用的列,可以让每个数据块容纳更多的行。这种紧凑的表减少了常见查询的磁盘I/O和内存使用。
  • 当在InnoDB表中使用一个随机生成的值作为主键时,最好在它前面加上一个升序值,比如当前日期和时间(如果可能的话)。当连续的主键值物理上彼此相邻存储时,InnoDB可以更快地插入和检索它们。

其它

  • ORDER BY 和 GROUP BY 使用的列不一致,或者 在连接查询中ORDER BY 或 GROUP BY 使用了第一个表以外的表的列时会使用临时表
  • MySQL对每个表有4096列的硬限制,但是对于给定的表,有效最大值可能会更少。 InnoDB对每个表有1017列的限制。

以上就是MySQL如何优化索引的详细内容,更多关于MySQL优化索引的资料请关注我们其它相关文章!

(0)

相关推荐

  • MySql如何查看索引并实现优化

    mysql中支持hash和btree索引.innodb和myisam只支持btree索引,而memory和heap存储引擎可以支持hash和btree索引 我们可以通过下面语句查询当前索引使用情况: show status like '%Handler_read%'; +-----------------------+-------+ | Variable_name | Value | +-----------------------+-------+ | Handler_read_first

  • MySQL利用索引优化ORDER BY排序语句的方法

    创建表&创建索引 create table tbl1 ( id int unique, sname varchar(50), index tbl1_index_sname(sname desc) ); 在已有的表创建索引语法 create [unique|fulltext|spatial] index 索引名 on 表名(字段名 [长度] [asc|desc]); MySQL也能利用索引来快速地执行ORDER BY和GROUP BY语句的排序和分组操作. 通过索引优化来实现MySQL的ORDER

  • MySQL优化中B树索引知识点总结

    为什么要进行SQL优化呢?很显然,当我们去写sql语句时: 1会发现性能低 2.执行时间太长, 3.或等待时间太长 4.sql语句欠佳,以及我们索引失效 5.服务器参数设置不合理 SQL语句执行过程分析 1.编写过程: 编写过程就是我们平常写sql语句的过程,也可以理解为编写顺序,以下就是我们编写顺序: select from join on where 条件 group by 分组 having过滤组 order by排序 limit限制查询个数 我们虽然是这样去写的,但是它mysql的引擎去

  • 一篇文章掌握MySQL的索引查询优化技巧

    前言 本文的内容是总结一些MySQL的常见使用技巧,以供没有DBA的团队参考.如无特殊说明,存储引擎以InnoDB为准. MySQL的特点 了解MySQL的特点有助于更好的使用MySQL,MySQL和其它常见数据库最大的不同在于存在存储引擎这个概念,存储引擎负责存储和读取数据.不同的存储引擎具有不同的特点,用户可以根据业务的特点选择适合的存储引擎,甚至是开发一个新的引擎.MySQL的逻辑架构大致如下: MySQL默认的存储引擎是InnoDB,该存储引擎的主要特点是: 支持事务处理 支持行级锁 数

  • MySQL数据库优化之索引实现原理与用法分析

    本文实例讲述了MySQL数据库优化之索引实现原理与用法.分享给大家供大家参考,具体如下: 索引 什么是索引 索引用来快速地寻找那些具有特定值的记录,所有MySQL索引都以B-树的形式保存.如果没有索引,执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录,直至找到符合要求的记录.表里面的记录数量越多,这个操作的代价就越高.如果作为搜索条件的列上已经创建了索引,MySQL无需扫描任何记录即可迅速得到目标记录所在的位置.如果表有1000个记录,通过索引查找记录至少要比顺序扫描记录快100倍.

  • MySQL中or、in、union与索引优化详析

    本文缘起自<一分钟了解索引技巧>的作业题. 假设订单业务表结构为: order(oid, date, uid, status, money, time, -) 其中: oid,订单ID,主键 date,下单日期,有普通索引,管理后台经常按照date查询 uid,用户ID,有普通索引,用户查询自己订单 status,订单状态,有普通索引,管理后台经常按照status查询 money/time,订单金额/时间,被查询字段,无索引 - 假设订单有三种状态:0已下单,1已支付,2已完成 业务需求,查询

  • MySQL性能优化之如何高效正确的使用索引

    实践是检验真理的唯一途径,本篇只是站在索引使用的全局来定位的,你只需要通读全篇并结合具体的例子,或回忆以往使用过的地方,对整体有个全面认识,并理解索引是如何工作的,就可以了.在后续使用索引,或者优化索引时,可以从这些方面出发,进一步来加深对索引正确高效的使用. 一.索引失效 索引失效,是一个老生常谈的话题了.只要提到数据库优化.使用索引,都能一口气说出一大堆索引失效的场景,什么不能用.什么不该用这类的话,在此,我就不再一一罗列啰嗦了. 索引失效,是指表中有字段创建了索引,由于sql语句书写不当导

  • 分析Mysql表读写、索引等操作的sql语句效率优化问题

    上次我们说到mysql的一些sql查询方面的优化,包括查看explain执行计划,分析索引等等.今天我们分享一些 分析mysql表读写.索引等等操作的sql语句. 闲话不多说,直接上代码: 反映表的读写压力 SELECT file_name AS file, count_read, sum_number_of_bytes_read AS total_read, count_write, sum_number_of_bytes_write AS total_written, (sum_number

  • 浅谈MySQL的B树索引与索引优化小结

    MySQL的MyISAM.InnoDB引擎默认均使用B+树索引(查询时都显示为"BTREE"),本文讨论两个问题: 为什么MySQL等主流数据库选择B+树的索引结构? 如何基于索引结构,理解常见的MySQL索引优化思路? 为什么索引无法全部装入内存 索引结构的选择基于这样一个性质:大数据量时,索引无法全部装入内存. 为什么索引无法全部装入内存?假设使用树结构组织索引,简单估算一下: 假设单个索引节点12B,1000w个数据行,unique索引,则叶子节点共占约100MB,整棵树最多20

  • Mysql索引性能优化问题解决方案

    mysql 创建的优化就是加索引,可是有时候会遇到加索引都没法达到想要的效果的情况, 加上了所以,却还是搜索的全数据,原因是sql EXPLAIN SELECT cs.sid, -- c.courseFrontTitle, -- c.imgBig, cs.studyStatus, coi.fee, -- act.PROC_INST_ID_ AS processId, cs.createDTM, cs.payStatus, cs.isCompleted, cs.saleChannel, cs.is

  • MySQL如何基于Explain关键字优化索引功能

    explain显示了MySQL如何使用索引来处理select语句以及连接表.可以帮助选择更好的索引和写出更优化的查询语句.简单讲,它的作用就是分析查询性能. explain关键字的使用方法很简单,就是把它放在select查询语句的前面. mysql查看是否使用索引,简单的看type类型就可以.如果它是all,那说明这条查询语句遍历了所有的行,并没有使用到索引. 比如:explain select * from company_info where cname like '%小%' explain

  • 浅谈MySQL索引优化分析

    为什么你写的sql查询慢?为什么你建的索引常失效?通过本章内容,你将学会MySQL性能下降的原因,索引的简介,索引创建的原则,explain命令的使用,以及explain输出字段的意义.助你了解索引,分析索引,使用索引,从而写出更高性能的sql语句.还在等啥子?撸起袖子就是干! 案例分析 我们先简单了解一下非关系型数据库和关系型数据库的区别. MongoDB是NoSQL中的一种.NoSQL的全称是Not only SQL,非关系型数据库.它的特点是性能高,扩张性强,模式灵活,在高并发场景表现得尤

  • MySQL 函数索引的优化方案

    很多开发人员在使用MySQL时经常会在部分列上进行函数计算等,导致无法走索引,在数据量大的时候,查询效率低下.针对此种情况本文从MySQL5.7 及MySQL8.0中分别进行不同方式的优化. 1. MySQL5.7 MySQL5.7版本中不支持函数索引,因此 遇到函数索引的时候需要进行修改,否则即使查询的字段上有索引,执行时也无法使用索引而进行全表扫描,数据量大的表查询时间会比较长.具体案例如下: 1.1 创建测试表及数据 mysql> use testdb; Database changed

随机推荐