MySQL高级篇之索引的数据结构详解

目录
  • 1.为什么使用索引?
  • 2.索引的优缺点
  • 3.InnoDB中的索引
    • 3.1 设计索引
    • 3.2 常见索引概念
      • 3.2.1 聚簇索引
      • 3.2.2 非聚簇索引
      • 3.2.3 联合索引
  • 4.InnoDB与MyISAM的索引对比
  • 5.B-Tree和B+Tree的差异
  • 总结

1.为什么使用索引?

假如给数据使用 二叉树 这样的数据结构进行存储,如下图所示

2.索引的优缺点

MySQL 官方对索引的定义为: 索引(Index )是帮助 MySQL 高效获取数据的数据结构 。
索引的本质: 索引是数据结构。你可以简单理解为 “ 排好序的快速查找数据结构 ” ,满足特定查找算法。 这些数据结构以某种方式指向数据, 这样就可以在这些数据结构的基础上实现 高级查找算法 。
优点
(1 )类似大学图书馆建书目索引,提高数据检索的效率,降低 数据库的 IO 成本 ,这也是创建索引最主 要的原因。
( 2 )通过创建唯一索引,可以保证数据库表中每一行 数据的唯一性 。
( 3 )在实现数据的 参考完整性方面,可以 加速表和表之间的连接 。换句话说,对于有依赖关系的子表和父表联合查询时, 可以提高查询速度。
( 4 )在使用分组和排序子句进行数据查询时,可以显著 减少查询中分组和排序的时 间 ,降低了 CPU 的消耗。
缺点
( 1 )创建索引和维护索引要 耗费时间 ,并 且随着数据量的增加,所耗费的时间也会增加。
( 2 )索引需要占 磁盘空间 ,除了数据表占数据空间之 外,每一个索引还要占一定的物理空间, 存储在磁盘上 ,如果有大量的索引,索引文件就可能比数据文 件更快达到最大文件尺寸。
( 3 )虽然索引大大提高了查询速度,同时却会 降低更新表的速度 。当对表 中的数据进行增加、删除和修改的时候,索引也要动态地维护,这样就降低了数据的维护速度。
索引是个好东西,可不能乱建,它在空间和时间上都会有消耗:

空间上的代价 :每建立一个索引都要为它建立一棵 B+ 树,每一棵 B+ 树的每一个节点都是一个数据页,一个页默认会 占用 16KB 的存储空间,一棵很大的 B+ 树由许多数据页组成,那就是很大的一片存储空间。
时间上的代价: 每次对表中的数据进行 增、删、改 操作时,都需要去修改各个 B+ 树索引。而且我们讲过, B+ 树每 层节点都是按照索引列的值 从小到大的顺序排序 而组成了 双向链表 。不论是叶子节点中的记录,还 是内节点中的记录(也就是不论是用户记录还是目录项记录)都是按照索引列的值从小到大的顺序 而形成了一个单向链表。而增、删、改操作可能会对节点和记录的排序造成破坏,所以存储引擎需 要额外的时间进行一些 记录移位 , 页面分裂 、 页面回收 等操作来维护好节点和记录的排序。如果 我们建了许多索引,每个索引对应的 B+ 树都要进行相关的维护操作,会给性能拖后腿。

3.InnoDB中的索引

在没有索引的情况下,不论是根据主键列或者其他列的值进行查找,由于我们并不能快速的定位到记录所在的页,所以只能 从第一个页 沿着 双向链表 一直往下找,在每一个页中根据我们上面的查找方式去查 找指定的记录。因为要遍历所有的数据页,所以这种方式显然是 超级耗时 的。如果一个表有一亿条记录 呢?此时 索引 应运而生。

3.1 设计索引

先建一张表:

CREATE TABLE index_demo(
    c1 INT,
    c2 INT,
    c3 CHAR(1),
    PRIMARY KEY(c1)
) ROW_FORMAT = Compact;

这个新建的 index_demo 表中有 2 个 INT 类型的列, 1 个 CHAR(1) 类型的列,而且我们规定了 c1 列为主键,这个表使用 Compact 行格式来实际存储记录的。这里我们简化了 index_demo 表的行格式示意图:

我们只在示意图里展示记录的这几个部分:
record_type :记录头信息的一项属性,表示记录的类型, 0 表示普通记录、 2 表示最小记录、 3 表示最大记录、 1 暂时还没用过,下面讲。
next_record :记录头信息的一项属性,表示下一条地址相对于本条记录的地址偏移量,我们用 箭头来表明下一条记录是谁。
各个列的值 :这里只记录在 index_demo 表中的三个列,分别是 c1 、 c2 和 c3 。
其他信息 :除了上述 3 种信息以外的所有信息,包括其他隐藏列的值以及记录的额外信息。
把一些记录放到页里的示意图就是:

我们在根据某个搜索条件查找一些记录时为什么要遍历所有的数据页呢?因为各个页中的记录并没有规 律,我们并不知道我们的搜索条件匹配哪些页中的记录,所以不得不依次遍历所有的数据页。所以如果 我们 想快速的定位到需要查找的记录在哪些数据页 中该咋办?我们可以为快速定位记录所在的数据页而 建 立一个目录 ,建这个目录必须完成下边这些事:
下一个数据页中用户记录的主键值必须大于上一个页中用户记录的主键值。 给所有的页建立一个目录项。

以 页 28 为例,它对应 目录项 2 ,这个目录项中包含着该页的页号 28 以及该页中用户记录的最小主键值 5 。我们只需要把几个目录项在物理存储器上连续存储(比如:数组),就可以实现根据主键 值快速查找某条记录的功能了。比如:查找主键值为 20 的记录,具体查找过程分两步:
1. 先从目录项中根据 二分法 快速确定出主键值为 20 的记录在 目录项 3 中(因为 12 < 20 < 209 ),它对应的页是 页 9 。
2. 再根据前边说的在页中查找记录的方式去 页 9 中定位具体的记录。
至此,针对数据页做的简易目录就搞定了。这个目录有一个别名,称为 索引 。

迭代 1次:目录项纪录的页,我们把前边使用到的目录项放到数据页中的样子就是这样:

从图中可以看出来,我们新分配了一个编号为 30 的页来专门存储目录项记录。这里再次强调 目录项记录 和普通的 用户记录 的 不同点 :
目录项记录 的 record_type 值是 1 ,而 普通用户记录 的 record_type 值是 0 。
目录项记录只有 主键值和页的编号 两个列,而普通的用户记录的列是用户自己定义的,可能包含 很 多列 ,另外还有 InnoDB 自己添加的隐藏列。
了解:记录头信息里还有一个叫 min_rec_mask 的属性,只有在存储 目录项记录 的页中的主键值 最小的 目录项记录 的 min_rec_mask 值为 1 ,其他别的记录的 min_rec_mask 值都是 0 。
相同点: 两者用的是一样的数据页,都会为主键值生成 Page Directory (页目录),从而在按照主键值进行查找时可以使用 二分法 来加快查询速度。
现在以查找主键为 20 的记录为例,根据某个主键值去查找记录的步骤就可以大致拆分成下边两步:
1. 先到存储 目录项记录 的页,也就是页 30 中通过 二分法 快速定位到对应目录项,因为 12 < 20 < 209 ,所以定位到对应的记录所在的页就是页 9 。
2. 再到存储用户记录的页 9 中根据 二分法 快速定位到主键值为 20 的用户记录。

迭代 2 次:多个目录项纪录的页

从图中可以看出,我们插入了一条主键值为 320 的用户记录之后需要两个新的数据页:
为存储该用户记录而新生成了 页 31 。 因为原先存储目录项记录的 页 30 的容量已满 (我们前边假设只能存储 4 条目录项记录),所以不得 不需要一个新的 页 32 来存放 页 31 对应的目录项。
现在因为存储目录项记录的页不止一个,所以如果我们想根据主键值查找一条用户记录大致需要 3 个步 骤,以查找主键值为 20 的记录为例:
1. 确定 目录项记录页 。我们现在的存储目录项记录的页有两个,即 页 30 和 页 32 ,又因为页 30 表示的目录项的主键值的 范围是 [1, 320) ,页 32 表示的目录项的主键值不小于 320 ,所以主键值为 20 的记录对应的目 录项记录在 页 30 中。
2. 通过目录项记录页 确定用户记录真实所在的页 。 在一个存储 目录项记录 的页中通过主键值定位一条目录项记录的方式说过了。
3. 在真实存储用户记录的页中定位到具体的记录。

迭代 3 次:目录项记录页的目录页

如图,我们生成了一个存储更高级目录项的 页 33 ,这个页中的两条记录分别代表页 30 和页 32 ,如果用户记录的主键值在 [1, 320) 之间,则到页 30 中查找更详细的目录项记录,如果主键值 不小于 320 的 话,就到页 32 中查找更详细的目录项记录。
我们可以用下边这个图来描述它:

这个数据结构,它的名称是 B+ 树 。

3.2 常见索引概念

索引按照物理实现方式,索引可以分为 2 种:聚簇(聚集)和非聚簇(非聚集)索引。我们也把非聚集索引称为二级索引或者辅助索引。

3.2.1 聚簇索引

特点:
1. 使用记录主键值的大小进行记录和页的排序,这包括三个方面的含义:
        页内 的记录是按照主键的大小顺序排成一个 单向链表 。
        各个存放 用户记录的页 也是根据页中用户记录的主键大小顺序排成一个 双向链表 。
        存放 目录项记录的页 分为不同的层次,在同一层次中的页也是根据页中目录项记录的主键 大小顺序排成一个 双向链表 。
2. B+ 树的 叶子节点 存储的是完整的用户记录。
        所谓完整的用户记录,就是指这个记录中存储了所有列的值(包括隐藏列)。
优点:
        数据访问更快 ,因为聚簇索引将索引和数据保存在同一个 B+ 树中,因此从聚簇索引中获取数据比非聚簇索引更快 。
        聚簇索引对于主键的 排序查找 和 范围查找 速度非常快 。
        按照聚簇索引排列顺序,查询显示一定范围数据的时候,由于数据都是紧密相连,数据库不用从多个数据块中提取数据,所以 节省了大量的 io 操作 。
缺点:
        插入速度严重依赖于插入顺序 ,按照主键的顺序插入是最快的方式,否则将会出现页分裂,严重影 响性能。因此,对于 InnoDB 表,我们一般都会定义一个 自增的 ID 列为主键 。
        更新主键的代价很高 ,因为将会导致被更新的行移动。因此,对于 InnoDB 表,我们一般定义 主键为 不可更新 。
        
        二级索引访问需要两次索引查找 ,第一次找到主键值,第二次根据主键值找到行数据。

3.2.2 非聚簇索引

概念:回表 我们根据这个以 c2 列大小排序的 B+ 树只能确定我们要查找记录的主键值,所以如果我们想根据 c2 列的值查找到完整的用户记录的话,仍然需要到 聚簇索引 中再查一遍,这个过程称为 回表 。也就 是根据 c2 列的值查询一条完整的用户记录需要使用到 2 棵 B+ 树!

3.2.3 联合索引

我们也可以同时以多个列的大小作为排序规则,也就是同时为多个列建立索引,比方说我们想让 B+ 树按照 c2 和 c3 列 的大小进行排序,这个包含两层含义:
先把各个记录和页按照 c2 列进行排序。 在记录的 c2 列相同的情况下,采用 c3 列进行排序
注意一点,以 c2 和 c3 列的大小为排序规则建立的 B+ 树称为 联合索引 ,本质上也是一个二级索引。它的意 思与分别为 c2 和 c3 列分别建立索引的表述是不同的,不同点如下:
建立 联合索引 只会建立如上图一样的 1 棵 B+ 树。
为 c2 和 c3 列分别建立索引会分别以 c2 和 c3 列的大小为排序规则建立 2 棵 B+ 树。

4.InnoDB与MyISAM的索引对比

① 在 InnoDB 存储引擎中,我们只需要根据主键值对 聚簇索引 进行一次查找就能找到对应的记录,而在 MyISAM 中却需要进行一次 回表 操作,意味着 MyISAM 中建立的索引相当于全部都是 二级索引 。
② InnoDB 的数据文件本身就是索引文件,而 MyISAM 索引文件和数据文件是 分离的 ,索引文件仅保存数 据记录的地址。
③ InnoDB 的非聚簇索引 data 域存储相应记录 主键的值 ,而 MyISAM 索引记录的是 地址 。换句话说, InnoDB 的所有非聚簇索引都引用主键作为 data 域。
④ MyISAM 的回表操作是十分 快速 的,因为是拿着地址偏移量直接到文件中取数据的,反观 InnoDB 是通 过获取主键之后再去聚簇索引里找记录,虽然说也不慢,但还是比不上直接用地址去访问。
⑤ InnoDB 要求表 必须有主键 ( MyISAM 可以没有 )。如果没有显式指定,则 MySQL 系统会自动选择一个 可以非空且唯一标识数据记录的列作为主键。如果不存在这种列,则 MySQL 自动为 InnoDB 表生成一个隐 含字段作为主键,这个字段长度为 6 个字节,类型为长整型。

5.B-Tree和B+Tree的差异

先来看看B-Tree

再来看看B+Tree

1. B+树 有 k 个孩子的节点就有 k 个关键字,也就是孩子数量 = 关键字数;而 B 树中,孩子数量 = 关键字数 +1。
2. B+树 非叶子节点的关键字也会同时存在在子节点中,并且是在子节点中所有关键字的最大(或最小)(比如在页30中的1和5,分别也在页10、页28中出现了);而B树并不具备这样的特征。
3. B+树 非叶子节点仅用于索引,不保存数据记录,跟记录有关的信息都放在叶子节点中;而 B 树中, 非叶子节点既保存索引,也保存数据记录 。
4. B+树 所有关键字都在叶子节点出现,叶子节点构成一个有序链表,而且叶子节点本身按照关键字的大小从小到大顺序链接。(要想获取从小到大的结果序列,只需依次查找叶子节点即可);而B树则必须进行中序遍历才可以(也就是图中的3、5、8、9、10、12,这种左根右的方式)。

总结

到此这篇关于MySQL高级篇之索引数据结构的文章就介绍到这了,更多相关MySQL索引数据结构内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • MySQL索引底层数据结构详情

    目录 一.索引类型 1.B+树 2.MyISAM和InnoDB的B+树索引实现方式的区别(聚簇索引和非聚簇索引)? 3.非聚簇索引 4.聚簇索引的优缺点 5.哈希索引 6.自适应哈希索引 一.索引类型 1.B+树 为什么是B+树而不是B树? 首先看看B树和B+树在结构上的区别 B树结构: B+树: 可以看到: B树在每个节点上都有卫星数据(数据表中的一行数据),而B+树只在叶子节点上有卫星数据.这意味着相同大小的磁盘扇区,B+树可以存储的叶子节点更多,磁盘IO次数更少:同样也意味着B+树的查找效

  • 一文了解mysql索引的数据结构为什么要用B+树

    目录 1. Hash表?No 2. 二叉查找树(BST)?No 3. 红黑树?No 4. 平衡二叉树(AVL)?差那么二点意思 5. B-tree(B-树也称B树)?差那么一点意思 6. B+树 前提: 以下的一些数据结构大家需提前知道,否则看起来会比较有困难,大家也可以按照本文所提到的知识点去主动查阅学习. 1. Hash表?No 因考虑到在数据检索的过程中经常会有范围的查询(如下),而hash表不能提供这种功能. SELECT * FROM hero WHERE age>5 AND age<

  • 深入解析MySQL索引数据结构

    目录 概述 索引数据结构 二叉树 红黑树 B-Tree B+Tree Hash 索引 InnoDB 索引实现(聚集) 索引文件和数据文件是分离的(非聚集) 聚集索引和非聚集索引 联合/复合索引 参考资料 总结 概述 索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息. 索引数据结构 二叉树 二叉树(binary tree)是指树中节点的度不大于 2 的有序树,它是一种最简单且最重要的树.二叉树的递归定义为:二叉树是一棵空树,或者是一棵由一个根节点和两棵互不

  • MySQL索引背后的数据结构及算法原理详解

    摘要 本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题.特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等.为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论. 文章主要内容分为三个部分. 第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础. 第二部分结合MySQL数据库中My

  • MySQL高级篇之索引的数据结构详解

    目录 1.为什么使用索引? 2.索引的优缺点 3.InnoDB中的索引 3.1 设计索引 3.2 常见索引概念 3.2.1 聚簇索引 3.2.2 非聚簇索引 3.2.3 联合索引 4.InnoDB与MyISAM的索引对比 5.B-Tree和B+Tree的差异 总结 1.为什么使用索引? 假如给数据使用 二叉树 这样的数据结构进行存储,如下图所示 2.索引的优缺点 MySQL 官方对索引的定义为: 索引(Index )是帮助 MySQL 高效获取数据的数据结构 .索引的本质: 索引是数据结构.你可

  • Mysql建表与索引使用规范详解

    一. MySQL建表,字段需设置为非空,需设置字段默认值.二. MySQL建表,字段需NULL时,需设置字段默认值,默认值不为NULL.三. MySQL建表,如果字段等价于外键,应在该字段加索引.四. MySQL建表,不同表之间的相同属性值的字段,列类型,类型长度,是否非空,是否默认值,需保持一致,否则无法正确使用索引进行关联对比.五. MySQL使用时,一条SQL语句只能使用一个表的一个索引.所有的字段类型都可以索引,多列索引的属性最多15个.六. 如果可以在多个索引中进行选择,MySQL通常

  • MySQL 各个索引的使用详解

    一. 慢查询日志 1.1 MySQL的日志类型 日志用于记录数据库的运行情况,以及用户对数据库执行的各类操作.当数据库发生故障时,可以根据日志分析和解决问题,从而对数据库进行恢复. 1.2 认识慢查询日志 慢查询日志用于记录MySQL数据库中响应时间超过指定阈值的语句.慢查询日志通常也被称之为慢日志,因为它不仅仅只针对SELECT语句,像INSERT.UPDATE.DELETE等语句,只要响应时间超过所设定阈值都会记录在慢查询日志中. 1.3 如何开启慢查询日志命令 慢查询日志可以通过命令临时设

  • MySQL索引优化Explain详解

    在日常工作中,我们会有时会开慢查询去记录一些执行时间比较久的SQL语句,找出这些SQL语句并不意味着完事了,些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划,查看该SQL语句有没有使用上了索引,有没有做全表扫描,这都可以通过explain命令来查看.所以我们深入了解MySQL的基于开销的优化器,还可以获得很多可能被优化器考虑到的访问策略的细节,以及当运行SQL语句时哪种策略预计会被优化器采用. -- 实际SQL,查找用户名为Jefabc的员工 select * from

  • mysql高级学习之索引的优劣势及规则使用

    一.索引的优劣势 优点:可以快速的检索  .可以加快分组和排序 缺点: 占用储存空间.降低数据表的修改操作 二.索引的分类 主键索引 即主索引,根据主键 pk_clolum(length)建立索引,不允许重复,不允许空值 唯一索引 用来建立索引的列的值必须是唯一的,允许空值 普通索引 用表中的普通列构建的索引,没有任何限制 全文索引 用大文本对象的列构建的索引 全文索引 用大文本对象的列构建的索引: 组合索引 用多个列组合构建的索引,这多个列中的值不允许有空值. 三.使用索引的规则 1.适合建立

  • MySQL 普通索引和唯一索引的区别详解

    1 概念区分 普通索引和唯一索引 普通索引可重复,唯一索引和主键一样不能重复. 唯一索引可作为数据的一个合法验证手段,例如学生表的身份证号码字段,我们人为规定该字段不得重复,那么就使用唯一索引.(一般设置学号字段为主键) 主键和唯一索引 主键保证数据库里面的每一行都是唯一的,比如身份证,学号等,在表中要求唯一,不重复.唯一索引的作用跟主键的作用一样. 不同的是,在一张表里面只能有一个主键,主键不能为空,唯一索引可以有多个,唯一索引可以有一条记录为空,即保证跟别人不一样就行. 比如学生表,在学校里

  • MySQL学习之数据库表五大约束详解小白篇

    目录 1.约束概念和分类 2.五大约束的添加和删除 2.1添加约束的六种方法 2.2三种删除约束的方式 2.3五大约束分别对应的添加删除方式(序号对应2.1和2.2) 2.4对于创建约束的总结 2.5对于主键和唯一的区别 3.自增长列 3.1概念 3.2在创建表的时候添加主键约束,并且完成主键自增长的例子 3.3自增长的添加和删除 3.4设置自增长步长 1.约束概念和分类 1.1约束的概念: 对表中的数据进行限定,保证数据的正确性,有效性,完整性 1.2约束分类 1.主键约束(primary k

  • MySQL8新特性之降序索引底层实现详解

    什么是降序索引 大家可能对索引比较熟悉,而对降序索引比较陌生,事实上降序索引是索引的子集. 我们通常使用下面的语句来创建一个索引: create index idx_t1_bcd on t1(b,c,d); 上面sql的意思是在t1表中,针对b,c,d三个字段创建一个联合索引. 但是大家不知道的是,上面这个sql实际上和下面的这个sql是等价的: create index idx_t1_bcd on t1(b asc,c asc,d asc); asc表示的是升序,使用这种语法创建出来的索引叫做

  • mysql 循环批量插入的实例代码详解

    背景 前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下.测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记. 数据结构 寻思着分页时标准列分主键列.索引列.普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下: drop table if exists `test`.`t_model`; Crea

  • Mysql优化order by语句的方法详解

    本篇文章我们将了解ORDER BY语句的优化,在此之前,你需要对索引有基本的了解,不了解的老少爷们可以先看一下我之前写过的索引相关文章.现在让我们开始吧. MySQL中的两种排序方式 1.通过有序索引顺序扫描直接返回有序数据 因为索引的结构是B+树,索引中的数据是按照一定顺序进行排列的,所以在排序查询中如果能利用索引,就能避免额外的排序操作.EXPLAIN分析查询时,Extra显示为Using index. 2.Filesort排序,对返回的数据进行排序 所有不是通过索引直接返回排序结果的操作都

随机推荐