Mysql数据库百万级数据测试索引效果

目录
  • Mysql数据库百万数据测试索引
    • 一、索引的分类
    • 二、使用索引
    • 三、百万数据测试索引效果
      • 1. 再来创建个测试表
      • 2. 插入数据
      • 3. 测试查询
    • 四、索引使用原则

Mysql数据库百万数据测试索引

Mysql官方对索引的定义是:索引(index)是帮助Mysql高效获取数据的数据结构。进而,我们可以知道索引的本质是数据结构。

一、索引的分类

主键索引:也就是我们常见的 PRIMARY KEY,只有一个列作为主键,唯一标识,不可重复。

唯一索引:UNIQUE KEY,避免重复的列出现,唯一索引是可以有多个,同一张表里的多个列都可以设置唯一索引。

常规索引:KEY/INDEX,默认的类型,通过关键字INDEX或者KEY来设置。

全文索引:FullText,在特定的数据库引擎下才支持,作用是快速定位数据。

二、使用索引

在创建表或者创建之后,都可以给字段增加索引。

比如现在创建一个测试用的表,我先在创建的时候加了前三种类型的索引:

-- 创建表
CREATE TABLE `student`(
	`StudentNo` INT(4) NOT NULL COMMENT "学号",
	`LoginPwd` VARCHAR(20) DEFAULT NULL,
	`StudentName` VARCHAR(20) DEFAULT NULL COMMENT "学生姓名",
	`Sex` TINYINT(1) DEFAULT NULL COMMENT "性别:0-1",
	`GradeId` INT(11) DEFAULT NULL COMMENT "年纪编号",
	`Phone` VARCHAR(50) NOT NULL COMMENT "联系电话",
	`Address` VARCHAR(255) NOT NULL COMMENT "地址",
	`BornDate` DATETIME DEFAULT NULL COMMENT "出生日期",
	`Email` VARCHAR(50) NOT NULL COMMENT "邮箱",
	`IdentityCard` VARCHAR(18) DEFAULT NULL COMMENT "身份证号",
	PRIMARY KEY (`StudentNo`), -- 主键索引
	UNIQUE KEY `IdentityCard` (`IdentityCard`), -- 唯一索引,前面是索引名称,括号里是字段名
	KEY `Email` (`Email`) -- 常规索引
)ENGINE=INNODB DEFAULT CHARSET=utf8;

执行sql,创建表成功。这时候我继续增加一个全文索引。

-- 增加一个全文索引类型,前面是索引名称,括号里是字段名
ALTER TABLE `school`.`student` ADD FULLTEXT INDEX `StudentName` (`StudentName`);

可以查看student表的所有索引SHOW INDEX FROM student;

还有第三种,CREATE INDEX 索引名 on 表(字段),到后面演示。

三、百万数据测试索引效果

1. 再来创建个测试表

-- 创建表
CREATE TABLE `app_user`(
	`id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT,
	`name` VARCHAR(50) DEFAULT '' COMMENT '昵称',
	`email` VARCHAR(50) DEFAULT NULL COMMENT "邮箱",
	`phone` VARCHAR(20) DEFAULT NULL COMMENT "手机号",
	`gender` TINYINT(4) DEFAULT NULL COMMENT "性别 0-男, 1-女",
	`password` VARCHAR(100) NOT NULL COMMENT "密码",
	`age` TINYINT(4) NOT NULL COMMENT "年龄",
	`create_time` DATETIME DEFAULT CURRENT_TIMESTAMP,
	`update_time` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`)
)ENGINE=INNODB DEFAULT CHARSET=utf8 COMMENT='app用户表';

执行创建成功,现在插入数据。

2. 插入数据

-- 插入百万数据
DELIMITER $$
CREATE FUNCTION mock_data()
RETURNS INT
BEGIN
	DECLARE num INT DEFAULT 1000000;
	DECLARE i INT DEFAULT 0;
	WHILE i < num DO
        -- 插入语句
        INSERT INTO `school`.`app_user`(`name`,`email`,`phone`,`gender`,`password`,`age`)VALUES
        (CONCAT('用户',i), '123456@qq.com', CONCAT('18', FLOOR(RAND()*((999999999-100000000)+100000000))),
        FLOOR(RAND()*2), UUID(), FLOOR(RAND()*100));
		SET i = i+1;
	END WHILE;
	RETURN i;
END;

执行可能会出现This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary报错。

如果出现,可以先执行set global log_bin_trust_function_creators=TRUE ,然后再试下。

执行成功后,再执行:

SELECT mock_data();

大概持续1分钟左右,别急。

3. 测试查询

未加索引

查询一条数据。

SELECT * FROM `app_user` WHERE `name`='用户9999'

多次执行查询,发现花费时间,稳定在0.63s左右,这个从点击执行到看到结果,已经从肉眼可以感知有点慢了。

我们可以增加关键词EXPLAIN分析sql执行的情况。

EXPLAIN SELECT * FROM `app_user` WHERE `name`='用户9999'

可以看到这个语句查了99W+条,这都是时间消耗。

添加索引

用上面说的第三种方式,增加一个常规索引。

CREATE INDEX id_app_user_name ON app_user(`name`);

再重新执行下查询:

SELECT * FROM `app_user` WHERE `name`='用户9999'

查询时间大幅缩短,只需要要0.1s+。

再分析下加了索引后的查询。

EXPLAIN SELECT * FROM `app_user` WHERE `name`='用户9999'

只查了一条,精准查询。

四、索引使用原则

索引虽然好用,但是不可以滥用,这里有几个原则可以记一下:

  • 索引不是越多越好。
  • 不要对经常变动的数据加索引。
  • 小数据量的表不需要加索引。
  • 索引一般加在常用来查询的字段上。

以上就是对索引的简单介绍,但是MySQL索引背后的数据结构及算法原理,东西可就多了,有一个大佬讲的挺细的,有兴趣可以翻下,传送门

以上就是Mysql数据库百万数据测试索引效果的详细内容,更多关于Mysql百万数据测试索引的资料请关注我们其它相关文章!

(0)

相关推荐

  • java中JDBC实现往MySQL插入百万级数据的实例代码

    想往某个表中插入几百万条数据做下测试,原先的想法,直接写个循环10W次随便插入点数据试试吧,好吧,我真的很天真.... DROP PROCEDURE IF EXISTS proc_initData;--如果存在此存储过程则删掉 DELIMITER $ CREATE PROCEDURE proc_initData() BEGIN DECLARE i INT DEFAULT 1; WHILE i<=100000 DO INSERT INTO text VALUES(i,CONCAT('姓名',i),

  • MySQL百万级数据量分页查询方法及其优化建议

    数据库SQL优化是老生常谈的问题,在面对百万级数据量的分页查询,又有什么好的优化建议呢?下面将列举了一些常用的方法,供大家参考学习! 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余

  • MySQL百万级数据分页查询优化方案

    当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询.对于数据库分页查询,也有很多种方法和优化的点.下面简单说一下我知道的一些方法. 准备工作 为了对下面列举的一些优化进行测试,下面针对已有的一张表进行说明. 表名:order_history 描述:某个业务的订单历史表 主要字段:unsigned int id,tinyint(4) int type 字段情况:该表一共37个字段,不包含text等大型数组,最大为varcha

  • Mysql百万级分页优化技巧

    普通分页 数据分页在网页中十分多见,分页一般都是limit start,offset,然后根据页码page计算start select * from user limit 1,20 这种分页在几十万的时候分页效率就会比较低了,MySQL需要从头开始一直往后计算,这样大大影响效率 SELECT * from user limit 100001,20; //time 0.151s explain SELECT * from user limit 100001,20; 我们可以用explain分析下语

  • MySQL百万级数据大分页查询优化的实现

    目录 一.MySQL分页起点越大查询速度越慢 二. limit大分页问题的性能优化方法 (1)利用表的覆盖索引来加速分页查询 (2)用上次分页的最大id优化 三.MySQL百万数据快速生成 3.1.创建内存表及普通表 3.2.创建函数 3.3.创建插入内存表数据的存储过程 3.4.创建内存表数据插入普通表的存储过程 3.5.运行存储过程插入数据 参考链接: 前言:在数据库开发过程中我们经常会使用分页,核心技术是使用用limit start, count分页语句进行数据的读取. 一.MySQL分页

  • mysql优化小技巧之去除重复项实现方法分析【百万级数据】

    本文实例讲述了mysql优化小技巧之去除重复项实现方法.分享给大家供大家参考,具体如下: 说到这个去重,脑仁不禁得一疼,尤其是出具量比较大的时候.毕竟咱不是专业的DB,所以嘞,只能自己弄一下适合自己去重方法了. 首先按照常规首段,使用having函数检查重复项,完事一个一个的删除.不要问我having检测重复项的sql咋写,你懂得哈...这个在只有几条重复的时候还可以.要是几千上万条不同数据重复,那咋办... 完事呢,咱就考虑了,用having函数查询的时候,原始sql如下: select `n

  • Mysql数据库百万级数据测试索引效果

    目录 Mysql数据库百万数据测试索引 一.索引的分类 二.使用索引 三.百万数据测试索引效果 1. 再来创建个测试表 2. 插入数据 3. 测试查询 四.索引使用原则 Mysql数据库百万数据测试索引 Mysql官方对索引的定义是:索引(index)是帮助Mysql高效获取数据的数据结构.进而,我们可以知道索引的本质是数据结构. 一.索引的分类 主键索引:也就是我们常见的 PRIMARY KEY,只有一个列作为主键,唯一标识,不可重复. 唯一索引:UNIQUE KEY,避免重复的列出现,唯一索

  • MySQL数据库优化技术之索引使用技巧总结

    本文实例总结了MySQL数据库优化技术的索引用法.分享给大家供大家参考,具体如下: 这里紧接上一篇<MySQL数据库优化技术之配置技巧总结>,进一步分析索引优化的技巧: (七)表的优化 1. 选择合适的数据引擎 MyISAM:适用于大量的读操作的表 InnoDB:适用于大量的写读作的表 2.选择合适的列类型 使用 SELECT * FROM TB_TEST PROCEDURE ANALYSE()可以对这个表的每一个字段进行分析,给出优化列类型建议 3.对于不保存NULL值的列使用NOT NUL

  • MySQL数据库的事务和索引详解

    目录 一.事务: 事务四大特性: 并发事务带来哪些问题?(隔离所导致的一些问题) 事务隔离级别有哪些? MySQL的默认隔离级别: 二.索引: 索引的作用: 索引的分类: 索引准则: 索引的数据结构: 总结 一.事务: 事务是逻辑上的一组操作,要么都成功,要么都失败! ---------------------------------- 1.SQL执行        A:1000元     -->转账200元        B:200元 2.SQL执行        A:800元       -

  • Mysql 数据库结构及索引类型

    目录 前言 数据库索引的数据结构 聚集索引 辅助索引 索引管理 联合索引 覆盖索引 总结 前言 数据库索引是mysql数据库中重要的组成部分,是数据库查询数据速度提升的关键,本文将介绍数据库索引的一些内容. 数据库索引的数据结构 在数据库中的索引方法中,有TREE和HASH两种方法,HASH是经常使用的,本文中主要介绍TREE的数据结构.B+Tree 的高度一般是2-4层,也就是说查找一条数据记录,最多使用 2-4 次 IO,当前一般的机械磁盘每秒至少可以做 100 次 IO, 2-4 词的 I

  • MySQL批量插入和唯一索引问题的解决方法

    MySQL批量插入问题 在开发项目时,因为有一些旧系统的基础数据需要提前导入,所以我在导入时做了批量导入操作 ,但是因为MySQL中的一次可接受的SQL语句大小受限制所以我每次批量虽然只有500条,但依然无法插入,这个时候代码报错如下: nested exception is com.mysql.jdbc.PacketTooBigException: Packet for query is too large (5677854 > 1048576). You can change this va

  • MySQL 百万级分页优化(Mysql千万级快速分页)

    以下分享一点我的经验 一般刚开始学SQL的时候,会这样写 复制代码 代码如下: SELECT * FROM table ORDER BY id LIMIT 1000, 10; 但在数据达到百万级的时候,这样写会慢死 复制代码 代码如下: SELECT * FROM table ORDER BY id LIMIT 1000000, 10; 也许耗费几十秒 网上很多优化的方法是这样的 复制代码 代码如下: SELECT * FROM table WHERE id >= (SELECT id FROM

  • MySQL 百万级数据的4种查询优化方式

    一.limit越往后越慢的原因 当我们使用limit来对数据进行分页操作的时,会发现:查看前几页的时候,发现速度非常快,比如 limit 200,25,瞬间就出来了.但是越往后,速度就越慢,特别是百万条之后,卡到不行,那这个是什么原理呢.先看一下我们翻页翻到后面时,查询的sql是怎样的: select * from t_name where c_name1='xxx' order by c_name2 limit 2000000,25; 这种查询的慢,其实是因为limit后面的偏移量太大导致的.

  • MySQL数据库的索引原理与慢SQL优化的5大原则

    我们知道一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,所以查询语句的优化显然是重中之重. 本文旨在以开发工程师的角度来解释数据库索引的原理和如何优化慢查询. MySQL索引原理 1.索引目的 索引的目的在于提高查询效率,可以类比字典,如果要查“mysql”这个单词,我们肯定需要定位到m字母,然后从下往下找到y字母,再找到剩下的sql.如果没有索引,那么你可能需要把所有单词看一遍才能找到你想要的,如果我

随机推荐