MySQL优化SQL语句的技巧

在面对不够优化、或者性能极差的SQL语句时，我们通常的想法是将重构这个SQL语句，让其查询的结果集和原来保持一样，并且希望SQL性能得以提升。而在重构SQL时，一般都有一定方法技巧可供参考，本文将介绍如何通过这些技巧方法来重构SQL。

一、分解SQL

有时候对于一个复杂SQL，我们首先想到的是是否需要将一个复杂SQL分解成多个简单SQL，来完成相同业务处理结果。

在以前，大家总是强调需要数据库层来完成尽可能的工作，这也就不难理解在一些老的产品、项目中时常会看见很多超级复杂、超级长的SQL语句，这样做的逻辑在以前认为多次交互，在网络带宽、程序与数据库间网络通信等方面是一件代价很高的事情。然后在现在，无论是带宽还是延迟，网络速度比以前要快的很多，多次交互也没有太大的问题。即使在一个通用服务器上，也能够运行每秒超过10万的查询，所以运行多个小查询现在已经不是大问题了。

复杂SQL的分解，在面对超级复杂SQL语句时，性能提升尤为明显。所以，在面对超级复杂SQL语句，并且存在性能问题时，推荐分解为小查询来进行优化。

不过，在应用设计的时候，如果一个查询能够胜任并且不会产生性能问题，这时完全可以用一个稍微复杂的SQL来完成的，倘若再死板的强制拆分成多个小查询是不明智的。

在当今很多高性能的应用系统中，都是极力推荐使用单表操作，然后将单表查询结果在应用程序中进行关联，以满足复杂业务的查询需求。一个SQL可以搞定事情，为何要分开来写，而且还得在应用程序中多次执行SQL查询，再进行结果集的关联，这到底为什么要这么做呢？

乍一看，这样做复杂不说而且没有什么好处，原本一条查询，这样却变成了多条查询。事实上，这样分解有如下的优势：

  • 让缓存更高效。在应用程序中，可以很方便地缓存单表查询结果对应的结果对象，便于后续任何时候可以直接从结果对象中获取数据。
  • 分解查询后，执行单个查询可以减少表锁的竞争。
  • 在程序应用层做关联，可以更容易对数据库进行拆分，更容易做到高性能和可扩展。
  • 单表查询效率高于多表复杂查询。
  • 减少冗余记录的查询。在程序应用层关联，意味着对于某条记录应用只需要查询一次，而在数据库中做关联查询，则可能需要重复地访问一部分数据记录。从这点来看，这样的重构还可能减少网络和内存的消耗。

二、查询切分

有时候对于一个大查询，即：结果集很大的查询，我们需要采用“分而治之”的思想，将大查询切分为小查询，每个查询功能完全一样，只是完成一小部分，每次只返回一小部分查询结果。通俗来讲，就是对where条件的过滤范围进行切分，每次只查询其中一部分数据，即：类似于分页查询。

这样做，不管对于SQL查询本身，还是对于上层业务来说，都是很小的开销。最典型的的案例就是分页查询，目前各类框架都有了很好的支持，如：MyBatis等，只需在实际使用时稍加留意就可避免。

三、执行计划

使用执行计划EXPLAIN关键字，可以使我们知道MySQL是如何执行SQL语句的，这样可以帮助我们分析我们的查询语句或是表结构的性能瓶颈。EXPLAIN的查询结果还会告诉我们索引主键是如何被利用的，数据表是如何被搜索或排序的…等等。

语法格式是：

EXPLAIN SELECT语句;

通过执行计划结果，将会指导我们进一步来重构SQL语句，如：增加索引、调整索引顺序、避免使用某些函数等等。

关于执行计划，后续章节将会单独详细讲解。

四、遵守原则

在平时写SQL时，养成好的习惯，多加留意，很大程度上就会避免一些SQL性能问题。汇总如下：

  • 永远为每张表设置一个ID主键。
  • 避免使用SELECT *。
  • 为搜索字段建立索引。
  • 在Join表的时候使用对应类型的列，并将其索引。
  • 尽可能的使用NOT NULL。
  • 越小的列会越快。
  • 当只要一行数据时使用LIMIT 1。
  • 操作符的优化，尽量不采用不利于索引的操作符，目的就是为了避免全表扫描。

1）in 和not in慎用，尽量用between代替in，用 not exists 代替 not in
             2）is null和is not null慎用
             3）!=或<>操作符能不用就不用，否则将使引擎放弃使用索引而进行全表扫描。

五、使用查询缓存

当有很多相同的查询被执行了多次的时候，这些查询结果会被放入一个缓存中，这样后续的相同查询就不用操作而直接访问缓存结果了。

MySQL查询缓存保存查询返回的完整结果。当查询命中该缓存，MySQL会like返回结果，跳过了解析、优化和执行截断。

这是提高查询性能最有效的方法之一，而且这是被MySQL引擎处理的，通常MySQL默认是不开启查询缓存的，需要手动开启。

查询缓存对应用程序是完全透明的。应用程序无需关心MySQL是通过查询返回的还是实际执行返回的结果。事实上，这两种方式执行的结果是完全相同的。换句话说，查询缓存无需使用任何语法。

随着现在的通用服务器越来越强大，查询缓存被发现是一个影响服务器扩展性的因素。它可能成为整个服务器的资源竞争单点，在多核服务器上还可能导致服务器僵死。所以大部分时候应该默认关闭查询缓存，如果查询缓存作用很大的话，可以配置个几十兆的小缓存空间。（在选择时，需要进行权衡）

关于查询缓存有如下参数可供配置：

  • query_cache_type

是否打开查询缓存。可以设置OFF、ON、DEMAND，DEMAND表示只有在查询语句中明确写入sql_cache的语句才放入查询缓存。

  • query_cache_size

查询缓存使用的总内存空间，单位是字节。这个值必须是1024的整倍数，否则实际分配的数据会和指定的大小有区别。

  • query_cache_min_res_unit

在查询缓存中分配内存块时的最小单位。

  • query_cache_limit

缓存的最大查询结果。如果查询结果大于这个值，则不会被缓存。因为查询缓存在数据生成的时候就开始尝试缓存数据，所以只有当结果全部返回后，MySQL才知道查询结果是否超出限制。

关于查询缓存，后续章节将会单独详细讲解。

以上就是MySQL优化SQL语句的技巧的详细内容，更多关于MySQL优化sql语句的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • MySQL SQL语句优化的10条建议

    1.将经常要用到的字段(比如经常要用这些字段来排序,或者用来做搜索),则最好将这些字段设为索引.2.字段的种类尽可能用int 或者tinyint类型.另外字段尽可能用NOT NULL.3.当然无可避免某些字段会用到text ,varchar等字符类型,最好将text字段的单独出另外一个表出来(用主键关联好)4.字段的类型,以及长度,是一个很考究开发者优化功力的一个方面.如果表数据有一定的量了,不妨用PROCEDURE ANALYSE()命令来取得字段的优化建议!(在phpmyadmin里可以在查

  • MySQL SQL语句分析与查询优化详解

    如何获取有性能问题的SQL 1.通过用户反馈获取存在性能问题的SQL 2.通过慢查询日志获取性能问题的SQL 3.实时获取存在性能问题的SQL 使用慢查询日志获取有性能问题的SQL 首先介绍下慢查询相关的参数 1.slow_query_log 启动定制记录慢查询日志 设置的方法,可以通过MySQL命令行设置set global slow_query_log=on 或者修改/etc/my.cnf文件,添加slow_query_log=on 2.slow_query_log_file 指定慢查询日志

  • 提升MYSQL查询效率的10个SQL语句优化技巧

    MySQL数据库执行效率对程序的执行速度有很大的影响,有效的处理优化数据库是非常有用的.尤其是大量数据需要处理的时候. 1. 优化你的MySQL查询缓存 在MySQL服务器上进行查询,可以启用高速查询缓存.让数据库引擎在后台悄悄的处理是提高性能的最有效方法之一.当同一个查询被执行多次时,如果结果是从缓存中提取,那是相当快的. 但主要的问题是,它是那么容易被隐藏起来以至于我们大多数程序员会忽略它.在有些处理任务中,我们实际上是可以阻止查询缓存工作的. // query cache does NOT

  • 分析Mysql表读写、索引等操作的sql语句效率优化问题

    上次我们说到mysql的一些sql查询方面的优化,包括查看explain执行计划,分析索引等等.今天我们分享一些 分析mysql表读写.索引等等操作的sql语句. 闲话不多说,直接上代码: 反映表的读写压力 SELECT file_name AS file, count_read, sum_number_of_bytes_read AS total_read, count_write, sum_number_of_bytes_write AS total_written, (sum_number

  • Mysql查询最近一条记录的sql语句(优化篇)

    下策--查询出结果后将时间排序后取第一条 select * from a where create_time<="2017-03-29 19:30:36" order by create_time desc limit 1 这样做虽然可以取出当前时间最近的一条记录,但是一次查询需要将表遍历一遍,对于百万以上数据查询将比较费时:limit是先取出全部结果,然后取第一条,相当于查询中占用了不必要的时间和空间:还有如果需要批量取出最近一条记录,比方说:"一个订单表,有用户,订

  • 浅谈MySQL中优化sql语句查询常用的30种方法

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描. 3.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中num列没有null值,然后这样查询: select id from

  • MySQL优化SQL语句的技巧

    在面对不够优化.或者性能极差的SQL语句时,我们通常的想法是将重构这个SQL语句,让其查询的结果集和原来保持一样,并且希望SQL性能得以提升.而在重构SQL时,一般都有一定方法技巧可供参考,本文将介绍如何通过这些技巧方法来重构SQL. 一.分解SQL 有时候对于一个复杂SQL,我们首先想到的是是否需要将一个复杂SQL分解成多个简单SQL,来完成相同业务处理结果. 在以前,大家总是强调需要数据库层来完成尽可能的工作,这也就不难理解在一些老的产品.项目中时常会看见很多超级复杂.超级长的SQL语句,这

  • MySQL执行SQL语句的流程详解

    MySQL执行SQL语句的流程详解

    目录 1.通常sql执行流程 1.1 问题1:MySQL谁去处理网络请求? 1.2 问题2:MySQL如何执行sql语句? 1.3 查询解析器 1.4 查询优化器 1.5 存储引擎 1.6 执行器 2.总结 1.通常sql执行流程 用户发起请求到业务服务器,执行sql语句时,先到连接池中获取连接,然后到mysql服务器执行查询. 1.1 问题1:MySQL谁去处理网络请求? msyql服务器谁负责从这个连接中去监听这个网络请求?谁负责从网络连接里把数据读出来? 其实大家都知道,网络连接必须得分配

  • MySql中sql语句执行过程详细讲解

    目录 前言: sql语句的执行过程: 查询缓存: 分析器: 优化器: 执行器: 总结 前言: 很多人都在使用mysql数据库,但是很少有人能够说出来整个sql语句的执行过程是怎样的,如果不了解执行过程的话,就很难进行sql语句的优化处理,也很难设计出来优良的数据库表结构.这篇文章主要是讲解一下sql语句的执行过程. sql语句的执行过程: 客户端.连接器.分析器.优化器.执行器.存储引擎几个阶段. 连接器的作用:管理链接.权限验证的处理. 分析器的作用:词法分析.语法分析. 优化器的作用:执行计

  • mysql的sql语句特殊处理语句总结(必看)

    1.更新整张表,如果某一行数据的某一列的值为空,那么让他和另一列字段的值相等 UPDATE ot_tgbz set update_day=if(update_day is null,date,update_day); 2.更新整张表,如果某个字段大于2,那么把他们都更新成2: UPDATE ot_user set xingyun_num=if(xingyun_num > 2,2,xingyun_num); 3.把shop_goods这个表里的thumb字段里的内容中含有http://www.jb

  • 细数MySQL中SQL语句的分类

    1:数据定义语言(DDL)   用于创建.修改.和删除数据库内的数据结构,如:1:创建和删除数据库(CREATE DATABASE || DROP  DATABASE):2:创建.修改.重命名.删除表(CREATE  TABLE || ALTER TABLE|| RENAME TABLE||DROP  TABLE):3:创建和删除索引(CREATEINDEX  || DROP INDEX)   2:数据查询语言(DQL)   从数据库中的一个或多个表中查询数据(SELECT)   3:数据操作语

  • 如何优化SQL语句（全）

    高性能的SQL语句会在软件运行中起到非常重要的作用,下面小编把最近整理的SQL语句优化资料分享给大家. 第一: 选择最有效率的表名顺序(只在基于规则的seo/' target='_blank'>优化器中有效): ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表.如果有3个以上的表连接查询, 那就需要选择交叉表(intersecti

  • PHP获取MySQL执行sql语句的查询时间方法

    如下所示: //计时开始 runtime(); //执行查询 mysql_query($sql); //计时结束. echo runtime(1); //计时函数 function runtime($mode=0) { static $t; if(!$mode) { $t = microtime(); return; } $t1 = microtime(); list($m0,$s0) = explode(" ",$t); list($m1,$s1) = explode("

  • windows下bat批处理执行Mysql的sql语句

    windows下bat批处理执行Mysql的sql语句

    有时候我们需要用bat来定时执行mysql那么就可以参考下面的代码 直接上代码: @ECHO OFF SET dbhost=主机名(例如:127.0.0.1) SET dbuser=用户名(例如:root) SET dbpasswd=用户密码(例如:root) SET dbName=数据库名称(例如:test) SET sqlpath=%~dp0(此语句可以保证.bat同级目录下的.sql文件能被找到) set sqlfile=update.sql(需要执行执行sql的文件) 进入mysql安装

  • 最新MySQL高级SQL语句大全

    最新MySQL高级SQL语句大全

    目录 引言 一.常用查询 1.order by按关键字排序 1.1 升序排序 1.2 降序排序 1.3 结合where进行条件过滤再排序 1.4 多字段排序 2.and/or判断 2.1 and/or 且与或的使用 2.2 嵌套.多条件使用 3.distinct 查询不重复记录 4.GROUP BY对结果进行分组 5.limit限制结果条目 6.设置别名(alias—as) 6.1 查询表的记录数量,以别名显示 6.2 利用as,将查询的数据导入到另外一个表内 7.通配符 引言 对MySQL数据

  • MySQL慢SQL语句常见诱因以及解决方法

    1. 无索引.索引失效导致慢查询 如果在一张几千万数据的表中以一个没有索引的列作为查询条件,大部分情况下查询会非常耗时,这种查询毫无疑问是一个慢SQL查询.所以对于大数据量的查询,需要建立适合的索引来优化查询. 虽然很多时候建立了索引,但在一些特定的场景下,索引还有可能会失效,所以索引失效也是导致慢查询的主要原因之一. 2. 锁等待 常用的存储引擎有 InnoDB 和 MyISAM,前者支持行锁和表锁,后者只支持表锁. 如果数据库操作是基于表锁实现的,试想下,如果一张订单表在更新时,需要锁住整张

随机推荐