mysql配置连接参数设置及性能优化

目录
  • 1 前言
  • 2 数据库连接配置信息
  • 3 配置信息说明
  • 4 数据库sql
  • 5 mysql 性能优化的关注点
  • 6 硬件和操作系统方面的优化
  • 7 架构设计方面的优化
  • 8 mysql 程序配置优化。
  • 9 sql 执行层面优化
  • 10 最终总结

1 前言

在java开发中,最常用的数据存储就是数据库,其中常用的就是mysql,关于数据库的连接配置信息,可能就不是那么的清除了,这里做一个配置信息的说明。

2 数据库连接配置信息

jdbc:mysql://localhost:3306/database_name?serverTimezone=Asia/Shanghai&useUnicode=true&
characterEncoding=utf8&useSSL=false&tinyInt1isBit=true&allowMultiQueries=true&
rewriteBatchedStatements=true&useAffectedRows=true&defaultFetchSize=10000&
zeroDateTimeBehavior=convertToNull

3 配置信息说明

  • 1、serverTimezone=Asia/Shanghai,即时区设置,上海时间即东八区,高版本的mysql需要设置为 GMT%2B8(GMT+8)
  • 2、useUnicode=true 使用unicode 编码
  • 3、characterEncoding=utf8 数据库连接字符集
  • 4、useSSL=false 是否使用 ssl
  • 5、tinyInt1isBit=true 转换为 tinyint(1) 转换为 boolean ,否则为 int
  • 6、allowMultiQueries=true 是否允许多行查询,在批量更新数据时,update 语句使用分号(;)进行连接,此时则需要配置运行多行查询。
  • 7、rewriteBatchedStatements=true 批处理时需要设置该参数,在mysql5.1.13以上版本才能使用,对 update/insert/delete 都可以生效。数据量大时,消耗时间 jdbc batch < mybatis batch < foreach 循环。
  • 8、useAffectedRows=true,默认为false。是否使用影响行数,默认为找的所有修改行数,即false。在update 的情况下,更新3条,如果只有两条有变化,则返回2(useAffectedRows=true),否则返回3.
  • 9、defaultFetchSize=10000 默认获取条数
  • 10、zeroDateTimeBehavior=convertToNull 默认时间转换为null,避免转换报错。0000-00-00 时间转换为 null

4 数据库sql

# 正常的插入数据
insert into table_name
# 如果数据存在则忽略,否则进行插入
insert ignore into table_name
# 如果数据存在则更新
insert into table_name (id,name) values(1,'小明') ON DUPLICATE KEY UPDATE id = 1,name = "xiaoming"
# 如果存在则替换
replace into table_name
# mysql 还有计算功能
select 1 + 4 # 计算结果为 5
# ifnull 如果字段为空则赋默认值为 0
select ifnull(age,0) from table_name
# 正则查询 user_no 不包含 数字
SELECT * FROM table_name  WHERE user_no REGEXP '[^0-9]'
# 时间处理
select
  DATE_FORMAT(create_time, '%Y%m%d %T'), -- 20210204 12:00:00
  id,
  DATE_FORMAT(create_time, '%Y%m%d%H') as time_str, -- 2021020412
  DATE_FORMAT(create_time, '%Y%m%d') as day_str,  -- 20210204
  DATE_FORMAT(create_time, '%H') as hour_str,  -- 12
  WEEKDAY(create_time) as week_str  -- 0-6,分别是 周一到周日
from
  table_name

5 mysql 性能优化的关注点

其实,mysql 性能优化不是简单的知道和使用 explainshow profile就天下无敌了,这两个只是重要的方面,何况作为资深的CRUD工程师还未必经常使用,任何的知识都是了解->熟悉->精通,当真正的了解原理或者系统的掌握才是真正的悟道。接下来开始进入正题,mysql又能优化主要为4个方面:

  • 1 硬件资源和操作系统方面的优化
  • 2 架构设计方面的优化
  • 3 mysql服务配置项的优化
  • 4 sql执行层面的优化

6 硬件和操作系统方面的优化

硬件和操作系统就是指mysql服务所运行的服务器硬件资源情况,影响mysql性能的主要因素分为 cpu 、内存大小、磁盘读写速度、网络带宽,硬件是指操作系统的网络配置和系统文件句柄数设置(linux 系统中,一切皆文件,了解过ES搭建的同学都知道,ES的搭建就需要修改系统最大打开的文件数) ,这部分的优化一般由运维工程师和DBA联合完成,在项目开发伊始,可以根据业务需要承载的数据量和 TPS 要求根据经验,考虑后续的业务扩展性,选择与业务相适配的mysql服务。

7 架构设计方面的优化

mysql是一个磁盘io访问频繁的关系型数据库,在高并发和高性能的应用场景中会承受巨大的压力,可以采取以下措施来应对:

  • 1 搭建mysql主从集群,单个mysql服务一旦宕机,将会导致依赖mysql服务的应用无法响应导致服务不可用,可以采用采用主从集群或者主主集群避免单点故障,保障mysql服务的高可用性。
  • 2 读写分离设计,在读多写少的场景中,可以采用读写分离的方案避免读写冲突导致的性能问题。
  • 3 采用分库分表的设计。通过分库可以降低单个mysql服务器的io压力,通过分表的机制可以降低单表数据量,提高sql的查询效率。
  • 4 热点数据引入Nosql。引入Redis或者MongoDB等非关系型数据库,可以缓解mysql的访问压力,提升数据的检索性能。

8 mysql 程序配置优化。

mysql配置文件的优化,一般通过 mysql配置文件my.cnf来设置。配置项一般包括:

  • mysql的最大连接数max_connections(注意这里说的不是项目中设置的数据库连接池的连接数)
  • 最大的传输包(max_allowed_packet = 16M
  • 开启 bin log(默认不开启,主要用在 mysql 同步的场景中)
  • general log(通用日志记录 sql 的执行记录)来记录日志
  • 还有就是缓冲区(buffer pool), 包括: 关联查询缓冲区 join_buffer_size=128M, 读数据缓冲区read_buffer_size=16M,随机读缓冲区read_rnd_buffer_size=32M,排序数据缓冲区 sort_buffer_size=32M, innodb 数据缓冲区innodb_buffer_pool_size=4G

这些参数的配置一般和服务器的资源和使用场景有关,需要根据实际情况来设置。配置项的修改需要关注两个点,一是配置的作用范围,分为会话级别和全局范围,全局参数对已经存在的会话不会生效,会话参数设置只在当前会话生效,会话结束则配置失效,全局类的配置放在默认的配置文件中,否则服务重启将会失效。第二是否支持热加载

9 sql 执行层面优化

sql执行层面优化的要点如下:

  • 1 慢sql查询分析,通过慢sql查询日志和慢sql查询分析工具来定位有问题的sql列表
  • 2 执行计划。通过explain 关键字 + 慢 sql查看当前sql的执行计划,需要重点关注select_type、type、 key、 rows、 filterd、 possible_keys来分析 sql 慢的原因.
  • 3 使用show profile工具来分析,该工具是mysql提供的分析当前会话中sql语句资源消耗情况的工具,可以用于sql调优的测量,当前会话中默认是关闭的状态,需要根据情况打开,默认保存最近 15 次的分析结果,针对慢sql可以通过show profile工具来进行详细分析,得到整个过程中所以资源的开销情况,比如io开销cpu开销和内存开销等情况

10 最终总结

  • 1sql的查询一定要根据索引来进行数据扫描
  • 2 避免查询列上使用函数运算或者运算符,避免索引失效
  • 3where条件语句中like %好尽量放置在右边
  • 4 使用索引扫描,联合索引的列从左往右,命中的越多越好
  • 5sql语句的排序字段尽量是索引字段,否则会开辟空间进行结果排序
  • 6 查询语句避免使用*号,使用需要查询的列信息即可。
  • 7 关联查询或者子查询使用小结果集驱动大结果集。

到此这篇关于mysql配置连接参数设置及性能优化的文章就介绍到这了,更多相关mysql配置设置内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • MySQL使用索引优化性能

    目录 1.索引问题 2.索引的存储分类 3.如何使用索引 3.1使用索引 3.2存在索引但不使用索引 4.查看索引使用情况 5.两个简单实用的优化方法 5.1定期分析表和检查表 5.2定期优化表 1.索引问题 索引是数据库优化中最常用也是最重要的手段之一,通过索引通常可以帮助用户解决大多数 的SQL性能问题.本章节将对MySQL中的索引的分类.存储.使用方法做详细的介绍. 2.索引的存储分类 MyISAM存储引擎的表数据和索引是自动分开存储的,各自是独立的一个文件:InnoDB存储引擎的表数据和

  • MySQL数据库超时设置配置的方法实例

    目录 前言 1. JDBC超时设置 2. 连接池超时设置 3. MyBatis查询超时 4. 事务超时 总结 前言 最近备战京东双11,在配置MySQL的超时配置发现有很多地方可以设置.这么多超时的配置有什么影响,以及配置会有什么影响呢?今天的文章就让我来大家来分析一下. 1. JDBC超时设置 connectTimeout:表示等待和MySQL数据库建立socket链接的超时时间,默认值0,表示不设置超时,单位毫秒,建议30000 socketTimeout:表示客户端和MySQL数据库建立s

  • MySQL通过show status查看、explain分析优化数据库性能

    1.概述 在应用系统开发过程中,由于初期数据量小,开发人员写SQL语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多SQL语句开始逐渐显露出性能问题,对生产环境的影响也越来越大,此时这些有问题的SQL语句就成为整个系统性能的瓶颈,因此我们必须要对它们进行优化,该章节将详细介绍在MySQL中优化SQL语句的方法. 2.通过show status命令了解各种SQL的执行频率 MySQL客户端连接成功后,通过show [session|global]status命令可以

  • MySQL数据库性能优化介绍

    目录 为什么做优化?? 从哪些方面入手?? 解决方案是什么???  要怎样选择??? SQL优化 总结 为什么做优化?? 因为数据量太多了,项目部署上线再到用户使用,每天数据增长几十万条,给服务器带来非常大的负担,互联网一直追求高性能,可是随着业务规模变大,用户数量变多,服务器的性能越来越差,因此我们不得不对数据库有更高要求. 从哪些方面入手?? 第一,是查询的速度,我们期望数据量到达TB级别仍然能够实现百万级别查询速度. 第二.是并发量,我们对它的要求能够同时处理几千甚至上万的并发访问,还要配

  • mysql数据库备份设置延时备份方法(mysql主从配置)

    一 为什么需要延时备份percona-xtrabackup是一个优秀的用于增量备份的工具.今天我们讲到的延时备份也是使用他们的产品.以前在MySQL AB复制一文中提到了AB复制.我们首先回顾下MySQL复制的相关要点.AB复制又称主从复制,实现的是数据同步.经过以下步骤: 1)主服务器把数据更改记录到二进制日志中,这个操作叫做二进制日志事件: 2)从服务器把主服务器的二进制日志事件拷贝到自己的中继日志(relay log)中: 3)从服务器执行中继日志中的事件,把更改应用到自己的数据上. 在生

  • Docker 环境运行 Mysql 和开启 Binlog 配置主从同步的设置方法

    同一服务器模拟利用 Docker 模拟 Mysql 设置的主从同步设置. 1.运行起来两个 Mysql :masterMysql(主库).slaveMysql(从库),数据库版本 5.7. #拉取镜像 docker pull mysql:5.7 #y运行主.从容器 docker run -p 13306:3306 --name slavemysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 docker run -p 13307:3306 --name

  • 详解GaussDB for MySQL性能优化

    背景 我们先来看看MySQL 8.0的事务提交的大致流程 以上流程,是MySQL8.0对WAL原则的一种实现,这个流程意味着,任何一个事务的提交,一定要完成write buffer和flush to disk流程. 然而那么这个流程中,有一个问题:每个服务器的CPU是有限的,服务器能处理的Thread也是有上限的,那么当我们的业务的并发数量,远远大于我们服务器能并行处理的数量时,那么后来的事务,只能等待前面的事务提交后才能被处理.在这之前,他们什么也做不了.因此,在大并发场景下,如何进一步提升线

  • mysql配置连接参数设置及性能优化

    目录 1 前言 2 数据库连接配置信息 3 配置信息说明 4 数据库sql 5 mysql 性能优化的关注点 6 硬件和操作系统方面的优化 7 架构设计方面的优化 8 mysql 程序配置优化. 9 sql 执行层面优化 10 最终总结 1 前言 在java开发中,最常用的数据存储就是数据库,其中常用的就是mysql,关于数据库的连接配置信息,可能就不是那么的清除了,这里做一个配置信息的说明. 2 数据库连接配置信息 jdbc:mysql://localhost:3306/database_na

  • mysql千万级数据分页查询性能优化

    mysql数据量大时使用limit分页,随着页码的增大,查询效率越低下. 实验 1.直接使用用limit start, count分页语句: select * from order limit start, count 当起始页较小时,查询没有性能问题,我们分别看下从10, 100, 1000, 10000开始分页的执行时间(每页取20条), 如下: select * from order limit 10, 20 0.016秒 select * from order limit 100, 20

  • MySQL查询性能优化索引下推

    目录 前言 1. 索引下推的作用 2. 案例实践 3. 索引下推配置 4. 索引下推原理剖析 5. 索引下推应用范围 前言 前面已经讲了MySQL的其他查询性能优化方式,没看过可以去了解一下: MySQL查询性能优化七种方式索引潜水 MySQL查询性能优化武器之链路追踪 今天要讲的是MySQL的另一种查询性能优化方式 — 索引下推(Index Condition Pushdown,简称ICP),是MySQL5.6版本增加的特性. 1. 索引下推的作用 主要作用有两个: 减少回表查询的次数 减少存

  • MySQL性能优化之max_connections配置参数浅析

    MySQL的max_connections参数用来设置最大连接(用户)数.每个连接MySQL的用户均算作一个连接,max_connections的默认值为100.本文将讲解此参数的详细作用与性能影响. 与max_connections有关的特性 MySQL无论如何都会保留一个用于管理员(SUPER)登陆的连接,用于管理员连接数据库进行维护操作,即使当前连接数已经达到了max_connections.因此MySQL的实际最大可连接数为max_connections+1: 这个参数实际起作用的最大值

  • MySQL 配置优化(多个参数)

    下面列出了对性能优化影响较大的主要变量,主要分为连接请求的变量和缓冲区变量. 1.   连接请求的变量: 1)     max_connections MySQL的最大连接数,增加该值增加mysqld 要求的文件描述符的数量.如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值. 数值过小会经常出现ERROR 1040: Too m

  • MYSQL配置参数优化详解

    MySQL参数优化对于不同的网站,及其在线量,访问量,帖子数量,网络情况,以及机器硬件配置都有关系,优化不可能一次性完成,需要不断的观察以及调试,才有可能得到最佳的效果. 1)连接请求的变量 1.max_connections MySQL的最大连接数,如果服务器的并发连接请求量较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,MySQL回味每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值. 数值过小经常会出现ERROR 1

  • MySQL DBA教程:Mysql性能优化之缓存参数优化

    数据库属于 IO 密集型的应用程序,其主要职责就是数据的管理及存储工作.而我们知道,从内存中读取一个数据库的时间是微秒级别,而从一块普通硬盘上读取一个IO是在毫秒级别,二者相差3个数量级.所以,要优化数据库,首先第一步需要优化的就是 IO,尽可能将磁盘IO转化为内存IO.本文先从 MySQL 数据库IO相关参数(缓存参数)的角度来进行IO优化: 一.query_cache_size/query_cache_type (global)    Query cache 作用于整个 MySQL Inst

  • PostgreSQL 性能优化之服务器参数配置操作

    大家好!我是只谈技术不剪发的 Tony 老师.今天我们来聊聊 PostgreSQL 的性能优化:数据库优化是一个系统的工程,本文只专注于服务器的参数配置优化. 默认安装时,PostgreSQL 的配置参数通常都偏小,不太适合作为生产服务器使用.所以,安装 PostgreSQL 数据库之后首先需要执行的操作就是对服务器的配置参数进行调整. 查看/设置参数值 我们使用 PostgreSQL 12,服务器的配置参数有 300 多个,运行时的参数值可以使用 SHOW 命令查看: show server_

  • MySQL性能优化之路---修改配置文件my.cnf

    在Apache, PHP, MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分.对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数. 下面我们了解一下MySQL优化的一些基础,MySQL的优化我分为两个部分,一是服务器物理硬件的优化,二是MySQL自身(my.cnf)的优化. 一.服务

  • MySQL性能优化

    1. 简介 在Web应用程序体系架构中,数据持久层(通常是一个关系数据库)是关键的核心部分,它对系统的性能有非常重要的影响.MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能非常的差,仅仅是一个玩具数据库.因此在产品中使用MySQL数据库必须进行必要的优化.优化是一个复杂的任务,本文描述MySQL相关的数据库设计和查询优化,服务器端优化,存储引擎优化. 2. 数据库设计和查询优化 在MySQL Server性能调优中,首先要考虑的就是Database Schema设计,这一

随机推荐