Redis慢查询日志及慢查询分析详解

目录
  • 前提介绍
    • 单线程命令的处理机制
  • 本章内容
  • 什么是慢查询
    • 慢查询日志
    • Redis慢查询日志
    • Redis慢查询的危害
    • Redis客户端执行一条命令的步骤
    • 慢查询引发的问题
  • 阈值和慢查询的日志的设置
    • 阈值参数设置
      • 慢查询执行时间阈值
      • 慢查询数据存储阈值
    • 慢查询的配置类型和方式
  • 慢查询日志的操作命令
    • slowlog get [n]
    • slowlog len
    • slowlog reset

前提介绍

本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。

在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Redis单线程命令处理机制,接着分析Redis单线程模型为什么性能如此之高。

单线程命令的处理机制

Redis客户端与服务端的模型主要是下图所示。

每次客户端调用都经历了发送命令、执行命令、返回结果三个过程。

本章内容

本章的文章内容主要是一下几点。

什么是慢查询

慢查询就是当Redis在处理一条指令的时候,当超过了系统配置的执行时间的阈值的时候,就会被系统当作慢查询统计和判定。

慢查询日志

慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值,就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来。

Redis慢查询日志

Redis慢查询日志功能是用于记录执行时间超过给定时长的命令请求,可以通过查看慢查询日志来监控和优化查询速度。

Redis慢查询的危害

说到了Redis慢查询的危害,就会先说一下Redis的运行机制。

Redis客户端执行一条命令的步骤

Redis是单线程来处理命令,所以一条命令从客户端到达服务端不会立即被执行,所有的命令都会进入一个队列,然后逐个被执行。

因此Redis服务端去执行操作的是可以主要以下几个步骤:

所有的指令都有先后顺序,但是真正意义到达服务端的执行顺序也是不确定的,因为中间有网络传输。但是可以肯定的是,不会有两条命令被同时执行,这样就不会产生并发问题,这就是Redis单线程的基本模型。

慢查询引发的问题

  • 单线程机制:所有命令放在一个队列中
  • Redis执行指令主要是在内存中执行、非IO阻塞、避免线程切换和竞态产生的消耗。

因为单线程的问题,一个命令不能执行太长时间,不然会阻塞其他命令的执行。所以慢查询会造成整体的Redis服务的性能的下降以及CPU的耗时和负载变高。

注意:慢查询只会记录执行命令的时间,没有慢查询并不代表客户端没有超时问题。

阈值和慢查询的日志的设置

监控Redis指令的慢查询功能,需要明确两件事:

  • 预设阈值怎么设置?
  • 慢查询记录存放在哪里?

针对于慢查询的阈值,在Redis提供了slowlog-log-slower-thanslowlog-max-len配置来解决这两个问题。

阈值参数设置

慢查询执行时间阈值

  • slowlog-log-slower-than:指定执行时间超过多少微秒的命令会被记录到日志上,它的单位是微妙(1秒=1000毫秒=1000000微秒),默认值10000。

例如,该值设为100,执行了一条很慢的命令(例如 keys * ),如果它的执行时间超过了100微秒,则这个命令会被记录到慢查询日志中。

慢查询数据存储阈值

慢查询日志最多存储多少条,并没有说明存放在那里?主要通过slowlog-max-len进行控制和设置。从底层角度分析,Redis使用了一个列表来存储慢查询日志,slowlog-max-log就是列表的最大长度。

  • slowlog-max-len:指定服务器上最多保存慢查询日志的条数。

    • slowlog-log-slower-than=0,那么系统会记录所有的命令
    • slowlog-log-slower-than<0,那么对任何命令都不会记录。

例如,该值设为5,那么命令执行时间超过slowlog-log-slower-than设置的时间的命令会被记录到慢查询日志上,如果慢查询日志的数量等于5,那么再添加慢查询日志时,需要把最早添加的慢查询日志删除,即慢查询日志删除采用先进先出的方式。

慢查询的配置类型和方式

Redis有两种修改配置的方法:1. 修改配置文件;2. config set命令动态修改。

例如,使用config set命令将slowlog-log-slower-than设置为20000微秒,slowlog-max-len设置为10000:

config set slowlog-log-slower-than 20000
config set slowlog-max-len 10000
config rewrite

如果要Redis将配置持久化到本地配置文件,要执行config rewrite命令,它会重写配置文件。

慢查询日志的操作命令

慢查询日志的的查询和维护主要是通过:slowlog get、slowlog len、slowlog reset这几条命令。

slowlog get [n]

慢查询日志有4个属性组成:日志id、发生时间戳、命令耗时、执行命令和参数。

127.0.0.1:6379> slowlog get
1) 1) (integer) 1
   2) (integer) 1513709400
   3) (integer) 11
   4) 1) "slowlog"
      2) "get"
2) 1) (integer) 0
   2) (integer) 1513709398
   3) (integer) 4
   4) 1) "config"
      2) "set"
      3) "slowlog-log-slower-than"
      4) "2"

slowlog len

获取慢查询日志列表当前的长度

127.0.0.1:6379&gt; slowlog len
(integer) 2

上面则说明当前的满查询列表中至于连个慢查询日志。

slowlog reset

实际是对慢查询日志列表做清理操作。

127.0.0.1:6379> slowlog len
(integer) 6
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 1

为什么还有1个,因为阈值设的比较小,slowlog reset就属于慢查询。

以上就是Redis慢查询日志及慢查询分析详解的详细内容,更多关于Redis慢查询日志分析的资料请关注我们其它相关文章!

(0)

相关推荐

  • Redis慢查询日志与监视器问题

    目录 1.慢查询设置 2.慢查询定位&处理 3.监视器 4.Redis监控平台 总结 我们都知道MySQL有慢查询日志 Redis也有慢查询日志,可用于监视和优化查询 1.慢查询设置 在redis.conf中可以配置和慢查询日志相关的选项: #执行时间超过多少微秒的命令请求会被记录到日志上 0 :全记录 <0 不记录 slowlog-log-slower-than 10000 #slowlog-max-len 存储慢查询日志条数 slowlog-max-len 128 Redis使用列表存储

  • 详解Redis的慢查询日志

    Redis慢查询日志帮助开发和运维人员定位系统存在的慢操作.慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阀值,就将这条命令的相关信息(慢查询ID,发生时间戳,耗时,命令的详细信息)记录下来. Redis客户端一条命令分为如下四部分执行: 需要注意的是,慢查询日志只是统计步骤3)执行命令的时间,所以慢查询并不代表客户端没有超时问题.需要注意的是,慢查询日志只是统计步骤3)执行命令的时间,所以慢查询并不代表客户端没有超时问题. 一.慢查询的配置参数: 慢查询的预设阀值 slow

  • 一分钟搞懂Redis的慢查询日志操作

    目录 什么是慢查询? 什么是慢查询日志? 如何获取慢查询日志? 如何获取慢查询日志的长度? 如何清理慢查询日志? 怎么配置慢查询的参数? slowlog-log-slower-than slowlog-max-len 如何进行配置 总结 什么是慢查询? 慢查询,顾名思义就是比较慢的查询,但是究竟是哪里慢呢?首先,我们了解一下Redis命令执行的整个过程: 发送命令 命令排队 命令执行 返回结果 在慢查询的定义中,统计比较慢的时间段指的是命令执行这个步骤.没有慢查询,并不表示客户端没有超时问题,有

  • redis慢查询日志的访问和管理方式

    目录 redis慢查询日志的访问和管理 (1)获取慢查询日志 (2)获取慢查询日志列表当前的长度 (3)慢查询日志重置 注意事项 Redis慢查询总结 慢查询分析 总结 redis慢查询日志的访问和管理 通过一组命令来实现对慢查询日志的访问和管理 (1)获取慢查询日志 命令:slowlog get 127.0.0.1:6379> slowlog get 1) 1) (integer) 1    2) (integer) 1513709400    3) (integer) 11    4) 1)

  • Redis慢查询日志及慢查询分析详解

    目录 前提介绍 单线程命令的处理机制 本章内容 什么是慢查询 慢查询日志 Redis慢查询日志 Redis慢查询的危害 Redis客户端执行一条命令的步骤 慢查询引发的问题 阈值和慢查询的日志的设置 阈值参数设置 慢查询执行时间阈值 慢查询数据存储阈值 慢查询的配置类型和方式 慢查询日志的操作命令 slowlog get [n] slowlog len slowlog reset 前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析R

  • MySQL系列多表连接查询92及99语法示例详解教程

    目录 1.笛卡尔积现象 2.连接查询知识点概括 1)什么是连接查询? 2)连接查询的分类 3.内连接讲解 1)等值连接:最大特点是,连接条件为等量关系. 2)sql92语法和sql99语法的区别. 3)非等值连接:最大特点是,连接条件为非等量关系. 4)自连接:最大特点是,一张表看作两张表. 4.外连接讲解 1)什么是外连接,和内连接有什么区别? 2)外连接的分类 前面两天带着大家换了一个口味,带着大家学习了pyecharts的原理和部分图形制作.今天我们继续回归带你学MySQL系列,带着大家继

  • oracle sql语言模糊查询--通配符like的使用教程详解

    oracle在Where子句中,可以对datetime.char.varchar字段类型的列用Like子句配合通配符选取那些"很像..."的数据记录,以下是可使用的通配符: %   零或者多个字符 _    单一任何字符(下划线) \     特殊字符 oracle10g以上支持正则表达式的函数主要有下面四个: 1,REGEXP_LIKE :与LIKE的功能相似 2,REGEXP_INSTR :与INSTR的功能相似 3,REGEXP_SUBSTR :与SUBSTR的功能相似 4,RE

  • Python日志打印里logging.getLogger源码分析详解

    实践环境 WIN 10 Python 3.6.5 函数说明 logging.getLogger(name=None) getLogger函数位于logging/__init__.py脚本 源码分析 _loggerClass = Logger # ...略 root = RootLogger(WARNING) Logger.root = root Logger.manager = Manager(Logger.root) # ...略 def getLogger(name=None): "&quo

  • C#集合查询Linq在项目中使用详解

    目录 Linq Lambda Linq项目中的一次使用经历 Linq to js [在前端的应用] 要说哪门后端语言的语法优雅,那就不得不提C#,而在我看来,LINQ语法可以说是其优雅的重要一环! 通常后端从数据库查询出来的数据并不是直接返回给前端使用的(不然前端....),而是需要进行二次的加工筛选处理等操作!而这个操作就离不开LINQ,不然for循环套for循环,先不说可不可行,肯定可行,但是代码的可读性完全丢失,其他同行看到也会笑话人,连编译器运行这段代码时也是发尽牢骚(....),从而导

  • Django实现web端tailf日志文件功能及实例详解

    这是Django Channels系列文章的第二篇,以web端实现tailf的案例讲解Channels的具体使用以及跟Celery的结合 通过上一篇 <Django使用Channels实现WebSocket--上篇> 的学习应该对Channels的各种概念有了清晰的认知,可以顺利的将Channels框架集成到自己的Django项目中实现WebSocket了,本篇文章将以一个Channels+Celery实现web端tailf功能的例子更加深入的介绍Channels 先说下我们要实现的目标:所有

  • Redis客户端及服务端的安装教程详解

    本系列将和大家分享Redis分布式缓存,本文是该系列的开篇,主要简单介绍下Redis客户端及服务端的安装. 一.Redis简介 Redis:Remote Dictionary Server 远程字典服务器 基于内存管理(数据存在内存),实现了5种数据结构(分别应对各种具体需求),单线程模型的应用程序(单进程单线程),对外提供插入--查询--固化--集群功能. 正是因为基于内存管理所以速度快,可以用来提升性能.但是不能当数据库,不能作为数据的最终依据. 单线程多进程的模式来提供集群服务. 单线程最

  • Oracle 错误日志表及异常处理包详解 附源码

    1 概述 1. 目的:'快速定位程序异常' 2. 包处理的核心思想:'自治事务' -- 自治事务的 "提交.回滚" 与 主事务 之间互不影响 3. 错误异常记录逻辑大体一致,此处记录,方便需要使用时复制.粘贴 4. 验证思路:通过执行报错的过程,观察 '程序执行结果' 和 '日志表' 数据插入情况 2 效果演示 程序执行截图: 日志表查询截图: 3 源码 说明: 1. 测试中,共有 2 个用户 -- 模拟实际开发场景 (1) odsdata: 存放业务数据 (2) odscde : 执

  • MySql存储过程循环的使用分析详解

    目录 简介 场景描述 解决方案 案例 总结 简介 每一门数据库语言语法都基本相似,但是对于他们各自的一些特性(函数.存储过程等)的用法就不大相同了,就好比Oracle与Mysql存储过程写起来就很多不同的地方,在这里主要是跟大家分享一下MySql存储过程中使用游标循环的处理方法. 场景描述 我们举一个简单的场景,首先我们可能会有这样一种情况,考试成绩表(t_achievement)有一堆的sql脚本处理,需要依赖另一个学生表(t_student)数据对部分学生做考试成绩汇总记录到成绩汇总表(t_

  • Java日志框架之logback使用详解

    为什么使用logback 记得前几年工作的时候,公司使用的日志框架还是log4j,大约从16年中到现在,不管是我参与的别人已经搭建好的项目还是我自己主导的项目,日志框架基本都换成了logback,总结一下,logback大约有以下的一些优点: 内核重写.测试充分.初始化内存加载更小,这一切让logback性能和log4j相比有诸多倍的提升 logback非常自然地直接实现了slf4j,这个严格来说算不上优点,只是这样,再理解slf4j的前提下会很容易理解logback,也同时很容易用其他日志框架

随机推荐