Redis中Lua脚本的使用和设置超时

目录
  • EVAL命令简介
    • eval格式
    • 特性
    • 执行流程
  • 关于脚本超时
    • SCRIPT KILL 命令
    • SHUTDOWN NOSAVE 命令
  • 参考

Redis提供了Lua脚本功能来让用户实现自己的原子命令,但也存在着风险,编写不当的脚本可能阻塞线程导致整个Redis服务不可用。

本文将介绍Redis中Lua脚本的基本用法,以及脚本超时导致的问题和处理方式。

EVAL命令简介

eval格式

Redis 提供了命令EVAL来执行Lua脚本,格式如下

EVAL script numkeys key [key …] arg [arg …]

其中 script 是将要执行的脚本内容,至于后面的脚本参数部分与本文无关,在此不做赘述。

特性

由于Redis对数据集单线程读写的特性,Lua脚本执行时会阻塞所有对数据集的读写操作,这给它带来了下面两个特性:

  • 原子性:可以通过Lua脚本实现对数据集的原子读写操作,这和Redis的事务功能MULTI / EXEC类似
  • 长时间阻塞风险:如果Lua脚本执行时间过长,导致整个Redis不可用

执行流程

eval "return 'hello world'" 0为例,脚本执行步骤如下

定义脚本函数

执行过的脚本可以根据hash值找到函数重新使用

Redis会根据传入的脚本内容生成函数,函数名由 f_ + 脚本内容的sha1摘要组成。

function f_5332031c6b470dc5a0dd9b4bf2030dea6d65de91()
	return 'hello world'
end

函数保存到 Lua_scripts字典,便于 evalsha使用

执行脚本函数

  • 将KEYS和ARGV两个参数数组传入Lua执行环境
  • 装载超时处理钩子
  • 执行脚本
  • 移除超时钩子
  • 结果保存到客户端输出缓冲区,等待服务器将结果返回客户端
  • Lua环境垃圾回收

关于脚本超时

介绍完EVAL命令,下面来关注Lua脚本长时间阻塞的风险。

Redis的配置文件中提供了如下配置项来规定最大执行时长

  • Lua-time-limit 5000 Lua脚本最大执行时间,默认5秒

但这里有个坑,当一个脚本达到最大执行时长的时候,Redis并不会强制停止脚本的运行,仅仅在日志里打印个警告,告知有脚本超时。

Lua slow script detected: still in execution after 5000 milliseconds. You can try killing the script using the SCRIPT KILL command. Script SHA1 is: 2531e4edc1a1e2a9bac3c52e99466f9ccabf12c0

为什么不能直接停掉呢?

因为 Redis 必须保证脚本执行的原子性,中途停止可能导致内存的数据集上只修改了部分数据。

(只读的脚本应该是可以自动停的,没自动停的原因我猜测是:脚本超时严重可以肯定出现了编码错误,作者可能希望在测试中尽早发现这种问题,而不是靠自动停止导致bug被忽略?)

如果时长达到 Lua-time-limit 规定的最大执行时间,Redis只会做这几件事情:

日志记录有脚本运行超时

开始允许接受其他客户端请求,但仅限于 SCRIPT KILLSHUTDOWN NOSAVE 两个命令

其他请求仍返回busy错误

SCRIPT KILL 命令

如果Lua只是读取数据而没做修改的话,执行 SCRIPT KILL 就可以直接终止脚本执行,不用担心数据被修改。

但是,如果脚本已经改写了数据内容,SCRIPT KILL将报出以下错误,因为它破坏数据集的内容。

(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the script termination or kill the server in a hard way using the SHUTDOWN NOSAVE command.

SHUTDOWN NOSAVE 命令

如上所述,如果脚本已经执行了写命令,SCRIPT KILL将无法执行。那我们就只剩以下两种选择了:

  • 继续等待脚本执行完成
  • 使用 SHUTDOWN NOSAVE 来直接停掉 Redis,并避免脏数据持久化到磁盘

最后,不知道你有没有疑问,从开始执行脚本到 SHUTDOWN 之间的写命令会把日志写到AOF里吗?Lua脚本中的命令什么时候会写AOF里?

讲道理,既然 Redis 为了不破坏脚本的原子性而不让SCRIPT KILL执行,那么脚本中写命令的 “提交” 也应当是原子执行的,而不是执行一句就向AOF里写一句。

“提交”:借用数据库中 commit 的概念,这里指写入AOF文件中

下面就来验证这个猜测:

先执行 tail -f appendonly.aof 实时查看AOF文件变化

再开一个redis-cli 命令行执行一个内容如下的Lua脚本

redis.call('set','a','aaaa') --先执行写命令
local count = 1
while( 999999999 > count ) -- 阻塞几秒
do
   count = count+1
end
127.0.0.1:6379> eval "redis.call('set','a','aaaa') local count = 1 while( 999999999 > count ) do  count = count+1   end" 0
(nil)
(8.65s)

现象是,脚本刚开始执行,AOF文件毫无反应,一直等到8秒后脚本完成,命令才追加写入到AOF中。

这就验证了Redis脚本里的写命令是等到执行完成后再一次性写入AOF的。

参考

Redis设计与实现

到此这篇关于Redis中Lua脚本的使用和设置超时 的文章就介绍到这了,更多相关Redis Lua 超时内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • Redis和Lua实现分布式限流器的方法详解

    主要是依靠 redis + lua 来实现限流器, 使用 lua 的原因是将多条命令合并在一起作为一个原子操作, 无需过多考虑并发. 计数器模式 原理 计数器算法是指在一段窗口时间内允许通过的固定数量的请求, 比如10次/秒, 500次/30秒. 如果设置的时间粒度越细, 那么限流会更平滑. 实现 所使用的 Lua 脚本 -- 计数器限流 -- 此处支持的最小单位时间是秒, 若将 expire 改成 pexpire 则可支持毫秒粒度. -- KEYS[1] string 限流的key -- AR

  • redis lua脚本实战秒杀和减库存的实现

    目录 前言 1.redisson介绍 2. redis lua脚本编写与执行 3.redis减库存lua脚本 4.实战 4.1 减库存逻辑 4.2 压测 前言 我们都知道redis是高性能高并发系统必不可少的kv中间件,它以高性能,高并发著称,我们常常用它做缓存,将热点数据或者是万年不变的数据缓存到redis中,查询的时候直接查询redis,减轻db的压力,分布式系统中我们也会拿它来做分布式锁,分布式id,幂等来解决一些分布式问题,redis也支持lua脚本,而且能够保证lua脚本执行过程中原子

  • 使用lua+redis解决发多张券的并发问题

    前言 公司有一个发券的接口有并发安全问题,下面列出这个问题和解决这个问题的方式. 业务描述 这个接口的作用是给会员发多张券码.涉及到4张主体,分别是:用户,券,券码,用户领取记录. 下面是改造前的伪代码. 主要是因为查出券码那行存在并发安全问题,多个线程拿到同几个券码.以下都是基于如何让取券码变成原子的去展开. public boolean sendCoupons(Long userId, Long couponId) { // 一堆校验 // ... // 查出券码 List<CouponCo

  • Redis和Lua使用过程中遇到的小问题

    问题 在 Redis 里执行 get 或 hget 不存在的 key 或 field 时返回值在终端显式的是 (nil),类似于下面这样 127.0.0.1:6379> get test_version (nil) 如果在 Lua 脚本中判断获取到的值是否为空值时,就会产生比较迷惑的问题,以为判断空值的话就用 nil 就可以了,然鹅事实却并不是这样的,如下所示: 127.0.0.1:6379> get test_version (nil) 127.0.0.1:6379> EVAL &qu

  • redis执行lua脚本的实现方法

    目录 1. 语法格式 2.类型转换 3.lua脚本 3.1 script命令 3.2 脚本原子性 3.3 脚本缓存和EVALSHA 3.4 全局变量保护 3.5 日志记录 从redis 2.6.0版本开始,redis内置了Lua解释器,并提供了eval命令来解析Lua脚本求值. 1. 语法格式 语法: eval script numkeys keys args 参数: eval - redis提供解析lua脚本的命令          script - lua脚本           numke

  • redis中lua脚本的简单使用

    一.背景 在使用redis的过程中,发现有些时候需要原子性去操作redis命令,而redis的lua脚本正好可以实现这一功能.比如: 扣减库存操作.限流操作等等. redis的pipelining虽然也可以一次执行一组命令,但是如果在这一组命令的执行过程中,需要根据上一步执行的结果做一些判断,则无法实现. 二.使用lua脚本 Redis中使用的是 Lua 5.1 的脚本规范,同时我们编写的脚本的时候,不需要定义 Lua 函数.同时也不能使用全局变量等等. 1.lua脚本的格式和注意事项 1.格式

  • Redis中Lua脚本的使用和设置超时

    目录 EVAL命令简介 eval格式 特性 执行流程 关于脚本超时 SCRIPT KILL 命令 SHUTDOWN NOSAVE 命令 参考 Redis提供了Lua脚本功能来让用户实现自己的原子命令,但也存在着风险,编写不当的脚本可能阻塞线程导致整个Redis服务不可用. 本文将介绍Redis中Lua脚本的基本用法,以及脚本超时导致的问题和处理方式. EVAL命令简介 eval格式 Redis 提供了命令EVAL来执行Lua脚本,格式如下 EVAL script numkeys key [key

  • 详解Redis中Lua脚本的应用和实践

    引言 前段时间组内有个投票的产品,上线前考虑欠缺,导致被刷票严重.后来,通过研究,发现可以通过 redis lua 脚本实现限流,这里将 redis lua 脚本相关的知识分享出来,讲的不到位的地方还望斧正. redis lua 脚本相关命令 这一小节的内容是基本命令,可粗略阅读后跳过,等使用的时候再回来查询 redis 自 2.6.0 加入了 lua 脚本相关的命令,EVAL.EVALSHA.SCRIPT EXISTS.SCRIPT FLUSH.SCRIPT KILL.SCRIPT LOAD,

  • redis中lua脚本使用教程

    目录 一.背景 二.使用lua脚本 三.lua和redis数据类型转换 四.lua脚本中输出日志 五.一个简单限流的案例 六.lua脚本的debug 七.参考文档 一.背景 在使用redis的过程中,发现有些时候需要原子性去操作redis命令,而redis的lua脚本正好可以实现这一功能.比如: 扣减库存操作.限流操作等等. redis的pipelining虽然也可以一次执行一组命令,但是如果在这一组命令的执行过程中,需要根据上一步执行的结果做一些判断,则无法实现. 二.使用lua脚本 Redi

  • Redis中lua脚本实现及其应用场景

    目录 1. Redis Lua脚本概述 2. Redis Lua脚本的优势 3. Redis Lua脚本的应用场景 4. Redis Lua脚本的使用方法 5. java中使用redis的lua脚本 5.1. 添加Redis依赖 在pom.xml中添加以下依赖: 5.2. 配置Redis连接信息 在application.properties中添加以下配置: 5.3. 定义Redis Lua脚本 5.4. 实现RedisService 5.5. 编写Redis Lua脚本 5.6. 测试Redi

  • Redis调用Lua脚本及使用场景快速掌握

    目录 一.阅读本文前置条件 二.为什么需要Lua脚本 三.学点Lua语法 3.1.一个简单的例子 3.2.仔细看下Lua脚本里的内容 3.3.复杂点的例子 四.Lua脚本预加载 五.一个修改JSON数据的例子? 六.总结 一.阅读本文前置条件 可以遵循这个链接中的方法在操作系统上安装 Redis 如果你对redis命令不熟悉,查看<Redis 命令引用> 二.为什么需要Lua脚本 简而言之:Lua脚本带来性能的提升. 很多应用的服务任务包含多步redis操作以及使用多个redis命令,这时你可

  • Redis执行Lua脚本的好处与示例代码

    前言 Redis从2.6版本开始引入对Lua脚本的支持,通过在服务器中嵌入Lua环境,Redis客户端可以使用Lua脚本,直接在服务端原子的执行多个Redis命令. 其中,使用EVAL命令可以直接对输入的脚本进行求值: redis>EVAL "return 'hello world'" 0 "hello world" 使用脚本的好处如下: 1.减少网络开销:本来5次网络请求的操作,可以用一个请求完成,原先5次请求的逻辑放在redis服务器上完成.使用脚本,减少

  • redis通过lua脚本,获取满足key pattern的所有值方式

    我们知道,redis提供了keys命令去获取所有满足格式的key,如我们键入命令 keys "user*" 将得到所有以user开头的key 然后执行 mget命令可以获取多个key的值,如 但如果满足条件的key过多,我们要将所有key拿到,再用mget去拿到所有值则为相对比较麻烦,因此可以借助xargs redis-cli keys "user*"|xargs redis-cli mget获取到所有key的值 也可以执行lua脚本local keys = red

  • SpringBoot+Redis执行lua脚本的方法步骤

    1.背景 有时候,我们需要一次性操作多个 Redis 命令,但是 这样的多个操作不具备原子性,而且 Redis 的事务也不够强大,不支持事务的回滚,还无法实现命令之间的逻辑关系计算.所以,一般在开发中,我们会利用 lua 脚本来实现 Redis 的事务. 2.lua 脚本 Redis 中使用 lua 脚本,我们需要注意的是,从 Redis 2.6.0后才支持 lua 脚本的执行. 使用 lua 脚本的好处: 原子操作:lua脚本是作为一个整体执行的,所以中间不会被其他命令插入. 减少网络开销:可

随机推荐