如何使用Redis锁处理并发问题详解

前言

上周“被”上线了一个紧急项目，周五下班接到需求，周一开始思考解决方案，周三开发完成，周四走流程上线，也算是面向领导编程了。之前的项目里面由于是自运维，然后大多数又都赶时间，所以在处理定时任务上面基本都是自己在服务器上添加crontab，而不是让多个实例自己去处理定时任务的并发锁，并且Laravel 5.5开始自带并发锁，我们也快升级了。但是这次项目是Python项目，无奈只能自己实现一下，以下这个方案实现起来非常简单且易于理解。

import redis
r = redis.Redis(...)

last_heart = 0		# 记录上一次得到的锁心跳
free_lock_try = 6	# 锁无心跳的最大次数 

while not r.setnx('mylock', 1):
 now_heart = r.get('mylock')
 print(f"没获取到锁,now_heart={now_heart},last_heart={last_heart},free_lock_try={free_lock_try}")
 if now_heart == last_heart:
  free_lock_try = free_lock_try - 1
  if free_lock_try == 0:	# 锁已经1分钟没有心跳了
   old_heart = r.getset('mylock', 1)	# 将lock重置为1，并返回set之前的心跳值
   if old_heart < now_heart:
    time.sleep(10)
    continue
   else:
    break	# 成功获取到锁，退出循环
 else:
  free_lock_try = 6	# 锁有心跳，重置free_lock_try值
  last_heart = now_heart
 time.sleep(10)

def producer_exit():
 """程序正常退出时候自动清理锁"""
 r.delete('mylock')
import atexit
atexit.register(producer_exit)

# 业务代码
while True:
 r.incr('mylock')	# 让锁心跳加一
 ...

我们来看看这段程序都解决了并发锁中的哪些问题

  • 高并发下，多个进程无法同时获取到锁。这里使用的是redis.setnx，如果锁已经存在，其他进程是无法重置锁并获取到锁的。另外当多个进程同时发现有锁已经没有心跳了，使用的是redis.getset将心跳重置为1，都能set成功，但是get出来的值多个进程是不一样的，只有真正获取到锁的进程返回的是之前进程的心跳，而其他进程获取到的都是1。
  • 有锁进程正常退出，可以使用atexit注册进程退出函数删除锁，这里也可以不要，不过下次启动得等新的进程等待几次心跳
  • 有锁进程意外退出，退出后心跳不再增加，超过free_lock_try次数后，其他进程会重新设置并获取锁
  • 所有进程全都意外退出，这个问题不是锁来关心的，可以使用supervisor进行守护进程。

导致Redis并发原因解释

正所谓只有知其然才能知其所以然，只有弄明白问题出现的原因所在，才能对症下药，寻找解决问题的良方。众所周知，Redis程序采用单线程模式进行运行，作为单线程程序，Redis客户端的命令是逐条执行，也叫做One by One执行。既然是逐条命令执行，从表面上来看Redis似乎不存在高并发的问题，这一观点论也有道理，原子性的Redis命令本身也确实不存在高并发问题，这与多线程下的程序勃然不同。但是我们项目工作搭建Redis环境之后，通常都会是一组命令集合执行程序，一个请求中就包含了N个Redis执行命令，再加上多个客户端请求，命令就更多了，导致连接超时、数据混乱或错误、请求阻塞等多种问题。

即总结为，产生Redis并发诱因是程序中的业务复杂度导致。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • PHP实现Redis单据锁以及防止并发重复写入

    一.写在前面: 在整个供应链系统中,会有很多种单据(采购单.入库单.到货单.运单等等),在涉及写单据数据的接口时(增删改操作),即使前端做了相关限制,还是有可能因为网络或异常操作产生并发重复调用的情况,导致对相同单据做相同的处理: 为了防止这种情况对系统造成异常影响,我们通过Redis实现了一个简单的单据锁,每个请求需先获取锁才能执行业务逻辑,执行结束后才会释放锁:保证了同一单据的并发重复操作请求只有一个请求可以获取到锁(依赖Redis的单线程),是一种悲观锁的设计: 注:Redis锁在我们的系

  • php 使用redis锁限制并发访问类示例

    本文介绍了php 使用redis锁限制并发访问类,并详细的介绍了并发访问限制方法. 1.并发访问限制问题 对于一些需要限制同一个用户并发访问的场景,如果用户并发请求多次,而服务器处理没有加锁限制,用户则可以多次请求成功. 例如换领优惠券,如果用户同一时间并发提交换领码,在没有加锁限制的情况下,用户则可以使用同一个换领码同时兑换到多张优惠券. 伪代码如下: if A(可以换领)     B(执行换领)     C(更新为已换领) D(结束) 如果用户并发提交换领码,都能通过可以换领(A)的判断,因

  • 如何利用Redis锁解决高并发问题详解

    redis技术的使用: redis真的是一个很好的技术,它可以很好的在一定程度上解决网站一瞬间的并发量,例如商品抢购秒杀等活动... redis之所以能解决高并发的原因是它可以直接访问内存,而以往我们用的是数据库(硬盘),提高了访问效率,解决了数据库服务器压力. 为什么redis的地位越来越高,我们为何不选择memcache,这是因为memcache只能存储字符串,而redis存储类型很丰富(例如有字符串.LIST.SET等),memcache每个值最大只能存储1M,存储资源非常有限,十分消耗内

  • 如何使用Redis锁处理并发问题详解

    前言 上周"被"上线了一个紧急项目,周五下班接到需求,周一开始思考解决方案,周三开发完成,周四走流程上线,也算是面向领导编程了.之前的项目里面由于是自运维,然后大多数又都赶时间,所以在处理定时任务上面基本都是自己在服务器上添加crontab,而不是让多个实例自己去处理定时任务的并发锁,并且Laravel 5.5开始自带并发锁,我们也快升级了.但是这次项目是Python项目,无奈只能自己实现一下,以下这个方案实现起来非常简单且易于理解. import redis r = redis.Re

  • redis配置文件中常用配置详解

    此次安装的版本为: 5.0.3 [root@localhost local]# redis-server --version Redis server v=5.0.3 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=afabdecde61000c3 打开redis.cof NETWORK # 指定 redis 只接收来自于该IP地址的请求,如果不进行设置,那么将处理所有请求 bind 127.0.0.1 #是否开启保护模式,默认开启.要是配置

  • Java并发编程之同步容器与并发容器详解

    Java并发编程之同步容器与并发容器详解

    一.同步容器  1.Vector-->ArrayList vector 是线程(Thread)同步(Synchronized)的,所以它也是线程安全的: Arraylist是线程异步(ASynchronized)的,是不安全的: 2.Hashtable-->HashMap Hashtable是synchronized,这意味着Hashtable是线程安全的,多个线程可以共享一个Hashtable: HashMap是非synchronized,这意味着HashMap是非线程安全的; 3.Coll

  • Java面试必备之JMM高并发编程详解

    Java面试必备之JMM高并发编程详解

    目录 一.什么是JMM 二.JMM定义了什么 原子性 可见性 有序性 三.八种内存交互操作 四.volatile关键字 可见性 volatile一定能保证线程安全吗 禁止指令重排序 volatile禁止指令重排序的原理 五.总结 一.什么是JMM JMM就是Java内存模型(java memory model).因为在不同的硬件生产商和不同的操作系统下,内存的访问有一定的差异,所以会造成相同的代码运行在不同的系统上会出现各种问题.所以java内存模型(JMM)屏蔽掉各种硬件和操作系统的内存访问差

  • Java Redis配置Redisson的方法详解

    目录 需要的Maven application-redis.yml Session共享配置 Redisson配置 其他Redisson的Config配置方式 需要的Maven <!--redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> <e

  • GO中sync包自由控制并发示例详解

    目录 资源竞争 sync.Mutex sync.RWMutex sync.WaitGroup sync.Once sync.Cond 资源竞争 channel 常用于并发通信,要保证并发安全,主要使用互斥锁.在并发的过程中,当一个内存被多个 goroutine 同时访问时,就会产生资源竞争的情况.这块内存也可以称为共享资源. 并发时对于共享资源必然会出现抢占资源的情况,如果是对某资源的统计,很可能就会导致结果错误.为保证只有一个协程拿到资源并操作它,可以引入互斥锁 sync.Mutex. syn

  • go 分布式锁简单实现实例详解

    go 分布式锁简单实现实例详解

    目录 正文 案例 资源加锁 使用redis来实现分布式锁 redis lua保证原子性 正文 其实锁这种东西,都能能不加就不加,锁会导致程序一定程度上退回到串行化,进而降低效率. 案例 首先,看一个案例,如果要实现一个计数器,并且是多个协程共同进行的,就会出现以下的情况: package main import ( "fmt" "sync" ) func main() { numberFlag := 0 wg := new(sync.WaitGroup) for i

  • redis分布式ID解决方案示例详解

    目录 常用的分布式ID解决方案 UUID Snowflake Snowflake算法的Java代码: Leaf Leaf算法的Java代码: 基于数据库自增ID生成 基于UUID生成 基于Redis生成 基于ZooKeeper生成 常用的分布式ID解决方案 在分布式系统中,生成全局唯一ID是非常重要的,因为在分布式系统中,多个节点同时生成ID可能会导致ID冲突. 下面介绍几种常用的分布式ID解决方案. UUID UUID(通用唯一标识符)是由128位数字组成的标识符,它可以保证在全球范围内的唯一

  • Redis Set 集合的实例详解

     Redis Set 集合的实例详解 Redis的Set是string类型的无序集合.集合成员是唯一的,这就意味着集合中不能出现重复的数据. redis 中 集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1). 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员). 实例 redis 127.0.0.1:6379> SADD runoobkey redis (integer) 1 redis 127.0.0.1:6379> SADD ru

随机推荐