详解一种用django_cache实现分布式锁的方式

问题背景

在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱。

在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能。

资料查找

基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种:

第一种锁命令INCR

这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一。 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中。

第二种锁命令SETNX

这种加锁的思路是,如果 key 不存在,将 key 设置为 value 如果 key 已存在,则 SETNX 不做任何动作

第三种锁命令SET

上面两种方法都有一个问题,会发现,都需要设置 key 过期。那么为什么要设置key过期呢?如果请求执行因为某些原因意外退出了,导致创建了锁但是没有删除锁,那么这个锁将一直存在,以至于以后缓存再也得不到更新。于是乎我们需要给锁加一个过期时间以防不测。

在实际编写中,我综合了第二种和第三种方式,即用键名来设置锁,同时设置了过期时间,以防长时间占用。

另外,关于如何使用django-cache去使用数据库缓存,相关的API整理如下:

from django.core.cache import caches
# 设置锁和超时时间
cache.set('my_key', 'Initial value', 60)
# 获取锁
cache.get('my_key')
# 更新锁
cache.add('add_key', 'New value')

代码编写

在经过多次的迭代,并且对比了网上的各路写法后,我结合django-cache的特性,最终总结了一套较为简洁的写法。

首先是一个CacheLock的类,初始化方法里可以传执行超时时间,和拿锁等待的时间。CacheLock类的主要方法有两个,一个是拿锁的方法,一个是释放锁的方法。

拿锁的方法中,键名根据操作的具体对象来定,键值为uuid值,超时时间默认为60s。一旦发现能拿到锁,则返回uuid值。

释放锁的方法中,首先比较键值和uuid值是否一致,一致则释放,避免因超时情况导致把其他的正在操作的锁给释放掉。

class CacheLock(object):
 def __init__(self, expires=60, wait_timeout=0):
 self.cache = cache
 self.expires = expires # 函数执行超时时间
 self.wait_timeout = wait_timeout # 拿锁等待超时时间

 def get_lock(self, lock_key):
 # 获取cache锁
 wait_timeout = self.wait_timeout
 identifier = uuid.uuid4()
 while wait_timeout >= 0:
  if self.cache.add(lock_key, identifier, self.expires):
  return identifier
  wait_timeout -= 1
  time.sleep(1)
 raise LockTimeout({'msg': '当前有其他用户正在编辑该采集配置,请稍后重试'})

 def release_lock(self, lock_key, identifier):
 # 释放cache锁
 lock_value = self.cache.get(lock_key)
 if lock_value == identifier:
  self.cache.delete(lock_key)

另外,将缓存锁写成一个装饰器,对需要加锁的地方,添加上该装饰器,则可以很轻松地实现锁功能。

def lock(cache_lock):
 def my_decorator(func):
 def wrapper(*args, **kwargs):
  lock_key = 'bk_monitor:lock:xxx' # 具体的lock_key要根据调用时传的参数而定
  identifier = cache_lock.get_lock(lock_key)
  try:
  return func(*args, **kwargs)
  finally:
  cache_lock.release_lock(lock_key, identifier)
 return wrapper
 return my_decorator

再举一个实际调用中的例子:

@lock(CacheLock())
def f():
 pass

另外,我在设置缓存的key名的时候,会根据函数的具体操作对象,从而给装饰器传递相应的参数,这里就不再举例了。

优化改进

当然,实现以上功能需求一定还有别的更好的方式,关于锁的实现,网络上有很多别的方式,比如基于zookeeper实现分布式锁、基于数据库实现分布式锁等等,它们在可靠性或性能方面都各有长短,要根据具体场景进行取舍,所以还有非常多值得研究的地方。

我这里也只是抛砖引玉,欢迎拍砖~

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 基于Django的乐观锁与悲观锁解决订单并发问题详解

    前言 订单并发这个问题我想大家都是有一定认识的,这里我说一下我的一些浅见,我会尽可能的让大家了解如何解决这类问题. 在解释如何解决订单并发问题之前,需要先了解一下什么是数据库的事务.(我用的是mysql数据库,这里以mysql为例) 1)     事务概念 一组mysql语句,要么执行,要么全不不执行.  2)  mysql事务隔离级别 Read Committed(读取提交内容) 如果是Django2.0以下的版本,需要去修改到这个隔离级别,不然乐观锁操作时无法读取已经被修改的数据 Repea

  • django实现登录时候输入密码错误5次锁定用户十分钟

    在学习django的时候,想要实现登录失败后,进行用户锁定,切记录锁定时间,在网上找了很多资料,但是都感觉不是那么靠谱,于是乎,我开始了我的设计,其实我一开始想要借助redis呢,但是想要先开发一个简单的,后续在拆分后,然后在去进行拆分, 这样也是很接近我们在真实的开发中所遇到问题. 我的思路是: 输入账号密码>是否已经登录>提示已经登录 输入账号密码>错误次数少于6次>校验密码>登录成功,记录登录时间,错误次数清空,记录登录状态 输入账号密码>错误大于六次>提示

  • Django框架中数据的连锁查询和限制返回数据的方法

    连锁查询 通常我们需要同时进行过滤和排序查询的操作. 因此,你可以简单地写成这种"链式"的形式: >>> Publisher.objects.filter(country="U.S.A.").order_by("-name") [<Publisher: O'Reilly>, <Publisher: Apress>] 你应该没猜错,转换成SQL查询就是 WHERE 和 ORDER BY 的组合: SELEC

  • 详解一种用django_cache实现分布式锁的方式

    问题背景 在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱. 在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能. 资料查找 基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种: 第一种锁命令INCR 这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然

  • 详解使用Redis SETNX 命令实现分布式锁

    使用Redis的 SETNX 命令可以实现分布式锁,下文介绍其实现方法. SETNX命令简介 命令格式 SETNX key value 将 key 的值设为 value,当且仅当 key 不存在. 若给定的 key 已经存在,则 SETNX 不做任何动作. SETNX 是SET if Not eXists的简写. 返回值 返回整数,具体为 - 1,当 key 的值被设置 - 0,当 key 的值没被设置 例子 redis> SETNX mykey "hello" (integer

  • 详解5种Java中常见限流算法

    目录 01固定窗口 02滑动窗口 03漏桶算法 04令牌桶 05滑动日志 06分布式限流 07总结 1.瞬时流量过高,服务被压垮? 2.恶意用户高频光顾,导致服务器宕机? 3.消息消费过快,导致数据库压力过大,性能下降甚至崩溃? ...... 在高并发系统中,出于系统保护角度考虑,通常会对流量进行限流:不但在工作中要频繁使用,而且也是面试中的高频考点. 今天我们将图文并茂地对常见的限流算法分别进行介绍,通过各个算法的特点,给出限流算法选型的一些建议,并给出Java语言实现的代码示例. 01固定窗

  • mysql 5.7.20解压版安装方法步骤详解(两种方法)

    我来讲解下window64位下MySQL的安装,MySQL是在5.7开始安装版就只有32位下载服务了,这里我讲解解压版的MySQL如何安装,在安装MySQL解压版时对于新手的小编来说也是头疼得很,各种问题各种来没有安装版的一键轻松搞定的方便,安装时需要注意三点:1.路径配置,2.安装时MySQL端口被占用这时需要关闭被占用端口,3.cmd必须是在管理员环境下设置MySQL信息. MySQL官网: https://www.mysql.com/downloads/ http://www.jb51.n

  • java 二分法详解几种实现方法

    java 二分法详解几种方法 二分查找(java实现) 二分查找 算法思想:又叫折半查找,要求待查找的序列有序.每次取中间位置的值与待查关键字比较,如果中间位置的值比待查关键字大,则在前半部分循环这个查找的过程,如果中间位置的值比待查关键字小,则在后半部分循环这个查找的过程.直到查找到了为止,否则序列中没有待查的关键字. 实现: 1.非递归代码 public static int biSearch(int []array,int a){ int lo=0; int hi=array.length

  • IOS中Json解析实例方法详解(四种方法)

    作为一种轻量级的数据交换格式,json正在逐步取代xml,成为网络数据的通用格式. 有的json代码格式比较混乱,可以使用此"http://www.bejson.com/"网站来进行JSON格式化校验(点击打开链接).此网站不仅可以检测Json代码中的错误,而且可以以视图形式显示json中的数据内容,很是方便. 从IOS5开始,APPLE提供了对json的原生支持(NSJSONSerialization),但是为了兼容以前的iOS版本,可以使用第三方库来解析Json. 本文将介绍Tou

  • 第七篇Bootstrap表单布局实例代码详解(三种表单布局)

    Bootstrap提供了三种表单布局:垂直表单,内联表单和水平表单.下面逐一给大家介绍,有兴趣的朋友一起学习吧. 创建垂直或基本表单: •·向父 <form> 元素添加 role="form". •·把标签和控件放在一个带有 class .form-group 的 <div> 中.这是获取最佳间距所必需的. •·向所有的文本元素 <input>.<textarea> 和 <select> 添加 class .form-cont

  • Android开发之对话框案例详解(五种对话框)

    下面通过实例代码给大家分享5种android对话框,具体内容详情如下所示: 1 弹出普通对话框 --- 系统更新 2 自定义对话框-- 用户登录 3 时间选择对话框 -- 时间对话框 4 进度条对话框 -- 信息加载.. 5 popuWindow对话框 1 弹出普通对话框 --- 系统更新  //弹出普通对话框 public void showNormalDialog(View v) { AlertDialog.Builder builder = new Builder(this); //设置D

  • 详解三种方式在React中解决绑定this的作用域问题并传参

    在React中时常会遇到this指向的作用域问题 从而导致undefined报错 先来个Demo: 功能很简单 点击按钮改变文字 import React from 'react'; export default class BindWithThis extends React.Component { constructor(props) { super(props); this.state = { msg:"BindWithThis" } } render() { return &l

  • 详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

    先看一道GIL面试题: 描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因. GIL:又叫全局解释器锁,每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程在运行,目的是解决多线程同时竞争程序中的全局变量而出现的线程安全问题.它并不是python语言的特性,仅仅是由于历史的原因在CPython解释器中难以移除,因为python语言运行环境大部分默认在CPython解释器中. 通过

随机推荐