深入理解redis分布式锁和消息队列

最近博主在看redis的时候发现了两种redis使用方式，与之前redis作为缓存不同，利用的是redis可设置key的有效时间和redis的BRPOP命令。

分布式锁

由于目前一些编程语言，如PHP等，不能在内存中使用锁，或者如Java这样的，需要一下更为简单的锁校验的时候，redis分布式锁的使用就足够满足了。

redis的分布式锁其实就是基于setnx方法和redis对key可设置有效时间的功能来实现的。基本用法比较简单。

public boolean tryLock(String lock,long expireTime){
  String expire = String.valueOf(System.currentTimeMillis() + expireTime + 1);
  Long result = jedis.setNx(lock,expire);
  if(result == 1L){
    jedis.expire(lock, expireTime);
    return true;
  }
  //判断超时key可能未删掉
  String currentValue = jedis.get(lock);
  if(Long.parseLong(currentValue) < System.currentTimeMillis()){
    jedis.set(lock, expire);
    jedis.expire(lock, expireTime);
    return true;
  }
  return false;
}
//expire是key的值，这里是为了防止运行超时锁被其他线程拿走之后误删锁
public unlock(String lock,String expire){
  String value = jedis.get(lock);
  if(value != null && value != expire && Long.parseLong(value) > System.currentTimeMillis())
    jedis.del(lock);
}

这里就是我根据redis的机制写的加锁和解锁方法。现在redis不推荐使用setNx了，而是直接使用set命令set(lock, expire,"NX", expireTime,"EX"),可以直接包括了setNx和expire的作用。

消息队列

消息队列主要应用在网络服务中异步任务的实现，redis可以充当消息队列实现生产者/消费者模型和订阅/发布模型。

生产者/消费者模型

生产者/消费者模型需要存在生产者和消费者两方，而在redis中队列的存储和获取可以作为消息队列被生产者和消费者使用，这里就不用Java代码写了，使用redis命令来说明。

其实redis在其中做的还是缓存的作用，LPUSH queue task，将task放到queue队列里面，这里稍微偏题一句，其实redis有lpush和rpush，意思就是从左边插入队列和从右边插入队列。这就是生产者的部分，将任务插入到指定队列中。

消费者的部分有点相似，就是使用BRPOP queue 10，当然这里的BRPOP也有对应的BLPOP，由于队列是按顺序取任务的，所以这边做的是左边插入，右边取出。这里需要注意的是，redis有BRPOP和RPOP，之所以用BRPOP的原因是这个有一个等待，就是命令中的10，这是一个等待时间，以秒为单位，意思是如果队列中是空的，那么我先不返回，我等待10秒，如果期间有新的任务插入，那么我就取新的任务返回，还是没有的话，返回空。

另外BRPOP还支持优先级，就是BRPOP queue:1 queue:2 queue:3 10，这个意思是顺序获取，如果queue:1没有取到任务，到queue:2去取，依次往后。

订阅/发布模型

订阅/发布模型简单来说就是由发布者向所有订阅者发送任务，任何订阅者都可以获取任务，这里redis的实现就是使用订阅命令。

发布者可以使用publish channel task来发布相关的任务，而订阅者则是使用subscribe channel，这是一个监听命令，redis会一直监听这个channel，如果发布者发布新的任务，监听命令会返回任务，直到订阅者主动退出监听。但是redis也为这个设置超时，保证监听的有效性，默认如果60s内没收到消息就异常退出，当然这个可配置。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Redis实现分布式锁的几种方法总结

    Redis实现分布式锁的几种方法总结 分布式锁是控制分布式系统之间同步访问共享资源的一种方式.在分布式系统中,常常需要协调他们的动作.如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候,往往需要互斥来防止彼此干扰来保证一致性,在这种情况下,便需要使用到分布式锁. 我们来假设一个最简单的秒杀场景:数据库里有一张表,column分别是商品ID,和商品ID对应的库存量,秒杀成功就将此商品库存量-1.现在假设有1000个线程来秒杀两件商品,500个线程秒杀第一个商品,

  • Java利用Redis实现消息队列的示例代码

    本文介绍了Java利用Redis实现消息队列的示例代码,分享给大家,具体如下: 应用场景 为什么要用redis? 二进制存储.java序列化传输.IO连接数高.连接频繁 一.序列化 这里编写了一个java序列化的工具,主要是将对象转化为byte数组,和根据byte数组反序列化成java对象; 主要是用到了ByteArrayOutputStream和ByteArrayInputStream; 注意:每个需要序列化的对象都要实现Serializable接口; 其代码如下: package Utils

  • 详解spring boot starter redis配置文件

    spring-boot-starter-Redis主要是通过配置RedisConnectionFactory中的相关参数去实现连接redis service. RedisConnectionFactory是一个接口,有如下4个具体的实现类,我们通常使用的是JedisConnectionFactory. 在spring boot的配置文件中redis的基本配置如下: # Redis服务器地址 spring.redis.host=192.168.0.58 # Redis服务器连接端口 spring.

  • Redis 出现错误1067的解决办法

    Redis 出现错误1067的解决办法

    Redis 出现错误1067的解决办法 一.问题描述: 在Windows启动Redis服务时,发生如下错误: Windows无法启动Redis服务(位于本地计算机上). 错误1067:进程意外终止. 在Windows CMD命令行启动时提示: D:\soft\Redis>redis-server.exe redis.windows.conf [9560] 15 Jul 10:33:32.364 # Creating Server TCP listening socket 192.168.100.

  • C#使用Redis的基本操作

    C#使用Redis的基本操作

    一,引入dll 1.ServiceStack.Common.dll 2.ServiceStack.Interfaces.dll 3.ServiceStack.Redis.dll 4.ServiceStack.Text.dll 二,修改配置文件 在你的配置文件中加入如下的代码: <appSettings> <add key="RedisPath" value="127.0.0.1:6379"/> todo:这里配置自己redis的ip地址和端口

  • 详解PHP使用Redis存储session时的一个Warning定位

    1. 问题现象 系统页面刷新的时候,偶尔会报错下面的Warnning,但是不经常出现: Warning: Unknown: Failed to write session data (Redis). Please verify that the current setting of session.save_path is correct (tcp://x.x.x.x:6379?auth=yyy) in Unknown on line 0 看网络有人说是redis版本的问题.但是没有具体结论,那

  • 深入理解redis分布式锁和消息队列

    最近博主在看redis的时候发现了两种redis使用方式,与之前redis作为缓存不同,利用的是redis可设置key的有效时间和redis的BRPOP命令. 分布式锁 由于目前一些编程语言,如PHP等,不能在内存中使用锁,或者如Java这样的,需要一下更为简单的锁校验的时候,redis分布式锁的使用就足够满足了. redis的分布式锁其实就是基于setnx方法和redis对key可设置有效时间的功能来实现的.基本用法比较简单. public boolean tryLock(String loc

  • python分布式爬虫中消息队列知识点详解

    当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的资源,当然这个是一定的次序的,不然数据获取就会出现重复.就下来我们就python分布式爬虫中的消息队列进行详细解释,小伙伴们可以进一步了解一下. 实现分布式爬取的关键是消息队列,这个问题以消费端为视角更容易理解.你的爬虫程序部署到很多台机器上,那么他们怎么知道自己要爬什么呢?总要有一个地方存储了他们

  • Redis分布式锁升级版RedLock及SpringBoot实现方法

    Redis分布式锁升级版RedLock及SpringBoot实现方法

    分布式锁概览 在多线程的环境下,为了保证一个代码块在同一时间只能由一个线程访问,Java中我们一般可以使用synchronized语法和ReetrantLock去保证,这实际上是本地锁的方式.但是现在公司都是流行分布式架构,在分布式环境下,如何保证不同节点的线程同步执行呢?因此就引出了分布式锁,它是控制分布式系统之间互斥访问共享资源的一种方式. 在一个分布式系统中,多台机器上部署了多个服务,当客户端一个用户发起一个数据插入请求时,如果没有分布式锁机制保证,那么那多台机器上的多个服务可能进行并发插

  • 详解RedisTemplate下Redis分布式锁引发的系列问题

    详解RedisTemplate下Redis分布式锁引发的系列问题

    自己的项目因为会一直抓取某些信息,但是本地会和线上经常一起跑,造成冲突.这其实就是我们常说的分布式集群的问题了,本地和线上的服务器构成了集群以及QPS为2的小并发(其实也不叫并发,不知道拿什么词形容?). 首先,分布式集群的问题大家都知道,会造成数据库的插入重复问题,会造成一系列的并发性问题. 解决的方式呢也大概如下几点,百度以及谷歌上都能搜到的解决方式: 1:数据库添加唯一索引 2:设计接口幂等性 3:依靠中间件使用分布式锁,而分布式锁又分为Redis和Zookeeper 由于Zookeepe

  • redis分布式锁之可重入锁的实现代码

    redis分布式锁之可重入锁的实现代码

    上篇redis实现的分布式锁,有一个问题,它不可重入. 所谓不可重入锁,即若当前线程执行某个方法已经获取了该锁,那么在方法中尝试再次获取锁时,就会获取不到被阻塞. 同一个人拿一个锁 ,只能拿一次不能同时拿2次. 1.什么是可重入锁?它有什么作用? 可重入锁,也叫做递归锁,指的是在同一线程内,外层函数获得锁之后,内层递归函数仍然可以获取到该锁. 说白了就是同一个线程再次进入同样代码时,可以再次拿到该锁. 它的作用是:防止在同一线程中多次获取锁而导致死锁发生. 2.那么java中谁实现了可重入锁了?

  • Redis分布式锁Redlock的实现

    目录 普通实现 Redlock实现 Redlock源码 用法 唯一ID 获取锁 释放锁 普通实现 说道Redis分布式锁大部分人都会想到:setnx+lua,或者知道set key value px milliseconds nx.后一种方式的核心实现命令如下: - 获取锁(unique_value可以是UUID等) SET resource_name unique_value NX PX 30000 - 释放锁(lua脚本中,一定要比较value,防止误解锁) if redis.call("g

  • 详解redis分布式锁(优化redis分布式锁的过程及Redisson使用)

    详解redis分布式锁(优化redis分布式锁的过程及Redisson使用)

    目录 1. redis在实际的应用中 2.如何使用redis的功能进行实现分布式锁 2.1 redis分布式锁思想 2.1.1设计思想: 2.1.2 根据上面的设计思想进行代码实现 2.2 使用redisson进行实现分布式锁 1. redis在实际的应用中 不仅可以用来缓存数据,在分布式应用开发中,经常被用来当作分布式锁的使用,为什么要用到分布式锁呢? 在分布式的开发中,以电商库存的更新功能进行讲解,在实际的应用中相同功能的消费者是有多个的,假如多个消费者同一时刻要去消费一条数据,假如业务逻辑

  • Redis分布式锁如何自动续期的实现

    Redis分布式锁如何自动续期的实现

    目录 Redis 实现分布式锁 问题 自动续期 看门狗 Redissson tryLock 看门狗如何自动续期 续期原理 Redis 实现分布式锁 指定一个 key 作为锁标记,存入 Redis 中,指定一个 唯一的用户标识作为 value. 当 key 不存在时才能设置值,确保同一时间只有一个客户端进程获得锁,满足互斥性特性. 设置一个过期时间,防止因系统异常导致没能删除这个 key,满足防死锁特性. 当处理完业务之后需要清除这个 key 来释放锁,清除 key 时需要校验 value 值,需

  • Redis分布式锁如何实现续期

    Redis分布式锁如何实现续期

    目录 Redis分布式锁如何续期 Redis分布式锁的正确姿势 如何回答 源码分析 真相大白 Redis分布式锁的5个坑 一.锁未被释放 二.B的锁被A给释放了 三.数据库事务超时 四.锁过期了,业务还没执行完 五.redis主从复制的坑 Redis分布式锁如何续期 Redis分布式锁的正确姿势 据肥朝了解,很多同学在用分布式锁时,都是直接百度搜索找一个Redis分布式锁工具类就直接用了.关键是该工具类中还充斥着很多System.out.println();等语句.其实Redis分布式锁比较正确

  • Redis 使用 List 实现消息队列的优缺点

    Redis 使用 List 实现消息队列的优缺点

    目录 什么是消息队列 消息队列满足哪些特性 消息有序性 重复消息处理 可靠性 List 实现消息队列 LPUSH RPOP 实时消费问题 重复消费 消息可靠性 需要注意的是 Redission 实战 添加依赖 Java 代码实战 单元测试 总结 需要注意的是,我们要避免生产者过快,消费者过慢导致的消息堆积占用 Redis 的内存. 分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦.流量消峰.实现最终一致性. 目前市面上已经有 RabbitMQ.RochetMQ.A

随机推荐