详解利用redis + lua解决抢红包高并发的问题

抢红包的需求分析

抢红包的场景有点像秒杀,但是要比秒杀简单点。

因为秒杀通常要和库存相关。而抢红包则可以允许有些红包没有被抢到,因为发红包的人不会有损失,没抢完的钱再退回给发红包的人即可。

另外像小米这样的抢购也要比淘宝的要简单,也是因为像小米这样是一个公司的,如果有少量没有抢到,则下次再抢,人工修复下数据是很简单的事。而像淘宝这么多商品,要是每一个都存在着修复数据的风险,那如果出故障了则很麻烦。

基于redis的抢红包方案

下面介绍一种基于Redis的抢红包方案。

把原始的红包称为大红包,拆分后的红包称为小红包。

1.小红包预先生成,插到数据库里,红包对应的用户ID是null。生成算法见另一篇文章:http://www.jb51.net/article/98620.htm

2.每个大红包对应两个redis队列,一个是未消费红包队列,另一个是已消费红包队列。开始时,把未抢的小红包全放到未消费红包队列里。

未消费红包队列里是json字符串,如{userId:'789', money:'300'}。

3.在redis中用一个map来过滤已抢到红包的用户。

4.抢红包时,先判断用户是否抢过红包,如果没有,则从未消费红包队列中取出一个小红包,再push到另一个已消费队列中,最后把用户ID放入去重的map中。

5.用一个单线程批量把已消费队列里的红包取出来,再批量update红包的用户ID到数据库里。

上面的流程是很清楚的,但是在第4步时,如果是用户快速点了两次,或者开了两个浏览器来抢红包,会不会有可能用户抢到了两个红包?

为了解决这个问题,采用了lua脚本方式,让第4步整个过程是原子性地执行。

下面是在redis上执行的Lua脚本:

-- 函数:尝试获得红包,如果成功,则返回json字符串,如果不成功,则返回空
-- 参数:红包队列名, 已消费的队列名,去重的Map名,用户ID
-- 返回值:nil 或者 json字符串,包含用户ID:userId,红包ID:id,红包金额:money 

-- 如果用户已抢过红包,则返回nil
if rediscall('hexists', KEYS[3], KEYS[4]) ~= 0 then
 return nil
else
 -- 先取出一个小红包
 local hongBao = rediscall('rpop', KEYS[1]);
 if hongBao then
  local x = cjsondecode(hongBao);
  -- 加入用户ID信息
  x['userId'] = KEYS[4];
  local re = cjsonencode(x);
  -- 把用户ID放到去重的set里
  rediscall('hset', KEYS[3], KEYS[4], KEYS[4]);
  -- 把红包放到已消费队列里
  rediscall('lpush', KEYS[2], re);
  return re;
 end
end
return nil 

下面是测试代码:

public class TestEval {
  static String host = "localhost";
  static int honBaoCount = 1_0_0000; 

  static int threadCount = 20; 

  static String hongBaoList = "hongBaoList";
  static String hongBaoConsumedList = "hongBaoConsumedList";
  static String hongBaoConsumedMap = "hongBaoConsumedMap"; 

  static Random random = new Random(); 

// -- 函数:尝试获得红包,如果成功,则返回json字符串,如果不成功,则返回空
// -- 参数:红包队列名, 已消费的队列名,去重的Map名,用户ID
// -- 返回值:nil 或者 json字符串,包含用户ID:userId,红包ID:id,红包金额:money
  static String tryGetHongBaoScript =
//     "local bConsumed = rediscall('hexists', KEYS[3], KEYS[4]);\n"
//     + "print('bConsumed:' ,bConsumed);\n"
      "if rediscall('hexists', KEYS[3], KEYS[4]) ~= 0 then\n"
      + "return nil\n"
      + "else\n"
      + "local hongBao = rediscall('rpop', KEYS[1]);\n"
//     + "print('hongBao:', hongBao);\n"
      + "if hongBao then\n"
      + "local x = cjsondecode(hongBao);\n"
      + "x['userId'] = KEYS[4];\n"
      + "local re = cjsonencode(x);\n"
      + "rediscall('hset', KEYS[3], KEYS[4], KEYS[4]);\n"
      + "rediscall('lpush', KEYS[2], re);\n"
      + "return re;\n"
      + "end\n"
      + "end\n"
      + "return nil";
  static StopWatch watch = new StopWatch(); 

  public static void main(String[] args) throws InterruptedException {
//   testEval();
    generateTestData();
    testTryGetHongBao();
  } 

  static public void generateTestData() throws InterruptedException {
    Jedis jedis = new Jedis(host);
    jedisflushAll();
    final CountDownLatch latch = new CountDownLatch(threadCount);
    for(int i = 0; i < threadCount; ++i) {
      final int temp = i;
      Thread thread = new Thread() {
        public void run() {
          Jedis jedis = new Jedis(host);
          int per = honBaoCount/threadCount;
          JSONObject object = new JSONObject();
          for(int j = temp * per; j < (temp+1) * per; j++) {
            objectput("id", j);
            objectput("money", j);
            jedislpush(hongBaoList, objecttoJSONString());
          }
          latchcountDown();
        }
      };
      threadstart();
    }
    latchawait();
  } 

  static public void testTryGetHongBao() throws InterruptedException {
    final CountDownLatch latch = new CountDownLatch(threadCount);
    Systemerrprintln("start:" + SystemcurrentTimeMillis()/1000);
    watchstart();
    for(int i = 0; i < threadCount; ++i) {
      final int temp = i;
      Thread thread = new Thread() {
        public void run() {
          Jedis jedis = new Jedis(host);
          String sha = jedisscriptLoad(tryGetHongBaoScript);
          int j = honBaoCount/threadCount * temp;
          while(true) {
            Object object = jediseval(tryGetHongBaoScript, 4, hongBaoList, hongBaoConsumedList, hongBaoConsumedMap, "" + j);
            j++;
            if (object != null) {
//             Systemoutprintln("get hongBao:" + object);
            }else {
              //已经取完了
              if(jedisllen(hongBaoList) == 0)
                break;
            }
          }
          latchcountDown();
        }
      };
      threadstart();
    } 

    latchawait();
    watchstop(); 

    Systemerrprintln("time:" + watchgetTotalTimeSeconds());
    Systemerrprintln("speed:" + honBaoCount/watchgetTotalTimeSeconds());
    Systemerrprintln("end:" + SystemcurrentTimeMillis()/1000);
  }
}

测试结果20个线程,每秒可以抢2.5万个,足以应付绝大部分的抢红包场景。

如果是真的应付不了,拆分到几个redis集群里,或者改为批量抢红包,也足够应付。

总结:

redis的抢红包方案,虽然在极端情况下(即redis挂掉)会丢失一秒的数据,但是却是一个扩展性很强,足以应付高并发的抢红包方案。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 简介Lua脚本与Redis数据库的结合使用

    可能你已经听说过Redis 中嵌入了脚本语言,但是你还没有亲自去尝试吧?  这个入门教程会让你学会在你的Redis 服务器上使用强大的lua语言. Hello, Lua! 我们的第一个Redis Lua 脚本仅仅返回一个字符串,而不会去与redis 以任何有意义的方式交互. 复制代码 代码如下: local msg = "Hello, world!" return msg 这是非常简单的,第一行代码定义了一个本地变量msg存储我们的信息, 第二行代码表示 从redis 服务端返回msg

  • Nginx+Lua+Redis构建高并发Web应用

    本文介绍如何用Nginx+Lua+Redis来构建高并发Web应用,Curl请求Nginx,Nginx通过Lua查询Redis,返回json数据. 一.安装1.安装lua-redis-parser 复制代码 代码如下: #git clone https://github.com/agentzh/lua-redis-parser.git #export LUA_INCLUDE_DIR=/usr/include/lua5.1 #make CC=gcc #make install CC=gcc 2.安

  • 详解利用redis + lua解决抢红包高并发的问题

    抢红包的需求分析 抢红包的场景有点像秒杀,但是要比秒杀简单点. 因为秒杀通常要和库存相关.而抢红包则可以允许有些红包没有被抢到,因为发红包的人不会有损失,没抢完的钱再退回给发红包的人即可. 另外像小米这样的抢购也要比淘宝的要简单,也是因为像小米这样是一个公司的,如果有少量没有抢到,则下次再抢,人工修复下数据是很简单的事.而像淘宝这么多商品,要是每一个都存在着修复数据的风险,那如果出故障了则很麻烦. 基于redis的抢红包方案 下面介绍一种基于Redis的抢红包方案. 把原始的红包称为大红包,拆分

  • 详解利用exif.js解决ios手机上传竖拍照片旋转90度问题

    HTML5+canvas进行移动端手机照片上传时,发现iOS手机上传竖拍照片会逆时针旋转90度,横拍照片无此问题:Android手机没这个问题. 因此解决这个问题的思路是:获取到照片拍摄的方向角,对非横拍的ios照片进行角度旋转修正. 利用exif.js读取照片的拍摄信息,这里主要用到Orientation属性. Orientation属性说明如下: 下面就直接上代码了. 主要有html5页面和一个js,示例功能包含了图片压缩和旋转. 自己写的是uploadImage.js. html5测试页面

  • 详解三分钟快速搭建分布式高可用的Redis集群

    这里的Redis集群指的是Redis Cluster,它是Redis在3.0版本正式推出的专用集群方案,有效地解决了Redis分布式方面的需求.当单机内存.并发.流量等遇到瓶颈的时候,可以采用这种Redis Cluster方案进行解决. 分区规则 Redis Cluster采用虚拟槽(slot)进行数据分区,即使用分散度良好的哈希函数把所有键映射到一个固定范围的整数集合里,这里的整数就是槽(slot).Redis Cluster槽的范围是0~16383,计算公式:slot=CRC16(key)

  • 详解Java redis中缓存穿透 缓存击穿 雪崩三种现象以及解决方法

    目录 前言 一.缓存穿透 二.缓存击穿 三.雪崩现象 总结 前言 本文主要阐述redis中的三种现象 1.缓存穿透 2.缓存击穿 3.雪崩现象 本文主要说明本人对三种情况的理解,如果需要知道redis基础请查看其他博客,加油! 一.缓存穿透 理解:何为缓存穿透,先要了解穿透,这样有助于区分穿透和击穿,穿透就类似于伤害一点一点的累计,最终打到穿透的目的,类似于射手,一下一下普通攻击,最终杀死对方,先上图 先来描述一下缓存穿透的过程: 1.由于我们取数据的原则是先查询redis上,如果redis上有

  • 详解springboot+aop+Lua分布式限流的最佳实践

    一.什么是限流?为什么要限流? 不知道大家有没有做过帝都的地铁,就是进地铁站都要排队的那种,为什么要这样摆长龙转圈圈?答案就是为了限流!因为一趟地铁的运力是有限的,一下挤进去太多人会造成站台的拥挤.列车的超载,存在一定的安全隐患.同理,我们的程序也是一样,它处理请求的能力也是有限的,一旦请求多到超出它的处理极限就会崩溃.为了不出现最坏的崩溃情况,只能耽误一下大家进站的时间. 限流是保证系统高可用的重要手段!!! 由于互联网公司的流量巨大,系统上线会做一个流量峰值的评估,尤其是像各种秒杀促销活动,

  • 详解基于redis实现分布式锁

    前言 为了保证一个在高并发存场景下只能被同一个线程操作,java并发处理提供ReentrantLock或Synchronized进行互斥控制.但是这仅仅对单机环境有效.我们实现分布式锁大概通过三种方式. redis实现分布式锁 数据库实现分布式锁 zk实现分布式锁 原理剖析 上述三种分布式锁都是通过各自为依据对各个请求进行上锁,解锁从而控制放行还是拒绝.redis锁是基于其提供的setnx命令. setnx当且仅当key不存在.若给定key已经存在,则setnx不做任何动作.setnx是一个原子

  • 详解基于redis实现的四种常见的限流策略

    目录 一.引言 二.固定时间窗口算法 三.滑动时间窗口算法 四.漏桶算法 五.令牌桶算法 一.引言 在web开发中功能是基石,除了功能以外运维和防护就是重头菜了.因为在网站运行期间可能会因为突然的访问量导致业务异常.也有可能遭受别人恶意攻击 所以我们的接口需要对流量进行限制.俗称的QPS也是对流量的一种描述 针对限流现在大多应该是令牌桶算法,因为它能保证更多的吞吐量.除了令牌桶算法还有他的前身漏桶算法和简单的计数算法 下面我们来看看这四种算法 二.固定时间窗口算法 固定时间窗口算法也可以叫做简单

  • 详解利用装饰器扩展Python计时器

    目录 介绍 理解 Python 中的装饰器 创建 Python 定时器装饰器 使用 Python 定时器装饰器 Python 计时器代码 其他 Python 定时器函数 使用替代 Python 计时器函数 估计运行时间timeit 使用 Profiler 查找代码中的Bottlenecks 总结 介绍 在本文中,云朵君将和大家一起了解装饰器的工作原理,如何将我们之前定义的定时器类 Timer 扩展为装饰器,以及如何简化计时功能.最后对 Python 定时器系列文章做个小结. 这是我们手把手教你实

  • 详解Nginx 502错误解决办法

    详解Nginx 502错误解决办法 1.配置错误 因为nginx找不到php-fpm了,所以报错,一般是fastcgi_pass后面的路径配置错误了,后面可以是socket或者是ip:port 2.资源耗尽 lnmp架构在处理php时,nginx直接调取后端的php-fpm服务,如果nginx的请求量偏高,我们又没有给php-fpm配置足够的子进程,那么php-fpm就会资源耗尽,一旦资源耗尽nginx找不到php-fpm就会出现502错误, 解决方案 去调整php-fpm.conf中的pm.m

  • 详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强

    前言 这周和大家分享如何用python识别图像里的条码.用到的库可以是zbar.希望西瓜6辛苦码的代码不要被盗了.(zxing的话,我一直没有装好,等装好之后再写一篇) 具体步骤 前期准备 用opencv去读取图片,用pip进行安装. pip install opencv-python 所用到的图片就是这个 使用pyzbar windows的安装方法是 pip install pyzbar 而mac的话,最好用brew来安装. (有可能直接就好,也有可能很麻烦) 装好之后就是读取图片,识别条码.

随机推荐