利用Redis实现访问次数限流的方法详解

假设我们要做一个业务需求，这个需求就是限制用户的访问频次。比如1分钟内只能访问20次，10分钟内只能访问200次。因为是用户维度的场景，性能肯定是要首先考虑，那么适合这个场景的非Redis莫属。

最简单的实现，莫过于只是用incr进行计数操作，于是有了下面的代码：

long count = redisTemplate.opsForValue().increment("user:1:60");
if (count > maxLimitCount) {
   throw new LimitException("访问太频繁");
}

count = redisTemplate.opsForValue().increment("user:1:600");
if (count > maxLimitCount) {
   throw new LimitException("访问太频繁");
}

来，我们对上面这段代码解读一下。需求有2个时间维度的限制，所以这边基于用户和时间维度构建了Redis的Key。然后对每个Key进行计数，计数后的结果用于跟限制的值进行判断，如果超出了限制的值就抛出异常。

假设限制的时间场景有10个呢？那上面的代码是不是得写10遍才可以。有人可能会说，这还不简单吗？循环呀，循环确实能够解决这个问题。但是大家有没有去思考，这是用户维度的请求，如果每个请求里面都去操作10次Redis的话，这耗时至少也得10来毫秒吧。所以问题在这，并不是说这个逻辑实现的有问题。

那我们就改成批量的吧，用pipeline来批量执行。

redisTemplate.execute(new RedisCallback<Long>() {
    @Override
    public Long doInRedis(RedisConnection connection) throws DataAccessException {
        connection.openPipeline();
        connection.incr("user:1:60".getBytes());
        connection.incr("user:1:600".getBytes());
        onnection.closePipeline();
        return null;
    }
});

用pipeline也有一个问题，那就是拿不到返回值，也就只能增加，但是没办法判断是否超过了限制的阀值。

所以需要在第一步先查询下，用查到的值进行判断，这样也就是只需要和Redis交互两次就可以了。

上面的代码在单节点下没问题，但是如果在集群下，其实每个Key都可能分配到不同的节点上去，只不过是底层帮你屏蔽掉了细节，并发执行，拿到了所有结果后合并返回的。所以我们需要让所有的Key都路由到一个节点上，本来就是用户维度的，直接使用userId路由即可。

这个时候Redis的HashTag功能就排上用场了，将Key user:1:600改写成user:{1}:600 。

虽然已经优化了，但是还是要发起两次网络请求才能完成这个逻辑，有没有可能再进一步优化下呢？一次请求行不行。

这个时候要放大招了，Lua脚本走起，将所有逻辑都放入Lua脚本中，一次网络交互即可完成。

local current
current = redis.call("incr",KEYS[1])
if current == 1 then
    redis.call("expire",KEYS[1],1)
end

if current > ARGV[1]
  return 1
end

return 0

上面脚本演示了如何对一个Key进行处理，返回1表示限流，返回0表示通过。不过使用lua脚本的时候要注意，某些云服务的Redis会对脚本进行校验，像Redis的Key不能使用变量，必须用KEYS[下标]的方式，所以这里操作多个Key还不能用循环，代码得写多遍，这是一个恶心的点。

总结

到此这篇关于利用Redis实现访问次数限流的文章就介绍到这了,更多相关Redis访问次数限流内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 基于Redis的限流器的实现(示例讲解)

    基于Redis的限流器的实现(示例讲解)

    1 概述 系统中的接口通常都有限流,比如 70次/秒 ,如何保证我们的接口的调用次数在超过第三方接口限流的时候快速失败呢?这时候就需要限流器了.下面是笔者用redis实现限流器的流程图. 2 代码 /** * 获取限流权限 * @param key * @param millisecond 毫秒数 * @param limitCount 限流次数 * @return */ public static boolean getCurrentLimiting(String key, Long mill

  • 基于Redis实现分布式应用限流的方法

    基于Redis实现分布式应用限流的方法

    限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统,一旦达到限制速率则可以拒绝服务. 前几天在DD的公众号,看了一篇关于使用 瓜娃 实现单应用限流的方案 -->原文,参考<redis in action> 实现了一个jedis版本的,都属于业务层次限制. 实际场景中常用的限流策略: Nginx接入层限流 按照一定的规则如帐号.IP.系统调用逻辑等在Nginx层面做限流 业务应用系统限流 通过业务代码控制流量这个流量可以被称为信号量,可以理解成是一种锁,它

  • 详解Redis实现限流的三种方式

    面对越来越多的高并发场景,限流显示的尤为重要. 当然,限流有许多种实现的方式,Redis具有很强大的功能,我用Redis实践了三种的实现方式,可以较为简单的实现其方式.Redis不仅仅是可以做限流,还可以做数据统计,附近的人等功能,这些可能会后续写到. 第一种:基于Redis的setnx的操作 我们在使用Redis的分布式锁的时候,大家都知道是依靠了setnx的指令,在CAS(Compare and swap)的操作的时候,同时给指定的key设置了过期实践(expire),我们在限流的主要目的就

  • redis实现的四种常见限流策略

    redis实现的四种常见限流策略

    目录 引言 固定时间窗口算法 实现 滑动时间窗口算法 实现 漏桶算法 实现 令牌桶算法 引言 在web开发中功能是基石,除了功能以外运维和防护就是重头菜了.因为在网站运行期间可能会因为突然的访问量导致业务异常.也有可能遭受别人恶意攻击 所以我们的接口需要对流量进行限制.俗称的QPS也是对流量的一种描述 针对限流现在大多应该是令牌桶算法,因为它能保证更多的吞吐量.除了令牌桶算法还有他的前身漏桶算法和简单的计数算法 下面我们来看看这四种算法 固定时间窗口算法 固定时间窗口算法也可以叫做简单计数算法.

  • 利用Redis实现访问次数限流的方法详解

    假设我们要做一个业务需求,这个需求就是限制用户的访问频次.比如1分钟内只能访问20次,10分钟内只能访问200次.因为是用户维度的场景,性能肯定是要首先考虑,那么适合这个场景的非Redis莫属. 最简单的实现,莫过于只是用incr进行计数操作,于是有了下面的代码: long count = redisTemplate.opsForValue().increment("user:1:60"); if (count > maxLimitCount) { throw new Limit

  • Nginx使用limit_req_zone对同一IP访问进行限流的方法

    nginx可以使用ngx_http_limit_req_module模块的limit_req_zone指令进行限流访问,防止用户恶意攻击刷爆服务器.ngx_http_limit_req_module模块是nginx默认安装的,所以直接配置即可. 首先,在nginx.conf文件中的http模块下配置 limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s; 说明:区域名称为one(自定义),占用空间大小为10m,平均处理的请求频率不能超

  • Sentinel热门词汇限流的实现详解

    Sentinel热门词汇限流的实现详解

    目录 热点参数限流 基本使用 热点参数限流 何为热点?热点即经常访问的数据.很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据,并对其访问进行限制.比如: 商品 ID 为参数,统计一段时间内最常购买的商品 ID 并进行限制 用户 ID 为参数,针对一段时间内频繁访问的用户 ID 进行限制 热点参数限流会统计传入参数中的热点参数,并根据配置的限流阈值与模式,对包含热点参数的资源调用进行限流.热点参数限流可以看做是一种特殊的流量控制,仅对包含热点参数的资源调用生效. 基本使用 1.引

  • Sentinel热点key限流的实现详解

    Sentinel热点key限流的实现详解

    目录 基本介绍 兜底方法 参数例外项 基本介绍 何为热点 热点即经常访问的数据,很多时候我们希望统计或者限制某个热点数据中访问频次最高的TopN数据,并对其访问进行限流或者其它操作 兜底方法 分为系统默认和客户自定义两种 之前的case,限流出问题后,都是用sentinel系统默认的提示:Blocked by Sentinel (flow limiting) 我们能不能自定?类似hystrix,某个方法出问题了,就找对应的兜底降级方法? 结论: 从HystrixCommand 到@Sentine

  • 利用win10自带虚拟机hyper-v安装centos7方法详解

    利用win10自带虚拟机hyper-v安装centos7方法详解

    一.安装win10企业版自带虚拟机 hyper-v 1.控制面板-->程序和功能-->启用或关闭Windows功能 勾上 hyper-v 确定就ok了 2.安装成功后会发现在 左下角"开始"菜单里的"Windows 管理工具" 中出现"hyper-v管理器" 打开hyper-v管理器,首先新建"虚拟交换机" 以便虚拟系统访问网络. 虚拟交换机 创建完成后,接下来我们创建 虚拟机. 这边根据需要选择第一代还是第二代.

  • Redis实现分布式锁的五种方法详解

    Redis实现分布式锁的五种方法详解

    目录 1. 单机数据一致性 2. 分布式数据一致性 3. Redis实现分布式锁 3.1 方式一 3.2 方式二(改进方式一) 3.3 方式三(改进方式二) 3.4 方式四(改进方式三) 3.5 方式五(改进方式四) 3.6 小结 在单体应用中,如果我们对共享数据不进行加锁操作,会出现数据一致性问题,我们的解决办法通常是加锁. 在分布式架构中,我们同样会遇到数据共享操作问题,本文章使用Redis来解决分布式架构中的数据一致性问题. 1. 单机数据一致性 单机数据一致性架构如下图所示:多个可客户访

  • java单机接口限流处理方案详解

    对单机服务做接口限流的处理方案 简单说就是设定某个接口一定时间只接受固定次数的请求,比如/add接口1秒最多接收100次请求,多的直接拒绝,这个问题很常见,场景也好理解,直接上代码: /** * 单机限流 */ @Slf4j public class FlowLimit { //接口限流上限值和限流时间缓存 private static Cache<String, AtomicLong> localCache = CacheBuilder.newBuilder().maximumSize(10

  • 基于.net的分布式系统限流组件示例详解

    基于.net的分布式系统限流组件示例详解

    前言 在互联网应用中,流量洪峰是常有的事情.在应对流量洪峰时,通用的处理模式一般有排队.限流,这样可以非常直接有效的保护系统,防止系统被打爆.另外,通过限流技术手段,可以让整个系统的运行更加平稳.今天要与大家分享一下限流算法和C#版本的组件. 一.令牌桶算法: 令牌桶算法的基本过程如下: 假如用户配置的平均发送速率为r,则每隔1/r秒速率将一个令牌被加入到桶中: 假设桶最多可以存发b个令牌.当桶中的令牌达到上限后,丢弃令牌. 当一个有请求到达时,首先去令牌桶获取令牌,能够取到,则处理这个请求 如

  • Redis和Lua实现分布式限流器的方法详解

    Redis和Lua实现分布式限流器的方法详解

    主要是依靠 redis + lua 来实现限流器, 使用 lua 的原因是将多条命令合并在一起作为一个原子操作, 无需过多考虑并发. 计数器模式 原理 计数器算法是指在一段窗口时间内允许通过的固定数量的请求, 比如10次/秒, 500次/30秒. 如果设置的时间粒度越细, 那么限流会更平滑. 实现 所使用的 Lua 脚本 -- 计数器限流 -- 此处支持的最小单位时间是秒, 若将 expire 改成 pexpire 则可支持毫秒粒度. -- KEYS[1] string 限流的key -- AR

  • 利用Linux防火墙隔离本地欺骗地址的方法详解

    前言 即便是被入侵检测和隔离系统所保护的远程网络,黑客们也在寻找各种精巧的方法入侵.IDS/IPS 不能停止或者减少那些想要接管你的网络控制权的黑客攻击.不恰当的配置允许攻击者绕过所有部署的安全措施. 在这篇文章中,我将会解释安全工程师或者系统管理员该怎样避免这些攻击. 几乎所有的 Linux 发行版都带着一个内建的防火墙来保护运行在 Linux 主机上的进程和应用程序.大多数防火墙都按照 IDS/IPS 解决方案设计,这样的设计的主要目的是检测和避免恶意包获取网络的进入权. Linux 防火墙

随机推荐