Redis处理高并发之布隆过滤器详解

目录
  • 前言
  • 缓存穿透、击穿、雪崩
    • 缓存穿透
    • 出现情况
    • 常见的解决方案
  • 缓存击穿
    • 出现情况
    • 解决方案
  • 缓存雪崩
    • 解决方案
  • 布隆过滤器 Bloom filter
  • 总结

前言

随着我们业务开发越来越来大，并染请求就会越来越多，那么我们的项目的压力就会越来越大，基本都会使用缓存，除本地缓存，还会用到redis缓存，但是你以为使用缓存就没啥问题了么，那肯定不是的，使用了缓存又会出现新的问题，比如，缓存的key失效导致大量的请求到数据库，大量的读请求瞬间到达了数据库，cpu的使用率爆增，导致数据库都可能挂掉，这种情况下我们就要考虑使用redis的布隆过滤器了。

缓存穿透、击穿、雪崩

首先我们从缓存会出现的几种问题，来进行分析，在高并发的场景下如果出现这种情况，我们应该如何解决。

正常情况下，我们的web应用会先去请求缓存服务，如果缓存命中，那么就去拿缓存里面的数据，返回结果给应用，

缓存穿透

缓存穿透与缓存雪崩和缓存击穿还是不一样的，雪崩和击穿的情况下，数据库的数据都是真正常的，可以去请求数据库获取数据，只是缓存层出现问题，等待缓存恢复了，就会减轻数据库的压力。 而缓存透不一样的就是，缓存和数据库都没有要请求的数据，大量的请求来了，数据库的压力很大。

出现情况

  • 数据库数据被大量清除，导致访问不到
  • 黑客恶意攻击

常见的解决方案

  • redis缓存空值，请求不到的时候返回给应用空值。
  • 使用布隆过滤器，把数据库的一部分数据hash到布隆过滤器里，在请求数据库之前先去布隆过滤器里筛选到一部分请求，判断数据是否存在，避免直接去访问数据库。

缓存击穿

出现情况

  • 大量热点数据库过期，导致无法从缓存获取到数据，大量请求数据库也无法返回书就

解决方案

  • 加锁，保证同一时间内，只允许有一个线程去更新缓存，等锁释放后在重新去请求缓存。
  • 热点数据不去设置过期时间，如果要设置过期时间，在过期的时候通知后台去更新缓存的过期时间。

缓存雪崩

  • 大量缓存在同一时间失效，导致大量请求进入数据库
  • redis故障宕机，导致缓存不能使用。

解决方案

  • 同上加锁
  • 给缓存的过期时间加入随机数，保证缓存不会在同一时间同时失效。
  • 副本key策略，就是对于一个key，在它的基础上在设置一个key，它们的value都是一样的，只不过一个设置过期时间、一个不设置过期时间，相当于给key做了个副本，只不过在更新缓存的时候，副本key也是要更新的，避免出现数据不一致的现象。

布隆过滤器 Bloom filter

前面提到过布隆过滤器在请求比较高的时候，可以帮助我们抵挡一部分请求，从而减轻数据库的压力，布隆过滤器的数据结构是一个二进制的bit向量，或者说是一个bit数组，它相对于list、set、map这些集合，它占用的空间更少，不足之处处就是返回的结果会有一定概率的误差。

public static void main(String[] args) {
    int size = 1_000_000;
    BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size);
    for (int i = 0; i < size; i++) {
        bloomFilter.put(i);
    }
    for (int i = 0; i < size; i++) {
        if (!bloomFilter.mightContain(i)) {
            System.out.println("有漏网之鱼");
        }
    }
    List<Integer> list = new ArrayList<>(1000);
    for (int i = size + 10000; i < size + 20000; i++) {
        if (bloomFilter.mightContain(i)) {
            list.add(i);
        }
    }
    System.out.println("有误差的数量：" + list.size());
}

确实有误差的数量，但是误差量不大，追求效率的同时只是牺牲一点误差了。

总结

加锁的排队的场景确实能帮助我们很好的解决缓存穿透、击穿的一些问题，但是效率也是非常低了，因为每个请求都是排队等待，如果可以接受轻微误差的话，布隆过滤器的确是个很不错的选择，Bloom filter的bitmap的存储效率确实很高。

以上就是Redis处理高并发之布隆过滤器详解的详细内容，更多关于Redis布隆过滤器处理高并发的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 高并发技巧之Redis和本地缓存使用技巧分享

    目录 三种缓存的使用场景 Redis的使用场景和局限性 LoadingCache的使用场景和局限性 ReloadableCache的使用场景和局限性 小结 小技巧 缓存使用的简单介绍 LoadingCache的使用 reloadableCache的使用 老生常谈的缓存击穿/穿透/雪崩问题 缓存击穿 缓存穿透 缓存雪崩 众所周知,缓存最主要的目的就是加速访问,缓解数据库压力.最常用的缓存就是分布式缓存,比如redis,在面对大部分并发场景或者一些中小型公司流量没有那么高的情况,使用redis基本都

  • 高并发下Redis如何保持数据一致性(避免读后写)

    “读后写” 通常意义上我们说读后写是指针对同一个数据的先读后写,且写入的值依赖于读取的值. 关于这个定义要拆成两部分来看,一:同一个数据:二:写依赖于读.(记住这个拆分,后续会用到,记为定义一.定义二)只有当这两部分都成立时,读后写的问题才会出现. 在项目中,当面对较多的并发时,使用redis进行读后写操作,是非常容易出问题的,常常使得程序不具备鲁棒性,bug很难稳定复现(得到的值往往跟并发数有关). 举个栗子: 存在A.B两个进程,同时操作下面这段代码: $objRedis = new Red

  • 浅谈Redis高并发缓存架构性能优化实战

    浅谈Redis高并发缓存架构性能优化实战

    目录 场景1: 中小型公司Redis缓存架构以及线上问题实战 场景2: 大厂线上大规模商品缓存数据冷热分离实战 场景3: 基于DCL机制解决热点缓存并发重建问题实战 场景4: 突发性热点缓存重建导致系统压力暴增 场景5: 解决大规模缓存击穿导致线上数据库压力暴增 场景6: 黑客工资导致缓存穿透线上数据库宕机 场景7: 大V直播带货导致线上商品系统崩溃原因分析 场景8: Redis分布式锁解决缓存与数据库双写不一致问题实战 场景9: 大促压力暴增导致分布式锁串行争用问题优化 场景10: 利用多级缓

  • Redis高并发场景下秒杀超卖解决方案(秒杀场景)

    Redis高并发场景下秒杀超卖解决方案(秒杀场景)

    目录 1 什么是秒杀 2 为什么要防止超卖 3 单体架构常规秒杀 3.1 常规减库存代码 3.2 模拟高并发 3.3 超卖现象 3.4 分析原因 4 简单实现悲观乐观锁解决单体架构超卖 4.1 悲观锁 4.2 乐观锁 4.3 redis锁setnx 4.4 使用Redision 5 分布式锁的解决方案 6 采用缓存队列防止超卖 1 什么是秒杀 秒杀最直观的定义:在高并发场景下而下单某一个商品,这个过程就叫秒杀 [秒杀场景] 火车票抢票 双十一限购商品 热度高的明星演唱会门票 … 2 为什么要防止

  • Redis高并发情况下并发扣减库存项目实战

    Redis高并发情况下并发扣减库存项目实战

    目录 第一种方案:纯MySQL扣减实现 MySQL架构升级 第二种方案:缓存实现扣减 第三种方案:数据库+缓存 顺序写的性能更好 顺序写的架构 扣减流程 相信大家从网上学习项目大部分人第一个项目都是电商,生活中时时刻刻也会用到电商APP,例如淘宝,京东等.做技术的人都知道,电商的业务逻辑简单,但是大部分电商都会涉及到高并发高可用,对并发和对数据的处理要求是很高的.这里我今天就讲一下高并发情况下是如何扣减库存的? 我们对扣减库存所需要关注的技术点如下: 当前剩余的数量大于等于当前需要扣减的数量,不

  • 使用Redis解决高并发方案及思路解读

    目录 NoSQL Redis 痛点 思路 分布式锁 锁续命 扩展 结语 NoSQL Not Only SQL的简称.NoSQL是解决传统的RDBMS在应对某些问题时比较乏力而提出的. 即非关系型数据库,它们不保证关系数据的ACID特性,数据之间一般没有关联,在扩展上就非常容易实现,并且拥有较高的性能. Redis redis是nosql的典型代表,也是目前互联网公司的必用技术. redis是键值(Key-Value)存储数据库,主要会使用到哈希表.大多数时候是直接以缓存的形式被使用,使得请求不直

  • java高并发之线程组详解

    java高并发之线程组详解

    目录 线程组 创建线程关联线程组 为线程组指定父线程组 根线程组 批量停止线程 总结 线程组 我们可以把线程归属到某个线程组中,线程组可以包含多个线程以及线程组,线程和线程组组成了父子关系,是个树形结构,如下图: 使用线程组可以方便管理线程,线程组提供了一些方法方便方便我们管理线程. 创建线程关联线程组 创建线程的时候,可以给线程指定一个线程组,代码如下: package com.itsoku.chat02; import java.util.concurrent.TimeUnit; /** *

  • Redis使用元素删除的布隆过滤器来解决缓存穿透问题

    Redis使用元素删除的布隆过滤器来解决缓存穿透问题

    目录 前言 缓存雪崩 解决方案 缓存击穿 解决方案 缓存穿透 解决方案 布隆过滤器(Bloom Filter) 什么是布隆过滤器 位图(Bitmap) 哈希碰撞 布隆过滤器的2大特点 fpp 布隆过滤器的实现(Guava) 布隆过滤器的如何删除 带有计数器的布隆过滤器 总结 前言 在我们日常开发中,Redis使用场景最多的就是作为缓存和分布式锁等功能来使用,而其用作缓存最大的目的就是为了降低数据库访问.但是假如我们某些数据并不存在于Redis当中,那么请求还是会直接到达数据库,而一旦在同一时间大

  • sentinel支持的redis高可用集群配置详解

    sentinel支持的redis高可用集群配置详解

    目录 一.首先配置redis的主从同步集群 二.sentinel高可用 一.首先配置redis的主从同步集群 1.主库的配置文件不用修改,从库的配置文件只需增加一行,说明主库的IP端口.如果需要验证的,也要加多一行,认证密码. slaveof 192.168.20.26 5268 masterauth hodge01 一主多从的话,就启用多个从库.其中,从库都是一样的方案.本次有两个slave. 2.命令检查 /usr/local/redis/bin/redis-cli -p 5257 -a h

  • JSP 开发之Spring Security详解

    JSP 开发之Spring Security详解 前言: spring Security是一个能够为基于Spring的企业应用系统提供描述性安全访问控制解决方案的安全框架.它提供了一组可以在Spring应用上下文中配置的Bean,充分利用了Spring IoC(依赖注入,也称控制反转)和AOP(面向切面编程)功能,为应用系统提供声明式的安全访问控制功能,减少了为企业系统安全控制编写大量重复代码的工作. Spring Security 的前身是 Acegi Security ,是 Spring 项

  • Redis快速实现分布式session的方法详解

    Redis快速实现分布式session的方法详解

    目录 前言 Spring Security Apache Shiro Session作用 spring-session 支持功能 分布式seesion实战 步骤1:依赖包 步骤2:配置文件 步骤3:实现逻辑 步骤4:编写session拦截器 步骤5:把拦截器注入到拦截器链中 步骤6:测试 前言 我们在开发一个项目时通常需要登录认证,常用的登录认证技术实现框架有Spring Security和shiro Spring Security Spring Security是一个功能强大且高度可定制的身份

  • Android 限制edittext 整数和小数位数 过滤器(详解)

    写了一个过滤器,根据需要限制edittext输入的整数和小数位,如下代码: package allone.verbank.apad.client.component; import android.text.InputFilter; import android.text.Spanned; /** * * @Title: ComponentDigitCtrlFilter.java * @Package allone.verbank.apad.client.component * @Descrip

  • 前端开发之CSS原理详解

    前端开发之CSS原理详解 从事Web前端开发的人都与CSS打交道很多,有的人也许不知道CSS是怎么去工作的,写出来的CSS浏览器是怎么样去解析的呢?当这个成为我们提高CSS水平的一个瓶颈时,是否应该多了解一下呢? 一.浏览器的发展与CSS 网页浏览器主要通过 HTTP 协议连接网页服务器而取得网页, HTTP 容许网页浏览器送交资料到网页服务器并且获取网页.目前最常用的 HTTP 是 HTTP/1.1,这个协议在 RFC2616 中被完整定义.HTTP/1.1 有其一套 Internet Exp

  • Java并发之不可思议的死循环详解

    下面的代码将发生死循环: package com.zzj.concurrency; public class VolatileObjectTest implements Runnable{ private ObjectA objectA; // 加上volatile 就可以正常结束While循环了 public VolatileObjectTest(ObjectA a) { this.objectA = a; } public ObjectA getA() { return objectA; }

  • redis 用scan指令 代替keys指令(详解)

    众所周知,当redis中key数量越大,keys 命令执行越慢,而且最重要的会阻塞服务器,对单线程的redis来说,简直是灾难,终于找到了替代命令scan. SCAN cursor [MATCH pattern] [COUNT count] SCAN 命令及其相关的 SSCAN 命令. HSCAN 命令和 ZSCAN 命令都用于增量地迭代(incrementally iterate)一集元素(a collection of elements): SCAN 命令用于迭代当前数据库中的数据库键. S

  • redis 实现登陆次数限制的思路详解

    title: redis-login-limitation  利用 redis 实现登陆次数限制, 注解 + aop, 核心代码很简单. 基本思路 比如希望达到的要求是这样: 在 1min 内登陆异常次数达到5次, 锁定该用户 1h 那么登陆请求的参数中, 会有一个参数唯一标识一个 user, 比如 邮箱/手机号/userName 用这个参数作为key存入redis, 对应的value为登陆错误的次数, string 类型, 并设置过期时间为 1min. 当获取到的 value == "4&qu

随机推荐