redis实现多级缓存同步方案详解

目录
  • 前言
  • 多级缓存数据同步
  • 如何使用redis6客户端缓存
  • 总结

前言

前阵子参加业务部门的技术方案评审,故事的背景是这样:业务部门上线一个专为公司高管使用的系统。这个系统技术架构形如下图

按理来说这个系统因为受众很小,可以说基本上没并发,业务也没很复杂,但就是这么一个系统,连续2次出现数据库宕机,而导致系统无法正常运行。因为这几次事故,业务部门负责人组织这次技术方案评审,主题如何避免再次出现类似这种故障?

当时有个比较资深的技术,他提出当数据库出现宕机时,可以切换到redis,redis里面缓存热点数据,另外一个技术说他赞同这个方案,但他提出不需要用到redis,直接用本地缓存即可。因为tomcat是集群部署,就等于本地缓存也具备了集群能力。而如果切换成redis,redis也可能会挂现象。

然后那个说用redis的技术又说,用本地缓存,如果数据变更,其他集群的本地缓存如何感知数据已经发生变化,他觉得还是用redis靠谱,首先redis容量肯定是比本地缓存高,而且redis也可以部署集群,可用性可以得到保障,利用redis集中存储,当数据发生变更,其他集群也可以感知到。

在他们争论不休的情况下,有人提出不然就同时使用,当数据库挂了,切换到redis,redis挂了,使用本地缓存。这个方案得到不少人的同意,包括这两个争论不休的技术。但使用这种方案,就得考虑多级缓存数据如何同步。

铺垫了那么多,才刚要说今天的主题,多级缓存数据如何进行同步

多级缓存数据同步

1、方案一:使用MQ或者canal进行同步

方案如下图

如果是使用MQ来同步,实现方案大致如下,数据发生变更,业务系统发送变更数据到MQ,其他系统从MQ消费。

如果是使用canal,实现方案大致如下,数据发生变更,canal会接到到变更的binlog,业务系统编写canal tcp客户端,和canal进行交互获取变更数据

2、方案二:利用redis6提供的客户端缓存机制

方案如下图

redis6客户端缓存实现机制原理,官方有详细文档介绍,感兴趣大家可以查看如下链接
https://redis.io/docs/manual/client-side-caching/

这边就讲下如何使用

如何使用redis6客户端缓存

前置条件:redis服务端版本必须是>=6。lettuce版本>=6 目前java的redis客户端找了一圈,貌似只有lettuce 6支持,其他客户端估计后期会支持

1、项目中pom引入lettuce GAV

  <dependency>
            <groupId>io.lettuce</groupId>
            <artifactId>lettuce-core</artifactId>
            <version>6.1.8.RELEASE</version>
        </dependency>

2、利用lettuce6提供的ClientSideCaching进行实现

    /**
     * 客户端缓存同步
     *
     */
    public String getClientCacheValue(Map<String,String> clientCache,String key){
        StatefulRedisConnection<String, String> connect = redisClient.connect();
      //  Map<String,String> clientCache = new ConcurrentHashMap<>();
        CacheFrontend<String,String> frontend = ClientSideCaching.enable(CacheAccessor.forMap(clientCache),
                connect, TrackingArgs.Builder.enabled().noloop());
        return frontend.get(key);

    }

3、测试

    @Override
    public void run(ApplicationArguments args) throws Exception {
        while(true){
            System.out.println(lettuceRedisTemplate.getClientCacheValue("zhangsan"));
            TimeUnit.SECONDS.sleep(1);
        }

    }

redis里面的zhangsan数据未发生变更时,

控制台输出的数据为

我们将redis zhangsan的密码改成9999,

看本地缓存能否立马捕捉到

控制台发现密码已经改成9999

总结

由示例我们可以看出redis6提供了一个很好的多级缓存同步的实现方案。

我们再聊下那个技术评审的后续,后面业务部门并没有采用当mysql宕机,使用redis作为兜底,也没采用本地缓存,更没采用两者结合的方案。

不知道大家开会的时候,有没有这样的体会,有时候我们在聊一个东西,后面聊着聊着就发散出去,把方向搞丢了。业务部门他们需要数据库宕机的解决方案吗,看着像是,其实他们更核心的需要,是业务系统不宕机。

奥卡姆剃刀定律:如无必要,勿增实体。其实不管加redis或者本地缓存,额外都增加系统维护成本。因为系统本身不复杂,加了缓存,就要额外考虑缓存数据一致性等

后面业务部门的处理方式,是将自己搭建的mysql,切换成云厂商的mysql。这样的好处是,云厂商的mysql会更稳定,其次当出现问题,可以找云厂商进行解决,毕竟云厂商的运维能力是比较强的,花钱买心安

这次事故会让业务部门那么重视,主要是使用方是高管,如果是一般使用者,挂就挂吧,大不了重启,使用对象不一样,应急处理方式就不一样

demo链接

https://github.com/lyb-geek/springboot-learning/tree/master/springboot-localcache-redis-sync

到此这篇关于redis实现多级缓存同步的文章就介绍到这了,更多相关redis 多级缓存同步内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 基于Java实现Redis多级缓存方案

    目录 一.多级缓存 1. 传统缓存方案 2. 多级缓存方案 二.JVM本地缓存 1. 实用案例 三.缓存一致性 1. 常见方案 1.1 设置有效期 1.2 同步双写 1.3 异步通知 2. 基于Canal的异步通知 2.1 mysql主从复制 2.2 canal 工作原理 一.多级缓存 1. 传统缓存方案 请求到达tomcat后,先去redis中获取缓存,不命中则去mysql中获取 2. 多级缓存方案 tomcat的请求并发数,是远小于redis的,因此tomcat会成为瓶颈 利用请求处理每个环

  • 浅谈MySQL与redis缓存的同步方案

    本文介绍MySQL与Redis缓存的同步的两种方案 方案1:通过MySQL自动同步刷新Redis,MySQL触发器+UDF函数实现 方案2:解析MySQL的binlog实现,将数据库中的数据同步到Redis 一.方案1(UDF) 场景分析:当我们对MySQL数据库进行数据操作时,同时将相应的数据同步到Redis中,同步到Redis之后,查询的操作就从Redis中查找 过程大致如下: 在MySQL中对要操作的数据设置触发器Trigger,监听操作 客户端(NodeServer)向MySQL中写入数

  • Redis实现多级缓存

    本文实例为大家分享了Redis实现多级缓存的具体代码,供大家参考,具体内容如下 一.多级缓存 1. 传统缓存方案 请求到达tomcat后,先去redis中获取缓存,不命中则去mysql中获取 2. 多级缓存方案 tomcat的请求并发数,是远小于redis的,因此tomcat会成为瓶颈 利用请求处理每个环节,分别添加缓存,减轻tomcat压力,提升服务性能 二.JVM本地缓存 缓存是存储在内存中,数据读取速度较快,能大量减少对数据库的访问,减少数据库压力 分布式缓存,如redis - 优点: 存

  • redis实现多级缓存同步方案详解

    目录 前言 多级缓存数据同步 如何使用redis6客户端缓存 总结 前言 前阵子参加业务部门的技术方案评审,故事的背景是这样:业务部门上线一个专为公司高管使用的系统.这个系统技术架构形如下图 按理来说这个系统因为受众很小,可以说基本上没并发,业务也没很复杂,但就是这么一个系统,连续2次出现数据库宕机,而导致系统无法正常运行.因为这几次事故,业务部门负责人组织这次技术方案评审,主题如何避免再次出现类似这种故障? 当时有个比较资深的技术,他提出当数据库出现宕机时,可以切换到redis,redis里面

  • MySQL和Redis实现二级缓存的方法详解

    redis简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用 Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储 Redis支持数据的备份,即master-slave模式的数据备份 优势 性能极高 - Redis能读的速度是110

  • 手动实现Redis的LRU缓存机制示例详解

    前言 最近在逛博客的时候看到了有关Redis方面的面试题,其中提到了Redis在内存达到最大限制的时候会使用LRU等淘汰机制,然后找了这方面的一些资料与大家分享一下. LRU总体大概是这样的,最近使用的放在前面,最近没用的放在后面,如果来了一个新的数,此时内存满了,就需要把旧的数淘汰,那为了方便移动数据,肯定就得使用链表类似的数据结构,再加上要判断这条数据是不是最新的或者最旧的那么应该也要使用hashmap等key-value形式的数据结构. 第一种实现(使用LinkedHashMap) pub

  • Redis的持久化方案详解

    Redis支持RDB与AOF两种持久化机制,持久化可以避免因进程异常退出或down机导致的数据丢失问题,在下次重启时能利用之前的持久化文件实现数据恢复. RDB持久化 RDB持久化即通过创建快照(压缩的二进制文件)的方式进行持久化,保存某个时间点的全量数据.RDB持久化是Redis默认的持久化方式.RDB持久化的触发包括手动触发与自动触发两种方式. 手动触发 save, 在命令行执行save命令,将以同步的方式创建rdb文件保存快照,会阻塞服务器的主进程,生产环境中不要用 bgsave, 在命令

  • Java进程内缓存框架EhCache详解

    目录 一:目录 二: 简介 2.1.基本介绍 2.2.主要的特性 2.3. 集成 2.4. ehcache 和 redis 比较 三:事例 3.1.在pom.xml中引入依赖 3.2.在src/main/resources/创建一个配置文件 ehcache.xml 3.3.测试类 3.4.缓存配置 一:xml配置方式: 二:编程方式配置 3.5.Ehcache API 四:Spring整合 4.1.pom.xml 引入spring和ehcache 4.2.在src/main/resources添

  • Python实现定时任务的八种方案详解

    目录 利用whileTrue:+sleep()实现定时任务 使用Timeloop库运行定时任务 利用threading.Timer实现定时任务 利用内置模块sched实现定时任务 利用调度模块schedule实现定时任务 利用任务框架APScheduler实现定时任务 APScheduler中的重要概念 Job作业 Trigger触发器 Executor执行器 Jobstore作业存储 Event事件 调度器 Scheduler的工作流程 使用分布式消息系统Celery实现定时任务 使用数据流工

  • Java实现LRU缓存的实例详解

    Java实现LRU缓存的实例详解 1.Cache Cache对于代码系统的加速与优化具有极大的作用,对于码农来说是一个很熟悉的概念.可以说,你在内存中new 了一个一段空间(比方说数组,list)存放一些冗余的结果数据,并利用这些数据完成了以空间换时间的优化目的,你就已经使用了cache. 有服务级的缓存框架,如memcache,Redis等.其实,很多时候,我们在自己同一个服务内,或者单个进程内也需要缓存,例如,lucene就对搜索做了缓存,而无须依赖外界.那么,我们如何实现我们自己的缓存?还

  • Jedis对redis的五大类型操作代码详解

    本篇主要阐述Jedis对redis的五大类型的操作:字符串.列表.散列.集合.有序集合. JedisUtil 这里的测试用例采用junit4进行运行,准备代码如下: private static final String ipAddr = "10.10.195.112"; private static final int port = 6379; private static Jedis jedis= null; @BeforeClass public static void init

  • Spring Boot实现数据访问计数器方案详解

    目录 1.数据访问计数器 2.代码实现 2.1.方案说明 2.2.代码 2.3.调用 1.数据访问计数器   在Spring Boot项目中,有时需要数据访问计数器.大致有下列三种情形: 1)纯计数:如登录的密码错误计数,超过门限N次,则表示计数器满,此时可进行下一步处理,如锁定该账户. 2)时间滑动窗口:设窗口宽度为T,如果窗口中尾帧时间与首帧时间差大于T,则表示计数器满.   例如使用redis缓存时,使用key查询redis中数据,如果有此key数据,则返回对象数据:如无此key数据,则查

  • sentinel支持的redis高可用集群配置详解

    目录 一.首先配置redis的主从同步集群 二.sentinel高可用 一.首先配置redis的主从同步集群 1.主库的配置文件不用修改,从库的配置文件只需增加一行,说明主库的IP端口.如果需要验证的,也要加多一行,认证密码. slaveof 192.168.20.26 5268 masterauth hodge01 一主多从的话,就启用多个从库.其中,从库都是一样的方案.本次有两个slave. 2.命令检查 /usr/local/redis/bin/redis-cli -p 5257 -a h

随机推荐