Spring AOP实现Redis缓存数据库查询源码

应用场景

我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数。

需要解决的问题

操作缓存的代码写在哪?必须要做到与业务逻辑代码完全分离。

如何避免脏读? 从缓存中读出的数据必须与数据库中的数据一致。

如何为一个数据库查询结果生成一个唯一的标识?即通过该标识(Redis中为Key),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个key。只有这样才能保证缓存内容的正确性

如何序列化查询结果?查询结果可能是单个实体对象,也可能是一个List。

解决方案

避免脏读

我们缓存了查询结果,那么一旦数据库中的数据发生变化,缓存的结果就不可用了。为了实现这一保证,可以在执行相关表的更新查询(update, delete, insert)查询前,让相关的缓存过期。这样下一次查询时程序就会重新从数据库中读取新数据缓存到redis中。那么问题来了,在执行一条insert前我怎么知道应该让哪些缓存过期呢?对于Redis,我们可以使用Hash Set数据结构,让一张表对应一个Hash Set,所有在这张表上的查询都保存到该Set下。这样当表数据发生变动时,直接让Set过期即可。我们可以自定义一个注解,在数据库查询方法上通过注解的属性注明这个操作与哪些表相关,这样在执行过期操作时,就能直接从注解中得知应该让哪些Set过期了。

为查询生成唯一标识

对于MyBatis,我们可以直接使用SQL字符串做为key。但是这样就必须编写基于MyBatis的拦截器,从而使你的缓存代码与MyBatis紧紧耦合在一起。如果哪天更换了持久层的框架,你的缓存代码就白写了,所以这个方案并不完美。

仔细想一想,其实如果两次查询调用的类名、方法名和参数值相同,我们就可以确定这两次查询结果一定是相同的(在数据没有变动的前提下)。因此,我们可以将这三个元素组合成一个字符串做为key, 就解决了标识问题。

序列化查询结果

最方便的序列化方式就是使用JDK自带的ObjectOutputStream和ObjectInputStream。优点是几乎任何一个对象,只要实现了Serializable接口,都用同一套代码能被序列化和反序列化。但缺点也很致命,那就是序列化的结果容量偏大,在redis中会消耗大量内存(是对应JSON格式的3倍左右)。那么我们只剩下JSON这一个选择了。

JSON的优点是结构紧凑,可读性强,但美中不足的是,反序列化对象时必须提供具体的类型参数(Class对象),如果是List对象,还必须提供List和List中的元素类型两种信息,才能被正确反序列化。这样就增加了代码的复杂度。不过这些困难都是可以克服的,所以我们还是选择JSON作为序列化存储方式。

代码写在哪

毫无疑问,该AOP上场了。在我们的例子中,持久化框架使用的是MyBatis,因此我们的任务就是拦截Mapper接口方法的调用,通过Around(环绕通知)编写以下逻辑:

方法被调用之前,根据类名、方法名和参数值生成Key

通过Key向Redis发起查询

如果缓存命中,则将缓存结果反序列化作为方法调用的返回值 ,并阻止被代理方法的调用。

如果缓存未命中,则执行代理方法,得到查询结果,序列化,用当前的Key将序列化结果放入redis中。

代码实现

因为我们要拦截的是Mapper接口方法,因此必须命令spring使用JDK的动态代理而不是cglib的代理。为此,我们需要做以下配置:

<!-- 当proxy-target-class为false时使用JDK动态代理 -->
<!-- 为true时使用cglib -->
<!-- cglib无法拦截接口方法 -->
<aop:aspectj-autoproxy proxy-target-class="false" />

然后定义两个标注在接口方法上的注解,用于传递类型参数:

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface RedisCache {
  Class type();
}
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface RedisEvict {
  Class type();
}

注解的使用方式如下:

// 表示该方法需要执行 (缓存是否命中 ? 返回缓存并阻止方法调用 : 执行方法并缓存结果)的缓存逻辑
@RedisCache(type = JobPostModel.class)
JobPostModel selectByPrimaryKey(Integer id);
// 表示该方法需要执行清除缓存逻辑
@RedisEvict(type = JobPostModel.class)
int deleteByPrimaryKey(Integer id);

AOP的代码如下:

@Aspect
@Component
public class RedisCacheAspect {
  public static final Logger infoLog = LogUtils.getInfoLogger();
  @Qualifier("redisTemplateForString")
  @Autowired
  StringRedisTemplate rt;
  /**
   * 方法调用前,先查询缓存。如果存在缓存,则返回缓存数据,阻止方法调用;
   * 如果没有缓存,则调用业务方法,然后将结果放到缓存中
   * @param jp
   * @return
   * @throws Throwable
   */
  @Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.select*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.get*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.find*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.search*(..))")
  public Object cache(ProceedingJoinPoint jp) throws Throwable {
    // 得到类名、方法名和参数
    String clazzName = jp.getTarget().getClass().getName();
    String methodName = jp.getSignature().getName();
    Object[] args = jp.getArgs();

    // 根据类名,方法名和参数生成key
    String key = genKey(clazzName, methodName, args);
    if (infoLog.isDebugEnabled()) {
      infoLog.debug("生成key:{}", key);
    }
    // 得到被代理的方法
    Method me = ((MethodSignature) jp.getSignature()).getMethod();
    // 得到被代理的方法上的注解
    Class modelType = me.getAnnotation(RedisCache.class).type();

    // 检查redis中是否有缓存
    String value = (String)rt.opsForHash().get(modelType.getName(), key);
    // result是方法的最终返回结果
    Object result = null;
    if (null == value) {
      // 缓存未命中
      if (infoLog.isDebugEnabled()) {
        infoLog.debug("缓存未命中");
      }
      // 调用数据库查询方法
      result = jp.proceed(args);

      // 序列化查询结果
      String json = serialize(result);
      // 序列化结果放入缓存
      rt.opsForHash().put(modelType.getName(), key, json);
    } else {
      // 缓存命中
      if (infoLog.isDebugEnabled()) {
        infoLog.debug("缓存命中, value = {}", value);
      }
      // 得到被代理方法的返回值类型
      Class returnType = ((MethodSignature) jp.getSignature()).getReturnType();

      // 反序列化从缓存中拿到的json
      result = deserialize(value, returnType, modelType);

      if (infoLog.isDebugEnabled()) {
        infoLog.debug("反序列化结果 = {}", result);
      }
    }
    return result;
  }
  /**
   * 在方法调用前清除缓存,然后调用业务方法
   * @param jp
   * @return
   * @throws Throwable
   */
  @Around("execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.insert*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.update*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.delete*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.increase*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.decrease*(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.complaint(..))" +
      "|| execution(* com.fh.taolijie.dao.mapper.JobPostModelMapper.set*(..))")
  public Object evictCache(ProceedingJoinPoint jp) throws Throwable {
    // 得到被代理的方法
    Method me = ((MethodSignature) jp.getSignature()).getMethod();
    // 得到被代理的方法上的注解
    Class modelType = me.getAnnotation(RedisEvict.class).type();
    if (infoLog.isDebugEnabled()) {
      infoLog.debug("清空缓存:{}", modelType.getName());
    }
    // 清除对应缓存
    rt.delete(modelType.getName());
    return jp.proceed(jp.getArgs());
  }
  /**
   * 根据类名、方法名和参数生成key
   * @param clazzName
   * @param methodName
   * @param args 方法参数
   * @return
   */
  protected String genKey(String clazzName, String methodName, Object[] args) {
    StringBuilder sb = new StringBuilder(clazzName);
    sb.append(Constants.DELIMITER);
    sb.append(methodName);
    sb.append(Constants.DELIMITER);

    for (Object obj : args) {
      sb.append(obj.toString());
      sb.append(Constants.DELIMITER);
    }
    return sb.toString();
  }
  protected String serialize(Object target) {
    return JSON.toJSONString(target);
  }
  protected Object deserialize(String jsonString, Class clazz, Class modelType) {
    // 序列化结果应该是List对象
    if (clazz.isAssignableFrom(List.class)) {
      return JSON.parseArray(jsonString, modelType);
    }
    // 序列化结果是普通对象
    return JSON.parseObject(jsonString, clazz);
  }
}

这样我们就完成了数据库查询缓存的实现。

UPDATE:

最好为Hash Set设置一个过期时间,这样即使缓存策略有误(导致读出脏数据),过期时间到了以后依然可以与数据库保持同步:

// 序列化结果放入缓存
      rt.execute(new RedisCallback<Object>() {
        @Override
        public Object doInRedis(RedisConnection redisConn) throws DataAccessException {
          // 配置文件中指定了这是一个String类型的连接
          // 所以这里向下强制转换一定是安全的
          StringRedisConnection conn = (StringRedisConnection) redisConn;
          // 判断hash名是否存在
          // 如果不存在,创建该hash并设置过期时间
          if (false == conn.exists(hashName) ){
            conn.hSet(hashName, key, json);
            conn.expire(hashName, Constants.HASH_EXPIRE_TIME);
          } else {
            conn.hSet(hashName, key, json);
          }
          return null;
        }
      });

总结

本文关于Spring AOP实现Redis缓存数据库查询源码的介绍就到这里,希望对大家有所帮助。感兴趣的朋友可以参阅本站其他相关专题,在此非常感谢大家对我们的支持!

(0)

相关推荐

  • spring aop action中验证用户登录状态的实例代码

    最近在学习ssh框架时,照着网上做了一个商城系统,之前在一些需要用户存在的操作中,都是在每一个action中写重复的代码,这样做现在想起来并不好,想起了spring的aop,于是想通过aop来给每个需要用户操作的Action验证用户登录状态. 想法是这样的: 1. 用户登录时把userId放入session中 2. 通过spring 写一个advice来获取session中的userId,判断用户登录状态,如果userId不符合,则抛出自定义异常 3. 通过struts中配置来捕获异常,跳转界面

  • 利用spring AOP记录用户操作日志的方法示例

    前言 最近项目已经开发完成,但发现需要加用户操作日志,如果返回去加也不太现实,所以使用springAOP来完成比较合适.下面来一起看看详细的介绍: 注解工具类: @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) public @interface LogAnnotation { String operateModelNm() default ""; String operateFuncNm() default

  • 详解SpringBoot AOP 拦截器(Aspect注解方式)

    常用用于实现拦截的有:Filter.HandlerInterceptor.MethodInterceptor 第一种Filter属于Servlet提供的,后两者是spring提供的,HandlerInterceptor属于Spring MVC项目提供的,用来拦截请求,在MethodInterceptor之前执行. 实现一个HandlerInterceptor可以实现接口HandlerInterceptor,也可以继承HandlerInterceptorAdapter类,两种方法一样.这个不在本文

  • Spring+Mybatis 实现aop数据库读写分离与多数据库源配置操作

    在数据库层面大都采用读写分离技术,就是一个Master数据库,多个Slave数据库.Master库负责数据更新和实时数据查询,Slave库当然负责非实时数据查询.因为在实际的应用中,数据库都是读多写少(读取数据的频率高,更新数据的频率相对较少),而读取数据通常耗时比较长,占用数据库服务器的CPU较多,从而影响用户体验.我们通常的做法就是把查询从主库中抽取出来,采用多个从库,使用负载均衡,减轻每个从库的查询压力. 废话不多说,多数据源配置和主从数据配置原理一样 1.首先配置  jdbc.prope

  • Spring AOP 动态多数据源的实例详解

     Spring AOP 动态多数据源的实例详解 当项目中使用到读写分离的时候,我们就会遇到多数据源的问题.多数据源让人最头痛的,不是配置多个数据源,而是如何能灵活动态的切换数据源.例如在一个spring和Mybatis的框架的项目中,我们在spring配置中往往是配置一个dataSource来连接数据库,然后绑定给sessionFactory,在dao层代码中再指定sessionFactory来进行数据库操作. 正如上图所示,每一块都是指定绑死的,如果是多个数据源,也只能是下图中那种方式. 可看

  • Spring AOP实现Redis缓存数据库查询源码

    应用场景 我们希望能够将数据库查询结果缓存到Redis中,这样在第二次做同样的查询时便可以直接从redis取结果,从而减少数据库读写次数. 需要解决的问题 操作缓存的代码写在哪?必须要做到与业务逻辑代码完全分离. 如何避免脏读? 从缓存中读出的数据必须与数据库中的数据一致. 如何为一个数据库查询结果生成一个唯一的标识?即通过该标识(Redis中为Key),能唯一确定一个查询结果,同一个查询结果,一定能映射到同一个key.只有这样才能保证缓存内容的正确性 如何序列化查询结果?查询结果可能是单个实体

  • 详解Redis 缓存删除机制(源码解析)

    删除的范围 过期的 key 在内存满了的情况下,如果继续执行 set 等命令,且所有 key 都没有过期,那么会按照缓存淘汰策略选中的 key 过期删除 redis 中设置了过期时间的 key 会单独存储一份 typedef struct redisDb { dict *dict; // 所有的键值对 dict *expires; //设置了过期时间的键值对 // ... } redisDb; 设置有效期 Redis 中有 4 个命令可以给 key 设置过期时间,分别是 expire pexpi

  • Spring AOP实现声明式事务机制源码解析

    目录 一.声明式全局事务 二.源码 三.小结: 一.声明式全局事务 在Seata示例工程中,能看到@GlobalTransactional,如下方法示例: @GlobalTransactional public boolean purchase(long accountId, long stockId, long quantity) { String xid = RootContext.getXID(); LOGGER.info("New Transaction Begins: " +

  • Java中的使用及连接Redis数据库(附源码)

    引言: 本文主要分享了Redis如何在IDEA中部署,运行:模拟加入Redis的操作: 目录结构 1. 在IDEA中搭建Redis 1.1 创建项目 新建含有web的SpringBoot项目: 搭建项目参考:SpringBoot超详细笔记:https://blog.csdn.net/weixin_42601136/article/details/108396511 1.2 添加依赖(不够手动添加) <dependencies> <!-- 1. Jedis--> <depend

  • 在 Laravel 6 中缓存数据库查询结果的方法

    在加快应用程序速度方面,缓存可能是最有效的.Laravel 预先安装了缓存驱动程序.因此你可以直接使用 Redis, Memcached 或者使用本地文件进行缓存操作.Laravel 附带了此功能. 这一次,我们将讨论直接从模型缓存 Eloquent 查询,从而使数据库缓存变的轻而易举. 这个包可以在 GitHub 找到,此文档将介绍该应用程序的所有要点.但是,这篇文章,我仅仅介绍缓存和清除缓存的知识. 安装 可以通过 Composer 安装 $ composer require rennokk

  • 使用SpringCache进行缓存数据库查询方式

    目录 SpringCache进行缓存数据库查询 1.在SpringBoot的启动类上添加注解@EnableCaching 2.在service的方法上添加对应的注解 SpringCache 数据库一致性问题 缓存和数据库不一致的问题 先更新数据库,再更新缓存 高并发下redis和数据库不一致问题 SpringCache进行缓存数据库查询 1.在SpringBoot的启动类上添加注解@EnableCaching 开启SpringCache缓存支持 @SpringBootApplication //

  • redis缓存数据库中数据的方法

    本文实例为大家分享了redis缓存数据库中数据的具体代码,供大家参考,具体内容如下 将数据库的数据保存到redis缓存 当第一次查询时,缓存没有对应的数据,则会查询数据库,并将数据更新到缓存当缓存中有对应的数据时,则会直接访问缓存,则不查询数据库这样在性能优化上有很大的帮助 ProvinceServiceImpl public class ProvinceServiceImpl implements ProvinceService {     private ProvinceDao dao =

  • 在Python中使用AOP实现Redis缓存示例

    越来越觉得的缓存是计算机科学里最NB的发明(没有之一),本文就来介绍了一下在Python中使用AOP实现Redis缓存示例,小伙伴们一起来了解一下 import redis enable=True #enable=False def readRedis(key): if enable: r = redis.Redis(host='10.224.38.31', port=8690,db=0, password='xxxx') val = r.get(key) if val is None: pri

  • GitLab使用外部提供的Redis缓存数据库的方法详解

    缺省的情况下GitLab的官方镜像中提供了一个Redis,如果希望把此缓存数据库放在GitLab的容器之外的话需要怎么做呢?这篇文章结合示例进行说明具体的做法. 环境准备 配置文件:GitLab version: '2' services: # Version Control service: Gitlab gitlab: image: gitlab/gitlab-ce:12.10.5-ce.0 ports: - "35001:80" - "30022:22" -

  • Spring Boot 员工管理系统超详细教程(源码分享)

    员工管理系统 1.准备工作 资料下载 内含源码 + 笔记 + web素材 源码下载地址: http://xiazai.jb51.net/202105/yuanma/javaguanli_jb51.rar 笔记 素材 源码 1.1.导入资源 将文件夹中的静态资源导入idea中 位置如下 1.2.编写pojo层 员工表 //员工表 @Data @NoArgsConstructor public class Employee { private Integer id; private String l

随机推荐