Spring Boot 结合 aop 实现读写分离

前言

入职新公司到现在也有一个月了,完成了手头的工作,前几天终于有时间研究下公司旧项目的代码。在研究代码的过程中,发现项目里用到了Spring Aop来实现数据库的读写分离,本着自己爱学习(我自己都不信…)的性格,决定写个实例工程来实现spring aop读写分离的效果。

环境部署

数据库:MySql
库数量:2个,一主一从
关于mysql的主从环境部署,可以参考:
https://www.jb51.net/article/184698.htm

开始项目

首先,毫无疑问,先开始搭建一个SpringBoot工程,然后在pom文件中引入如下依赖:

<dependencies>
  <dependency>
   <groupId>com.alibaba</groupId>
   <artifactId>druid-spring-boot-starter</artifactId>
   <version>1.1.10</version>
  </dependency>
  <dependency>
   <groupId>org.mybatis.spring.boot</groupId>
   <artifactId>mybatis-spring-boot-starter</artifactId>
   <version>1.3.2</version>
  </dependency>
  <dependency>
   <groupId>tk.mybatis</groupId>
   <artifactId>mapper-spring-boot-starter</artifactId>
   <version>2.1.5</version>
  </dependency>
  <dependency>
   <groupId>mysql</groupId>
   <artifactId>mysql-connector-java</artifactId>
   <version>8.0.16</version>
  </dependency>
  <!-- 动态数据源 所需依赖 ### start-->
  <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-jdbc</artifactId>
   <scope>provided</scope>
  </dependency>
  <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-aop</artifactId>
   <scope>provided</scope>
  </dependency>
  <!-- 动态数据源 所需依赖 ### end-->
  <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-web</artifactId>
  </dependency>
  <dependency>
   <groupId>org.projectlombok</groupId>
   <artifactId>lombok</artifactId>
   <optional>true</optional>
  </dependency>
  <dependency>
   <groupId>com.alibaba</groupId>
   <artifactId>fastjson</artifactId>
   <version>1.2.4</version>
  </dependency>
  <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-test</artifactId>
   <scope>test</scope>
  </dependency>
  <dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-data-jpa</artifactId>
  </dependency>
 </dependencies>

目录结构

引入基本的依赖后,整理一下目录结构,完成后的项目骨架大致如下:

建表

创建一张表user,在主库执行sql语句同时在从库生成对应的表数据

DROP TABLE IF EXISTS `user`;
CREATE TABLE `user` (
 `user_id` bigint(20) NOT NULL COMMENT '用户id',
 `user_name` varchar(255) DEFAULT '' COMMENT '用户名称',
 `user_phone` varchar(50) DEFAULT '' COMMENT '用户手机',
 `address` varchar(255) DEFAULT '' COMMENT '住址',
 `weight` int(3) NOT NULL DEFAULT '1' COMMENT '权重,大者优先',
 `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
 `updated_at` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
 PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `user` VALUES ('1196978513958141952', '测试1', '18826334748', '广州市海珠区', '1', '2019-11-20 10:28:51', '2019-11-22 14:28:26');
INSERT INTO `user` VALUES ('1196978513958141953', '测试2', '18826274230', '广州市天河区', '2', '2019-11-20 10:29:37', '2019-11-22 14:28:14');
INSERT INTO `user` VALUES ('1196978513958141954', '测试3', '18826273900', '广州市天河区', '1', '2019-11-20 10:30:19', '2019-11-22 14:28:30');

主从数据源配置

application.yml,主要信息是主从库的数据源配置

server:
 port: 8001
spring:
 jackson:
  date-format: yyyy-MM-dd HH:mm:ss
  time-zone: GMT+8
 datasource:
 type: com.alibaba.druid.pool.DruidDataSource
 driver-class-name: com.mysql.cj.jdbc.Driver
 master:
  url: jdbc:mysql://127.0.0.1:3307/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true
  username: root
  password:
 slave:
  url: jdbc:mysql://127.0.0.1:3308/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true
  username: root
  password:

因为有一主一从两个数据源,我们用枚举类来代替,方便我们使用时能对应

@Getter
public enum DynamicDataSourceEnum {
 MASTER("master"),
 SLAVE("slave");
 private String dataSourceName;
 DynamicDataSourceEnum(String dataSourceName) {
  this.dataSourceName = dataSourceName;
 }
}

数据源配置信息类 DataSourceConfig,这里配置了两个数据源,masterDb和slaveDb

@Configuration
@MapperScan(basePackages = "com.xjt.proxy.mapper", sqlSessionTemplateRef = "sqlTemplate")
public class DataSourceConfig {

  // 主库
  @Bean
  @ConfigurationProperties(prefix = "spring.datasource.master")
  public DataSource masterDb() {
 return DruidDataSourceBuilder.create().build();
  }

 /**
  * 从库
  */
 @Bean
 @ConditionalOnProperty(prefix = "spring.datasource", name = "slave", matchIfMissing = true)
 @ConfigurationProperties(prefix = "spring.datasource.slave")
 public DataSource slaveDb() {
  return DruidDataSourceBuilder.create().build();
 }
/**
 * 主从动态配置
 */
 @Bean
 public DynamicDataSource dynamicDb(@Qualifier("masterDb") DataSource masterDataSource,
  @Autowired(required = false) @Qualifier("slaveDb") DataSource slaveDataSource) {
  DynamicDataSource dynamicDataSource = new DynamicDataSource();
  Map<Object, Object> targetDataSources = new HashMap<>();
  targetDataSources.put(DynamicDataSourceEnum.MASTER.getDataSourceName(), masterDataSource);
  if (slaveDataSource != null) {
   targetDataSources.put(DynamicDataSourceEnum.SLAVE.getDataSourceName(), slaveDataSource);
  }
  dynamicDataSource.setTargetDataSources(targetDataSources);
  dynamicDataSource.setDefaultTargetDataSource(masterDataSource);
  return dynamicDataSource;
 }
 @Bean
 public SqlSessionFactory sessionFactory(@Qualifier("dynamicDb") DataSource dynamicDataSource) throws Exception {
  SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
  bean.setMapperLocations(
   new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml"));
  bean.setDataSource(dynamicDataSource);
  return bean.getObject();
 }
 @Bean
 public SqlSessionTemplate sqlTemplate(@Qualifier("sessionFactory") SqlSessionFactory sqlSessionFactory) {
  return new SqlSessionTemplate(sqlSessionFactory);
 }
 @Bean(name = "dataSourceTx")
 public DataSourceTransactionManager dataSourceTx(@Qualifier("dynamicDb") DataSource dynamicDataSource) {
  DataSourceTransactionManager dataSourceTransactionManager = new DataSourceTransactionManager();
  dataSourceTransactionManager.setDataSource(dynamicDataSource);
  return dataSourceTransactionManager;
 }
}

设置路由

设置路由的目的为了方便查找对应的数据源,我们可以用ThreadLocal保存数据源的信息到每个线程中,方便我们需要时获取

public class DataSourceContextHolder {
 private static final ThreadLocal<String> DYNAMIC_DATASOURCE_CONTEXT = new ThreadLocal<>();
 public static void set(String datasourceType) {
  DYNAMIC_DATASOURCE_CONTEXT.set(datasourceType);
 }
 public static String get() {
  return DYNAMIC_DATASOURCE_CONTEXT.get();
 }
 public static void clear() {
  DYNAMIC_DATASOURCE_CONTEXT.remove();
 }
}

获取路由

public class DynamicDataSource extends AbstractRoutingDataSource {
 @Override
 protected Object determineCurrentLookupKey() {
  return DataSourceContextHolder.get();
 }
}

AbstractRoutingDataSource的作用是基于查找key路由到对应的数据源,它内部维护了一组目标数据源,并且做了路由key与目标数据源之间的映射,提供基于key查找数据源的方法。
数据源的注解

为了可以方便切换数据源,我们可以写一个注解,注解中包含数据源对应的枚举值,默认是主库,

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
@Documented
public @interface DataSourceSelector {

 DynamicDataSourceEnum value() default DynamicDataSourceEnum.MASTER;
 boolean clear() default true;
}

aop切换数据源

到这里,aop终于可以现身出场了,这里我们定义一个aop类,对有注解的方法做切换数据源的操作,具体代码如下:

@Slf4j
@Aspect
@Order(value = 1)
@Component
public class DataSourceContextAop {

 @Around("@annotation(com.xjt.proxy.dynamicdatasource.DataSourceSelector)")
 public Object setDynamicDataSource(ProceedingJoinPoint pjp) throws Throwable {
  boolean clear = true;
  try {
   Method method = this.getMethod(pjp);
   DataSourceSelector dataSourceImport = method.getAnnotation(DataSourceSelector.class);
   clear = dataSourceImport.clear();
   DataSourceContextHolder.set(dataSourceImport.value().getDataSourceName());
   log.info("========数据源切换至:{}", dataSourceImport.value().getDataSourceName());
   return pjp.proceed();
  } finally {
   if (clear) {
    DataSourceContextHolder.clear();
   }

  }
 }
 private Method getMethod(JoinPoint pjp) {
  MethodSignature signature = (MethodSignature)pjp.getSignature();
  return signature.getMethod();
 }

}

到这一步,我们的准备配置工作就完成了,下面开始测试效果。更多springboot文章,查看往期:SpringBoot内容聚合
先写好Service文件,包含读取和更新两个方法,

@Service
public class UserService {

 @Autowired
 private UserMapper userMapper;

 @DataSourceSelector(value = DynamicDataSourceEnum.SLAVE)
 public List<User> listUser() {
  List<User> users = userMapper.selectAll();
  return users;
 }

 @DataSourceSelector(value = DynamicDataSourceEnum.MASTER)
 public int update() {
  User user = new User();
  user.setUserId(Long.parseLong("1196978513958141952"));
  user.setUserName("修改后的名字2");
  return userMapper.updateByPrimaryKeySelective(user);
 }

 @DataSourceSelector(value = DynamicDataSourceEnum.SLAVE)
 public User find() {
  User user = new User();
  user.setUserId(Long.parseLong("1196978513958141952"));
  return userMapper.selectByPrimaryKey(user);
 }
}

根据方法上的注解可以看出,读的方法走从库,更新的方法走主库,更新的对象是userId为1196978513958141953 的数据,
然后我们写个测试类测试下是否能达到效果,

@RunWith(SpringRunner.class)
@SpringBootTest
class UserServiceTest {

 @Autowired
 UserService userService;

 @Test
 void listUser() {
  List<User> users = userService.listUser();
  for (User user : users) {
   System.out.println(user.getUserId());
   System.out.println(user.getUserName());
   System.out.println(user.getUserPhone());
  }
 }
 @Test
 void update() {
  userService.update();
  User user = userService.find();
  System.out.println(user.getUserName());
 }
}

测试结果:
1、读取方法

2、更新方法

执行之后,比对数据库就可以发现主从库都修改了数据,说明我们的读写分离是成功的。当然,更新方法可以指向从库,这样一来就只会修改到从库的数据,而不会涉及到主库。

注意

上面测试的例子虽然比较最后发一下项目的github地址,有兴趣的同学可以看下:
https://github.com/Taoxj/mysql-proxy简单,但
也符合常规的读写分离配置。值得说明的是,读写分离的作用是为了缓解写库,也就是主库的压力,但一定要基于数据一致性
的原则,就是保证主从库之间的数据一定要一致。如果一个方法涉及到写的逻辑,那么该方法里所有的数据库操作都要走主库。
假设写的操作执行完后数据有可能还没同步到从库,然后读的操作也开始执行了,如果这个读取的程序走的依然是从库的话,那么就会出现数据不一致的现象了,这是我们不允许的。

以上就是Spring Boot 结合 aop 实现读写分离的详细内容,更多关于Spring Boot 实现读写分离的资料请关注我们其它相关文章!

(0)

相关推荐

  • SpringBoot集成Spring Data JPA及读写分离

    相关代码: github OSCchina JPA是什么 JPA(Java Persistence API)是Sun官方提出的Java持久化规范,它为Java开发人员提供了一种对象/关联映射工具 来管理Java应用中的关系数据.它包括以下几方面的内容: 1.ORM映射 支持xml和注解方式建立实体与表之间的映射. 2.Java持久化API 定义了一些常用的CRUD接口,我们只需直接调用,而不需要考虑底层JDBC和SQL的细节. 3.JPQL查询语言 这是持久化操作中很重要的一个方面,通过面向对象

  • spring boot + mybatis如何实现数据库的读写分离

    介绍 随着业务的发展,除了拆分业务模块外,数据库的读写分离也是常见的优化手段. 方案使用了AbstractRoutingDataSource和mybatis plugin来动态的选择数据源 选择这个方案的原因主要是不需要改动原有业务代码,非常友好 注: demo中使用了mybatis-plus,实际使用mybatis也是一样的 demo中使用的数据库是postgres,实际任一类型主从备份的数据库示例都是一样的 demo中使用了alibaba的druid数据源,实际其他类型的数据源也是一样的 环

  • springboot基于Mybatis mysql实现读写分离

    近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离.这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受). 完整代码:https://github.com/FleyX/demo-project/tree/master/dxfl 1.背景 一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中.当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多个库

  • SpringBoot整合MyCat实现读写分离的方法

    MyCat一个彻底开源的,面向企业应用开发的大数据库集群.基于阿里开源的Cobar产品而研发.能满足数据库数据大量存储:提高了查询性能.文章介绍如何实现MyCat连接MySQL实现主从分离,并集成SpringBoot实现读写分离. MySQL配置主从关系 说明 192.168.0.105 Linux 数据库作为主master数据库 127.0.0.1 Window 作为从slave数据库 master主数据库配置 binlog是Mysql sever层维护的一种二进制日志,主要是用来记录对Mys

  • Springboot + Mysql8实现读写分离功能

    在实际的生产环境中,为了确保数据库的稳定性,我们一般会给数据库配置双机热备机制,这样在master数据库崩溃后,slave数据库可以立即切换成主数据库,通过主从复制的方式将数据从主库同步至从库,在业务代码中编写代码实现读写分离(让主数据库处理 事务性增.改.删操作,而从数据库处理查询操作)来提升数据库的并发负载能力. 下面我们使用最新版本的Mysql数据库(8.0.16)结合SpringBoot实现这一完整步骤(一主一从). 安装配置mysql 从 https://dev.mysql.com/d

  • SpringBoot自定义注解使用读写分离Mysql数据库的实例教程

    需求场景 为了防止代码中有的SQL慢查询,影响我们线上主数据库的性能.我们需要将sql查询操作切换到从库中进行.为了使用方便,将自定义注解的形式使用. mysql导入的依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.16</version> </dependency&

  • Spring boot实现数据库读写分离的方法

    背景 数据库配置主从之后,如何在代码层面实现读写分离? 用户自定义设置数据库路由 Spring boot提供了AbstractRoutingDataSource根据用户定义的规则选择当前的数据库,这样我们可以在执行查询之前,设置读取从库,在执行完成后,恢复到主库. 实现可动态路由的数据源,在每次数据库查询操作前执行 ReadWriteSplitRoutingDataSource.java import org.springframework.jdbc.datasource.lookup.Abst

  • 使用springboot aop来实现读写分离和事物配置

    什么事读写分离 读写分离,基本的原理是让主数据库处理事务性增.改.删操作(INSERT.UPDATE.DELETE),而从数据库处理SELECT查询操作.数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库. 为什么要实现读写分离 增加冗余 增加了机器的处理能力 对于读操作为主的应用,使用读写分离是最好的场景,因为可以确保写的服务器压力更小,而读又可以接受点时间上的延迟. 实现 本文介绍利用spring aop来动态切换数据源来实现读写分离. 先建一个maven项目,导入springBo

  • spring boot配置读写分离的完整实现步骤

    前言 开发中常用到主从数据库来提高系统的性能.怎么样才能方便的实现主从读写分离呢?近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离.这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受). 下面话不多说了,来一起看看详细的介绍吧. 1.背景 一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中.当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多

  • 详解Spring Boot中整合Sharding-JDBC读写分离示例

    在我<Spring Cloud微服务-全栈技术与案例解析>书中,第18章节分库分表解决方案里有对Sharding-JDBC的使用进行详细的讲解. 之前是通过XML方式来配置数据源,读写分离策略,分库分表策略等,之前有朋友也问过我,有没有Spring Boot的方式来配置,既然已经用Spring Boot还用XML来配置感觉有点不协调. 其实吧我个人觉得只要能用,方便看,看的懂就行了,mybatis的SQL不也是写在XML中嘛. 今天就给大家介绍下Spring Boot方式的使用,主要讲解读写分

随机推荐