spring boot配置读写分离的完整实现步骤

前言

开发中常用到主从数据库来提高系统的性能。怎么样才能方便的实现主从读写分离呢?近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离。这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受)。

下面话不多说了,来一起看看详细的介绍吧。

1、背景

一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中。当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多个库,通常会做一个数据库集群,开启主从备份,一主多从,以提高读取性能。当用户更多读写分离也无法满足时,就需要分布式数据库了(可能以后会学习怎么弄)。

正常情况下读写分离的实现,首先要做一个一主多从的数据库集群,同时还需要进行数据同步。这一篇记录如何用mysql搭建一个一主多次的配置,下一篇记录代码层面如何实现读写分离。

2、搭建一主多从数据库集群

主从备份需要多台虚拟机,我是用wmware完整克隆多个实例,注意直接克隆的虚拟机会导致每个数据库的uuid相同,需要修改为不同的uuid。修改方法参考这个:点击跳转。

主库配置

主数据库(master)中新建一个用户用于从数据库(slave)读取主数据库二进制日志,sql语句如下:

mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#创建用户
 mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配权限
 mysql>flush privileges; #刷新权限

同时修改mysql配置文件开启二进制日志,新增部分如下:

[mysqld]
server-id=1
log-bin=master-bin
log-bin-index=master-bin.index

然后重启数据库,使用show master status;语句查看主库状态,如下所示:

从库配置

同样先新增几行配置:

[mysqld]
server-id=2
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin

然后重启数据库,使用如下语句连接主库:

CHANGE MASTER TO
 MASTER_HOST='192.168.226.5',
 MASTER_USER='root',
 MASTER_PASSWORD='123456',
 MASTER_LOG_FILE='master-bin.000003',
 MASTER_LOG_POS=154;

接着运行start slave;开启备份,正常情况如下图所示:Slave_IO_Running和Slave_SQL_Running都为yes。

可以用这个步骤开启多个从库。

  默认情况下备份是主库的全部操作都会备份到从库,实际可能需要忽略某些库,可以在主库中增加如下配置:

# 不同步哪些数据库
binlog-ignore-db = mysql
binlog-ignore-db = test
binlog-ignore-db = information_schema 

# 只同步哪些数据库,除此之外,其他不同步
binlog-do-db = game 

3、代码层面进行读写分离

代码环境是springboot+mybatis+druib连接池。想要读写分离就需要配置多个数据源,在进行写操作是选择写的数据源,读操作时选择读的数据源。其中有两个关键点:

  1. 如何切换数据源
  2. 如何根据不同的方法选择正确的数据源

1)、如何切换数据源

通常用springboot时都是使用它的默认配置,只需要在配置文件中定义好连接属性就行了,但是现在我们需要自己来配置了,spring是支持多数据源的,多个datasource放在一个HashMapTargetDataSource中,通过dertermineCurrentLookupKey获取key来觉定要使用哪个数据源。因此我们的目标就很明确了,建立多个datasource放到TargetDataSource中,同时重写dertermineCurrentLookupKey方法来决定使用哪个key。

2)、如何选择数据源

事务一般是注解在Service层的,因此在开始这个service方法调用时要确定数据源,有什么通用方法能够在开始执行一个方法前做操作呢?相信你已经想到了那就是切面 。怎么切有两种办法:

  • 注解式,定义一个只读注解,被该数据标注的方法使用读库
  • 方法名,根据方法名写切点,比如getXXX用读库,setXXX用写库

3)、代码编写

a、编写配置文件,配置两个数据源信息

只有必填信息,其他都有默认设置

mysql:
 datasource:
 #读库数目
 num: 1
 type-aliases-package: com.example.dxfl.dao
 mapper-locations: classpath:/mapper/*.xml
 config-location: classpath:/mybatis-config.xml
 write:
 url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
 username: root
 password: 123456
 driver-class-name: com.mysql.jdbc.Driver
 read:
 url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true
 username: root
 password: 123456
 driver-class-name: com.mysql.jdbc.Driver

b、编写DbContextHolder类

这个类用来设置数据库类别,其中有一个ThreadLocal用来保存每个线程的是使用读库,还是写库。代码如下:

/**
 * Description 这里切换读/写模式
 * 原理是利用ThreadLocal保存当前线程是否处于读模式(通过开始READ_ONLY注解在开始操作前设置模式为读模式,
 * 操作结束后清除该数据,避免内存泄漏,同时也为了后续在该线程进行写操作时任然为读模式
 * @author fxb
 * @date 2018-08-31
 */
public class DbContextHolder {

 private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);
 public static final String WRITE = "write";
 public static final String READ = "read";

 private static ThreadLocal<String> contextHolder= new ThreadLocal<>();

 public static void setDbType(String dbType) {
 if (dbType == null) {
 log.error("dbType为空");
 throw new NullPointerException();
 }
 log.info("设置dbType为:{}",dbType);
 contextHolder.set(dbType);
 }

 public static String getDbType() {
 return contextHolder.get() == null ? WRITE : contextHolder.get();
 }

 public static void clearDbType() {
 contextHolder.remove();
 }
}

c、重写determineCurrentLookupKey方法

spring在开始进行数据库操作时会通过这个方法来决定使用哪个数据库,因此我们在这里调用上面DbContextHolder类的getDbType()方法获取当前操作类别,同时可进行读库的负载均衡,代码如下:

public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {

 @Value("${mysql.datasource.num}")
 private int num;

 private final Logger log = LoggerFactory.getLogger(this.getClass());

 @Override
 protected Object determineCurrentLookupKey() {
 String typeKey = DbContextHolder.getDbType();
 if (typeKey == DbContextHolder.WRITE) {
 log.info("使用了写库");
 return typeKey;
 }
 //使用随机数决定使用哪个读库
 int sum = NumberUtil.getRandom(1, num);
 log.info("使用了读库{}", sum);
 return DbContextHolder.READ + sum;
 }
}

d、编写配置类

由于要进行读写分离,不能再用springboot的默认配置,我们需要手动来进行配置。首先生成数据源,使用@ConfigurProperties自动生成数据源:

 /**
 * 写数据源
 *
 * @Primary 标志这个 Bean 如果在多个同类 Bean 候选时,该 Bean 优先被考虑。
 * 多数据源配置的时候注意,必须要有一个主数据源,用 @Primary 标志该 Bean
 */
 @Primary
 @Bean
 @ConfigurationProperties(prefix = "mysql.datasource.write")
 public DataSource writeDataSource() {
 return new DruidDataSource();
 }

读数据源类似,注意有多少个读库就要设置多少个读数据源,Bean名为read+序号。

然后设置数据源,使用的是我们之前写的MyAbstractRoutingDataSource类

 /**
 * 设置数据源路由,通过该类中的determineCurrentLookupKey决定使用哪个数据源
 */
 @Bean
 public AbstractRoutingDataSource routingDataSource() {
 MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
 Map<Object, Object> targetDataSources = new HashMap<>(2);
 targetDataSources.put(DbContextHolder.WRITE, writeDataSource());
 targetDataSources.put(DbContextHolder.READ+"1", read1());
 proxy.setDefaultTargetDataSource(writeDataSource());
 proxy.setTargetDataSources(targetDataSources);
 return proxy;
 }

接着需要设置sqlSessionFactory

 /**
 * 多数据源需要自己设置sqlSessionFactory
 */
 @Bean
 public SqlSessionFactory sqlSessionFactory() throws Exception {
 SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
 bean.setDataSource(routingDataSource());
 ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
 // 实体类对应的位置
 bean.setTypeAliasesPackage(typeAliasesPackage);
 // mybatis的XML的配置
 bean.setMapperLocations(resolver.getResources(mapperLocation));
 bean.setConfigLocation(resolver.getResource(configLocation));
 return bean.getObject();
 }

最后还得配置下事务,否则事务不生效

 /**
 * 设置事务,事务需要知道当前使用的是哪个数据源才能进行事务处理
 */
 @Bean
 public DataSourceTransactionManager dataSourceTransactionManager() {
 return new DataSourceTransactionManager(routingDataSource());
 }

4)、选择数据源

多数据源配置好了,但是代码层面如何选择选择数据源呢?这里介绍两种办法:

a、注解式

首先定义一个只读注解,被这个注解方法使用读库,其他使用写库,如果项目是中途改造成读写分离可使用这个方法,无需修改业务代码,只要在只读的service方法上加一个注解即可。

@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface ReadOnly {
}

然后写一个切面来切换数据使用哪种数据源,重写getOrder保证本切面优先级高于事务切面优先级,在启动类加上@EnableTransactionManagement(order = 10),为了代码如下:

@Aspect
@Component
public class ReadOnlyInterceptor implements Ordered {
 private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);

 @Around("@annotation(readOnly)")
 public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{
 try{
 DbContextHolder.setDbType(DbContextHolder.READ);
 return joinPoint.proceed();
 }finally {
 //清楚DbType一方面为了避免内存泄漏,更重要的是避免对后续在本线程上执行的操作产生影响
 DbContextHolder.clearDbType();
 log.info("清除threadLocal");
 }
 }

 @Override
 public int getOrder() {
 return 0;
 }
}

b、方法名式

这种方法不许要注解,但是需要事务名称按一定规则编写,然后通过切面来设置数据库类别,比如setXXX设置为写、getXXX设置为读,代码我就不写了,应该都知道怎么写。

4、测试

编写好代码来试试结果如何,下面是运行截图:

断断续续写了好几天终于是写完了,,,如果有帮助到你,,欢迎star哦,,这里是完整代码地址:点击跳转

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对我们的支持。

(0)

相关推荐

  • SpringBoot集成Spring Data JPA及读写分离

    相关代码: github OSCchina JPA是什么 JPA(Java Persistence API)是Sun官方提出的Java持久化规范,它为Java开发人员提供了一种对象/关联映射工具 来管理Java应用中的关系数据.它包括以下几方面的内容: 1.ORM映射 支持xml和注解方式建立实体与表之间的映射. 2.Java持久化API 定义了一些常用的CRUD接口,我们只需直接调用,而不需要考虑底层JDBC和SQL的细节. 3.JPQL查询语言 这是持久化操作中很重要的一个方面,通过面向对象

  • Spring boot实现数据库读写分离的方法

    背景 数据库配置主从之后,如何在代码层面实现读写分离? 用户自定义设置数据库路由 Spring boot提供了AbstractRoutingDataSource根据用户定义的规则选择当前的数据库,这样我们可以在执行查询之前,设置读取从库,在执行完成后,恢复到主库. 实现可动态路由的数据源,在每次数据库查询操作前执行 ReadWriteSplitRoutingDataSource.java import org.springframework.jdbc.datasource.lookup.Abst

  • spring boot配置读写分离的完整实现步骤

    前言 开发中常用到主从数据库来提高系统的性能.怎么样才能方便的实现主从读写分离呢?近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离.这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受). 下面话不多说了,来一起看看详细的介绍吧. 1.背景 一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中.当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多

  • 详解MyBatis多数据源配置(读写分离)

    MyBatis多数据源配置(读写分离) 首先说明,本文的配置使用的最直接的方式,实际用起来可能会很麻烦. 实际应用中可能存在多种结合的情况,你可以理解本文的含义,不要死板的使用. 多数据源的可能情况 1.主从 通常是MySQL一主多从的情况,本文的例子就是主从的情况,但是只有两个数据源,所以采用直接配置不会太麻烦,但是不利于后续扩展,主要是作为一个例子来说明,实际操作请慎重考虑. 2.分库 当业务独立性强,数据量大的时候的,为了提高并发,可能会对表进行分库,分库后,每一个数据库都需要配置一个数据

  • 通过Spring Boot配置动态数据源访问多个数据库的实现代码

    之前写过一篇博客<Spring+Mybatis+Mysql搭建分布式数据库访问框架>描述如何通过Spring+Mybatis配置动态数据源访问多个数据库.但是之前的方案有一些限制(原博客中也描述了):只适用于数据库数量不多且固定的情况.针对数据库动态增加的情况无能为力. 下面讲的方案能支持数据库动态增删,数量不限. 数据库环境准备 下面一Mysql为例,先在本地建3个数据库用于测试.需要说明的是本方案不限数据库数量,支持不同的数据库部署在不同的服务器上.如图所示db_project_001.d

  • Spring Boot配置过滤器的2种方式示例

    前言 过滤器(Filter)是Servlet中常用的技术,可以实现用户在访问某个目标资源之前,对访问的请求和响应进行拦截,常用的场景有登录校验.权限控制.敏感词过滤等,下面介绍下Spring Boot配置过滤器的两种方式. 一.@WebFilter注解方式 使用@WebFilter注解为声明当前类为filter,第一个参数为该filter起一个名字,第二个参数为说明要拦截的请求地址,当前类需要实现Filter接口,里面有三个方法,分别为过滤器初始化.过滤方法和过滤器销毁. @Slf4j @Web

  • Spring Boot配置线程池拒绝策略的场景分析(妥善处理好溢出的任务)

    目录 场景重现 配置拒绝策略 代码示例 通过之前三篇关于Spring Boot异步任务实现的博文,我们分别学会了用@Async创建异步任务.为异步任务配置线程池.使用多个线程池隔离不同的异步任务.今天这篇,我们继续对上面的知识进行完善和优化! 如果你已经看过上面几篇内容并已经掌握之后,一起来思考下面这个问题: 假设,线程池配置为核心线程数2.最大线程数2.缓冲队列长度2.此时,有5个异步任务同时开始,会发生什么? 场景重现 我们先来把上面的假设用代码实现一下: 第一步:创建Spring Boot

  • 详解Spring Boot配置排序依赖技巧

    本文主要介绍了Spring Boot配置排序依赖技巧,分享给大家,具体如下: Spring Boot - 被错误使用的注解 我自己曾经在 Spring Boot 中集成通用 Mapper 时,写过下面的代码: @Configuration @AutoConfigureAfter(MyBatisConfig.class) public class MyBatisMapperScannerConfig { //其他 } 这种用法我参考的 mybatis-spring-boot-starter. 由于

  • 详解spring boot配置 ssl

    ssl协议位于tcp/ip协议与各种应用协议之间,为数据通信提供安全支持. ssl协议分为两层: ssl记录协议,它建立在可靠传输协议之上,为高层协议提供数据封装.压缩.加密等基本功能支持. ssl握手协议,它建立在ssl记录协议之上,用于实际数据传输开始前,通信双方进行身份认证.协商加密算法.交换加密密钥等 基于B/S的web应用,是通过https来实现ssl的.https是http的安全版,即在http下加入ssl层,https的安全基础是ssl: 我们开始在spring boot中使用ss

  • 详解spring boot配置单点登录

    概述 企业内部一般都有一套单点登录系统(常用的实现有apereo cas),所有的内部系统的登录认证都对接它.本文介绍spring boot的程序如何对接CAS服务. 常用的安全框架有spring security和apache shiro.shiro的配置和使用相对简单,本文使用shrio对接CAS服务. 配置 新增依赖 pom.xml新增: <properties> <shiro.version>1.2.4</shiro.version> </properti

  • 详解Spring Boot 配置多个RabbitMQ

    闲话 好久没有写博客了,6月份毕业,因为工作原因,公司上网受限,一直没能把学到的知识点写下来,工作了半年,其实学到的东西也不少,但是现在回忆起来的东西少之又少,有时甚至能在同个问题中踩了几次,越来越觉得及时记录一下学到的东西很重要. 好了,闲话少说,写下这段时间学习的东西,先记录一下用spring Boot配置多个RabbitMQ的情况... 最近公司新启动一个新平台的项目,需要用微服务这个这几年很火的概念来做,所以就学习了Spring Boot方面的知识,给同事展示Spring Boot的一些

  • Spring Boot 配置 IDEA和DevTools 热部署的方法

    MAVEN 配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/

随机推荐