Spring+MyBatis实现数据读写分离的实例代码

本文介绍了Spring Boot + MyBatis读写分离,有需要了解Spring+MyBatis读写分离的朋友可参考。希望此文章对各位有所帮助。

其最终实现功能:

  1. 默认更新操作都使用写数据源
  2. 读操作都使用slave数据源
  3. 特殊设置:可以指定要使用的数据源类型及名称(如果有名称,则会根据名称使用相应的数据源)

其实现原理如下:

  1. 通过Spring AOP对dao层接口进行拦截,并对需要指定数据源的接口在ThradLocal中设置其数据源类型及名称
  2. 通过MyBatsi的插件,对根据更新或者查询操作在ThreadLocal中设置数据源(dao层没有指定的情况下)
  3. 继承AbstractRoutingDataSource类。

在此直接写死使用HikariCP作为数据源

其实现步骤如下:

  1. 定义其数据源配置文件并进行解析为数据源
  2. 定义AbstractRoutingDataSource类及其它注解
  3. 定义Aop拦截
  4. 定义MyBatis插件
  5. 整合在一起

1.配置及解析类

其配置参数直接使用HikariCP的配置,其具体参数可以参考HikariCP

在此使用yaml格式,名称为datasource.yaml,内容如下:

dds:
 write:
  jdbcUrl: jdbc:mysql://localhost:3306/order
  password: liu123
  username: root
  maxPoolSize: 10
  minIdle: 3
  poolName: master
 read:
  - jdbcUrl: jdbc:mysql://localhost:3306/test
   password: liu123
   username: root
   maxPoolSize: 10
   minIdle: 3
   poolName: slave1
  - jdbcUrl: jdbc:mysql://localhost:3306/test2
   password: liu123
   username: root
   maxPoolSize: 10
   minIdle: 3
   poolName: slave2

定义该配置所对应的Bean,名称为DBConfig,内容如下:

@Component
@ConfigurationProperties(locations = "classpath:datasource.yaml", prefix = "dds")
public class DBConfig {
  private List<HikariConfig> read;
  private HikariConfig write;

  public List<HikariConfig> getRead() {
    return read;
  }

  public void setRead(List<HikariConfig> read) {
    this.read = read;
  }

  public HikariConfig getWrite() {
    return write;
  }

  public void setWrite(HikariConfig write) {
    this.write = write;
  }
}

把配置转换为DataSource的工具类,名称:DataSourceUtil,内容如下:

import com.zaxxer.hikari.HikariConfig;
import com.zaxxer.hikari.HikariDataSource;

import javax.sql.DataSource;
import java.util.ArrayList;
import java.util.List;

public class DataSourceUtil {
  public static DataSource getDataSource(HikariConfig config) {
    return new HikariDataSource(config);
  }

  public static List<DataSource> getDataSource(List<HikariConfig> configs) {
    List<DataSource> result = null;
    if (configs != null && configs.size() > 0) {
      result = new ArrayList<>(configs.size());
      for (HikariConfig config : configs) {
        result.add(getDataSource(config));
      }
    } else {
      result = new ArrayList<>(0);
    }

    return result;
  }
}

2.注解及动态数据源

定义注解@DataSource,其用于需要对个别方法指定其要使用的数据源(如某个读操作需要在master上执行,但另一读方法b需要在读数据源的具体一台上面执行)

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface DataSource {
  /**
   * 类型,代表是使用读还是写
   * @return
   */
  DataSourceType type() default DataSourceType.WRITE;

  /**
   * 指定要使用的DataSource的名称
   * @return
   */
  String name() default "";
}

定义数据源类型,分为两种:READ,WRITE,内容如下:

public enum DataSourceType {
  READ, WRITE;
}

定义保存这此共享信息的类DynamicDataSourceHolder,在其中定义了两个ThreadLocal和一个map,holder用于保存当前线程的数据源类型(读或者写),pool用于保存数据源名称(如果指定),其内容如下:

import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;

public class DynamicDataSourceHolder {
  private static final Map<String, DataSourceType> cache = new ConcurrentHashMap<>();
  private static final ThreadLocal<DataSourceType> holder = new ThreadLocal<>();
  private static final ThreadLocal<String> pool = new ThreadLocal<>();

  public static void putToCache(String key, DataSourceType dataSourceType) {
    cache.put(key,dataSourceType);
  }

  public static DataSourceType getFromCach(String key) {
    return cache.get(key);
  }

  public static void putDataSource(DataSourceType dataSourceType) {
    holder.set(dataSourceType);
  }

  public static DataSourceType getDataSource() {
    return holder.get();
  }

  public static void putPoolName(String name) {
    if (name != null && name.length() > 0) {
      pool.set(name);
    }
  }

  public static String getPoolName() {
    return pool.get();
  }

  public static void clearDataSource() {
    holder.remove();
    pool.remove();
  }
}

动态数据源类为DynamicDataSoruce,其继承自AbstractRoutingDataSource,可以根据返回的key切换到相应的数据源,其内容如下:

import com.zaxxer.hikari.HikariDataSource;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

import javax.sql.DataSource;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ThreadLocalRandom;

public class DynamicDataSource extends AbstractRoutingDataSource {
  private DataSource writeDataSource;
  private List<DataSource> readDataSource;
  private int readDataSourceSize;
  private Map<String, String> dataSourceMapping = new ConcurrentHashMap<>();

  @Override
  public void afterPropertiesSet() {
    if (this.writeDataSource == null) {
      throw new IllegalArgumentException("Property 'writeDataSource' is required");
    }
    setDefaultTargetDataSource(writeDataSource);
    Map<Object, Object> targetDataSource = new HashMap<>();
    targetDataSource.put(DataSourceType.WRITE.name(), writeDataSource);
    String poolName = ((HikariDataSource)writeDataSource).getPoolName();
    if (poolName != null && poolName.length() > 0) {
      dataSourceMapping.put(poolName,DataSourceType.WRITE.name());
    }
    if (this.readDataSource == null) {
      readDataSourceSize = 0;
    } else {
      for (int i = 0; i < readDataSource.size(); i++) {
        targetDataSource.put(DataSourceType.READ.name() + i, readDataSource.get(i));
        poolName = ((HikariDataSource)readDataSource.get(i)).getPoolName();
        if (poolName != null && poolName.length() > 0) {
          dataSourceMapping.put(poolName,DataSourceType.READ.name() + i);
        }
      }
      readDataSourceSize = readDataSource.size();
    }
    setTargetDataSources(targetDataSource);
    super.afterPropertiesSet();
  }

  @Override
  protected Object determineCurrentLookupKey() {
    DataSourceType dataSourceType = DynamicDataSourceHolder.getDataSource();
    String dataSourceName = null;
    if (dataSourceType == null ||dataSourceType == DataSourceType.WRITE || readDataSourceSize == 0) {
      dataSourceName = DataSourceType.WRITE.name();
    } else {
      String poolName = DynamicDataSourceHolder.getPoolName();
      if (poolName == null) {
        int idx = ThreadLocalRandom.current().nextInt(0, readDataSourceSize);
        dataSourceName = DataSourceType.READ.name() + idx;
      } else {
        dataSourceName = dataSourceMapping.get(poolName);
      }
    }
    DynamicDataSourceHolder.clearDataSource();
    return dataSourceName;
  }

  public void setWriteDataSource(DataSource writeDataSource) {
    this.writeDataSource = writeDataSource;
  }

  public void setReadDataSource(List<DataSource> readDataSource) {
    this.readDataSource = readDataSource;
  }
}

3.AOP拦截

如果在相应的dao层做了自定义配置(指定数据源),则在些处理。解析相应方法上的@DataSource注解,如果存在,并把相应的信息保存至上面的DynamicDataSourceHolder中。在此对com.hfjy.service.order.dao包进行做拦截。内容如下:

import com.hfjy.service.order.anno.DataSource;
import com.hfjy.service.order.wr.DynamicDataSourceHolder;
import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.After;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.annotation.Pointcut;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.stereotype.Component;

import java.lang.reflect.Method;

/**
 * 使用AOP拦截,对需要特殊方法可以指定要使用的数据源名称(对应为连接池名称)
 */
@Aspect
@Component
public class DynamicDataSourceAspect {

  @Pointcut("execution(public * com.hfjy.service.order.dao.*.*(*))")
  public void dynamic(){}

  @Before(value = "dynamic()")
  public void beforeOpt(JoinPoint point) {
    Object target = point.getTarget();
    String methodName = point.getSignature().getName();
    Class<?>[] clazz = target.getClass().getInterfaces();
    Class<?>[] parameterType = ((MethodSignature)point.getSignature()).getMethod().getParameterTypes();
    try {
      Method method = clazz[0].getMethod(methodName,parameterType);
      if (method != null && method.isAnnotationPresent(DataSource.class)) {
        DataSource datasource = method.getAnnotation(DataSource.class);
        DynamicDataSourceHolder.putDataSource(datasource.type());
        String poolName = datasource.name();
        DynamicDataSourceHolder.putPoolName(poolName);
        DynamicDataSourceHolder.putToCache(clazz[0].getName() + "." + methodName, datasource.type());
      }
    } catch (Exception e) {
      e.printStackTrace();
    }
  }

  @After(value = "dynamic()")
  public void afterOpt(JoinPoint point) {
    DynamicDataSourceHolder.clearDataSource();
  }
}

4.MyBatis插件

如果在dao层没有指定相应的要使用的数据源,则在此进行拦截,根据是更新还是查询设置数据源的类型,内容如下:

import org.apache.ibatis.executor.Executor;
import org.apache.ibatis.mapping.MappedStatement;
import org.apache.ibatis.mapping.SqlCommandType;
import org.apache.ibatis.plugin.*;
import org.apache.ibatis.session.ResultHandler;
import org.apache.ibatis.session.RowBounds;

import java.util.Properties;

@Intercepts({
    @Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}),
    @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class,
        RowBounds.class, ResultHandler.class})
})
public class DynamicDataSourcePlugin implements Interceptor {

  @Override
  public Object intercept(Invocation invocation) throws Throwable {
    MappedStatement ms = (MappedStatement)invocation.getArgs()[0];
    DataSourceType dataSourceType = null;
    if ((dataSourceType = DynamicDataSourceHolder.getFromCach(ms.getId())) == null) {
      if (ms.getSqlCommandType().equals(SqlCommandType.SELECT)) {
        dataSourceType = DataSourceType.READ;
      } else {
        dataSourceType = DataSourceType.WRITE;
      }
      DynamicDataSourceHolder.putToCache(ms.getId(), dataSourceType);
    }
    DynamicDataSourceHolder.putDataSource(dataSourceType);
    return invocation.proceed();
  }

  @Override
  public Object plugin(Object target) {
    if (target instanceof Executor) {
      return Plugin.wrap(target, this);
    } else {
      return target;
    }
  }

  @Override
  public void setProperties(Properties properties) {

  }
}

5.整合

在里面定义MyBatis要使用的内容及DataSource,内容如下:

import com.hfjy.service.order.wr.DBConfig;
import com.hfjy.service.order.wr.DataSourceUtil;
import com.hfjy.service.order.wr.DynamicDataSource;
import org.apache.ibatis.session.SqlSessionFactory;
import org.mybatis.spring.SqlSessionFactoryBean;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.support.PathMatchingResourcePatternResolver;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;

import javax.annotation.Resource;
import javax.sql.DataSource;

@Configuration
@MapperScan(value = "com.hfjy.service.order.dao", sqlSessionFactoryRef = "sqlSessionFactory")
public class DataSourceConfig {
  @Resource
  private DBConfig dbConfig;

  @Bean(name = "dataSource")
  public DynamicDataSource dataSource() {
    DynamicDataSource dataSource = new DynamicDataSource();
    dataSource.setWriteDataSource(DataSourceUtil.getDataSource(dbConfig.getWrite()));
    dataSource.setReadDataSource(DataSourceUtil.getDataSource(dbConfig.getRead()));
    return dataSource;
  }

  @Bean(name = "transactionManager")
  public DataSourceTransactionManager dataSourceTransactionManager(@Qualifier("dataSource") DataSource dataSource) {
    return new DataSourceTransactionManager(dataSource);
  }

  @Bean(name = "sqlSessionFactory")
  public SqlSessionFactory sqlSessionFactory(@Qualifier("dataSource") DataSource dataSource) throws Exception {
    SqlSessionFactoryBean sessionFactoryBean = new SqlSessionFactoryBean();
    sessionFactoryBean.setConfigLocation(new ClassPathResource("mybatis-config.xml"));
    sessionFactoryBean.setMapperLocations(new PathMatchingResourcePatternResolver()
        .getResources("classpath*:mapper/*.xml"));
    sessionFactoryBean.setDataSource(dataSource);
    return sessionFactoryBean.getObject();
  }
}

如果不清楚,可以查看github上源码orderdemo

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • Spring+MyBatis实现数据库读写分离方案

    推荐第四种 方案1 通过MyBatis配置文件创建读写分离两个DataSource,每个SqlSessionFactoryBean对象的mapperLocations属性制定两个读写数据源的配置文件.将所有读的操作配置在读文件中,所有写的操作配置在写文件中. 优点:实现简单 缺点:维护麻烦,需要对原有的xml文件进行重新修改,不支持多读,不易扩展 实现方式 <bean id="abstractDataSource" abstract="true" class=

  • SpringMVC4+MyBatis+SQL Server2014实现数据库读写分离

    前言 基于mybatis的AbstractRoutingDataSource和Interceptor用拦截器的方式实现读写分离,根据MappedStatement的boundsql,查询sql的select.insert.update.delete,根据起判断使用读写连接串. 开发环境 SpringMVC4.mybatis3 项目结构 读写分离实现 1.pom.xml <dependencies> <dependency> <groupId>junit</grou

  • Spring+Mybatis 实现aop数据库读写分离与多数据库源配置操作

    在数据库层面大都采用读写分离技术,就是一个Master数据库,多个Slave数据库.Master库负责数据更新和实时数据查询,Slave库当然负责非实时数据查询.因为在实际的应用中,数据库都是读多写少(读取数据的频率高,更新数据的频率相对较少),而读取数据通常耗时比较长,占用数据库服务器的CPU较多,从而影响用户体验.我们通常的做法就是把查询从主库中抽取出来,采用多个从库,使用负载均衡,减轻每个从库的查询压力. 废话不多说,多数据源配置和主从数据配置原理一样 1.首先配置  jdbc.prope

  • Spring Boot 集成Mybatis实现主从(多数据源)分离方案示例

    本文将介绍使用Spring Boot集成Mybatis并实现主从库分离的实现(同样适用于多数据源).延续之前的Spring Boot 集成MyBatis.项目还将集成分页插件PageHelper.通用Mapper以及Druid. 新建一个Maven项目,最终项目结构如下: 多数据源注入到sqlSessionFactory POM增加如下依赖: <!--JSON--> <dependency> <groupId>com.fasterxml.jackson.core<

  • Spring+MyBatis实现数据读写分离的实例代码

    本文介绍了Spring Boot + MyBatis读写分离,有需要了解Spring+MyBatis读写分离的朋友可参考.希望此文章对各位有所帮助. 其最终实现功能: 默认更新操作都使用写数据源 读操作都使用slave数据源 特殊设置:可以指定要使用的数据源类型及名称(如果有名称,则会根据名称使用相应的数据源) 其实现原理如下: 通过Spring AOP对dao层接口进行拦截,并对需要指定数据源的接口在ThradLocal中设置其数据源类型及名称 通过MyBatsi的插件,对根据更新或者查询操作

  • SpringBoot+MyBatis+AOP实现读写分离的示例代码

    目录 一. MySQL 读写分离 1.1.如何实现 MySQL 的读写分离? 1.2.MySQL 主从复制原理? 1.3.MySQL 主从同步延时问题(精华) 二.SpringBoot+AOP+MyBatis实现MySQL读写分离 2.1.AbstractRoutingDataSource 2.2.如何切换数据源 2.3.如何选择数据源 三 .代码实现 3.0.工程目录结构 3.1.引入Maven依赖 3.2.编写配置文件,配置主从数据源 3.3.Enum类,定义主库从库 3.4.ThreadL

  • SpringBoot+MyBatis简单数据访问应用的实例代码

    因为实习用的是MyBatis框架,所以写一篇关于SpringBoot整合MyBatis框架的总结. 一,Pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:

  • JSP 中Spring的Resource类读写中文Properties实例代码

    JSP 中Spring的Resource类读写中文Properties 摘要: Spring对Properties的读取进行了完善而全面的封装,对于写则仍需配合FileOutputStream进行. package com.oolong.common.util; import org.springframework.core.io.support.PathMatchingResourcePatternResolver; import org.springframework.core.io.sup

  • mysql+spring+mybatis实现数据库读写分离的代码配置

    场景:一个读数据源一个读写数据源. 原理:借助spring的[org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource]这个抽象类实现,看名字可以了解到是一个路由数据源的东西,这个类中有一个方法 /** * Determine the current lookup key. This will typically be * implemented to check a thread-bound transaction

  • SpringBoot集成Spring Data JPA及读写分离

    相关代码: github OSCchina JPA是什么 JPA(Java Persistence API)是Sun官方提出的Java持久化规范,它为Java开发人员提供了一种对象/关联映射工具 来管理Java应用中的关系数据.它包括以下几方面的内容: 1.ORM映射 支持xml和注解方式建立实体与表之间的映射. 2.Java持久化API 定义了一些常用的CRUD接口,我们只需直接调用,而不需要考虑底层JDBC和SQL的细节. 3.JPQL查询语言 这是持久化操作中很重要的一个方面,通过面向对象

  • springboot基于Mybatis mysql实现读写分离

    近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离.这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受). 完整代码:https://github.com/FleyX/demo-project/tree/master/dxfl 1.背景 一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中.当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多个库

  • Spring + Mybatis 项目实现动态切换数据源实例详解

    项目背景:项目开发中数据库使用了读写分离,所有查询语句走从库,除此之外走主库. 最简单的办法其实就是建两个包,把之前数据源那一套配置copy一份,指向另外的包,但是这样扩展很有限,所有采用下面的办法. 参考了两篇文章如下: http://www.jb51.net/article/111840.htm http://www.jb51.net/article/111842.htm 这两篇文章都对原理进行了分析,下面只写自己的实现过程其他不再叙述. 实现思路是: 第一步,实现动态切换数据源:配置两个D

  • Java基于JNDI 实现读写分离的示例代码

    目录 一.JNDI数据源配置 二.JNDI数据源使用 三.web.xml配置 四.spring-servlet.xml配置 五.spring-db.xml配置 六.log4j.properties配置 七.相关路由数据源切换逻辑代码 八.搭建过程中遇到的问题和解决方案 一.JNDI数据源配置 在Tomcat的conf目录下,context.xml在其中标签中添加如下JNDI配置: <Resource name="dataSourceMaster" factory="or

随机推荐