spring实现动态切换、添加数据源及源码分析

前言

对于数据量在1千万,单个mysql数据库就可以支持,但是如果数据量大于这个数的时候,例如1亿,那么查询的性能就会很低。此时需要对数据库做水平切分,常见的做法是按照用户的账号进行hash,然后选择对应的数据库。

最近公司项目需求,由于要兼容老系统的数据库结构,需要搭建一个 可以动态切换、添加数据源的后端服务。

参考了过去的项目,通过配置多个SqlSessionFactory 来实现多数据源,这么做的话,未免过于笨重,而且无法实现动态添加数据源这个需求

通过 spring AbstractRoutingDataSource 为我们抽象了一个 DynamicDataSource 解决这一问题

简单分析下 AbstractRoutingDataSource 的源码

targetDataSources 就是我们的多个数据源,在初始化的时候会调用afterPropertiesSet(),去解析我们的数据源 然后 put 到 resolvedDataSources

实现了 DataSource 的 getConnection(); 我们看看 determineTargetDataSource(); 做了什么

通过下面的 determineCurrentLookupKey();(这个方法需要我们实现) 返回一个key,然后从 resolvedDataSources (其实也就是 targetDataSources) 中 get 一个数据源,实现了每次调用 getConnection(); 打开连接 切换数据源,如果想动态添加的话 只需要重新 set targetDataSources 再调用 afterPropertiesSet() 即可

Talk is cheap. Show me the code

我使用的springboot版本为 1.5.x,下面是核心代码

完整代码:https://gitee.com/yintianwen7/spring-dynamic-datasource (本地下载)

/**
 * 多数据源配置
 *
 * @author Taven
 *
 */
@Configuration
@MapperScan("com.gitee.taven.mapper")
public class DataSourceConfigurer {

 /**
  * DataSource 自动配置并注册
  *
  * @return data source
  */
 @Bean("db0")
 @Primary
 @ConfigurationProperties(prefix = "datasource.db0")
 public DataSource dataSource0() {
  return DruidDataSourceBuilder.create().build();
 }

 /**
  * DataSource 自动配置并注册
  *
  * @return data source
  */
 @Bean("db1")
 @ConfigurationProperties(prefix = "datasource.db1")
 public DataSource dataSource1() {
  return DruidDataSourceBuilder.create().build();
 }

 /**
  * 注册动态数据源
  *
  * @return
  */
 @Bean("dynamicDataSource")
 public DataSource dynamicDataSource() {
  DynamicRoutingDataSource dynamicRoutingDataSource = new DynamicRoutingDataSource();
  Map<Object, Object> dataSourceMap = new HashMap<>();
  dataSourceMap.put("dynamic_db0", dataSource0());
  dataSourceMap.put("dynamic_db1", dataSource1());
  dynamicRoutingDataSource.setDefaultTargetDataSource(dataSource0());// 设置默认数据源
  dynamicRoutingDataSource.setTargetDataSources(dataSourceMap);
  return dynamicRoutingDataSource;
 }

 /**
  * Sql session factory bean.
  * Here to config datasource for SqlSessionFactory
  * <p>
  * You need to add @{@code @ConfigurationProperties(prefix = "mybatis")}, if you are using *.xml file,
  * the {@code 'mybatis.type-aliases-package'} and {@code 'mybatis.mapper-locations'} should be set in
  * {@code 'application.properties'} file, or there will appear invalid bond statement exception
  *
  * @return the sql session factory bean
  */
 @Bean
 @ConfigurationProperties(prefix = "mybatis")
 public SqlSessionFactoryBean sqlSessionFactoryBean() {
  SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
  // 必须将动态数据源添加到 sqlSessionFactoryBean
  sqlSessionFactoryBean.setDataSource(dynamicDataSource());
  return sqlSessionFactoryBean;
 }

 /**
  * 事务管理器
  *
  * @return the platform transaction manager
  */
 @Bean
 public PlatformTransactionManager transactionManager() {
  return new DataSourceTransactionManager(dynamicDataSource());
 }
}

通过 ThreadLocal 获取线程安全的数据源 key

package com.gitee.taven.config;

public class DynamicDataSourceContextHolder {

 private static final ThreadLocal<String> contextHolder = new ThreadLocal<String>() {
  @Override
  protected String initialValue() {
   return "dynamic_db0";
  }
 };

 /**
  * To switch DataSource
  *
  * @param key the key
  */
 public static void setDataSourceKey(String key) {
  contextHolder.set(key);
 }

 /**
  * Get current DataSource
  *
  * @return data source key
  */
 public static String getDataSourceKey() {
  return contextHolder.get();
 }

 /**
  * To set DataSource as default
  */
 public static void clearDataSourceKey() {
  contextHolder.remove();
 }
}

动态 添加、切换数据源

/**
 * 动态数据源
 *
 * @author Taven
 *
 */
public class DynamicRoutingDataSource extends AbstractRoutingDataSource {

 private final Logger logger = LoggerFactory.getLogger(getClass());

 private static Map<Object, Object> targetDataSources = new HashMap<>();

 /**
  * 设置当前数据源
  *
  * @return
  */
 @Override
 protected Object determineCurrentLookupKey() {
  logger.info("Current DataSource is [{}]", DynamicDataSourceContextHolder.getDataSourceKey());
  return DynamicDataSourceContextHolder.getDataSourceKey();
 }

 @Override
 public void setTargetDataSources(Map<Object, Object> targetDataSources) {
  super.setTargetDataSources(targetDataSources);
  DynamicRoutingDataSource.targetDataSources = targetDataSources;
 }

 /**
  * 是否存在当前key的 DataSource
  *
  * @param key
  * @return 存在返回 true, 不存在返回 false
  */
 public static boolean isExistDataSource(String key) {
  return targetDataSources.containsKey(key);
 }

 /**
  * 动态增加数据源
  *
  * @param map 数据源属性
  * @return
  */
 public synchronized boolean addDataSource(Map<String, String> map) {
  try {
   Connection connection = null;
   // 排除连接不上的错误
   try {
    Class.forName(map.get(DruidDataSourceFactory.PROP_DRIVERCLASSNAME));
    connection = DriverManager.getConnection(
      map.get(DruidDataSourceFactory.PROP_URL),
      map.get(DruidDataSourceFactory.PROP_USERNAME),
      map.get(DruidDataSourceFactory.PROP_PASSWORD));
    System.out.println(connection.isClosed());
   } catch (Exception e) {
    return false;
   } finally {
    if (connection != null && !connection.isClosed())
     connection.close();
   }
   String database = map.get("database");//获取要添加的数据库名
   if (StringUtils.isBlank(database)) return false;
   if (DynamicRoutingDataSource.isExistDataSource(database)) return true;
   DruidDataSource druidDataSource = (DruidDataSource) DruidDataSourceFactory.createDataSource(map);
   druidDataSource.init();
   Map<Object, Object> targetMap = DynamicRoutingDataSource.targetDataSources;
   targetMap.put(database, druidDataSource);
   // 当前 targetDataSources 与 父类 targetDataSources 为同一对象 所以不需要set
//   this.setTargetDataSources(targetMap);
   this.afterPropertiesSet();
   logger.info("dataSource {} has been added", database);
  } catch (Exception e) {
   logger.error(e.getMessage());
   return false;
  }
  return true;
 }
}

可以通过 AOP 或者 手动 DynamicDataSourceContextHolder.setDataSourceKey(String key) 切换数据源

需要注意的:当我们开启了事务之后,是无法在去切换数据源的

本文项目源码:https://gitee.com/yintianwen7/spring-dynamic-datasource (本地下载)

参考文献:https://github.com/helloworlde/SpringBoot-DynamicDataSource

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对我们的支持。

(0)

相关推荐

  • spring boot + mybatis实现动态切换数据源实例代码

    前言 前几天有个需求,需要使用不同的数据源,例如某业务要用A数据源,另一个业务要用B数据源.我上网收集了一些资料整合了一下,虽然最后这个需求不了了之了,但是多数据源动态切换还是蛮好用的,所以记录一下,或许以后有用呢?或者自己感兴趣又想玩呢! 下面话不多说了,随着小编来一起看看详细的介绍吧 方法如下: 1.加个依赖 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybat

  • Spring Boot + Mybatis 实现动态数据源案例分析

    动态数据源 在很多具体应用场景的时候,我们需要用到动态数据源的情况,比如多租户的场景,系统登录时需要根据用户信息切换到用户对应的数据库.又比如业务A要访问A数据库,业务B要访问B数据库等,都可以使用动态数据源方案进行解决.接下来,我们就来讲解如何实现动态数据源,以及在过程中剖析动态数据源背后的实现原理. 实现案例 本教程案例基于 Spring Boot + Mybatis + MySQL 实现. 数据库设计 首先需要安装好MySQL数据库,新建数据库 master,slave,分别创建用户表,用

  • Spring配置多数据源切换

    多数据源切换 db.properties #MySQL jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://localhost:3306/test?autoReconnect=true&characterEncoding=utf-8 jdbc.username=root jdbc.password=admin #定义初始连接数 initialSize=0 #定义最大连接数 maxActive=1000 #定义最大空闲 maxIdle=2

  • 通过Spring Boot配置动态数据源访问多个数据库的实现代码

    之前写过一篇博客<Spring+Mybatis+Mysql搭建分布式数据库访问框架>描述如何通过Spring+Mybatis配置动态数据源访问多个数据库.但是之前的方案有一些限制(原博客中也描述了):只适用于数据库数量不多且固定的情况.针对数据库动态增加的情况无能为力. 下面讲的方案能支持数据库动态增删,数量不限. 数据库环境准备 下面一Mysql为例,先在本地建3个数据库用于测试.需要说明的是本方案不限数据库数量,支持不同的数据库部署在不同的服务器上.如图所示db_project_001.d

  • Spring Boot+Mybatis+Druid+PageHelper实现多数据源并分页的方法

    前言 本篇文章主要讲述的是SpringBoot整合Mybatis.Druid和PageHelper 并实现多数据源和分页.其中SpringBoot整合Mybatis这块,在之前的的一篇文章中已经讲述了,这里就不过多说明了.重点是讲述在多数据源下的如何配置使用Druid和PageHelper . Druid介绍和使用 在使用Druid之前,先来简单的了解下Druid. Druid是一个数据库连接池.Druid可以说是目前最好的数据库连接池!因其优秀的功能.性能和扩展性方面,深受开发人员的青睐. D

  • spring+Jpa多数据源配置的方法示例

    今天临下班时遇到了一个需求,我的管理平台需要从不同的数据库中获取数据信息,这就需要进行Spring的多数据源配置,对于这种配置,第一次永远都是痛苦的,不过经历了这次的折磨,今后肯定会对这种配置印象深刻.我们这里简单回顾一下流程. 我们配置了两个数据库,一个是公司的数据库,另一个是我本地的一个数据库.首先是application.yml的配置(其中对于公司的数据库我们采取了假的地址,而本机的数据库是真是存在对应的表和库的) 数据库信息: 数据表信息: 1.application.yml datas

  • Spring Boot 2.0多数据源配置方法实例详解

    两个数据库实例,一个负责读,一个负责写. datasource-reader: type: com.alibaba.druid.pool.DruidDataSource url: jdbc:mysql://192.168.43.61:3306/test?useUnicode=true&characterEncoding=utf8&autoReconnect=true&useSSL=false username: icbc password: icbc driver-class-na

  • springboot v2.0.3版本多数据源配置方法

    本篇分享的是springboot多数据源配置,在从springboot v1.5版本升级到v2.0.3时,发现之前写的多数据源的方式不可用了,捕获错误信息如: 异常:jdbcUrl is required with driverClassName. 先来说下之前的多数据源配置如: spring: datasource: url: jdbc:sqlserver://192.168.122.111;DatabaseName=flight username: sa password: 1234.abc

  • 详解springboot采用多数据源对JdbcTemplate配置的方法

    springboot多数据源配置,代码如下 DataSourceConfig package com.rookie.bigdata.config; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.boot.context.properties.ConfigurationProperties; import org.springframework.boot.jdbc.

  • Servlet+MyBatis项目转Spring Cloud微服务,多数据源配置修改建议

    一.项目需求 在开发过程中,由于技术的不断迭代,为了提高开发效率,需要对原有项目的架构做出相应的调整. 二.存在的问题 为了不影响项目进度,架构调整初期只是把项目做了简单的maven管理,引入springboot并未做spring cloud微服务处理.但随着项目的进一步开发,急需拆分现有业务,做微服务处理.因此架构上的短板日益突出.spring cloud config 无法完全应用,每次项目部署需要修改大量配置文件.严重影响开发效率,因此便萌生了对项目架构再次调整的决心. 三.调整建议 为了

随机推荐