Spring(AbstractRoutingDataSource)实现动态数据源切换示例

一、前言

近期一项目A需实现数据同步到另一项目B数据库中,在不改变B项目的情况下,只好选择项目A中切换数据源,直接把数据写入项目B的数据库中。这种需求,在数据同步与定时任务中经常需要。

那么问题来了,该如何解决多数据源问题呢?不光是要配置多个数据源,还得能灵活动态的切换数据源。以spring+hibernate框架项目为例:

单个数据源绑定给sessionFactory,再在Dao层操作,若多个数据源的话,那不是就成了下图:

可见,sessionFactory都写死在了Dao层,若我再添加个数据源的话,则又得添加一个sessionFactory。所以比较好的做法应该是下图:

接下来就为大家讲解下如何用spring来整合这些数据源,同样以spring+hibernate配置为例。

二、实现原理

1、扩展Spring的AbstractRoutingDataSource抽象类(该类充当了DataSource的路由中介, 能有在运行时, 根据某种key值来动态切换到真正的DataSource上。)

从AbstractRoutingDataSource的源码中:

代码如下:

public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean

我们可以看到,它继承了AbstractDataSource,而AbstractDataSource不就是javax.sql.DataSource的子类,So我们可以分析下它的getConnection方法:

public Connection getConnection() throws SQLException {
 return determineTargetDataSource().getConnection();
} 

public Connection getConnection(String username, String password) throws SQLException {
  return determineTargetDataSource().getConnection(username, password);
}

获取连接的方法中,重点是determineTargetDataSource()方法,看源码:

/**
  * Retrieve the current target DataSource. Determines the
  * {@link #determineCurrentLookupKey() current lookup key}, performs
  * a lookup in the {@link #setTargetDataSources targetDataSources} map,
  * falls back to the specified
  * {@link #setDefaultTargetDataSource default target DataSource} if necessary.
  * @see #determineCurrentLookupKey()
  */
 protected DataSource determineTargetDataSource() {
  Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");
  Object lookupKey = determineCurrentLookupKey();
  DataSource dataSource = this.resolvedDataSources.get(lookupKey);
  if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
   dataSource = this.resolvedDefaultDataSource;
  }
  if (dataSource == null) {
   throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
  }
  return dataSource;
 }

上面这段源码的重点在于determineCurrentLookupKey()方法,这是AbstractRoutingDataSource类中的一个抽象方法,而它的返回值是你所要用的数据源dataSource的key值,有了这个key值,resolvedDataSource(这是个map,由配置文件中设置好后存入的)就从中取出对应的DataSource,如果找不到,就用配置默认的数据源。

看完源码,应该有点启发了吧,没错!你要扩展AbstractRoutingDataSource类,并重写其中的determineCurrentLookupKey()方法,来实现数据源的切换:

package com.datasource.test.util.database;

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

/**
 * 获取数据源(依赖于spring)
 * @author linhy
 */
public class DynamicDataSource extends AbstractRoutingDataSource{
 @Override
 protected Object determineCurrentLookupKey() {
  return DataSourceHolder.getDataSource();
 }
}

DataSourceHolder这个类则是我们自己封装的对数据源进行操作的类:

package com.datasource.test.util.database;

/**
 * 数据源操作
 * @author linhy
 */
public class DataSourceHolder {
 //线程本地环境
 private static final ThreadLocal<String> dataSources = new ThreadLocal<String>();
 //设置数据源
 public static void setDataSource(String customerType) {
  dataSources.set(customerType);
 }
 //获取数据源
 public static String getDataSource() {
  return (String) dataSources.get();
 }
 //清除数据源
 public static void clearDataSource() {
  dataSources.remove();
 }

}

2、有人就要问,那你setDataSource这方法是要在什么时候执行呢?当然是在你需要切换数据源的时候执行啦。手动在代码中调用写死吗?这是多蠢的方法,当然要让它动态咯。所以我们可以应用spring aop来设置,把配置的数据源类型都设置成为注解标签,在service层中需要切换数据源的方法上,写上注解标签,调用相应方法切换数据源咯(就跟你设置事务一样):

@DataSource(name=DataSource.slave1)
public List getProducts(){

当然,注解标签的用法可能很少人用到,但它可是个好东西哦,大大的帮助了我们开发:

package com.datasource.test.util.database;

import java.lang.annotation.*;

@Target({ElementType.METHOD, ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface DataSource {
 String name() default DataSource.master;

 public static String master = "dataSource1";

 public static String slave1 = "dataSource2";

 public static String slave2 = "dataSource3";

}

三、配置文件

为了精简篇幅,省略了无关本内容主题的配置。

项目中单独分离出application-database.xml,关于数据源配置的文件。

<?xml version="1.0" encoding="UTF-8"?>
<!-- Spring 数据库相关配置 放在这里 -->
<beans xmlns="http://www.springframework.org/schema/beans"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xmlns:aop="http://www.springframework.org/schema/aop"
  xmlns:tx="http://www.springframework.org/schema/tx"
  xsi:schemaLocation="http://www.springframework.org/schema/beans
  http://www.springframework.org/schema/beans/spring-beans.xsd
  http://www.springframework.org/schema/aop
  http://www.springframework.org/schema/aop/spring-aop-3.0.xsd
  http://www.springframework.org/schema/tx
  http://www.springframework.org/schema/tx/spring-tx-3.0.xsd">

 <bean id = "dataSource1" class = "com.mysql.jdbc.jdbc2.optional.MysqlDataSource">
  <property name="url" value="${db1.url}"/>
  <property name = "user" value = "${db1.user}"/>
  <property name = "password" value = "${db1.pwd}"/>
  <property name="autoReconnect" value="true"/>
  <property name="useUnicode" value="true"/>
  <property name="characterEncoding" value="UTF-8"/>
 </bean>

 <bean id = "dataSource2" class = "com.mysql.jdbc.jdbc2.optional.MysqlDataSource">
  <property name="url" value="${db2.url}"/>
  <property name = "user" value = "${db2.user}"/>
  <property name = "password" value = "${db2.pwd}"/>
  <property name="autoReconnect" value="true"/>
  <property name="useUnicode" value="true"/>
  <property name="characterEncoding" value="UTF-8"/>
 </bean>

 <bean id = "dataSource3" class = "com.mysql.jdbc.jdbc2.optional.MysqlDataSource">
  <property name="url" value="${db3.url}"/>
  <property name = "user" value = "${db3.user}"/>
  <property name = "password" value = "${db3.pwd}"/>
  <property name="autoReconnect" value="true"/>
  <property name="useUnicode" value="true"/>
  <property name="characterEncoding" value="UTF-8"/>
 </bean>
 <!-- 配置多数据源映射关系 -->
 <bean id="dataSource" class="com.datasource.test.util.database.DynamicDataSource">
  <property name="targetDataSources">
   <map key-type="java.lang.String">
  <entry key="dataSource1" value-ref="dataSource1"></entry>
    <entry key="dataSource2" value-ref="dataSource2"></entry>
    <entry key="dataSource3" value-ref="dataSource3"></entry>
   </map>
  </property>
 <!-- 默认目标数据源为你主库数据源 -->
  <property name="defaultTargetDataSource" ref="dataSource1"/>
 </bean>

 <bean id="sessionFactoryHibernate" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean">
  <property name="dataSource" ref="dataSource"/>
  <property name="hibernateProperties">
   <props>
    <prop key="hibernate.dialect">com.datasource.test.util.database.ExtendedMySQLDialect</prop>
    <prop key="hibernate.show_sql">${SHOWSQL}</prop>
    <prop key="hibernate.format_sql">${SHOWSQL}</prop>
    <prop key="query.factory_class">org.hibernate.hql.classic.ClassicQueryTranslatorFactory</prop>
    <prop key="hibernate.connection.provider_class">org.hibernate.connection.C3P0ConnectionProvider</prop>
    <prop key="hibernate.c3p0.max_size">30</prop>
    <prop key="hibernate.c3p0.min_size">5</prop>
    <prop key="hibernate.c3p0.timeout">120</prop>
    <prop key="hibernate.c3p0.idle_test_period">120</prop>
    <prop key="hibernate.c3p0.acquire_increment">2</prop>
    <prop key="hibernate.c3p0.validate">true</prop>
    <prop key="hibernate.c3p0.max_statements">100</prop>
   </props>
  </property>
 </bean>

 <bean id="hibernateTemplate" class="org.springframework.orm.hibernate3.HibernateTemplate">
  <property name="sessionFactory" ref="sessionFactoryHibernate"/>
 </bean>

 <bean id="dataSourceExchange" class="com.datasource.test.util.database.DataSourceExchange"/>

 <bean id="transactionManager" class="org.springframework.orm.hibernate3.HibernateTransactionManager">
  <property name="sessionFactory" ref="sessionFactoryHibernate"/>
 </bean>

 <tx:advice id="txAdvice" transaction-manager="transactionManager">
  <tx:attributes>
   <tx:method name="insert*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="add*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="update*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="modify*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="edit*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="del*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="save*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="send*" propagation="NESTED" rollback-for="Exception"/>
   <tx:method name="get*" read-only="true"/>
   <tx:method name="find*" read-only="true"/>
   <tx:method name="query*" read-only="true"/>
   <tx:method name="search*" read-only="true"/>
   <tx:method name="select*" read-only="true"/>
   <tx:method name="count*" read-only="true"/>
  </tx:attributes>
 </tx:advice>

 <aop:config>
  <aop:pointcut id="service" expression="execution(* com.datasource..*.service.*.*(..))"/>
  <!-- 关键配置,切换数据源一定要比持久层代码更先执行(事务也算持久层代码) -->
  <aop:advisor advice-ref="txAdvice" pointcut-ref="service" order="2"/>
  <aop:advisor advice-ref="dataSourceExchange" pointcut-ref="service" order="1"/>
 </aop:config>

</beans>

四、疑问

多数据源切换是成功了,但牵涉到事务呢?单数据源事务是ok的,但如果多数据源需要同时使用一个事务呢?这个问题有点头大,网络上有人提出用atomikos开源项目实现JTA分布式事务处理。你怎么看?

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 使用Spring的AbstractRoutingDataSource实现多数据源切换示例

    最近因为项目需要在做两个项目间数据同步的需求,具体是项目1的数据通过消息队列同步到项目2中,因为这个更新操作还涉及到更新多个库的数据,所以就需要多数据源切换的操作.下面就讲讲在Spring中如何进行数据源切换.这里是使用AbstractRoutingDataSource类来完成具体的操作,AbstractRoutingDataSource是Spring2.0后增加的. 实现数据源切换的功能就是自定义一个类扩展AbstractRoutingDataSource抽象类,其实该相当于数据源DataSo

  • 详解利用Spring的AbstractRoutingDataSource解决多数据源的问题

    多数据源问题很常见,例如读写分离数据库配置. 原来的项目出现了新需求,局方要求新增某服务器用以提供某代码,涉及到多数据源的问题. 研究成果如下: 1.首先配置多个datasource <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"> <property name="driverClassName" value="net.sour

  • 浅谈利用Spring的AbstractRoutingDataSource解决多数据源的问题

    在互联网的服务端开发的时候,我们很经常要在一个项目中去调用不同的数据库.在这种情况下,必然要涉及到多数据源问题.那么,我们该如何解决多数据源问题呢?有没有一种方法来动态切换数据源呢? 答案是有的.万能的Spring已经给了我们解决方案--利用AbstractRoutingDataSource.在 AbstractRoutingDataSource 类中,发现 getConnection() 方法,从名字上可以知道它是获得connection连接的.跟踪 getConnection() 方法, d

  • Spring(AbstractRoutingDataSource)实现动态数据源切换示例

    一.前言 近期一项目A需实现数据同步到另一项目B数据库中,在不改变B项目的情况下,只好选择项目A中切换数据源,直接把数据写入项目B的数据库中.这种需求,在数据同步与定时任务中经常需要. 那么问题来了,该如何解决多数据源问题呢?不光是要配置多个数据源,还得能灵活动态的切换数据源.以spring+hibernate框架项目为例: 单个数据源绑定给sessionFactory,再在Dao层操作,若多个数据源的话,那不是就成了下图: 可见,sessionFactory都写死在了Dao层,若我再添加个数据

  • spring boot+mybatis 多数据源切换(实例讲解)

    由于公司业务划分了多个数据库,开发一个项目会同事调用多个库,经过学习我们采用了注解+aop的方式实现的 1.首先定义一个注解类 @Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) public @interface TargetDataSource { String value();//此处接收的是数据源的名称 } 2.然后建一个配置类,这个在项目启动时会加载数据源,一开始采用了HikariCP,查资料说是最快性能最好的

  • Java注解实现动态数据源切换的实例代码

    当一个项目中有多个数据源(也可以是主从库)的时候,我们可以利用注解在mapper接口上标注数据源,从而来实现多个数据源在运行时的动态切换. 实现原理 在Spring 2.0.1中引入了AbstractRoutingDataSource, 该类充当了DataSource的路由中介, 能有在运行时, 根据某种key值来动态切换到真正的DataSource上. 看下AbstractRoutingDataSource: 复制代码 代码如下: public abstract class AbstractR

  • 通过Spring Boot配置动态数据源访问多个数据库的实现代码

    之前写过一篇博客<Spring+Mybatis+Mysql搭建分布式数据库访问框架>描述如何通过Spring+Mybatis配置动态数据源访问多个数据库.但是之前的方案有一些限制(原博客中也描述了):只适用于数据库数量不多且固定的情况.针对数据库动态增加的情况无能为力. 下面讲的方案能支持数据库动态增删,数量不限. 数据库环境准备 下面一Mysql为例,先在本地建3个数据库用于测试.需要说明的是本方案不限数据库数量,支持不同的数据库部署在不同的服务器上.如图所示db_project_001.d

  • mybatis plus动态数据源切换及查询过程浅析

    mybatis plus多数据源切换 mybatis plus多数据源切换使用注解 @DS DS注解作为多数据源切点,具体实现作用主要由两个类完成 DynamicDataSourceAnnotationAdvisor DynamicDataSourceAnnotationInterceptor DS多数据源切换实现 1.DynamicDataSourceAnnotationAdvisor类实现切面配置,其中AnnotationMatchingPointcut用于寻找切点,进入可看到支持类和方法的

  • 详解SpringBoot+Mybatis实现动态数据源切换

    业务背景 电商订单项目分正向和逆向两个部分:其中正向数据库记录了订单的基本信息,包括订单基本信息.订单商品信息.优惠卷信息.发票信息.账期信息.结算信息.订单备注信息.收货人信息等:逆向数据库主要包含了商品的退货信息和维修信息.数据量超过500万行就要考虑分库分表和读写分离,那么我们在正向操作和逆向操作的时候,就需要动态的切换到相应的数据库,进行相关的操作. 解决思路 现在项目的结构设计基本上是基于MVC的,那么数据库的操作集中在dao层完成,主要业务逻辑在service层处理,controll

  • SpringBoot Mybatis动态数据源切换方案实现过程

    背景 最近让我做一个大数据的系统,分析了一下,麻烦的地方就是多数据源切换抽取数据.考虑到可以跨服务器跨数据库抽数,再整理数据,就配置了这个动态数据源的解决方案.在此分享给大家. 实现方案 数据库配置文件 我们项目使用的是yml形式的配置文件,采用的是hikari的数据库连接池.第一步我们自然是配置多个数据库源头. 我们找到spring的datasource,在下方配置三个数据源. spring: application: name: dynamicDatasource datasource: t

  • Spring Boot如何动态创建Bean示例代码

    前言 本文主要给大家介绍了关于Spring Boot动态创建Bean的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧. SpringBoot测试版本:1.3.4.RELEASE 参考代码如下: package com.spring.configuration; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.su

  • Spring AbstractRoutingDatasource 动态数据源的实例讲解

    Spring AbstractRoutingDatasource 动态数据源 数据源上下文 AbstractRoutingDatasource 需要信息决定路由到那个数据源,该信息我们称为上下文.可以市任何对象,下面示例我们使用枚举 ClientDatabase 作为上下文: public enum ClientDatabase { CLIENT_A, CLIENT_B } 值得注意的是,实际中上下文可以是任何有意义的领域对象.如 Environment 定义上下文,在这种上下文中枚举可以包括

随机推荐