龙空技术网

解析—MyBatis在SpringBoot中动态多数据源配置

Java架构师联盟 3275

前言:

现在兄弟们对“springboot动态配置”大致比较注意,你们都需要分析一些“springboot动态配置”的相关知识。那么小编也在网摘上网罗了一些对于“springboot动态配置””的相关文章,希望看官们能喜欢,同学们一起来了解一下吧!

在分库的业务场景和跨数据库实例获取信息之类的场景中,我们会遇到处理多个数据源访问的问题,通常情况下可以采用中间件,如cobar, tddl, mycat等。

但取决于业务需求,有时我们需要直接通过MyBatis和SpringData来完成这个任务。即使没有,理解MyBatis多数据源配置的过程也有助于理解其他分库分表操作的原理。

背景依赖如下:

<dependencies>    <dependency>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-jdbc</artifactId>    </dependency>    <dependency>      <groupId>mysql</groupId>      <artifactId>mysql-connector-java</artifactId>    </dependency>    <dependency>      <groupId>org.mybatis.spring.boot</groupId>      <artifactId>mybatis-spring-boot-starter</artifactId>    </dependency></dependencies>

要进行多数据源的配置,首先需要了解MyBatis是如何将XML中的Sql语句执行的,是哪些类提供了数据库的连接,又是哪些类提供了配置参数。

首先来看MyBatis的SQL执行过程:

不难看出,与数据源相关的处理是在第4、5步中完成的。第四步获取到的SqlSessionFactory为第五步的SqlSession提供了连接工具,也就是说我们只需要对第四步进行处理,替换掉原生的DefaultSqlSessionFactory即可。

接下来,在SpringBoot框架下,我们可以通过常用的FactoryBean<T>来尝试获取SqlSessionFactory

通过查找FactoryBeanSqlSessionFactory的交集,不难找到SqlSessionFactoryBean,这个类中包含大量与数据库连接配置相关的字段。

并且因为它实现了FactoryBean<T>,可以通过getObject()方法来获得一个SqlSessionFactory的实例。

通过分析SqlSessionFactoryBean的参数,对于多数据源的处理,基本的可以分为两种思路:不同数据源使用的SQL语句不同(一般见于跨业务实例数据访问),通过不同的SqlSessionFactory管理不同包中的mapper来实现。不同数据源使用的SQL语句相同(一般见于分表场景),通过在语句执行前动态替换线程所使用的数据源来完成。

对于第一种情况,处理方式非常简单,通过配置多个SqlSessionFactory,为每一个配置不同的MapperLocations来管理。本文不细讲这种情况。

对于第二种情况,相对复杂一些,我们接下来一步一步分析。

SqlSessionFactory进行数据库连接的核心是通过DataSource完成的,因此需要获取一个可以调整规则的非固化DataSource

通过对javax.sql.DataSource接口进行分析,可以发现AbstractDataSource是绝大部分Spring数据源的父类,与此不同的是我们的连接池数据源(如HikariDataSource)和驱动数据源(如MySqlDataSource),由于我们使用SpringBoot框架进行IOC托管,并且通过mybatis-spring-boot-starter进行mybatis接入,因此我们进一步调研AbstractDataSource

经过简单的父子关系跟踪,我们发现Spring提供了一个动态配置数据源的抽象类AbstractRoutingDataSource,我们只需要对这个类进行routing部分的实现即可完成需求.

P.S. Spring全都想到了,tql...

这个抽象类需要重写的方法是protected abstract Object determineCurrentLookupKey()返回值虽然是Object类型,但意思实际上是允许我们自定义key而避免IllegalArgumentException等相关的问题。因此我们先去看一下这个key对应的map是一个什么结构。

省去无关代码后,AbstractRoutingDataSource对dataSource的map相关操作实际上基于下面的这个部分

/** * 数据源Map key即determineCurrentLookupKey()方法返回的Object,value即为动态切换到的目标dataSource */@Nullableprivate Map<Object, Object> targetDataSources;/** * 当determineCurrentLookupKey()返回的结果无法获取到一个可用的DataSource时,采用的默认数据源 */@Nullableprivate Object defaultTargetDataSource;	

换言之,在AbstractRoutingDataSource中实际上维护了多个DataSource,我们只需要将自定义的key获取方法写入determineCurrentLookupKey(),并将数据源map和默认数据源set进这两个变量中即可。

重写AbstractRoutingDataSource,提供determineCurrentLookupKey()方法的实现

这个部分为了将数据源的切换与DynamicDataSource隔离,我选择通过编写一个DataSourceSwitcher来作为数据源选择的中介。众所周知,MyBatis的事务和sql执行都是基于SqlSessionHolder进行的线程隔离,其内部是基于ThreadLocal完成的。这个方法很好的解决了单例对象复用时的线程安全问题。因此参考这种形式,switcher应该提供基于ThreadLocal的DataSource选择机制。

// DataSourceSwitcher.java@Componentpublic class DataSourceSwitcher {    private static final ThreadLocal<Integer> DATA_SOURCE = new ThreadLocal<>();    public int chooseDefaultDataSource() {        DATA_SOURCE.set(0);        return 0;    }    public void chooseDataSource(int index) {        DATA_SOURCE.set(index);    }    public static Integer getDataSource() {        return DATA_SOURCE.get();    }    public void clear() {        DATA_SOURCE.remove();    }}

而我们重写的AbstractRoutingDataSource则应接入为

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;/** * <p>动态数据源</p> * * @author zora * @since 2020.09.15 */public class DynamicDataSource extends AbstractRoutingDataSource {    @Override    protected Object determineCurrentLookupKey() {        return DataSourceSwitcher.getDataSource();    }}

到目前为止,动态数据源的切换部分我们已经完成,接下来需要进行数据源的提供。

AbstractRoutingDataSource中的两个setter提供对应的内容

最简单的当然是new几个DataSource,但是大部分环境中,我们是通过连接池进行数据库连接,而不是每次去创建新的连接对象。而连接池与数据库的交互需要有最基本的4个参数。

首先创建DatabaseSetting类作为数据模版。

@Datapublic class DatabaseSetting {    /**     * 用户名     */    private String username;    /**     * 密码     */    private String password;    /**     * 连接url     */    private String url;    /**     * driver     */    private String driver;}

然后,本文以主流的HikariPool作为示例,首先创建一个获取hikari配置的映射器。

import com.zaxxer.hikari.HikariConfig;import lombok.Setter;import lombok.extern.slf4j.Slf4j;import org.apache.commons.collections.CollectionUtils;import org.springframework.boot.context.properties.ConfigurationProperties;import org.springframework.context.annotation.Configuration;import javax.annotation.PostConstruct;import java.util.Comparator;import java.util.List;import java.util.stream.Collectors;/** * <h3>cloud-userPlayTime</h3> * <h4>com.metaapp.cloud.userplaytime.config.db</h4> * <p>动态数据源yml配置映射</p> * * @author zora * @since 2020.09.15 */@Slf4j@Configuration@ConfigurationProperties(prefix = "spring.datasource")public class DynamicDataSourceValueMapper {    @Setter    @Getter    private List<DatabaseSetting> dynamic;    @Setter    @Getter    private HikariConfig hikari;    @PostConstruct    private void statePrint() {        dynamic = dynamic.stream().sorted(Comparator.comparingInt(DatabaseSetting::getId)).collect(Collectors.toList());        StringBuilder builder = new StringBuilder();        builder.append("【");        if (CollectionUtils.isEmpty(dynamic)) {            builder.append("配置失败,数据源为空");            builder.append('】');            log.error("多数据源{}", builder.toString());        } else {            for (DatabaseSetting databaseSetting : dynamic) {                builder.append('{').append("UserName=").append(databaseSetting.getUrl()).append(", ").append("Url=").append(databaseSetting.getUrl()).append("} ,");            }            builder.deleteCharAt(builder.lastIndexOf(","));            builder.append('】');            log.info("多数据源配置获取完毕,配置信息为{}", builder.toString());        }    }}

接下来,通过DynamicDataSourceValueMapper提供的元数据,开始创建对应的多个数据源.

@Autowiredprivate DynamicDataSourceValueMapper dynamicDataSourceValueMapper;/** * 基于元数据创建多个HikariDataSource * * @return 对应到AbstractRoutingDataSource中Map的数据集 */@Bean(name = "dynamicDataSourceList")public List<DataSource> getDataSourceList() {    List<DatabaseSetting> settingList = dynamicDataSourceValueMapper.getDynamic();    HikariConfig hikariPoolConfig = dynamicDataSourceValueMapper.getHikari();    List<DataSource> dataSourceList = new ArrayList<>(settingList.size());    for (DatabaseSetting databaseSetting : settingList) {        HikariConfig currentHikariConfig = new HikariConfig();        hikariPoolConfig.copyStateTo(currentHikariConfig);        currentHikariConfig.setDataSource(DataSourceBuilder.create()                .driverClassName(databaseSetting.getDriver())                .url(databaseSetting.getUrl())                .password(databaseSetting.getPassword())                .username(databaseSetting.getUsername())                .build());        dataSourceList.add(new HikariDataSource(currentHikariConfig));    }    return dataSourceList;}/** * 创建真正的"动态切换"数据源 * * @param dataSourceList 上面方法提供的HikariDataSource * @return 实际使用的DynamicDataSource */@Bean(name = "dynamicDataSource")public DynamicDataSource getDynamicDataSource(@Qualifier(value = "dynamicDataSourceList") List<DataSource> dataSourceList) {  Map<Object, Object> targetDataSource = new HashMap<>(dataSourceList.size());  for (int i = 0; i < dataSourceList.size(); i++) {    DataSource dataSource = dataSourceList.get(i);    targetDataSource.put(i, dataSource);  }  DynamicDataSource dataSource = new DynamicDataSource();  dataSource.setTargetDataSources(targetDataSource);  dataSource.setDefaultTargetDataSource(dataSourceList.get(0));  return dataSource;}

至此,动态数据源的切换部分已经完成。在需要进行数据源切换的时候,注入DataSourceSwitcher并调用chooseDataSource(int index)方法即可。可以根据具体场景,采用aop等其他形式进行增强。

结合到MyBatis中,需要更新SqlSessionFactory以提供对应的SqlSession

因为我们是基于MyBatis来做数据映射,因此我们在重写数据源的过程中,需要保证mybatis与我们的数据源能够正常关联。因此,我们需要重新提供sqlSessionFactory给容器。

@Bean(name = "MybatisConfiguration")@ConfigurationProperties("mybatis.configuration")public org.apache.ibatis.session.Configuration mybatisConfiguration() {    return new org.apache.ibatis.session.Configuration();}@Bean(name = "SqlSessionFactory")public SqlSessionFactory dynamicSqlSessionFactory(@Qualifier("dynamicDataSource") DataSource dynamicDataSource, @Qualifier("MybatisConfiguration") org.apache.ibatis.session.Configuration configuration)        throws Exception {    SqlSessionFactoryBean bean = new SqlSessionFactoryBean();    bean.setDataSource(dynamicDataSource);    bean.setConfiguration(configuration);    // 调整MapperLocation指定到实际的mapper路径即可。    bean.setMapperLocations(            new PathMatchingResourcePatternResolver().getResources("classpath*:com/zora/demo/mapper/mapping/*.xml"));    return bean.getObject();}

如果我的文章对您有所帮助,希望能够点右下角支持一下,不胜感谢

标签: #springboot动态配置