最近在做業(yè)務(wù)需求時，需要從不同的數(shù)據(jù)庫中獲取數(shù)據(jù)然后寫入到當(dāng)前數(shù)據(jù)庫中，因此涉及到切換數(shù)據(jù)源問題。本來想著使用Mybatis-plus中提供的動態(tài)數(shù)據(jù)源SpringBoot的starter：dynamic-datasource-spring-boot-starter來實(shí)現(xiàn)。

結(jié)果引入后發(fā)現(xiàn)由于之前項(xiàng)目環(huán)境問題導(dǎo)致無法使用。然后研究了下數(shù)據(jù)源切換代碼，決定自己采用ThreadLocal+AbstractRoutingDataSource來模擬實(shí)現(xiàn)dynamic-datasource-spring-boot-starter中線程數(shù)據(jù)源切換。

1 簡介

上述提到了ThreadLocal和AbstractRoutingDataSource，我們來對其進(jìn)行簡單介紹下。

ThreadLocal：想必大家必不會陌生，全稱：thread local variable。主要是為解決多線程時由于并發(fā)而產(chǎn)生數(shù)據(jù)不一致問題。ThreadLocal為每個線程提供變量副本，確保每個線程在某一時間訪問到的不是同一個對象，這樣做到了隔離性，增加了內(nèi)存，但大大減少了線程同步時的性能消耗，減少了線程并發(fā)控制的復(fù)雜程度。

ThreadLocal作用：在一個線程中共享，不同線程間隔離

ThreadLocal原理：ThreadLocal存入值時，會獲取當(dāng)前線程實(shí)例作為key，存入當(dāng)前線程對象中的Map中。

AbstractRoutingDataSource：根據(jù)用戶定義的規(guī)則選擇當(dāng)前的數(shù)據(jù)源，

作用：在執(zhí)行查詢之前，設(shè)置使用的數(shù)據(jù)源，實(shí)現(xiàn)動態(tài)路由的數(shù)據(jù)源，在每次數(shù)據(jù)庫查詢操作前執(zhí)行它的抽象方法determineCurrentLookupKey()，決定使用哪個數(shù)據(jù)源。

2 代碼實(shí)現(xiàn)

程序環(huán)境：

SpringBoot2.4.8

Mybatis-plus3.2.0

Druid1.2.6

lombok1.18.20

commons-lang3 3.10

2.1 實(shí)現(xiàn)ThreadLocal

創(chuàng)建一個類用于實(shí)現(xiàn)ThreadLocal，主要是通過get，set，remove方法來獲取、設(shè)置、刪除當(dāng)前線程對應(yīng)的數(shù)據(jù)源。

/**
*@author:jiangjs
*@description:
*@date:2023/7/2711:21
**/
publicclassDataSourceContextHolder{
//此類提供線程局部變量。這些變量不同于它們的正常對應(yīng)關(guān)系是每個線程訪問一個線程(通過get、set方法),有自己的獨(dú)立初始化變量的副本。
privatestaticfinalThreadLocalDATASOURCE_HOLDER=newThreadLocal<>();

/**
*設(shè)置數(shù)據(jù)源
*@paramdataSourceName數(shù)據(jù)源名稱
*/
publicstaticvoidsetDataSource(StringdataSourceName){
DATASOURCE_HOLDER.set(dataSourceName);
}

/**
*獲取當(dāng)前線程的數(shù)據(jù)源
*@return數(shù)據(jù)源名稱
*/
publicstaticStringgetDataSource(){
returnDATASOURCE_HOLDER.get();
}

/**
*刪除當(dāng)前數(shù)據(jù)源
*/
publicstaticvoidremoveDataSource(){
DATASOURCE_HOLDER.remove();
}

}

2.2 實(shí)現(xiàn)AbstractRoutingDataSource

定義一個動態(tài)數(shù)據(jù)源類實(shí)現(xiàn)AbstractRoutingDataSource，通過determineCurrentLookupKey方法與上述實(shí)現(xiàn)的ThreadLocal類中的get方法進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)動態(tài)切換數(shù)據(jù)源。

/**
*@author:jiangjs
*@description:實(shí)現(xiàn)動態(tài)數(shù)據(jù)源，根據(jù)AbstractRoutingDataSource路由到不同數(shù)據(jù)源中
*@date:2023/7/2711:18
**/
publicclassDynamicDataSourceextendsAbstractRoutingDataSource{

publicDynamicDataSource(DataSourcedefaultDataSource,MaptargetDataSources){
super.setDefaultTargetDataSource(defaultDataSource);
super.setTargetDataSources(targetDataSources);
}

@Override
protectedObjectdetermineCurrentLookupKey(){
returnDataSourceContextHolder.getDataSource();
}
}

上述代碼中，還實(shí)現(xiàn)了一個動態(tài)數(shù)據(jù)源類的構(gòu)造方法，主要是為了設(shè)置默認(rèn)數(shù)據(jù)源，以及以Map保存的各種目標(biāo)數(shù)據(jù)源。其中Map的key是設(shè)置的數(shù)據(jù)源名稱，value則是對應(yīng)的數(shù)據(jù)源（DataSource）。

2.3 配置數(shù)據(jù)庫

application.yml中配置數(shù)據(jù)庫信息：

#設(shè)置數(shù)據(jù)源
spring:
datasource:
type:com.alibaba.druid.pool.DruidDataSource
druid:
master:
url:jdbc//xxxxxx:3306/test1?characterEncoding=utf-8&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull&useSSL=false
username:root
password:123456
driver-class-name:com.mysql.cj.jdbc.Driver
slave:
url:jdbc//xxxxx:3306/test2?characterEncoding=utf-8&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull&useSSL=false
username:root
password:123456
driver-class-name:com.mysql.cj.jdbc.Driver
initial-size:15
min-idle:15
max-active:200
max-wait:60000
time-between-eviction-runs-millis:60000
min-evictable-idle-time-millis:300000
validation-query:""
test-while-idle:true
test-on-borrow:false
test-on-return:false
pool-prepared-statements:false
connection-properties:false
/**
*@author:jiangjs
*@description:設(shè)置數(shù)據(jù)源
*@date:2023/7/2711:34
**/
@Configuration
publicclassDateSourceConfig{

@Bean
@ConfigurationProperties("spring.datasource.druid.master")
publicDataSourcemasterDataSource(){
returnDruidDataSourceBuilder.create().build();
}

@Bean
@ConfigurationProperties("spring.datasource.druid.slave")
publicDataSourceslaveDataSource(){
returnDruidDataSourceBuilder.create().build();
}

@Bean(name="dynamicDataSource")
@Primary
publicDynamicDataSourcecreateDynamicDataSource(){
MapdataSourceMap=newHashMap<>();
DataSourcedefaultDataSource=masterDataSource();
dataSourceMap.put("master",defaultDataSource);
dataSourceMap.put("slave",slaveDataSource());
returnnewDynamicDataSource(defaultDataSource,dataSourceMap);
}

}

通過配置類，將配置文件中的配置的數(shù)據(jù)庫信息轉(zhuǎn)換成datasource，并添加到DynamicDataSource中，同時通過@Bean將DynamicDataSource注入Spring中進(jìn)行管理，后期在進(jìn)行動態(tài)數(shù)據(jù)源添加時，會用到。

2.4 測試

在主從兩個測試庫中，分別添加一張表test_user，里面只有一個字段user_name。

createtabletest_user(
user_namevarchar(255)notnullcomment'用戶名'
)

在主庫添加信息：

insertintotest_user(user_name)value('master');

從庫中添加信息：

insertintotest_user(user_name)value('slave');

我們創(chuàng)建一個getData的方法，參數(shù)就是需要查詢數(shù)據(jù)的數(shù)據(jù)源名稱。

@GetMapping("/getData.do/{datasourceName}")
publicStringgetMasterData(@PathVariable("datasourceName")StringdatasourceName){
DataSourceContextHolder.setDataSource(datasourceName);
TestUsertestUser=testUserMapper.selectOne(null);
DataSourceContextHolder.removeDataSource();
returntestUser.getUserName();
}

其他的Mapper和實(shí)體類大家自行實(shí)現(xiàn)。

執(zhí)行結(jié)果：

1、傳遞master時：

2、傳遞slave時：

通過執(zhí)行結(jié)果，我們看到傳遞不同的數(shù)據(jù)源名稱，查詢對應(yīng)的數(shù)據(jù)庫是不一樣的，返回結(jié)果也不一樣。

在上述代碼中，我們看到DataSourceContextHolder.setDataSource(datasourceName); 來設(shè)置了當(dāng)前線程需要查詢的數(shù)據(jù)庫，通過DataSourceContextHolder.removeDataSource(); 來移除當(dāng)前線程已設(shè)置的數(shù)據(jù)源。使用過Mybatis-plus動態(tài)數(shù)據(jù)源的小伙伴，應(yīng)該還記得我們在使用切換數(shù)據(jù)源時會使用到DynamicDataSourceContextHolder.push(String ds); 和DynamicDataSourceContextHolder.poll(); 這兩個方法，翻看源碼我們會發(fā)現(xiàn)其實(shí)就是在使用ThreadLocal時使用了棧，這樣的好處就是能使用多數(shù)據(jù)源嵌套，這里就不帶大家實(shí)現(xiàn)了，有興趣的小伙伴可以看看Mybatis-plus中動態(tài)數(shù)據(jù)源的源碼。

注：啟動程序時，小伙伴不要忘記將SpringBoot自動添加數(shù)據(jù)源進(jìn)行排除哦，否則會報循環(huán)依賴問題。

@SpringBootApplication(exclude=DataSourceAutoConfiguration.class)

2.5 優(yōu)化調(diào)整

2.5.1 注解切換數(shù)據(jù)源

在上述中，雖然已經(jīng)實(shí)現(xiàn)了動態(tài)切換數(shù)據(jù)源，但是我們會發(fā)現(xiàn)如果涉及到多個業(yè)務(wù)進(jìn)行切換數(shù)據(jù)源的話，我們就需要在每一個實(shí)現(xiàn)類中添加這一段代碼。

說到這有小伙伴應(yīng)該就會想到使用注解來進(jìn)行優(yōu)化，接下來我們來實(shí)現(xiàn)一下。

2.5.1.1 定義注解

我們就用mybatis動態(tài)數(shù)據(jù)源切換的注解：DS，代碼如下：

/**
*@author:jiangjs
*@description:
*@date:2023/7/2714:39
**/
@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public@interfaceDS{
Stringvalue()default"master";
}

2.5.1.2 實(shí)現(xiàn)aop

@Aspect
@Component
@Slf4j
publicclassDSAspect{

@Pointcut("@annotation(com.jiashn.dynamic_datasource.dynamic.aop.DS)")
publicvoiddynamicDataSource(){}

@Around("dynamicDataSource()")
publicObjectdatasourceAround(ProceedingJoinPointpoint)throwsThrowable{
MethodSignaturesignature=(MethodSignature)point.getSignature();
Methodmethod=signature.getMethod();
DSds=method.getAnnotation(DS.class);
if(Objects.nonNull(ds)){
DataSourceContextHolder.setDataSource(ds.value());
}
try{
returnpoint.proceed();
}finally{
DataSourceContextHolder.removeDataSource();
}
}
}

代碼使用了@Around，通過ProceedingJoinPoint獲取注解信息，拿到注解傳遞值，然后設(shè)置當(dāng)前線程的數(shù)據(jù)源。對aop不了解的小伙伴可以自行g(shù)oogle或百度。

2.5.1.3 測試

添加兩個測試方法：

@GetMapping("/getMasterData.do")
publicStringgetMasterData(){
TestUsertestUser=testUserMapper.selectOne(null);
returntestUser.getUserName();
}

@GetMapping("/getSlaveData.do")
@DS("slave")
publicStringgetSlaveData(){
TestUsertestUser=testUserMapper.selectOne(null);
returntestUser.getUserName();
}

由于@DS中設(shè)置的默認(rèn)值是：master，因此在調(diào)用主數(shù)據(jù)源時，可以不用進(jìn)行添加。

執(zhí)行結(jié)果：

1、調(diào)用getMasterData.do方法：

2、調(diào)用getSlaveData.do方法：

通過執(zhí)行結(jié)果，我們通過@DS也進(jìn)行了數(shù)據(jù)源的切換，實(shí)現(xiàn)了Mybatis-plus動態(tài)切換數(shù)據(jù)源中的通過注解切換數(shù)據(jù)源的方式。

2.5.2 動態(tài)添加數(shù)據(jù)源

業(yè)務(wù)場景 ：有時候我們的業(yè)務(wù)會要求我們從保存有其他數(shù)據(jù)源的數(shù)據(jù)庫表中添加這些數(shù)據(jù)源，然后再根據(jù)不同的情況切換這些數(shù)據(jù)源。

因此我們需要改造下DynamicDataSource來實(shí)現(xiàn)動態(tài)加載數(shù)據(jù)源。

2.5.2.1 數(shù)據(jù)源實(shí)體

/**
*@author:jiangjs
*@description:數(shù)據(jù)源實(shí)體
*@date:2023/7/2715:55
**/
@Data
@Accessors(chain=true)
publicclassDataSourceEntity{

/**
*數(shù)據(jù)庫地址
*/
privateStringurl;
/**
*數(shù)據(jù)庫用戶名
*/
privateStringuserName;
/**
*密碼
*/
privateStringpassWord;
/**
*數(shù)據(jù)庫驅(qū)動
*/
privateStringdriverClassName;
/**
*數(shù)據(jù)庫key，即保存Map中的key
*/
privateStringkey;
}

實(shí)體中定義數(shù)據(jù)源的一般信息，同時定義一個key用于作為DynamicDataSource中Map中的key。

2.5.2.2 修改DynamicDataSource

/**
*@author:jiangjs
*@description:實(shí)現(xiàn)動態(tài)數(shù)據(jù)源，根據(jù)AbstractRoutingDataSource路由到不同數(shù)據(jù)源中
*@date:2023/7/2711:18
**/
@Slf4j
publicclassDynamicDataSourceextendsAbstractRoutingDataSource{

privatefinalMaptargetDataSourceMap;

publicDynamicDataSource(DataSourcedefaultDataSource,MaptargetDataSources){
super.setDefaultTargetDataSource(defaultDataSource);
super.setTargetDataSources(targetDataSources);
this.targetDataSourceMap=targetDataSources;
}

@Override
protectedObjectdetermineCurrentLookupKey(){
returnDataSourceContextHolder.getDataSource();
}

/**
*添加數(shù)據(jù)源信息
*@paramdataSources數(shù)據(jù)源實(shí)體集合
*@return返回添加結(jié)果
*/
publicvoidcreateDataSource(ListdataSources){
try{
if(CollectionUtils.isNotEmpty(dataSources)){
for(DataSourceEntityds:dataSources){
//校驗(yàn)數(shù)據(jù)庫是否可以連接
Class.forName(ds.getDriverClassName());
DriverManager.getConnection(ds.getUrl(),ds.getUserName(),ds.getPassWord());
//定義數(shù)據(jù)源
DruidDataSourcedataSource=newDruidDataSource();
BeanUtils.copyProperties(ds,dataSource);
//申請連接時執(zhí)行validationQuery檢測連接是否有效，這里建議配置為TRUE，防止取到的連接不可用
dataSource.setTestOnBorrow(true);
//建議配置為true，不影響性能，并且保證安全性。
//申請連接的時候檢測，如果空閑時間大于timeBetweenEvictionRunsMillis，執(zhí)行validationQuery檢測連接是否有效。
dataSource.setTestWhileIdle(true);
//用來檢測連接是否有效的sql，要求是一個查詢語句。
dataSource.setValidationQuery("select1");
dataSource.init();
this.targetDataSourceMap.put(ds.getKey(),dataSource);
}
super.setTargetDataSources(this.targetDataSourceMap);
//將TargetDataSources中的連接信息放入resolvedDataSources管理
super.afterPropertiesSet();
returnBoolean.TRUE;
}
}catch(ClassNotFoundException|SQLExceptione){
log.error("---程序報錯---:{}",e.getMessage());
}
returnBoolean.FALSE;
}

/**
*校驗(yàn)數(shù)據(jù)源是否存在
*@paramkey數(shù)據(jù)源保存的key
*@return返回結(jié)果，true：存在，false：不存在
*/
publicbooleanexistsDataSource(Stringkey){
returnObjects.nonNull(this.targetDataSourceMap.get(key));
}
}

在改造后的DynamicDataSource中，我們添加可以一個 private final Map targetDataSourceMap，這個map會在添加數(shù)據(jù)源的配置文件時將創(chuàng)建的Map數(shù)據(jù)源信息通過DynamicDataSource構(gòu)造方法進(jìn)行初始賦值，即：DateSourceConfig類中的createDynamicDataSource()方法中。

同時我們在該類中添加了一個createDataSource方法，進(jìn)行數(shù)據(jù)源的創(chuàng)建，并添加到map中，再通過super.setTargetDataSources(this.targetDataSourceMap) ;進(jìn)行目標(biāo)數(shù)據(jù)源的重新賦值。

2.5.2.3 動態(tài)添加數(shù)據(jù)源

上述代碼已經(jīng)實(shí)現(xiàn)了添加數(shù)據(jù)源的方法，那么我們來模擬通過從數(shù)據(jù)庫表中添加數(shù)據(jù)源，然后我們通過調(diào)用加載數(shù)據(jù)源的方法將數(shù)據(jù)源添加進(jìn)數(shù)據(jù)源Map中。

在主數(shù)據(jù)庫中定義一個數(shù)據(jù)庫表，用于保存數(shù)據(jù)庫信息。

createtabletest_db_info(
idintauto_incrementprimarykeynotnullcomment'主鍵Id',
urlvarchar(255)notnullcomment'數(shù)據(jù)庫URL',
usernamevarchar(255)notnullcomment'用戶名',
passwordvarchar(255)notnullcomment'密碼',
driver_class_namevarchar(255)notnullcomment'數(shù)據(jù)庫驅(qū)動'
namevarchar(255)notnullcomment'數(shù)據(jù)庫名稱'
)

為了方便，我們將之前的從庫錄入到數(shù)據(jù)庫中，修改數(shù)據(jù)庫名稱。

insertintotest_db_info(url,username,password,driver_class_name,name)
value('jdbc//xxxxx:3306/test2?characterEncoding=utf-8&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull&useSSL=false',
'root','123456','com.mysql.cj.jdbc.Driver','add_slave')

數(shù)據(jù)庫表對應(yīng)的實(shí)體、mapper，小伙伴們自行添加。

啟動SpringBoot時添加數(shù)據(jù)源：

/**
*@author:jiangjs
*@description:
*@date:2023/7/2716:56
**/
@Component
publicclassLoadDataSourceRunnerimplementsCommandLineRunner{
@Resource
privateDynamicDataSourcedynamicDataSource;
@Resource
privateTestDbInfoMappertestDbInfoMapper;
@Override
publicvoidrun(String...args)throwsException{
ListtestDbInfos=testDbInfoMapper.selectList(null);
if(CollectionUtils.isNotEmpty(testDbInfos)){
Listds=newArrayList<>();
for(TestDbInfotestDbInfo:testDbInfos){
DataSourceEntitysourceEntity=newDataSourceEntity();
BeanUtils.copyProperties(testDbInfo,sourceEntity);
sourceEntity.setKey(testDbInfo.getName());
ds.add(sourceEntity);
}
dynamicDataSource.createDataSource(ds);
}
}
}

經(jīng)過上述SpringBoot啟動后，已經(jīng)將數(shù)據(jù)庫表中的數(shù)據(jù)添加到動態(tài)數(shù)據(jù)源中，我們調(diào)用之前的測試方法，將數(shù)據(jù)源名稱作為參數(shù)傳入看看執(zhí)行結(jié)果。

2.5.2.4 測試

通過測試我們發(fā)現(xiàn)數(shù)據(jù)庫表中的數(shù)據(jù)庫被動態(tài)加入了數(shù)據(jù)源中，小伙伴可以愉快地隨意添加數(shù)據(jù)源了。

好了，今天就跟大家嘮叨到這，希望我的叨叨讓大家對于動態(tài)切換數(shù)據(jù)源的方式能夠有更深地理解。

審核編輯：湯梓紅