项目之前用的是 Postgresql
数据库,但因为日志相关数据量比较大入库效率很低,而且关于日志相关的数据查询效率也在变慢。所以决定启用 clickhouse
,因为 clickhouse
支持大量数据的批量入库,并且查询效率也极高(战斗民族开发的,可想而知,简单粗暴,极致追求效率)。引入 clickhouse
只针对日志相关的数据库,其他业务相关的数据库表依然沿用 Postgresql
,所以项目要支持多数据源。
项目原本就是采用的 MybatisPlus
,所以在支持多数据源的时候是很简单的。当然,如果原来用的是 Mybatis
,要支持多数据源的话,要复杂一些,不过实现起来也是比较容易,这里先介绍 MybatisPlus
支持多数据源配置。
对 clickhouse
感性趣的,可以看下官方文档,尽量少看一些博客资料,因为版本更新太快了,基本上一个月一版,链接地址:clickhouse 官方文档
<dependency>
<groupId>com.baomidougroupId>
<artifactId>mybatis-plus-boot-starterartifactId>
<version>3.5.2version>
dependency>
<dependency>
<groupId>com.baomidougroupId>
<artifactId>dynamic-datasource-spring-boot-starterartifactId>
<version>3.5.2version>
dependency>
<dependency>
<groupId>org.postgresqlgroupId>
<artifactId>postgresqlartifactId>
<version>42.5.0version>
dependency>
<dependency>
<groupId>ru.yandex.clickhousegroupId>
<artifactId>clickhouse-jdbcartifactId>
<version>0.3.2version>
dependency>
spring:
datasource:
dynamic:
primary: master # 默认数据源
strict: false # 是否严格匹配数据源,false 未匹配到使用默认数据源 true 未匹配到会抛出异常
datasource:
master:
driver-class-name: org.postgresql.Driver
url: jdbc:postgresql://10.70.70.4:5432/postgres
username: postgres
password: postgres
slave:
driver-class-name: ru.yandex.clickhouse.ClickHouseDriver
url: jdbc:clickhouse://10.70.70.4:8123/default
我们使用的时候,将注解 @DS("slave")
加在需要操作 clickhouse
数据库的类上面或者方法上。特别注意的是,如果两个地方都添加的话,会优先使用类上面的注解配置。
如果我们想正常操作 Postgresql
,什么操作都不用,因为我们配置的 master
默认数据源是 Postgresql
。
@DS("slave")
@Service
public class LogAuditService extends ServiceImpl<LogAuditMapper, LogAudit> {
public List<LogAudit> getLogAuditList() {
return this.list();
}
@DS("slave")
public LogAudit getLogAuditById(Long id) {
return this.getById(id);
}
}