• Druid实现SQL监控、慢SQL记录、Spring监控、去广告


    基本概念

    Druid 是Java语言中最好的数据库连接池。

    虽然 HikariCP 的速度稍快,但是,Druid能够提供强大的监控和扩展功能 ,也是阿里巴巴的开源项目。

    Druid是阿里巴巴开发的号称为监控而生的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource等等等,秒杀一切。

    Druid 可以很好的监控 DB 池连接和 SQL 的执行情况,天生就是针对监控而生的 DB 连接池。

    Spring Boot 默认数据源 HikariDataSource 与 JdbcTemplate中已经介绍 Spring Boot 2.x 默认使用 Hikari 数据源 ,可以说 Hikari 与 Driud 都是当前 Java Web 上最优秀的数据源。

    而Druid已经在阿里巴巴部署了超过600个应用,经过好几年生产环境大规模部署的严苛考验!

    • stat:Druid内置提供一个StatFilter,用于统计监控信息。

    • wall:Druid防御SQL注入攻击的WallFilter就是通过Druid的SQL Parser分析。Druid提供的SQL Parser可以在JDBC层拦截SQL做相应处理,比如说分库分表、审计等。

    • log4j2:这个就是 日志记录的功能,可以把sql语句打印到log4j2 供排查问题。

    1. <dependency>
    2. <groupId>com.alibabagroupId>
    3. <artifactId>druid-spring-boot-starterartifactId>
    4. <version>1.1.23version>
    5. dependency>
    6. <dependency>
    7. <groupId>mysqlgroupId>
    8. <artifactId>mysql-connector-javaartifactId>
    9. <scope>runtimescope>
    10. dependency>
    11. <dependency>
    12. <groupId>org.springframework.bootgroupId>
    13. <artifactId>spring-boot-starter-log4j2artifactId>
    14. dependency>
    15. <dependency>
    16. <groupId>org.mybatis.spring.bootgroupId>
    17. <artifactId>mybatis-spring-boot-starterartifactId>
    18. <version>2.1.3version>
    19. <exclusions>
    20. <exclusion>
    21. <groupId>com.zaxxergroupId>
    22. <artifactId>HikariCPartifactId>
    23. exclusion>
    24. exclusions>
    25. dependency>

    配置相关属性

    • 配置Druid数据源(连接池) :如同以前 c3p0、dbcp 数据源可以设置数据源连接初始化大小、最大连接数、等待时间、最小连接数 等一样,Druid 数据源同理可以进行设置;

    • 配置 Druid web 监控 filter(WebStatFilter :这个过滤器的作用就是统计 web 应用请求中所有的数据库信息,比如 发出的 sql 语句,sql 执行的时间、请求次数、请求的 url 地址、以及seesion 监控、数据库表的访问次数 等等。

    • 配置 Druid 后台管理 Servlet(StatViewServlet :Druid 数据源具有监控的功能,并提供了一个 web 界面方便用户查看,类似安装 路由器 时,人家也提供了一个默认的 web 页面;需要设置 Druid 的后台管理页面的属性,比如 登录账号、密码 等;

    注意:

    Druid Spring Boot Starter 配置属性的名称完全遵照 Druid,可以通过 Spring Boot 配置文件来配置Druid数据库连接池和监控,如果没有配置则使用默认值。

    application.yml

    1. ########## 配置数据源 (Druid)##########
    2. spring:
    3. datasource:
    4. ########## JDBC 基本配置 ##########
    5. username: xxx
    6. password: xxx
    7. driver-class-name: com.mysql.cj.jdbc.Driver # mysql8 的连接驱动
    8. url: jdbc:mysql://127.0.0.1:3306/test?serverTimezone=Asia/Shanghai
    9. platform: mysql # 数据库类型
    10. type: com.alibaba.druid.pool.DruidDataSource # 指定数据源类型
    11. ########## 连接池 配置 ##########
    12. druid:
    13. # 配置初始化大小、最小、最大
    14. initial-size: 5
    15. minIdle: 10
    16. max-active: 20
    17. # 配置获取连接等待超时的时间(单位:毫秒)
    18. max-wait: 60000
    19. # 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
    20. time-between-eviction-runs-millis: 2000
    21. # 配置一个连接在池中最小生存的时间,单位是毫秒
    22. min-evictable-idle-time-millis: 600000
    23. max-evictable-idle-time-millis: 900000
    24. # 用来测试连接是否可用的SQL语句,默认值每种数据库都不相同,这是mysql
    25. validationQuery: select 1
    26. # 应用向连接池申请连接,并且testOnBorrow为false时,连接池将会判断连接是否处于空闲状态,如果是,则验证这条连接是否可用
    27. testWhileIdle: true
    28. # 如果为true,默认是false,应用向连接池申请连接时,连接池会判断这条连接是否是可用的
    29. testOnBorrow: false
    30. # 如果为true(默认false),当应用使用完连接,连接池回收连接的时候会判断该连接是否还可用
    31. testOnReturn: false
    32. # 是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle
    33. poolPreparedStatements: true
    34. # 要启用PSCache,必须配置大于0,当大于0时, poolPreparedStatements自动触发修改为true,
    35. # 在Druid中,不会存在Oracle下PSCache占用内存过多的问题,
    36. # 可以把这个数值配置大一些,比如说100
    37. maxOpenPreparedStatements: 20
    38. # 连接池中的minIdle数量以内的连接,空闲时间超过minEvictableIdleTimeMillis,则会执行keepAlive操作
    39. keepAlive: true
    40. # Spring 监控,利用aop 对指定接口的执行时间,jdbc数进行记录
    41. aop-patterns: "com.springboot.template.dao.*"
    42. ########### 启用内置过滤器(第一个 stat必须,否则监控不到SQL)##########
    43. filters: stat,wall,log4j2
    44. # 自己配置监控统计拦截的filter
    45. filter:
    46. # 开启druiddatasource的状态监控
    47. stat:
    48. enabled: true
    49. db-type: mysql
    50. # 开启慢sql监控,超过2s 就认为是慢sql,记录到日志中
    51. log-slow-sql: true
    52. slow-sql-millis: 2000
    53. # 日志监控,使用slf4j 进行日志输出
    54. slf4j:
    55. enabled: true
    56. statement-log-error-enabled: true
    57. statement-create-after-log-enabled: false
    58. statement-close-after-log-enabled: false
    59. result-set-open-after-log-enabled: false
    60. result-set-close-after-log-enabled: false
    61. ########## 配置WebStatFilter,用于采集web关联监控的数据 ##########
    62. web-stat-filter:
    63. enabled: true # 启动 StatFilter
    64. url-pattern: /* # 过滤所有url
    65. exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url
    66. session-stat-enable: true # 开启session统计功能
    67. session-stat-max-count: 1000 # session的最大个数,默认100
    68. ########## 配置StatViewServlet(监控页面),用于展示Druid的统计信息 ##########
    69. stat-view-servlet:
    70. enabled: true # 启用StatViewServlet
    71. url-pattern: /druid/* # 访问内置监控页面的路径,内置监控页面的首页是/druid/index.html
    72. reset-enable: false # 不允许清空统计数据,重新计算
    73. login-username: root # 配置监控页面访问密码
    74. login-password: 123
    75. allow: 127.0.0.1 # 允许访问的地址,如果allow没有配置或者为空,则允许所有访问
    76. deny: # 拒绝访问的地址,deny优先于allow,如果在deny列表中,就算在allow列表中,也会被拒绝

    上述配置文件的参数可以在 com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties 和 org.springframework.boot.autoconfigure.jdbc.DataSourceProperties中找到;

    如何配置 Filter

    可以通过 spring.datasource.druid.filters=stat,wall,log4j ...的方式来启用相应的内置Filter,不过这些Filter都是默认配置。如果默认配置不能满足需求,可以放弃这种方式,通过配置文件来配置Filter,下面是例子。

    1. # 配置StatFilter
    2. spring.datasource.druid.filter.stat.enabled=true
    3. spring.datasource.druid.filter.stat.db-type=h2
    4. spring.datasource.druid.filter.stat.log-slow-sql=true
    5. spring.datasource.druid.filter.stat.slow-sql-millis=2000
    6. # 配置WallFilter
    7. spring.datasource.druid.filter.wall.enabled=true
    8. spring.datasource.druid.filter.wall.db-type=h2
    9. spring.datasource.druid.filter.wall.config.delete-allow=false
    10. spring.datasource.druid.filter.wall.config.drop-table-allow=false

    目前为以下 Filter 提供了配置支持,根据(spring.datasource.druid.filter.*)进行配置。

    • StatFilter

    • WallFilter

    • ConfigFilter

    • EncodingConvertFilter

    • Slf4jLogFilter

    • Log4jFilter

    • Log4j2Filter

    • CommonsLogFilter

    不想使用内置的 Filters,要想使自定义 Filter 配置生效需要将对应 Filter 的 enabled 设置为 true ,Druid Spring Boot Starter 默认禁用 StatFilter,可以将其 enabled 设置为 true 来启用它。

    监控页面

    (1)启动项目后,访问 /druid/login.html 来到登录页面 ,输入用户名密码登录

    (2)数据源页面 是当前DataSource配置的基本信息,上述配置的Filter可以在里面找到,如果没有配置Filter(一些信息会无法统计,例如“SQL监控”,会无法获取JDBC相关的SQL执行信息)(3) SQL监控页面 ,统计了所有SQL语句的执行情况(4)URL监控页面 ,统计了所有Controller接口的访问以及执行情况(5)Spring 监控页面,利用aop 对指定接口的执行时间,jdbc数进行记录(6)SQL防火墙页面

    druid提供了黑白名单的访问,可以清楚的看到sql防护情况。

    (7)Session监控页面

    可以看到当前的session状况,创建时间、最后活跃时间、请求次数、请求时间等详细参数。

    (8)JSONAPI 页面

    通过api的形式访问Druid的监控接口,api接口返回Json形式数据。

    4 sql监控

    配置 Druid web 监控 filter(WebStatFilter)这个过滤器,作用就是统计 web 应用请求中所有的数据库信息,比如 发出的 sql 语句,sql 执行的时间、请求次数、请求的 url 地址、以及seesion 监控、数据库表的访问次数 等等。

    1. spring:
    2. datasource:
    3. druid:
    4. ########## 配置WebStatFilter,用于采集web关联监控的数据 ##########
    5. web-stat-filter:
    6. enabled: true # 启动 StatFilter
    7. url-pattern: /* # 过滤所有url
    8. exclusions: "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*" # 排除一些不必要的url
    9. session-stat-enable: true # 开启session统计功能
    10. session-stat-max-count: 1000 # session的最大个数,默认100

    慢sql记录

    有时候,系统中有些SQL执行很慢,我们希望使用日志记录下来,可以开启Druid的慢SQL记录功能

    1. spring:
    2. datasource:
    3. druid:
    4. filter:
    5. stat:
    6. enabled: true # 开启DruidDataSource状态监控
    7. db-type: mysql # 数据库的类型
    8. log-slow-sql: true # 开启慢SQL记录功能
    9. slow-sql-millis: 2000 # 默认3000毫秒,这里超过2s,就是慢,记录到日志

    启动后,如果遇到执行慢的SQL,便会输出到日志中

    spring 监控

    访问之后spring监控默认是没有数据的;

    这需要导入SprngBoot的AOP的Starter

    1. <dependency>
    2. <groupId>org.springframework.bootgroupId>
    3. <artifactId>spring-boot-starter-aopartifactId>
    4. dependency>

    需要在 application.yml 配置:

    Spring监控AOP切入点,如com.springboot.template.dao.*,配置多个英文逗号分隔

     spring.datasource.druid.aop-patterns="com.springboot.template.dao.*"

    去 Ad(广告)

    访问监控页面的时候,你可能会在页面底部(footer)看到阿里巴巴的广告

    原因:引入的druid的jar包中的common.js(里面有一段js代码是给页面的footer追加广告的)

    如果想去掉,有两种方式:

    (1) 直接手动注释这段代码

    如果是使用Maven,直接到本地仓库中,查找这个jar包

    要注释的代码:

    // this.buildFooter();
    

    common.js的位置:

    com/alibaba/druid/1.1.23/druid-1.1.23.jar!/support/http/resources/js/common.js

    (2) 使用过滤器过滤

    注册一个过滤器,过滤common.js的请求,使用正则表达式替换相关的广告内容

    1. @Configuration
    2. @ConditionalOnWebApplication
    3. @AutoConfigureAfter(DruidDataSourceAutoConfigure.class)
    4. @ConditionalOnProperty(name = "spring.datasource.druid.stat-view-servlet.enabled",
    5. havingValue = "true", matchIfMissing = true)
    6. public class RemoveDruidAdConfig {
    7.     /**
    8.     * 方法名: removeDruidAdFilterRegistrationBean
    9.     * 方法描述 除去页面底部的广告
    10.     * @param properties com.alibaba.druid.spring.boot.autoconfigure.properties.DruidStatProperties
    11.     * @return org.springframework.boot.web.servlet.FilterRegistrationBean
    12.     */
    13.     @Bean
    14.     public FilterRegistrationBean removeDruidAdFilterRegistrationBean(DruidStatProperties properties) {
    15.         // 获取web监控页面的参数
    16.         DruidStatProperties.StatViewServlet config = properties.getStatViewServlet();
    17.         // 提取common.js的配置路径
    18.         String pattern = config.getUrlPattern() != null ? config.getUrlPattern() : "/druid/*";
    19.         String commonJsPattern = pattern.replaceAll("\\*""js/common.js");
    20.         final String filePath = "support/http/resources/js/common.js";
    21.         //创建filter进行过滤
    22.         Filter filter = new Filter() {
    23.             @Override
    24.             public void init(FilterConfig filterConfig) throws ServletException {}
    25.             @Override
    26.             public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
    27.                 chain.doFilter(request, response);
    28.                 // 重置缓冲区,响应头不会被重置
    29.                 response.resetBuffer();
    30.                 // 获取common.js
    31.                 String text = Utils.readFromResource(filePath);
    32.                 // 正则替换banner, 除去底部的广告信息
    33.                 text = text.replaceAll("
      "
      "");
    34.                 text = text.replaceAll("powered.*?shrek.wang""");
    35.                 response.getWriter().write(text);
    36.             }
    37.             @Override
    38.             public void destroy() {}
    39.         };
    40.         FilterRegistrationBean registrationBean = new FilterRegistrationBean();
    41.         registrationBean.setFilter(filter);
    42.         registrationBean.addUrlPatterns(commonJsPattern);
    43.         return registrationBean;
    44.     }
    45. }

    两种方式都可以,建议使用的是第一种,从根源解决

    详细说明:

    1、找到本地maven库中的对应的druid-1.1.xx.jar文件,用压缩包软件打开

    2、找到support/http/resource/js/common.js, 打开找到 buildFooter 方法

    1. this.buildFooter();
    2. buildFooter : function() {
    3.     var html ='此处省略一些相关JS代码';
    4.     $(document.body).append(html);
    5. },

    3、删除此函数和及初始方法后覆盖文件

    4、重启项目后,广告就会消失了

    获取 Druid 的监控数据

    Druid 的监控数据可以在 开启 StatFilter 后 ,通过 DruidStatManagerFacade 进行获取;

    DruidStatManagerFacade#getDataSourceStatDataList 该方法可以获取所有数据源的监控数据,

    除此之外 DruidStatManagerFacade 还提供了一些其他方法,可以按需选择使用。

    1. @RestController
    2. @RequestMapping(value = "/druid")
    3. public class DruidStatController {
    4.     @GetMapping("/stat")
    5.     public Object druidStat(){
    6.         // 获取数据源的监控数据
    7.         return DruidStatManagerFacade.getInstance().getDataSourceStatDataList();
    8.     }
    9. }

  • 相关阅读:
    题目0113-选座位
    Pngquant cannot open pngquant for reding 报错原因解决办法
    el-select,el-option下拉选择框
    PDF、Word、Excel文件前端预览实操干货都在这!
    制作一个简单HTML红色喜庆邀请函网页(HTML+CSS)
    vue中通过JavaScript实现web端鼠标横向滑动&触控板滑动效果-demo
    WeakMap 弱引用 不会被GC所考量
    腾讯云轻量应用服务器部署(新手图文教程)
    LeetCode 0216.组合总和 III:回溯(剪枝) OR 二进制枚举
    C++知识黄金学习记录
  • 原文地址:https://blog.csdn.net/weixin_53998054/article/details/126244215