• plumelog日志框架的搭建与使用

    背景：当我们的线上服务出了问题时，我们最先想到的是查看服务器日志。但是，传统的项目的日志一般都写在服务器的log文件中，非常不方便查阅。为了更好的查看线上的日志，我之前搭建了elk集群日志，虽然可以用kibana的discover查看，但是查看的日志特别乱，无法快速定位到哪个请求。于是，使用plumelog来代替elk日志，plumelog也是将日志写入到elasticsearch中，但是整体的页面更好看，方便查询。

    plumelog官网，使用流程按官方的文档配置即可。这里我列下我的整合文件，基于配置中心的logback日志。

    plumelog-server:

    1.pom.xml：

    2. ​
    3. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    4.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    5.     <parent>
    6.         <groupId>com.plumeloggroupId>
    7.         <artifactId>plumelogartifactId>
    8.         <version>3.5version>
    9.     parent>
    10.     <modelVersion>4.0.0modelVersion>
    11.     <artifactId>plumelog-serverartifactId>
    12.     <name>plumelog-servername>
    13.     <properties>
    14.         <project.build.sourceEncoding>UTF-8project.build.sourceEncoding>
    15.         <redis.version>3.1.0redis.version>
    16.         <kafka.version>2.5.0kafka.version>
    17.         <springboot.version>2.6.3springboot.version>
    18.         <elasticsearch.version>7.7.0elasticsearch.version>
    19.         <spring-cloud.version>2021.0.1spring-cloud.version>
    20.         <spring-cloud-alibaba.version>2021.0.1.0spring-cloud-alibaba.version>
    21.     properties>
    22.     <dependencyManagement>
    23.         <dependencies>
    24.             <dependency>
    25.                 <groupId>org.springframework.bootgroupId>
    26.                 <artifactId>spring-boot-dependenciesartifactId>
    27.                 <version>2.6.3version>
    28.                 <type>pomtype>
    29.                 <scope>importscope>
    30.             dependency>
    31.             <dependency>
    32.                 <groupId>org.springframework.cloudgroupId>
    33.                 <artifactId>spring-cloud-dependenciesartifactId>
    34.                 <version>${spring-cloud.version}version>
    35.                 <type>pomtype>
    36.                 <scope>importscope>
    37.             dependency>
    38.             <dependency>
    39.                 <groupId>com.alibaba.cloudgroupId>
    40.                 <artifactId>spring-cloud-alibaba-dependenciesartifactId>
    41.                 <version>${spring-cloud-alibaba.version}version>
    42.                 <type>pomtype>
    43.                 <scope>importscope>
    44.             dependency>
    45.         dependencies>
    46.     dependencyManagement>
    47.     <dependencies>
    48.         <dependency>
    49.             <groupId>com.alibaba.cloudgroupId>
    50.             <artifactId>spring-cloud-starter-alibaba-nacos-configartifactId>
    51.         dependency>
    52. ​
    53.         <dependency>
    54.             <groupId>com.alibaba.cloudgroupId>
    55.             <artifactId>spring-cloud-starter-alibaba-nacos-discoveryartifactId>
    56.         dependency>
    57.         <dependency>
    58.             <groupId>org.springframework.cloudgroupId>
    59.             <artifactId>spring-cloud-starter-bootstrapartifactId>
    60.         dependency>
    61.         <dependency>
    62.             <groupId>com.taobao.topgroupId>
    63.             <artifactId>lippi-oapi-encrptartifactId>
    64.             <version>dingtalk-SNAPSHOTversion>
    65.             <scope>systemscope>
    66.             <systemPath>${project.basedir}/lib/taobao-sdk-java-auto_1479188381469-20200701.jarsystemPath>
    67.         dependency>
    68.         <dependency>
    69.             <groupId>org.elasticsearch.clientgroupId>
    70.             <artifactId>elasticsearch-rest-clientartifactId>
    71.             <version>7.7.0version>
    72.         dependency>
    73.         <dependency>
    74.             <groupId>org.springframework.bootgroupId>
    75.             <artifactId>spring-boot-starter-webartifactId>
    76.             <exclusions>
    77.                 <exclusion>
    78.                     <groupId>org.springframework.bootgroupId>
    79.                     <artifactId>spring-boot-starter-tomcatartifactId>
    80.                 exclusion>
    81.             exclusions>
    82.         dependency>
    83.         <dependency>
    84.             <groupId>org.springframework.bootgroupId>
    85.             <artifactId>spring-boot-starter-jettyartifactId>
    86.         dependency>
    87.         <dependency>
    88.             <groupId>net.sourceforge.nekohtmlgroupId>
    89.             <artifactId>nekohtmlartifactId>
    90.         dependency>
    91.         <dependency>
    92.             <groupId>org.springframework.bootgroupId>
    93.             <artifactId>spring-boot-starter-thymeleafartifactId>
    94.         dependency>
    95.         <dependency>
    96.             <groupId>com.alibabagroupId>
    97.             <artifactId>fastjsonartifactId>
    98.             <version>1.2.62version>
    99.         dependency>
    100.         <dependency>
    101.             <groupId>junitgroupId>
    102.             <artifactId>junitartifactId>
    103.             <version>4.11version>
    104.             <scope>testscope>
    105.         dependency>
    106.         <dependency>
    107.             <groupId>com.plumeloggroupId>
    108.             <artifactId>plumelog-logbackartifactId>
    109.             <version>${version}version>
    110.         dependency>
    111.         <dependency>
    112.             <groupId>org.apache.lucenegroupId>
    113.             <artifactId>lucene-queryparserartifactId>
    114.             <version>7.7.3version>
    115.         dependency>
    116.         <dependency>
    117.             <groupId>org.apache.lucenegroupId>
    118.             <artifactId>lucene-highlighterartifactId>
    119.             <version>7.7.3version>
    120.         dependency>
    121.         <dependency>
    122.             <groupId>org.apache.lucenegroupId>
    123.             <artifactId>lucene-groupingartifactId>
    124.             <version>7.7.3version>
    125.         dependency>
    126.         <dependency>
    127.             <groupId>org.apache.commonsgroupId>
    128.             <artifactId>commons-ioartifactId>
    129.             <version>1.3.2version>
    130.         dependency>
    131.         <dependency>
    132.             <groupId>org.apache.lucenegroupId>
    133.             <artifactId>lucene-analyzers-smartcnartifactId>
    134.             <version>7.7.3version>
    135.         dependency>
    136.         <dependency>
    137.             <groupId>de.codecentricgroupId>
    138.             <artifactId>spring-boot-admin-starter-serverartifactId>
    139.             <exclusions>
    140.                 <exclusion>
    141.                     <groupId>io.projectreactor.nettygroupId>
    142.                     <artifactId>reactor-nettyartifactId>
    143.                 exclusion>
    144.             exclusions>
    145.             <version>2.6.3version>
    146.         dependency>
    147. ​
    148.         <dependency>
    149.             <groupId>io.projectreactor.nettygroupId>
    150.             <artifactId>reactor-nettyartifactId>
    151.             <version>0.9.10.RELEASEversion>
    152.         dependency>
    153. ​
    154.         <dependency>
    155.             <groupId>com.plumeloggroupId>
    156.             <artifactId>plumelog-luceneartifactId>
    157.             <version>3.5version>
    158.             <scope>compilescope>
    159.         dependency>
    160.     dependencies>
    161.     <build>
    162.         <plugins>
    163.             <plugin>
    164.                 <groupId>org.apache.maven.pluginsgroupId>
    165.                 <artifactId>maven-surefire-pluginartifactId>
    166.                 <version>2.18.1version>
    167.                 <configuration>
    168.                     <skipTests>trueskipTests>
    169.                 configuration>
    170.             plugin>
    171.             <plugin>
    172.                 <groupId>org.apache.maven.pluginsgroupId>
    173.                 <artifactId>maven-deploy-pluginartifactId>
    174.                 <version>2.8.2version>
    175.                 <configuration>
    176.                     <skip>trueskip>
    177.                 configuration>
    178.             plugin>
    179.             <plugin>
    180.                 <groupId>org.springframework.bootgroupId>
    181.                 <artifactId>spring-boot-maven-pluginartifactId>
    182.                 <version>2.6.3version>
    183.                 <configuration>
    184.                     <fork>truefork>
    185.                     <jvmArguments>-Dfile.encoding=UTF-8jvmArguments>
    186.                     <includeSystemScope>trueincludeSystemScope>
    187.                 configuration>
    188.                 <executions>
    189.                     <execution>
    190.                         <goals>
    191.                             <goal>repackagegoal>
    192.                         goals>
    193.                     execution>
    194.                 executions>
    195.             plugin>
    196.             
    197.             <plugin>
    198.                 <groupId>org.apache.maven.pluginsgroupId>
    199.                 <artifactId>maven-resources-pluginartifactId>
    200.                 <version>2.7version>
    201.                 <executions>
    202.                     <execution>
    203.                         <id>copy-configid>
    204.                         <phase>packagephase>
    205.                         <goals>
    206.                             <goal>copy-resourcesgoal>
    207.                         goals>
    208.                         <configuration>
    209.                             <outputDirectory>${project.build.directory}/outputDirectory>
    210.                             <resources>
    211.                                 <resource>
    212.                                     <directory>src/main/resourcesdirectory>
    213.                                     <includes>
    214.                                         <exclude>**/*.xmlexclude>
    215.                                         <exclude>**/*.confexclude>
    216.                                         <exclude>**/*.propertiesexclude>
    217.                                         <exclude>**/*.shexclude>
    218.                                         <exclude>**/*.batexclude>
    219.                                     includes>
    220.                                     <filtering>truefiltering>
    221.                                 resource>
    222.                             resources>
    223.                             <encoding>UTF-8encoding>
    224.                         configuration>
    225.                     execution>
    226.                 executions>
    227.             plugin>
    228.             <plugin>
    229.                 <groupId>org.apache.maven.pluginsgroupId>
    230.                 <artifactId>maven-jar-pluginartifactId>
    231.                 <version>2.4version>
    232.                 <configuration>
    233.                     <finalName>plumelog-serverfinalName>
    234.                     <excludes>
    235.                         <exclude>*.propertiesexclude>
    236.                     excludes>
    237.                 configuration>
    238.             plugin>
    239.         plugins>
    240.     build>
    241. project>

    2.bootstrap.yaml:

    1. admin:
    2.   log:
    3.     keepDays: 30
    4.     trace:
    5.       keepDays: 30
    6.   #管理密码，手动删除日志的时候需要输入的密码
    7.   password: 123456
    8. #登录配置，配置后会有登录界面
    9. login:
    10.   password: admin
    11.   username: admin
    12. plumelog:
    13.   #elasticsearch相关配置，Hosts支持携带协议，如：http、https,集群逗号隔开，lite模式可以全部注释掉下面配置
    14.   es:
    15.     esHosts: https://192.168.0.28:29200
    16.     indexType:
    17.       model: day
    18.     refresh:
    19.       interval: 30s
    20.     replicas: 1
    21.     shards: 5
    22.     #是否信任自签证书
    23.     trustSelfSigned: true
    24.     userName: elastic
    25.     passWord: elastic
    26.     #是否hostname验证
    27.     #hostnameVerification: false
    28.   #拉取时间间隔，kafka不生效
    29.   interval: 100
    30.   #单次拉取日志条数
    31.   maxSendSize: 500
    32.   model: redis
    33.   queue:
    34.     redis:
    35.       redisDb: 0
    36.       redisHost: 192.168.0.143:30360
    37.       redisPassWord: wanfu!@#
    38.   ui:
    39.     url: http://demo.plumelog.com
    40. server:
    41.   port: 8892
    42. spring:
    43.   application:
    44.     name: plumelog-server
    45.   boot:
    46.     admin:
    47.       context-path: admin
    48.   mvc:
    49.     static-path-pattern: /plumelog/**
    50.     view:
    51.       prefix: classpath:/templates/
    52.       suffix: .html
    53.   profiles:
    54.     active: fat
    55.   thymeleaf:
    56.     mode: LEGACYHTML5
    57.   cloud:
    58.     nacos:
    59.       server-addr: ${NACOS_ADDRESS:192.168.0.143:8848}
    60.       username: ${NACOS_USERNAME:nacos}
    61.       password: ${NACOS_PASSWORD:wanfu!@#}
    62.       config:
    63.         namespace: ${spring.profiles.active}
    64.         group: WF_GROUP
    65.         file-extension: yaml
    66.       discovery:
    67.         namespace: ${spring.profiles.active}
    68.         group: WF_GROUP

    ​

    1. logback-spring.xml:

      2. <configuration debug="false">
      3.     
      4.     <property name="LOG_HOME" value="/log" />
      5.     
      6.     
      7.     
      8.     <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter" />
      9.     <conversionRule conversionWord="wex" converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter" />
      10.     <conversionRule conversionWord="wEx" converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter" />
      11.     
      12.     <property name="CONSOLE_LOG_PATTERN" value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
      13. ​
      14.     
      15.     <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
      16.         <encoder>
      17.             <Pattern>${CONSOLE_LOG_PATTERN}Pattern>
      18.             
      19.             <charset>UTF-8charset>
      20.         encoder>
      21.     appender>
      22.     
      23.     <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
      24.         <filter class="com.plumelog.logback.util.FilterSyncLogger">
      25.             <level>infolevel>
      26.             <filterPackage>com.plumelog.trace.aspect.AbstractAspectfilterPackage>
      27.         filter>
      28.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      29.             <FileNamePattern>logs/plumelog-server.log.%d{yyyy-MM-dd}.logFileNamePattern>
      30.             <MaxHistory>3MaxHistory>
      31.         rollingPolicy>
      32.         <encoder>
      33.             <Pattern>${CONSOLE_LOG_PATTERN}Pattern>
      34.             
      35.             <charset>UTF-8charset>
      36.         encoder>
      37.     appender>
      38.     
      39.     <springProfile name="dev">
      40.         <root level="INFO">
      41.             <appender-ref ref="CONSOLE" />
      42.             <appender-ref ref="FILE" />
      43.         root>
      44.     springProfile>
      45.     <springProfile name="fat">
      46.         <root level="INFO">
      47.             <appender-ref ref="CONSOLE" />
      48.             <appender-ref ref="FILE" />
      49.         root>
      50.     springProfile>
      51.     <springProfile name="pro">
      52.         <root level="INFO">
      53.             <appender-ref ref="CONSOLE" />
      54.             <appender-ref ref="FILE" />
      55.         root>
      56.     springProfile>
      57. ​
      58. configuration>

    4.使用docker-compose部署plumelog-server

    4.1 dockerfile：

    1. FROM openjdk:11.0.12-jre-buster
    2. ADD application.jar /application.jar
    3. ADD bootstrap.yaml /bootstrap.yaml
    4. ADD logback-spring.xml /logback-spring.xml
    5. CMD ["java", "-jar", "-Dfile.encoding=UTF-8", "/application.jar"]

    4.2 docker-compose.yaml:

    1. version: "3"
    2. services:
    3.   plume-server-fat:
    4.     image: fat/com.wf/plume-service
    5.     container_name: fat-plume-server
    6.     ports:
    7.       - 28891:8891
    8.     restart: always

    构建镜像：docker build -t fat/com.wf/plume-service .

    启动服务 docker-compose up -d

    访问ui界面：http://192.168.0.28:28891

    1. 配置客户端：

      5.1.添加相关jar包：

      1.         <dependency>
      2.             <groupId>org.springframework.bootgroupId>
      3.             <artifactId>spring-boot-starter-aopartifactId>
      4.             <version>2.6.3version>
      5.         dependency>
      6.         
      7.         <dependency>
      8.             <groupId>de.codecentricgroupId>
      9.             <artifactId>spring-boot-admin-starter-clientartifactId>
      10.             <version>2.6.3version>
      11.         dependency>
      12.         <dependency>
      13.             <groupId>com.plumeloggroupId>
      14.             <artifactId>plumelog-logbackartifactId>
      15.             <version>3.5.3version>
      16.         dependency>
      17.         
      18.         <dependency>
      19.             <groupId>com.plumeloggroupId>
      20.             <artifactId>plumelog-traceartifactId>
      21.             <version>3.5.3version>
      22.         dependency>

      1. // 在启动类上添加包扫描路径，
      2. @ComponentScan({"com.plumelog","com.wf.admin.**"})

      5.2. 在配置文件添加绑定redis的配置：

      1. plumelog:
      2.   redis:
      3.     appName: wf-us168-admin-service
      4.     redisHost: 192.168.0.143:30360
      5.     redisAuth: wanfu!@#
      6.     redisDb: 0

      5.3 logback-spring.xml:

      2. ​
      3. <configuration scan="true" scanPeriod="60 seconds" debug="false">
      4.     
      5.     
      6.     
      7. ​
      8.     <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
      9.     <conversionRule conversionWord="wex"
      10.                     converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
      11.     <conversionRule conversionWord="wEx"
      12.                     converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>
      13. ​
      14.     <springProperty scope="context" name="service_name" source="spring.application.name"/>
      15. ​
      16.     <property name="LOG_PATH" value="${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}"/>
      17.     <property name="CONSOLE_LOG_PATTERN"
      18.               value="${CONSOLE_LOG_PATTERN:-%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
      19.     <property name="FILE_LOG_PATTERN"
      20.               value="${FILE_LOG_PATTERN:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
      21.     
      22.     <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
      23.         <encoder>
      24.             <pattern>${CONSOLE_LOG_PATTERN}pattern>
      25.         encoder>
      26.     appender>
      27. ​
      28.     <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
      29.         <file>${LOG_PATH}/${service_name}.logfile>
      30.         <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      31.             <fileNamePattern>${LOG_PATH}/${service_name}-%d{yyyy-MM-dd}.logfileNamePattern>
      32.             <maxHistory>${LOG_FILE_MAX_HISTORY:-0}maxHistory>
      33.         rollingPolicy>
      34.         <encoder>
      35.             <pattern>${FILE_LOG_PATTERN}pattern>
      36.         encoder>
      37.     appender>
      38.     
      39.     <springProperty scope="context" name="plumelog.appName" source="plumelog.redis.appName"/>
      40.     <springProperty scope="context" name="plumelog.redisHost" source="plumelog.redis.redisHost"/>
      41.     <springProperty scope="context" name="plumelog.redisAuth" source="plumelog.redis.redisAuth"/>
      42.     <springProperty scope="context" name="plumelog.redisDb" source="plumelog.redis.redisDb"/>
      43.     <springProperty scope="context" name="plumelog.env" source="spring.profiles.active"/>
      44.     
      45.     <appender name="plumelog" class="com.plumelog.logback.appender.RedisAppender">
      46.         <appName>${plumelog.appName}appName>
      47.         <redisHost>${plumelog.redisHost}redisHost>
      48.         <redisAuth>${plumelog.redisAuth}redisAuth>
      49.         <redisDb>${plumelog.redisDb}redisDb>
      50.         <env>${plumelog.env}env>
      51.     appender>
      52.     
      53.     
      54.     
      55.     
      56.     <springProfile name="dev">
      57.         <root level="INFO">
      58.             <appender-ref ref="CONSOLE"/>
      59.             
      60.             <appender-ref ref="FILE"/>
      61.             
      62.             <appender-ref ref="plumelog"/>
      63.         root>
      64.     springProfile>
      65.     <springProfile name="fat">
      66.         <root level="INFO">
      67.             <appender-ref ref="CONSOLE"/>
      68.             <appender-ref ref="plumelog"/>
      69.             <appender-ref ref="FILE"/>
      70.         root>
      71.     springProfile>
      72.     <springProfile name="test">
      73.         <root level="INFO">
      74.             <appender-ref ref="FILE" />
      75.         root>
      76.     springProfile>
      77.     <springProfile name="prod">
      78.         <root level="INFO">
      79.             <appender-ref ref="FILE" />
      80.             <appender-ref ref="plumelog"/>
      81.         root>
      82.     springProfile>
      83. ​
      84. configuration>

      5.3 配置aop（我这里设置全局的traceId，如果要对某个请求设置trceId可以使用@Trace注解）

    链路追踪有时可以有时不行，待处理。​

    启动项目并访问，查看plumelog页面

  • 相关阅读:
    js题解（二）
    基于图片相似度对视频进行抽帧
    通师高专科技创新社训练赛（20221130）
    [源码解析] TensorFlow 分布式环境(3)--- Worker 静态逻辑
    vue3Blog首页基础布局样式规划
    C++反转链表递归
    第十二章 Spring MVC 框架扩展和SSM框架整合(2023版本IDEA)
    京东数据分析平台：2023年8月京东奶粉行业品牌销售排行榜
    雅思写作拾遗01----图表类作文
    伪代码实现几种常见的时间复杂度算法
  • 原文地址：https://blog.csdn.net/Json_Marz/article/details/126120020