prometheus+nacos服务发现

一、背景

我们使用prometheus监控机器和应用。之前是静态配置，现在想改成服务发现。

软件环境：docker+prometheus+nacos

二、实现方案

1、使用某种软件生成配置文件，然后prometheus读取

2、使用某种提供注册服务的中间件，然后prometheus访问

第一种，需要docker启动一个容器，定时生成文件。

第二种，需要维护一套中间件，可行。

最终选用了第一种方案。

三、操作步骤

1、搜索镜像
docker search prometheus-nacos-sd
2、拉取镜像
docker pull afghanistanyn/prometheus-nacos-sd 
3、启动容器
docker run -it --network=host -d --restart=always --name prometheus-nacos-sd-test -v /tmp:/tmp afghanistanyn/prometheus-nacos-sd --nacos.address=192.168.0.155:8848 --nacos.namespace=test --output.file=/tmp/nacos_sd_test.json --refresh.interval=3600
 
3600的单位是秒
需要给tmp文件夹下的json文件授予其他人读写权限。
 
 
4、修改prometheus配置文件（需要重新创建容器）
增加目录映射：/tmp/:/tmp/
增加外部文件配置：
 - job_name: 'test_nacos-discorvery'
    file_sd_configs:
    - files: ['/tmp/nacos_sd_test.json']
      refresh_interval: 60m
    relabel_configs:
    - source_labels: ["job"]
      regex: "DEFAULT_GROUP@@trade-chat-netty"
      action: drop
 
5、修改springboot项目配置文件
增加一个配置
spring.cloud.nacos.discovery.metadata.context_path=${server.servlet.context-path}

四、遇到的问题

1、生成的json文件访问时，权限不足
方法：用root用户授权777 给json文件
2、json文件生成过快，prometheus读取配置时，发现机器下线，但是没有预警
方法：设置prometheus读取配置时间为5分钟，json文件生成时间为1小时。
3、prometheus经常内存占用高，搞挂机器
方法：目前在prometheus创建容易的时候设置存储时间和文件压缩
--storage.tsdb.wal-compression --storage.tsdb.retention.time=7d