• Linux|centos二进制方式安装系统和网络监控神器prometheus+grafana（装逼神器它来了）

    Prometheus简单介绍：

     

    Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本，怎么产生的就不在这讨论了，反正就是香，简单易用。

    2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。Prometheus目前在开源社区相当活跃（活跃表现在插件非常多），并且是kubernetes之后的第二个毕业项目，由于和kubernetes一样同为go语言编写的，同根同族，和etcd的情况类似，因此，也是非常容易的kubernetes集群就可以连入prometheus，也就是说在云原生领域普罗米修斯是天然的伴侣，基本不做第二选择。

    • 开发层面 

    Prometheus支持多种语言（Go，java，python，ruby官方提供客户端，其他语言有第三方开源客户端）。我们可以通过客户端方面的对核心业务进行埋点。如下单流程、添加购物车流程。

    • 在应用层用作应用监控系统

    一些主流应用可以通过官方或第三方的导出器，来对这些应用做核心指标的收集。如redis,mysql，MongoDB，nginx，haproxy，kubernetes集群等等。

    • 在系统层用作系统监控

    除了常用软件， prometheus也有相关系统层和网络层exporter,用以监控服务器或网络。

    • 集成其它监控方面

    prometheus可以通过各种exporte，集成其他的监控系统，收集监控数据，如AWS CloudWatch,JMX，Pingdom等等。

    那么，普罗米修斯也有一些缺点，在数据展示层面比较的弱，因此， grafana这家伙就闪亮登场了。

    Grafana简单介绍：

    grafana是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。

    Grafana是一个开源的，拥有丰富dashboard和图表编辑的指标分析平台，和Kibana不同的是Grafana专注于时序类图表分析，而且支持多种数据源，如Graphite、InfluxDB、Elasticsearch、Mysql、K8s、Zabbix等。

    瞅着这种描述，可能更多的可以用作运维相关的指标。

    Grafana最早其实应该是Kibana3的一个分支，拥有自己的权限管理和用户管理系统，而Kibana没有权限管理。Kibana和ES结合紧密，支持强大的ES语法，比较适合做一些多维度的分析和查询，而Grafana更适合用于展示，图形比Kibana美观很多。

    也就是说一般可以用到运维平台里面，但是仅仅是展示，显然对运维没有太大帮助，需要加入更多的告警或者互动查询相关的功能，然后从性能或者使用角度有更好的指标，才会被选择使用，另外，一般模板类的东西也可以用做参考。

    一，

    Prometheus的架构

    prometheus是一个用Go编写的时序数据库，可以支持多种语言客户端，注意，因为它是数据库，所以它的缺点就是数据展示功能不够，因此，才有Grafana的闪亮登场。

    TSDB简介

    TSDB(Time Series Database)时序列数据库，我们可以简单的理解为一个优化后用来处理时间序列数据的软件，并且数据中的数组是由时间进行索引的。

    时间序列数据库的特点

    大部分时间都是写入操作。

    写入操作几乎是顺序添加，大多数时候数据到达后都以时间排序。

    写操作很少写入很久之前的数据，也很少更新数据。大多数情况在数据被采集到数秒或者数分钟后就会被写入数据库。

    删除操作一般为区块删除，选定开始的历史时间并指定后续的区块。很少单独删除某个时间或者分开的随机时间的数据。

    基本数据大，一般超过内存大小。一般选取的只是其一小部分且没有规律，缓存几乎不起任何作用。

    读操作是十分典型的升序或者降序的顺序读。

    高并发的读操作十分常见。

    常见的时间序列数据库

    • influxDB
    • RRDtool
    • Graphite
    • OpenTSDB
    • Kdb+
    • Druid
    • KairosDB
    • Prometheus

    Prometheus的生态系统

    Prometheus生态系统由多个组件组成，它们中的一些是可选的。多数Prometheus组件是Go语言写的，这使得这些组件很容易编译和部署。

    1.Prometheus Server

    主要负责数据采集和存储，提供PromQL查询语言的支持。

    2.客户端SDK

    官方提供的客户端类库有go、java、scala、python、ruby，其他还有很多第三方开发的类库，支持nodejs、php、erlang等。

    3.Push Gateway

    支持临时性Job主动推送指标的中间网关。

    4.PromDash

    使用Rails开发可视化的Dashboard，用于可视化指标数据。

    5.Exporter

    Exporter是Prometheus的一类数据采集组件的总称。它负责从目标处搜集数据，并将其转化为Prometheus支持的格式。与传统的数据采集组件不同的是，它并不向中央服务器发送数据，而是等待中央服务器主动前来抓取。

    Prometheus提供多种类型的Exporter用于采集各种不同服务的运行状态。目前支持的有数据库、硬件、消息中间件、存储系统、HTTP服务器、JMX等。

    6.alertmanager

    警告管理器，用来进行报警。

    7.prometheus_cli

    命令行工具。

    8.其他辅助性工具

    多种导出工具，可以支持Prometheus存储数据转化为HAProxy、StatsD、Graphite等工具所需要的数据存储格式。

    架构图如下所示：

    二，

    普罗米修斯的部署方式

    • 1. 二进制部署
    • 2. Docker部署
    • 3. kubernetes集群内部署

    本文选择的是二进制部署方式，

    在192.168.217.24服务器上安装Prometheus server，同时安装节点信息收集器node_exporter

    在192.168.217.23服务器上安装MySQL信息收集器 mysqld_exporter和node_exporter 节点信息收集器（因MySQL安装在23服务器上的）

    三，

    Prometheus server的安装

    下载地址：Download | Prometheus

    因为我的是amd64架构的，因此，选择linux-amd64，版本选择长期支持稳定版本2.37.2，将下载的安装包上传到服务器24并解压。

    1. tar zxf prometheus-2.37.2.linux-amd64.tar.gz
    2. mv prometheus-2.37.2.linux-amd64 /usr/local/prometheus
    3. [root@node4 prometheus]# ll
    4. total 202256
    5. drwxr-xr-x. 2 root root        38 May  8  2022 console_libraries #web控制台的依赖库
    6. drwxr-xr-x. 2 root root       173 May  8  2022 consoles #web控制台的网页文件
    7. drwxr-xr-x. 6 root root       126 Nov 15 22:12 data   #时序数据库的数据
    8. -rw-r--r--. 1 root root     11357 Apr 21  2022 LICENSE #说明书
    9. -rw-r--r--. 1 root root      3773 Apr 21  2022 NOTICE  #说明
    10. -rwxr-xr-x  1 3434 3434 109691493 Nov  4 19:09 prometheus #主程序，可执行文件
    11. -rw-r--r--. 1 root root      1148 Nov 15 21:09 prometheus.yml #Prometheus的主要配置文件
    12. -rwxr-xr-x. 1 root root  97394322 Apr 21  2022 promtool  #Prometheus的管理工具，可以查看时序数据库，以及报警规则文件的测试等等功能。

    例如，查看时序数据库

    1. [root@node4 prometheus]# ./promtool tsdb list
    2. BLOCK ULID                  MIN TIME       MAX TIME       DURATION     NUM SAMPLES  NUM CHUNKS   NUM SERIES   SIZE
    3. 01GHXKCBSD5JWBT1YTDZE3ME78  1668503659419  1668506400000  45m40.581s   162609       1212         1212         494354
    4. 01GHXP04ETXXVQ5W28XXGZDEC4  1668506400000  1668513600000  2h0m0s       591840       4896         1308         1609719

    当然，这个Prometheus可以前台启动， ./程序  就可以前台启动了，但每次启停需要占据一个shell，未免不人性化，因此，给它增加一个启停脚本，脚本如下：

    1. cat >/etc/systemd/system/prometheus.service <<EOF
    2. [Unit]
    3. Descriptinotallow=Prometheus Monitoring System
    4. Documentatinotallow=Prometheus Monitoring System
    6. [Service]
    7. ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --web.listen-address=:9090 
    8. # 这里的路径按实际填写
    10. [Install]
    11. WantedBy=multi-user.target
    12. EOF
    systemctl enable prometheus && systemctl start prometheus

    查看服务状态，如绿色表示启动正常，否则需要排查问题，日志里可以看到有 TSDB started以及web准备完毕的语句Server is ready to receive web requests：

    1. [root@node4 prometheus]# systemctl status prometheus
    2. ● prometheus.service
    3.    Loaded: loaded (/etc/systemd/system/prometheus.service; enabled; vendor preset: disabled)
    4.    Active: active (running) since Wed 2022-11-16 11:09:20 CST; 20min ago
    5.  Main PID: 3925 (prometheus)
    6.    CGroup: /system.slice/prometheus.service
    7.            └─3925 /usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --web.listen-address=:9090
    8.  
    9. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.098Z caller=main.go:993 level=info fs_type=XFS_SUPER_MAGIC
    10. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.098Z caller=main.go:996 level=info msg="TSDB started"
    11. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.098Z caller=main.go:1177 level=info msg="Loading configuration file" filename=/usr/local/prometheus/prometheus.yml
    12. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.234Z caller=main.go:1214 level=info msg="Completed loading of configuration file" filename=/usr/local/prometheus/prometheus.yml totalDuration=135.316399ms db_storage=1.16…µs
    13. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.235Z caller=main.go:957 level=info msg="Server is ready to receive web requests."
    14. Nov 16 11:09:21 node4 prometheus[3925]: ts=2022-11-16T03:09:21.236Z caller=manager.go:941 level=info component="rule manager" msg="Starting rule manager..."
    15. Nov 16 11:09:27 node4 prometheus[3925]: ts=2022-11-16T03:09:27.708Z caller=compact.go:510 level=info component=tsdb msg="write block resulted in empty block" mint=1668528000000 maxt=1668535200000 duration=36.455932ms
    16. Nov 16 11:09:27 node4 prometheus[3925]: ts=2022-11-16T03:09:27.713Z caller=head.go:842 level=info component=tsdb msg="Head GC completed" duration=3.84614ms
    17. Nov 16 11:09:27 node4 prometheus[3925]: ts=2022-11-16T03:09:27.714Z caller=checkpoint.go:97 level=info component=tsdb msg="Creating checkpoint" from_segment=0 to_segment=1 mint=1668535200000
    18. Nov 16 11:09:27 node4 prometheus[3925]: ts=2022-11-16T03:09:27.760Z caller=head.go:1011 level=info component=tsdb msg="WAL checkpoint complete" first=0 last=1 duration=46.524627ms
    19. Hint: Some lines were ellipsized, use -l to show in full.

    此时的配置文件修改成这样：

    1. # my global config
    2. global:
    3.   scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
    4.   evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
    5.   # scrape_timeout is set to the global default (10s).
    6.  
    7. # Alertmanager configuration
    8. alerting:
    9.   alertmanagers:
    10.     - static_configs:
    11.         - targets:
    12.           # - alertmanager:9093
    13.  
    14. # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    15. rule_files:
    16.   # - "first_rules.yml"
    17.   # - "second_rules.yml"
    18.  
    19. # A scrape configuration containing exactly one endpoint to scrape:
    20. # Here it's Prometheus itself.
    21. scrape_configs:
    22.   # The job name is added as a label `job=` to any timeseries scraped from this config.
    23.   - job_name: "prometheus"
    24.  
    25.     # metrics_path defaults to '/metrics'
    26.     # scheme defaults to 'http'.
    27.  
    28.     static_configs:
    29.       - targets: ["192.168.217.24:9090"]  #本机IP+端口，其它的不用改

         

    打开浏览器，输入最后的那一段网址：

     可以看到state是up 绿色的，检查点可以打开看看：

    OK，Prometheus server 就安装好了

    四，

    node_exporter的安装和配置

    node_exporter等于是一个客户端信息收集器，收集的目标是类unix操作系统的CPU，内存等等基本数据，具体的收集范围可以看它的帮助：

    可以看到CPU，edac，ipvs等等都是默认收集的，但还有一些是不收集的，例如ntp时间服务器，但默认的已经可以满足我们基本的百分之99的需求了。

    1. [root@node4 prometheus]# node_exporter --help
    2. 截取里面的收集动作
    3.                                  test fixtures to use for wifi collector metrics
    4.       --collector.arp            Enable the arp collector (default: enabled).
    5.       --collector.bcache         Enable the bcache collector (default: enabled).
    6.       --collector.bonding        Enable the bonding collector (default: enabled).
    7.       --collector.btrfs          Enable the btrfs collector (default: enabled).
    8.       --collector.buddyinfo      Enable the buddyinfo collector (default: disabled).
    9.       --collector.cgroups        Enable the cgroups collector (default: disabled).
    10.       --collector.conntrack      Enable the conntrack collector (default: enabled).
    11.       --collector.cpu            Enable the cpu collector (default: enabled).
    12.       --collector.cpufreq        Enable the cpufreq collector (default: enabled).
    13.       --collector.diskstats      Enable the diskstats collector (default: enabled).
    14.       --collector.dmi            Enable the dmi collector (default: enabled).
    15.       --collector.drbd           Enable the drbd collector (default: disabled).
    16.       --collector.drm            Enable the drm collector (default: disabled).
    17.       --collector.edac           Enable the edac collector (default: enabled).
    18.       --collector.entropy        Enable the entropy collector (default: enabled).
    19.       --collector.ethtool        Enable the ethtool collector (default: disabled).
    20.       --collector.fibrechannel   Enable the fibrechannel collector (default: enabled).
    21.       --collector.filefd         Enable the filefd collector (default: enabled).
    22.       --collector.filesystem     Enable the filesystem collector (default: enabled).
    23.       --collector.hwmon          Enable the hwmon collector (default: enabled).
    24.       --collector.infiniband     Enable the infiniband collector (default: enabled).
    25.       --collector.interrupts     Enable the interrupts collector (default: disabled).
    26.       --collector.ipvs           Enable the ipvs collector (default: enabled).
    27.       --collector.ksmd           Enable the ksmd collector (default: disabled).
    28.       --collector.lnstat         Enable the lnstat collector (default: disabled).
    29.       --collector.loadavg        Enable the loadavg collector (default: enabled).
    30.       --collector.logind         Enable the logind collector (default: disabled).
    31.       --collector.mdadm          Enable the mdadm collector (default: enabled).
    32.       --collector.meminfo        Enable the meminfo collector (default: enabled).
    33.       --collector.meminfo_numa   Enable the meminfo_numa collector (default: disabled).
    34.       --collector.mountstats     Enable the mountstats collector (default: disabled).
    35.       --collector.netclass       Enable the netclass collector (default: enabled).
    36.       --collector.netdev         Enable the netdev collector (default: enabled).
    37.       --collector.netstat        Enable the netstat collector (default: enabled).
    38.       --collector.network_route  Enable the network_route collector (default: disabled).
    39.       --collector.nfs            Enable the nfs collector (default: enabled).
    40.       --collector.nfsd           Enable the nfsd collector (default: enabled).
    41.       --collector.ntp            Enable the ntp collector (default: disabled).
    42.       --collector.nvme           Enable the nvme collector (default: enabled).
    43.       --collector.os             Enable the os collector (default: enabled).
    44.       --collector.perf           Enable the perf collector (default: disabled).
    45.       --collector.powersupplyclass  
    46.                                  Enable the powersupplyclass collector (default: enabled).
    47.       --collector.pressure       Enable the pressure collector (default: enabled).
    48.       --collector.processes      Enable the processes collector (default: disabled).
    49.       --collector.qdisc          Enable the qdisc collector (default: disabled).
    50.       --collector.rapl           Enable the rapl collector (default: enabled).
    51.       --collector.runit          Enable the runit collector (default: disabled).
    52.       --collector.schedstat      Enable the schedstat collector (default: enabled).
    53.       --collector.selinux        Enable the selinux collector (default: enabled).
    54.       --collector.slabinfo       Enable the slabinfo collector (default: disabled).
    55.       --collector.sockstat       Enable the sockstat collector (default: enabled).
    56.       --collector.softnet        Enable the softnet collector (default: enabled).
    57.       --collector.stat           Enable the stat collector (default: enabled).
    58.       --collector.supervisord    Enable the supervisord collector (default: disabled).
    59.       --collector.sysctl         Enable the sysctl collector (default: disabled).
    60.       --collector.systemd        Enable the systemd collector (default: disabled).
    61.       --collector.tapestats      Enable the tapestats collector (default: enabled).
    62.       --collector.tcpstat        Enable the tcpstat collector (default: disabled).
    63.       --collector.textfile       Enable the textfile collector (default: enabled).
    64.       --collector.thermal_zone   Enable the thermal_zone collector (default: enabled).
    65.       --collector.time           Enable the time collector (default: enabled).
    66.       --collector.timex          Enable the timex collector (default: enabled).
    67.       --collector.udp_queues     Enable the udp_queues collector (default: enabled).
    68.       --collector.uname          Enable the uname collector (default: enabled).
    69.       --collector.vmstat         Enable the vmstat collector (default: enabled).
    70.       --collector.wifi           Enable the wifi collector (default: disabled).
    71.       --collector.xfs            Enable the xfs collector (default: enabled).
    72.       --collector.zfs            Enable the zfs collector (default: enabled).
    73.       --collector.zoneinfo       Enable the zoneinfo collector (default: disabled).

     由于此采集器是go语言编写的，就一个可执行文件，因此，将node_exporter-1.4.0.linux-amd64.tar.gz上传到服务器后，解压并将可执行文件放到环境变量内即可。

    1. tar zxf node_exporter-1.4.0.linux-amd64.tar.gz
    2. mv node_exporter-1.4.0.linux-amd64/node_exporter /usr/local/bin/

    还是老办法，使用启停脚本进行管理：

    多说一句，以上说的定制化收集其实就在这个启停脚本里设置即可，本例是默认，因此很多都没有写的。

    1. cat >/etc/systemd/system/node_exporter.service <<EOF
    2. [Unit]
    3. Descriptinotallow=node_exporter Monitoring System
    4. Documentatinotallow=node_exporter Monitoring System
    5.  
    6. [Service]
    7. ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9100
    8.  
    9. [Install]
    10. WantedBy=multi-user.target
    11. EOF
    systemctl enable node_exporter && systemctl start node_exporter

    查看服务状态，绿色表示正常：

    1. [root@node4 ~]# systemctl status node_exporter
    2. ● node_exporter.service
    3.    Loaded: loaded (/etc/systemd/system/node_exporter.service; enabled; vendor preset: disabled)
    4.    Active: active (running) since Wed 2022-11-16 12:27:46 CST; 1min 23s ago
    5.  Main PID: 7519 (node_exporter)
    6.    CGroup: /system.slice/node_exporter.service
    7.            └─7519 /usr/local/bin/node_exporter --web.listen-address=:9100
    8.  
    9. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=timex
    10. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=udp_queues
    11. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=uname
    12. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=vmstat
    13. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=xfs
    14. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:115 level=info collector=zfs
    15. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=node_exporter.go:199 level=info msg="Listening on" address=:9100
    16. Nov 16 12:27:46 node4 node_exporter[7519]: ts=2022-11-16T04:27:46.961Z caller=tls_config.go:195 level=info msg="TLS is disabled." http2=false
    17. Nov 16 12:28:10 node4 systemd[1]: [/etc/systemd/system/node_exporter.service:2] Unknown lvalue 'Descriptinotallow' in section 'Unit'
    18. Nov 16 12:28:10 node4 systemd[1]: [/etc/systemd/system/node_exporter.service:3] Unknown lvalue 'Documentatinotallow' in section 'Unit'

    现在的node采集器已经工作，差最后一哆嗦，将此采集器收集的数据接入Prometheus。集成方式为编辑Prometheus的配置文件，增加target字段：

    （同样的，在23服务器也也这么安装部署一哈，把node_exporter服务启动了）

    1. [root@node4 ~]# cat /etc/systemd/system/node_exporter.service 
    2. [Unit]
    3. Descriptinotallow=node_exporter Monitoring System
    4. Documentatinotallow=node_exporter Monitoring System
    5.  
    6. [Service]
    7. ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9100
    8.  
    9. [Install]
    10. WantedBy=multi-user.target
    11. [root@node4 ~]# cat /usr/local/prometheus/prometheus.yml 
    12. # my global config
    13. global:
    14.   scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
    15.   evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
    16.   # scrape_timeout is set to the global default (10s).
    17.  
    18. # Alertmanager configuration
    19. alerting:
    20.   alertmanagers:
    21.     - static_configs:
    22.         - targets:
    23.           # - alertmanager:9093
    24.  
    25. # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    26. rule_files:
    27.   # - "first_rules.yml"
    28.   # - "second_rules.yml"
    29.  
    30. # A scrape configuration containing exactly one endpoint to scrape:
    31. # Here it's Prometheus itself.
    32. scrape_configs:
    33.   # The job name is added as a label `job=` to any timeseries scraped from this config.
    34.   - job_name: "prometheus"
    35.  
    36.     # metrics_path defaults to '/metrics'
    37.     # scheme defaults to 'http'.
    38.  
    39.     static_configs:
    40.       - targets: ["192.168.217.24:9090"]
    41.   - job_name: "server"
    42.     static_configs:
    43.       - targets: ["192.168.217.24:9100"]
    44.       - targets: ["192.168.217.23:9100"]

    重启Prometheus server，在浏览器上就可以看到多出了两个target了：

     五，

    MySQL收集器的安装和配置（192.168.217.23服务器上执行）

    解压安装包，并重命名到指定路径 /usr/local/下：

    1. tar zxf mysqld_exporter-0.14.0.linux-amd64.tar.gz
    2. mv mysqld_exporter-0.14.0.linux-amd64 /usr/local/mysqld_exporter

    数据库建立专用用户：

    1. create user 'exporter'@'%' identified by '123456';
    2. GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'%'  WITH MAX_USER_CONNECTIONS 3;
    3. flush privileges;

    编辑MySQL的配置文件：

    MySQL的端口和密码，我这里不是默认的端口，是3311，MySQL安装在192.168.217.23上的。

    1. cat >/usr/local/mysqld_exporter/my.cnf <<EOF
    2. [client]
    3. host = 192.168.217.23
    4. port = 3311
    5. user = exporter
    6. password = 123456
    7. [mysqladmin]
    8. host = 192.168.217.23
    9. port = 3311
    10. user = exporter
    11. password = 123456
    12. EOF

    编辑启停脚本：

    1.  cat  >/usr/lib/systemd/system/mysqld-exporter.service <<EOF
    2. [Unit]
    3. Description=mysqld_exporter
    4. [Service]
    5. User=expoter
    6. ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \
    7. --config.my-cnf=/usr/local/mysqld_exporter/my.cnf \
    8. --web.listen-address=:9104 \
    9. --collect.slave_status \
    10. --collect.binlog_size \
    11. --collect.info_schema.processlist \
    12. --collect.info_schema.innodb_metrics \
    13. --collect.engine_innodb_status \
    14. --collect.perf_schema.file_events \
    15. --collect.perf_schema.replication_group_member_stats
    16. Restart=on-failure
    17. [Install]
    18. WantedBy=multi-user.targe
    19. EOF

    以上的参数都是通过 mysqld_exported 的帮助得来的，有兴趣的同学可以看看下面的帮助，对比使用了哪些参数：

    1. [root@node3 ~]# mysqld_exporter --help
    2. usage: mysqld_exporter []
    3.  
    4. Flags:
    5.   -h, --help                   Show context-sensitive help (also try --help-long and --help-man).
    6.       --exporter.lock_wait_timeout=2  
    7.                                Set a lock_wait_timeout (in seconds) on the connection to avoid long metadata locking.
    8.       --exporter.log_slow_filter  
    9.                                Add a log_slow_filter to avoid slow query logging of scrapes. NOTE: Not supported by Oracle MySQL.
    10.       --collect.heartbeat.database="heartbeat"  
    11.                                Database from where to collect heartbeat data
    12.       --collect.heartbeat.table="heartbeat"  
    13.                                Table from where to collect heartbeat data
    14.       --collect.heartbeat.utc  Use UTC for timestamps of the current server (`pt-heartbeat` is called with `--utc`)
    15.       --collect.info_schema.processlist.min_time=0  
    16.                                Minimum time a thread must be in each state to be counted
    17.       --collect.info_schema.processlist.processes_by_user  
    18.                                Enable collecting the number of processes by user
    19.       --collect.info_schema.processlist.processes_by_host  
    20.                                Enable collecting the number of processes by host
    21.       --collect.info_schema.tables.databases="*"  
    22.                                The list of databases to collect table stats for, or '*' for all
    23.       --collect.mysql.user.privileges  
    24.                                Enable collecting user privileges from mysql.user
    25.       --collect.perf_schema.eventsstatements.limit=250  
    26.                                Limit the number of events statements digests by response time
    27.       --collect.perf_schema.eventsstatements.timelimit=86400  
    28.                                Limit how old the 'last_seen' events statements can be, in seconds
    29.       --collect.perf_schema.eventsstatements.digest_text_limit=120  
    30.                                Maximum length of the normalized statement text
    31.       --collect.perf_schema.file_instances.filter=".*"  
    32.                                RegEx file_name filter for performance_schema.file_summary_by_instance
    33.       --collect.perf_schema.file_instances.remove_prefix="/var/lib/mysql/"  
    34.                                Remove path prefix in performance_schema.file_summary_by_instance
    35.       --collect.perf_schema.memory_events.remove_prefix="memory/"  
    36.                                Remove instrument prefix in performance_schema.memory_summary_global_by_event_name
    37.       --web.config.file=""     [EXPERIMENTAL] Path to configuration file that can enable TLS or authentication.
    38.       --web.listen-address=":9104"  
    39.                                Address to listen on for web interface and telemetry.
    40.       --web.telemetry-path="/metrics"  
    41.                                Path under which to expose metrics.
    42.       --timeout-offset=0.25    Offset to subtract from timeout in seconds.
    43.       --config.my-cnf="/root/.my.cnf"  
    44.                                Path to .my.cnf file to read MySQL credentials from.
    45.       --tls.insecure-skip-verify  
    46.                                Ignore certificate and server verification when using a tls connection.
    47.       --collect.global_variables  
    48.                                Collect from SHOW GLOBAL VARIABLES
    49.       --collect.slave_status   Collect from SHOW SLAVE STATUS
    50.       --collect.info_schema.processlist  
    51.                                Collect current thread state counts from the information_schema.processlist
    52.       --collect.mysql.user     Collect data from mysql.user
    53.       --collect.info_schema.tables  
    54.                                Collect metrics from information_schema.tables
    55.       --collect.info_schema.innodb_tablespaces  
    56.                                Collect metrics from information_schema.innodb_sys_tablespaces
    57.       --collect.info_schema.innodb_metrics  
    58.                                Collect metrics from information_schema.innodb_metrics
    59.       --collect.global_status  Collect from SHOW GLOBAL STATUS
    60.       --collect.binlog_size    Collect the current size of all registered binlog files
    61.       --collect.perf_schema.tableiowaits  
    62.                                Collect metrics from performance_schema.table_io_waits_summary_by_table
    63.       --collect.perf_schema.indexiowaits  
    64.                                Collect metrics from performance_schema.table_io_waits_summary_by_index_usage
    65.       --collect.perf_schema.tablelocks  
    66.                                Collect metrics from performance_schema.table_lock_waits_summary_by_table
    67.       --collect.perf_schema.eventsstatements  
    68.                                Collect metrics from performance_schema.events_statements_summary_by_digest
    69.       --collect.perf_schema.eventsstatementssum  
    70.                                Collect metrics of grand sums from performance_schema.events_statements_summary_by_digest
    71.       --collect.perf_schema.eventswaits  
    72.                                Collect metrics from performance_schema.events_waits_summary_global_by_event_name
    73.       --collect.auto_increment.columns  
    74.                                Collect auto_increment columns and max values from information_schema
    75.       --collect.perf_schema.file_instances  
    76.                                Collect metrics from performance_schema.file_summary_by_instance
    77.       --collect.perf_schema.memory_events  
    78.                                Collect metrics from performance_schema.memory_summary_global_by_event_name
    79.       --collect.perf_schema.replication_group_members  
    80.                                Collect metrics from performance_schema.replication_group_members
    81.       --collect.perf_schema.replication_group_member_stats  
    82.                                Collect metrics from performance_schema.replication_group_member_stats
    83.       --collect.perf_schema.replication_applier_status_by_worker  
    84.                                Collect metrics from performance_schema.replication_applier_status_by_worker
    85.       --collect.info_schema.userstats  
    86.                                If running with userstat=1, set to true to collect user statistics
    87.       --collect.info_schema.clientstats  
    88.                                If running with userstat=1, set to true to collect client statistics
    89.       --collect.perf_schema.file_events  
    90.                                Collect metrics from performance_schema.file_summary_by_event_name
    91.       --collect.info_schema.schemastats  
    92.                                If running with userstat=1, set to true to collect schema statistics
    93.       --collect.info_schema.innodb_cmp  
    94.                                Collect metrics from information_schema.innodb_cmp
    95.       --collect.info_schema.innodb_cmpmem  
    96.                                Collect metrics from information_schema.innodb_cmpmem
    97.       --collect.info_schema.query_response_time  
    98.                                Collect query response time distribution if query_response_time_stats is ON.
    99.       --collect.engine_tokudb_status  
    100.                                Collect from SHOW ENGINE TOKUDB STATUS
    101.       --collect.engine_innodb_status  
    102.                                Collect from SHOW ENGINE INNODB STATUS
    103.       --collect.heartbeat      Collect from heartbeat
    104.       --collect.info_schema.tablestats  
    105.                                If running with userstat=1, set to true to collect table statistics
    106.       --collect.info_schema.replica_host  
    107.                                Collect metrics from information_schema.replica_host_status
    108.       --collect.slave_hosts    Scrape information from 'SHOW SLAVE HOSTS'
    109.       --log.level=info         Only log messages with the given severity or above. One of: [debug, info, warn, error]
    110.       --log.format=logfmt      Output format of log messages. One of: [logfmt, json]
    111.       --version                Show application version.

    查看端口：

    1. [root@node3 ~]# netstat -antup |grep 3311
    2. tcp        0      0 192.168.217.23:59276    192.168.217.23:3311     TIME_WAIT   -                   
    3. tcp        0      0 192.168.217.23:59278    192.168.217.23:3311     TIME_WAIT   -                   
    4. tcp        0      0 192.168.217.23:59274    192.168.217.23:3311     TIME_WAIT   -                   
    5. tcp        0      0 192.168.217.23:59270    192.168.217.23:3311     TIME_WAIT   -                   
    6. tcp        0      0 192.168.217.23:59272    192.168.217.23:3311     TIME_WAIT   -                   
    7. tcp6       0      0 :::3311                 :::*                    LISTEN      2859/mysqld         
    8. tcp6       0      0 192.168.217.23:3311     192.168.217.23:59270    TIME_WAIT   -             
    1. [root@node3 ~]# netstat -antup |grep 9104
    2. tcp6       0      0 :::9104                 :::*                    LISTEN      7041/mysqld_exporte 
    3. tcp6       0      0 192.168.217.23:9104     192.168.217.24:60422    ESTABLISHED 7041/mysqld_exporte

    将MySQL采集器接入Prometheus：

    同样的，修改Prometheus的配置文件，增加一个target：

    1. [root@node4 ~]# cat /usr/local/prometheus/prometheus.yml 
    2. # my global config
    3. global:
    4.   scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
    5.   evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
    6.   # scrape_timeout is set to the global default (10s).
    7.  
    8. # Alertmanager configuration
    9. alerting:
    10.   alertmanagers:
    11.     - static_configs:
    12.         - targets:
    13.           # - alertmanager:9093
    14.  
    15. # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    16. rule_files:
    17.   # - "first_rules.yml"
    18.   # - "second_rules.yml"
    19.  
    20. # A scrape configuration containing exactly one endpoint to scrape:
    21. # Here it's Prometheus itself.
    22. scrape_configs:
    23.   # The job name is added as a label `job=` to any timeseries scraped from this config.
    24.   - job_name: "prometheus"
    25.  
    26.     # metrics_path defaults to '/metrics'
    27.     # scheme defaults to 'http'.
    28.  
    29.     static_configs:
    30.       - targets: ["192.168.217.24:9090"]
    31.   - job_name: "server"
    32.     static_configs:
    33.       - targets: ["192.168.217.24:9100"]
    34.       - targets: ["192.168.217.23:9100"]
    35.   - job_name: "mysqld"
    36.     static_configs:
    37.       - targets: ["192.168.217.23:9104"]

    重启Prometheus server，再次打开浏览器，查看target，有一个绿色up表示接入成功：

     六，

    部署Grafana （在192.168.217.24上部署的）

    Download Grafana | Grafana Labs

     yum安装完毕后，Grafana就已经可以使用了，直接浏览器打开，输入192.168.217.24:3000就可以登录，初始的账号/密码是 admin/admin，登录后将会要求修改初始密码，按要求修改就可以了。（修改后的密码要记住哦）

    登录进去后，集成Prometheus，选择data source 数据源：

    点旁边的Seetings 

     

     

     dashboard的模板配置文件一般是json格式的文件，这些文件官网都有提供，网址是：Dashboards | Grafana Labs

    例如，首页上的node exporter采集器的模板配置文件： 

    选择上图的import按钮，导入此文件：

     

     

    同样的，MySQL_exporter收集器也需要一个json类型的配置文件来生成dashboard，在官网寻找就可以了，当然了，一般是选择标星高的，例如：

    MySQL Overview | Grafana Labs  这个ID为7362的模板文件下载了30多w次，证明还是比较可靠的哦。

    以上为二进制部署Prometheus+Grafana，是不是很简单呢？这么简单的几步就有了一个酷炫的装逼运维监控神器了，对吧~~~

    后面打算写一下报警，敬请期待。

  • 相关阅读:
    模板学堂｜数据可视化仪表板大屏设计流程梳理
    【DSL】ES+DSL 查询语法
    计算机网络传输层知识总结·
    vue3/高德地图实现点击自定义点位/infoWindow自定义弹窗
    第一篇-专题说明及当前进度
    7.（vue3.x+vite）组件间通信方式之vuex
    shell编程5-函数与正则表达式
    Textbooks Are All You Need II: phi-1.5 technical report
    Human Guided Ground-truth Generation for Realistic Image Super-resolution
    区块链的两个核心概念之一签名， 另一个是共识.
  • 原文地址：https://blog.csdn.net/alwaysbefine/article/details/127877033