实战指南：使用 kube-prometheus-stack 监控 K3s 集群

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

Helm 自定义 values.yaml 文件

在使用 Helm 安装 kube-prometheus-stack 之前，我们需要创建一个自定义 values.yam 文件来调整 K3s 集群的默认 chart 配置。

覆盖管理组件配置

我们放在 K3s master 节点 (172.31.38.19) 上的 config.yaml 文件中公开了 Kube Controller Manager、Kube Proxy 和 Kube Scheduler 上的 metrics，并且在 K3s worker 节点上公开了 Kube Proxy 的 metrics。所以需要在 values.yaml 中指定对应的 endpoints 和 port。如果没有这些显式的设置，kube-prometheus-stack 将无法找到这些 metrics。

endpoints 是一个数组，因此如果你有 3 个 HA master 节点，则需要指定所有 3 个 IP 地址。以下配置中，其实只设置 endpoints 即可，其他参数均为默认值，加上这些配置值是为了更详细的说明配置项。

kubeControllerManager:
  enabled: true
  endpoints:
    - 172.31.38.19
  service:
    enabled: true
    port: 10257
    targetPort: 10257
  serviceMonitor:
    enabled: true
    https: false

kubeScheduler:
  enabled: true
  endpoints:
    - 172.31.38.19
  service:
    enabled: true
    port: 10259
    targetPort: 10259
  serviceMonitor:
    enabled: true
    https: false

kubeProxy:
  enabled: true
  endpoints:
    - 172.31.38.19
    - 172.31.41.39
  service:
    enabled: true
    port: 10249
    targetPort: 10249
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

覆盖 ETCD 配置

kubeEtcd:
  enabled: true
  endpoints:
    - 172.31.38.19
1
2
3
4

持久化存储

生产环境请务必为 AlertManager、Grafana 和 Prometheus 使用外部存储。如果不这样做，将使用一个 emptyDir，该目录仅在 Pod 生命周期内有效。

即使使用 K3s local-path storage class  也只能提供节点级别的持久化。本文为了方便演示，使用的是 local-path。生产环境建议使用像 Longhorn 这样成熟的集群存储解决方案。

alertmanager:
  alertmanagerSpec:
    storage:
      volumeClaimTemplate:
        spec:
          storageClassName: local-path
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 10Gi

prometheus:
  prometheusSpec:
    storageSpec:
    ## Using PersistentVolumeClaim
    ##
      volumeClaimTemplate:
        spec:
          storageClassName: local-path
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 10Gi

grafana:
  persistence:
    type: pvc
    enabled: true
    storageClassName: local-path
    accessModes: ["ReadWriteOnce"]
    size: 1024Mi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

完整的 values.yaml 文件

我在 github 中有一个监控 K3s 集群的完整示例 values.yaml 文件。这个示例 values.yaml 文件中包含了 Ingress 和 公开 AlertManager、Grafana 和 Prometheus 的设置，还有一些关于 AlertManager 的告警配置信息，但这些设置并非特定于 K3s。

这个示例中也包含了监控 traefik 的 prometheus 配置，如果大家有需求，也可以参考。

Helm 安装 kube-prometheus-stack

# helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
# helm repo update

# kubectl create namespace monitoring
# helm install prometheus-community prometheus-community/kube-prometheus-stack  --namespace monitoring -f values.yaml
1
2
3
4
5

如果你修改 values.yaml 文件并需要更新版本，请将 install 更改为 upgrade。

# helm -n monitoring upgrade prometheus-community prometheus-community/kube-prometheus-stack -f values.yaml
1

验证安装状态:

# 列出所有 namespace 中的 releases
helm list -A
# 列出 monitoring namespace 中的 releases
helm list -n monitoring

# 检查 prometheus stack release 状态
helm status prometheus-community -n monitoring
1
2
3
4
5
6
7

安装完成后，我们就可以访问 Prometheus、Alertmanager、Grafana 的 UI 来查看 K3s 集群的状态：

总 结

监控是运维工作中的重要一环，能够帮你及时发现和解决潜在问题，提高集群的可用性和效率。按照本文的步骤，你可以轻松地使用 kube-prometheus-stack 监控 K3s 集群，确保其稳定性和性能。借助 Prometheus、Alertmanager 和 Grafana，你可以创建交互式仪表板和可视化，深入了解集群的运行状况，为你的应用程序提供更好的支持和管理。希望本文对你有所帮助，让你更好地运维和管理 K3s 集群。