• Kubernetes中Pod的扩缩容介绍


    Kubernetes中Pod的扩缩容介绍

    在实际生产系统中,我们经常会遇到某个服务需要扩容的场景,也可能会遇到由于资源紧张或者工作负载降低而需

    要减少服务实例数量的场景。此时可以利用 Deployment/RC 的 Scale 机制来完成这些工作。

    Kubernetes 对 Pod 的扩缩容操作提供了手动和自动两种模式,手动模式通过执行 kubectl scale 命令或通过

    RESTful API 对一个 Deployment/RC 进行 Pod 副本数量的设置,即可一键完成。自动模式则需要用户根据某个性

    能指标或者自定义业务指标,并指定 Pod 副本数量的范围,系统将自动在这个范围内根据性能指标的变化进行调

    整。

    1、手动扩缩容

    下面以 Deployment nginx 为例进行手动扩缩容的演示。

    配置文件 037-nginx-deployment.yaml 的内容为:

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: nginx-deployment
      template:
        metadata:
          labels:
            app: nginx-deployment
        spec:
          containers:
          - name: nginx
            image: nginx:1.7.9
            ports:
            - containerPort: 80
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    [root@master cha3]# kubectl create -f 037-nginx-deployment.yaml
    deployment.apps/nginx-deployment created
    
    • 1
    • 2

    已运行的 Pod 副本数量为3个:

    [root@master cha3]# kubectl get pod
    NAME                                READY   STATUS    RESTARTS   AGE
    nginx-deployment-5c5f6c4496-br6jv   1/1     Running   0          56s
    nginx-deployment-5c5f6c4496-mr24j   1/1     Running   0          56s
    nginx-deployment-5c5f6c4496-z8jh2   1/1     Running   0          56s
    
    • 1
    • 2
    • 3
    • 4
    • 5
    [root@master cha3]# kubectl get deployment
    NAME               READY   UP-TO-DATE   AVAILABLE   AGE
    nginx-deployment   3/3     3            3           76s
    
    • 1
    • 2
    • 3
    [root@master cha3]# kubectl get rs
    NAME                          DESIRED   CURRENT   READY   AGE
    nginx-deployment-5c5f6c4496   3         3         3       79s
    
    • 1
    • 2
    • 3

    通过 kubectl scale 命令可以将 Pod 副本数量从初始的 3 个更新为 5 个:

    [root@master cha3]# kubectl scale deployment nginx-deployment --replicas 5
    deployment.apps/nginx-deployment scaled
    
    • 1
    • 2
    [root@master cha3]# kubectl get pod
    NAME                                READY   STATUS    RESTARTS   AGE
    nginx-deployment-5c5f6c4496-2565s   1/1     Running   0          40s
    nginx-deployment-5c5f6c4496-b4d87   1/1     Running   0          40s
    nginx-deployment-5c5f6c4496-br6jv   1/1     Running   0          3m34s
    nginx-deployment-5c5f6c4496-mr24j   1/1     Running   0          3m34s
    nginx-deployment-5c5f6c4496-z8jh2   1/1     Running   0          3m34s
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    将 --replicas 设置为比当前 Pod 副本数量更小的数字,系统将会杀掉一些运行中的 Pod,以实现应用集群缩容:

    [root@master cha3]# kubectl scale deployment nginx-deployment --replicas=1
    deployment.apps/nginx-deployment scaled
    
    • 1
    • 2
    [root@master cha3]# kubectl get pod
    NAME                                READY   STATUS    RESTARTS   AGE
    nginx-deployment-5c5f6c4496-br6jv   1/1     Running   0          4m18s
    
    • 1
    • 2
    • 3

    2、自动扩缩容机制

    Kubernetes 从 1.1 版本开始,新增了名为 Horizontal Pod Autoscaler(HPA) 的控制器,用于实现基于 CPU使

    用率进行自动 Pod 扩缩容的功能。HPA 控制器基于 Master 的 kube-controller-manager 服务启动参数

    --horizontal-pod-autoscaler-sync-period 定义的探测周期(默认值为15s),周期性地监测目标 Pod 的资源

    性能指标,并与 HPA 资源对象中的扩缩容条件进行对比,在满足条件时对 Pod 副本数量进行调整。

    Kubernetes 在早期版本中,只能基于 Pod 的 CPU 使用率进行自动扩缩容操作,关于 CPU 使用率的数据来源于

    Heapster 组件。Kubernetes 从 1.6 版本开始,引入了基于应用自定义性能指标的 HPA 机制,并在 1.9 版本之后

    逐步成熟。本节对 Kubernetes 的 HPA 的原理和实践进行详细说明。

    2.1 HPA的工作原理

    Kubernetes 中的某个 Metrics Server( Heapster 或自定义 Metrics Server )持续采集所有 Pod 副本的指标数

    据。HPA 控制器通过 Metrics Server 的 API ( Heapster 的 API 或聚合 API ) 获取这些数据,基于用户定义的扩缩

    容规则进行计算,得到目标 Pod 副本数量。当目标 Pod 副本数量与当前副本数量不同时,HPA 控制器就向 Pod

    的副本控制器( Deployment、RC 或 ReplicaSet )发起 scale 操作,调整 Pod 的副本数量,完成扩缩容操作。下图

    描述了 HPA 体系中的关键组件和工作流程。

    在这里插入图片描述

    接下来首先对HPA能够管理的指标类型、扩缩容算法、HPA 对象的配置进行详细说明,然后通过一个完整的示例

    对如何搭建和使用基于自定义指标的 HPA 体系进行说明。

    2.2 指标的类型

    Master 的 kube-controller-manager 服务持续监测目标 Pod 的某种性能指标,以计算是否需要调整副本数量。

    目前 Kubernetes 支持的指标类型如下:

    • Pod 资源使用率:Pod 级别的性能指标,通常是一个比率值,例如 CPU 使用率。

    • Pod 自定义指标:Pod 级别的性能指标,通常是一个数值,例如接收的请求数量。

    • Object 自定义指标或外部自定义指标:通常是一个数值,需要容器应用以某种方式提供,例如通过

      HTTP URL "/metrics" 提供,或者使用外部服务提供的指标采集 URL。

    Kubernetes 从 1.11 版本开始,弃用基于 Heapster 组件完成 Pod 的 CPU 使用率采集的机制,全面转向基于

    Metrics Server 完成数据采集。Metrics Server 将采集到的 Pod 性能指标数据通过聚合API(Aggregated API) 如

    metrics.k8s.iocustom.metrics.k8s.ioexternal.metrics.k8s.io提供给HPA控制器进行查询。

    2.3 扩缩容算法详解

    Autoscaler 控制器从聚合 API 获取到 Pod 性能指标数据之后,基于下面的算法计算出目标 Pod 副本数量,与当前

    运行的 Pod 副本数量进行对比,决定是否需要进行扩缩容操作:

    desiredReplicas=ceil[currentReplicas*(currentMetricValue/desiredMetricValue )]
    
    • 1

    即当前副本数×(当前指标值/期望的指标值),将结果向上取整。

    以 CPU 请求数量为例,如果用户设置的期望指标值为 100m,当前实际使用的指标值为 200m,则计算得到期望

    的 Pod 副本数量应为两个( 200/100=2 )。如果设置的期望指标值为 50m,计算结果为 0.5,则向上取整值为 1,

    得到目标 Pod 副本数量应为 1 个。

    当计算结果与 1 非常接近时,可以设置一个容忍度让系统不做扩缩容操作。容忍度通过

    kube-controller-manager 服务的启动参数 --horizontal-pod-autoscaler-tolerance 进行设置,默认值

    为 0.1(即10%),表示基于上述算法得到的结果在 [-10%-+10%] 区间内,即 [0.9-1.1],控制器都不会进行扩缩容操

    作。

    也可以将期望指标值( desiredMetricValue )设置为指标的平均值类型,例如 targetAverageValue

    targetAverageUtilization,此时当前指标值(currentMetricValue)的算法为所有 Pod 副本当前指标值的总

    和除以 Pod 副本数量得到的平均值。

    此外,存在几种 Pod 异常的情况,如下所述:

    • Pod 正在被删除(设置了删除时间戳):将不会计入目标 Pod 副本数量。

    • Pod 的当前指标值无法获得:本次探测不会将这个 Pod 纳入目标 Pod 副本数量,后续的探测会被重新纳入计

      算范围。

    • 如果指标类型是 CPU 使用率,则对于正在启动但是还未达到 Ready 状态的 Pod,也暂时不会纳入目标副本数

      量范围。可以通过 kube-controller-manager 服务的启动参数

      --horizontal-pod-autoscaler-initial-readiness-delay 设置首次探测 Pod 是否 Ready 的延时时间,

      默认值为 30s 。另一个启动参数 --horizontal-pod-autoscaler-cpuinitialization-period 设置首次

      采集 Pod 的 CPU 使用率的延时时间。

    在计算当前指标值/期望的指标值 (currentMetricValue / desiredMetricValue) 时将不会包括上述这些异常

    Pod。

    当存在缺失指标的 Pod 时,系统将更保守地重新计算平均值。系统会假设这些 Pod 在需要缩容(Scale Down)时消

    耗了期望指标值的100%,在需要扩容(Scale Up)时消耗了期望指标值的0%,这样可以抑制潜在的扩缩容操作。

    此外,如果存在未达到 Ready 状态的 Pod,并且系统原本会在不考虑缺失指标或 NotReady 的 Pod 情况下进行扩

    展,则系统仍然会保守地假设这些 Pod 消耗期望指标值的0%,从而进一步抑制扩容操作。

    如果在 HorizontalPodAutoscaler 中设置了多个指标,系统就会对每个指标都执行上面的算法,在全部结果中

    以期望副本数的最大值为最终结果。如果这些指标中的任意一个都无法转换为期望的副本数(例如无法获取指标的

    值),系统就会跳过扩缩容操作。

    最后,在 HPA 控制器执行扩缩容操作之前,系统会记录扩缩容建议信息(Scale Recommendation)。控制器会在

    操作时间窗口(时间范围可以配置)中考虑所有的建议信息,并从中选择得分最高的建议。这个值可通过

    kube-controller-manager 服务的启动参数

    --horizontal-pod-autoscaler-downscale-stabilization-window 进行配置,默

    认值为5min。这个配置可以让系统更为平滑地进行缩容操作,从而消除短时间内指标值快速波动产生的影响。

    2.4 HorizontalPodAutoscaler配置详解

    Kubernetes 将 HorizontalPodAutoscaler 资源对象提供给用户来定义扩缩容的规则。

    HorizontalPodAutoscaler 资源对象处于 Kubernetes 的 API 组 autoscaling 中,目前包括 v1 和 v2 两个版本。

    其中 autoscaling/v1 仅支持基于 CPU 使用率的自动扩缩容,autoscaling/v2 则用于支持基于任意指标的自

    动扩缩容配置,包括基于资源使用率、Pod 指标、其他指标等类型的指标数据,当前版本为

    autoscaling/v2beta2

    下面对 HorizontalPodAutoscaler 的配置和用法进行说明。

    (1)基于 autoscaling/v1 版本的 HorizontalPodAutoscaler 配置,仅可以设置 CPU 使用率。

    配置文件 038-php-apache.yaml 的内容为:

    apiVersion: autoscaling/v1
    kind: HorizontalPodAutoscaler
    metadata:
      name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      targetCPUUtilizationPercentage: 50
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    主要参数如下:

    • scaleTargetRef:目标作用对象,可以是 Deployment、ReplicationController 或 ReplicaSet。

    • targetCPUUtilizationPercentage:期望每个 Pod 的 CPU 使用率都为 50%,该使用率基于 Pod 设置的

      CPU Request 值进行计算,例如该值为 200m,那么系统将维持 Pod 的实际 CPU 使用值为 100m。

    • minReplicasmaxReplicas:Pod 副本数量的最小值和最大值,系统将在这个范围内进行自动扩缩容操

      作,并维持每个 Pod 的 CPU 使用率为 50%。

    [root@master cha3]# kubectl create -f 038-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/50%   1         10        0          17s
    
    • 1
    • 2
    • 3

    为了使用 autoscaling/v1 版本的 HorizontalPodAutoscaler,需要预先安装 Heapster 组件或 Metrics

    Server,用于采集 Pod 的 CPU 使用率。Heapster 从 Kubernetes 1.11 版本开始进入弃用阶段,本节不再对

    Heapster 进行详细说明,本节主要对基于自定义指标进行自动扩缩容的设置进行说明。

    (2)基于 autoscaling/v2beta2 的 HorizontalPodAutoscaler 配置。

    配置文件 039-php-apache.yaml 的内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
      metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Resource
          resource:
            name: cpu
            target:
              type: Utilization
              averageUtilization: 50
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

    主要参数如下。

    • scaleTargetRef:目标作用对象,可以是 Deployment、ReplicationController 或 ReplicaSet。

    • minReplicasmaxReplicas:Pod 副本数量的最小值和最大值,系统将在这个范围内进行自动扩缩容操

      作,并维持每个 Pod 的 CPU 使用率为 50%。

    • metrics:目标指标值,在 metrics 中通过参数 type 定义指标的类型。通过参数 target 定义相应的指标目标

      值,系统将在指标数据达到目标值时(考虑容忍度的区间)触发扩缩容操作。

    [root@master cha3]# kubectl create -f 039-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/50%   1         10        0          5s
    
    • 1
    • 2
    • 3

    等价写法,配置文件 040-php-apache.yaml 的内容为:

    # 版本要修改
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Resource
          resource:
            name: cpu
            # 整合在一起的写法
            targetAverageUtilization: 50
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    [root@master cha3]# kubectl create -f 040-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/50%   1         10        0          12s
    
    • 1
    • 2
    • 3

    可以将 metrics 中的 type(指标类型)设置为以下三种,可以设置一个或多个组合,如下所述。

    (1)Resource:基于资源的指标值,可以设置的资源为 CPU 和内存。

    (2)Pods:基于 Pod 的指标,系统将对全部 Pod 副本的指标值进行平均值计算。

    (3)Object:基于某种资源对象(如Ingress)的指标或应用系统的任意自定义指标。

    Resource 类型的指标可以设置 CPU 和内存。对于 CPU 使用率,在 target 参数中设置 averageUtilization 定义目

    标平均 CPU 使用率。对于内存资源,在 target 参数中设置 AverageValue 定义目标平均内存使用值。指标数据可

    以通过 API "metrics.k8s.io" 进行查询,要求预先启动 Metrics Server 服务。

    target.type 的取值为:Utilization、AverageValue

    target 对应的取值为:averageUtilization、averageValue

    关于内存的配置,配置文件 041-php-apache.yaml 的内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Resource
          resource:
            name: memory
            target:
              type: AverageValue
              averageValue: 100Mi
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    [root@master cha3]# kubectl create -f 041-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS           MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/100Mi   1         10        0          6s
    
    • 1
    • 2
    • 3

    等价写法,配置文件 `` 的内容为:

    # 版本要修改
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Resource
          resource:
            name: cpu
            # 整合在一起的写法
            targetAverageValue: 100Mi
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    [root@master cha3]# kubectl create -f 042-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS           MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/100Mi   1         10        0          13s
    
    • 1
    • 2
    • 3

    Pods 类型和 Object 类型都属于自定义指标类型,指标的数据通常需要搭建自定义 Metrics Server 和监控工具进

    行采集和处理。指标数据可以通过 API "custom.metrics.k8s.io" 进行查询,要求预先启动自定义 Metrics

    Server 服务。

    类型为 Pods 的指标数据来源于 Pod 对象本身,其 target 指标类型只能使用 AverageValue。

    配置文件 043-php-apache.yaml 的内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10          
      metrics:
        - type: Pods
          pods:
            metric:
              name: packets-per-second
            target:
              type: AverageValue
              averageValue: 1k
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    其中,设置 Pod 的指标名为 packets-per-second,在目标指标平均值为 1000 时触发扩缩容操作。

    [root@master cha3]# kubectl create -f 043-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS        MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/1k   1         10        0          4s
    
    • 1
    • 2
    • 3

    类型为 Object 的指标数据来源于其他资源对象或任意自定义指标,其 target 指标类型可以使用 Value 或

    AverageValue (根据Pod副本数计算平均值)进行设置。

    下面对几种常见的自定义指标给出示例和说明:

    例1,设置指标的名称为 requests-per-second,其值来源于 Ingress "main-route",将目标值(value)设置

    2000,即在Ingress的每秒请求数量达到2000个时触发扩缩容操作。

    配置文件 044-php-apache.yaml 的文件内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10          
      metrics:
        - type: Object
          object:
            metric:
              name: requests-per-second
            describedObject:
              apiVersion: extensions/v1beta1
              kind: Ingress
              name: main-route
            target:
              type: Value
              value: 2k
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    [root@master cha3]# kubectl create -f 044-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS        MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/2k   1         10        0          4s
    
    • 1
    • 2
    • 3

    例2,设置指标的名称为 http_requests,并且该资源对象具有标签 verb=GET,在指标平均值达到500时触发

    扩缩容操作。

    配置文件 045-php-apache.yaml 的内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10          
      metrics:
        - type: Object
          object:
            metric:
              name: http_requests
              selector: {matchLabels: {verb: GET}}
            describedObject:
              apiVersion: extensions/v1beta1
              kind: Ingress
              name: main-route
            target:
              type: AverageValue
              value: 500
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    [root@master cha3]# kubectl create -f 045-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/500   1         10        0          5s
    
    • 1
    • 2
    • 3

    还可以在同一个 HorizontalPodAutoscaler 资源对象中定义多个类型的指标,系统将针对每种类型的指标都计算

    Pod 副本的目标数量,以最大值为准进行扩缩容操作。

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: Resource
          resource:
            name: cpu
            target:
              type: Utilization
              averageUtilization: 50
        - type: Resource
          resource:
            name: memory
            target:
              type: AverageValue
              averageValue: 100Mi
        - type: Pods
          pods:
            metric:
              name: packets-per-second
            target:
              type: AverageValue
              averageValue: 1k
        - type: Object
          object:
            metric:
              name: requests-per-second
            describedObject:
              apiVersion: extensions/v1beta1
              kind: Ingress
              name: main-route
            target:
              type: Value
              value: 10k
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    [root@master cha3]# kubectl create -f 046-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS                                     MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/100Mi, <unknown>/1k + 2 more...   1         10        0          4s
    
    • 1
    • 2
    • 3

    从 1.10 版本开始,Kubernetes 引入了对外部系统指标的支持。例如,用户使用了公有云服务商提供的消息服务

    或外部负载均衡器,希望基于这些外部服务的性能指标(如消息服务的队列长度、负载均衡器的QPS)对自己部署在

    Kubernetes 中的服务进行自动扩缩容操作。这时,就可以在 metrics 参数部分设置 typeExternal 来设置

    自定义指标,然后就可以通过 API "external.metrics.k8s.io" 查询指标数据了。当然,这同样要求自定义

    Metrics Server 服务已正常工作。

    例3,设置指标的名称为 queue_messages_ready,具有 queue=worker_tasks 标签在目标指标平均值为30

    触发自动扩缩容操作。

    配置文件 047-php-apache.yaml 的文件内容为:

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
        name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 10          
      metrics:
        - type: External
          external:
            metric:
              name: queue_messages_ready
              selector: {matchLabels: {queue: worker_tasks}}
            target:
              type: AverageValue
              averageValue: 30
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    [root@master cha3]# kubectl create -f 047-php-apache.yaml
    horizontalpodautoscaler.autoscaling/php-apache created
    
    • 1
    • 2
    [root@master cha3]# kubectl get hpa
    NAME         REFERENCE               TARGETS              MINPODS   MAXPODS   REPLICAS   AGE
    php-apache   Deployment/php-apache   <unknown>/30 (avg)   1         10        0          4s
    
    • 1
    • 2
    • 3

    在使用外部服务的指标时,要安装、部署能够对接到 Kubernetes HPA 模型的监控系统,并且完全了解监控系统

    采集这些指标的机制,后续的自动扩缩容操作才能完成。

    Kubernetes 推荐尽量使用 type 为 Object 的 HPA 配置方式,这可以通过使用 Operator 模式,将外部指标通过

    CRD(自定义资源)定义为API资源对象来实现。

  • 相关阅读:
    直接插入排序与希尔排序的详解及对比
    干货 | JavaScript脚本注入,完成Selenium 无法做到的那些事
    SpringBoot SpringBoot 开发实用篇 4 数据层解决方案 4.1 内置数据源
    深入探索Spring AI:源码分析流式回答
    国产低功耗MCU芯片:Si24R03
    架构-三层架构:三层架构
    AXI VDMA回环测试
    Docker注入环境变量且设置多个环境变量
    openlayers图层数据覆盖
    nvm:npm ERR! Unexpected token ‘.‘
  • 原文地址:https://blog.csdn.net/qq_30614345/article/details/131819551