• 【Kubernetes】k8s集群中pod的容器资源限制和三种探针

    目录

    一.关于pod容器的资源限制

    1.资源限制的单位

    1.1.CPU 资源单位

    1.2.内存 资源单位 

    二.关于QOS服务质量（pod的调度和驱逐有限制）

    1.QoS服务质量分类

    2.驱逐顺序

    三.关于pod容器的三种探针

    1.探针的三种规则

    2.Probe支持三种检查方法

    3.探测的三种结果

    4.常用参数

    四.pod容器的启动、退出动作

    一.关于pod容器的资源限制

    当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。 最常见的可设定资源是 CPU 和

    内存大小，以及其他类型的资源

    当为 Pod 中的容器指定了 request 资源时，代表容器运行所需的最小资源量，调度器就使用该信

    息来决定将 Pod 调度到哪个节点上。当还为容器指定了 limit 资源时，kubelet 就会确保运行的容

    器不会使用超出所设的 limit 资源量。kubelet 还会为容器预留所设的 request 资源量， 供该容器

    使用

    如果 Pod 运行所在的节点具有足够的可用资源，容器可以使用超出所设置的 request 资源量。不

    过，容器不可以使用超出所设置的 limit 资源量

    如果给容器设置了内存的 limit 值，但未设置内存的 request 值，Kubernetes 会自动为其设置与内

    存 limit 相匹配的 request 值。 类似的，如果给容器设置了 CPU 的 limit 值但未设置 CPU 的

    request 值，则 Kubernetes 自动为其设置 CPU 的 request 值 并使之与 CPU 的 limit 值匹配

    总结：requests表示创建pod时预留的资源，limits表示pod能够使用资源的最大值。requests值

    可以被超，limits值不能超过，如果是内存使用超过limits会触发oom然后杀掉进程，如果是cpu超

    过limits会压缩cpu的使用率

    官网示例：

    https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

    Pod 和 容器 的资源请求和限制

    1. spec.containers[].resources.requests.cpu		//定义创建容器时预分配的CPU资源
    2. spec.containers[].resources.requests.memory		//定义创建容器时预分配的内存资源
    3. spec.containers[].resources.limits.cpu			//定义 cpu 的资源上限 
    4. spec.containers[].resources.limits.memory		//定义内存的资源上限
    5.  
    6. spec.containers[].resources.limits.hugepages-<size> 
    7. spec.containers[].resources.requests.hugepages-<size>

    1.资源限制的单位

    1.1.CPU 资源单位

    CPU 资源的 request 和 limit 以 cpu 为单位。Kubernetes 中的一个 cpu 相当于1个 vCPU（1个超

    线程）

    Kubernetes 也支持带小数 CPU 的请求。spec.containers[].resources.requests.cpu 为 0.5 的容器

    能够获得一个 cpu 的一半 CPU 资源（类似于Cgroup对CPU资源的时间分片）。表达式 0.1 等价

    于表达式 100m（毫核），表示每 1000 毫秒内容器可以使用的 CPU 时间总量为 0.1*1000 毫秒。

    Kubernetes 不允许设置精度小于 1m 的 CPU 资源 

    1.2.内存 资源单位 

    内存的 request 和 limit 以字节为单位。可以以整数表示，或者以10为底数的指数的单位（E、P、

    T、G、M、K）来表示， 或者以2为底数的指数的单位（Ei、Pi、Ti、Gi、Mi、Ki）来表示。

    如：1KB=10^3=1000，1MB=10^6=1000000=1000KB，1GB=10^9=1000000000=1000MB

    1KiB=2^10=1024，1MiB=2^20=1048576=1024KiB

    例如：在买硬盘的时候，操作系统报的数量要比产品标出或商家号称的小一些，主要原因是标出的

    是以 MB、GB为单位的，1GB 就是1,000,000,000Byte，而操作系统是以2进制为处理单位的，因

    此检查硬盘容量时是以MiB、GiB为单位，1GiB=2^30=1,073,741,824，相比较而言，1GiB要比

    1GB多出1,073,741,824-1,000,000,000=73,741,824Byte，所以检测实际结果要比标出的少一些。

    案例

    1. vim pod2.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   name: frontend
    6. spec:
    7.   containers:
    8.   - name: web
    9.     image: nginx                      #在两个容器下面都设置资源限制
    10.     imagePullPolicy: IfNotPresent
    11.     env:
    12.     - name: WEB_ROOT_PASSWORD
    13.       value: "password"
    14.     resources:                        #资源限制
    15.       requests:
    16.         memory: "64Mi"
    17.         cpu: "250m"
    18.       limits:
    19.         memory: "128Mi"
    20.         cpu: "500m"
    21.   - name: db
    22.     image: mysql
    23.     imagePullPolicy: IfNotPresent
    24.     env:
    25.     - name: MYSQL_ROOT_PASSWORD
    26.       value: "abc123"
    27.     resources:                     #资源限制，设置requests和limits中的memory数据一致会发生什么
    28.       requests: 
    29.         memory: "256Mi"
    30.         cpu: "0.5"
    31.       limits:
    32.         memory: "256Mi"
    33.         cpu: "1"
    34.  
    35.  
    36. kubectl apply -f pod2.yaml
    37. kubectl get pod -o wide -w

    总结

    • cpu的单位可以是核个数如1.25，0.5等，可以是毫核如500m，1250m
    • memory的单位可以是128M或128Mi （分别是1000k=1M或1024Ki=1Mi）

    二.关于QOS服务质量（pod的调度和驱逐有限制）

    1.QoS服务质量分类

    确定Pod的调度和驱逐优先级

    • Guaranteed：Pod中的每个容器（包括init容器），都设置了CPU、内存的 requests 和 limits，且 requests 和 limits 要相等
    • Burstable：Pod中至少有一个容器设置了CPU或内存的 requests
    • BestEffort：Pod中的所有容器都没有设置CPU或内存的 requests 和 limits 

    2.驱逐顺序

    优先级：Guaranteed > Burstable > BestEffort

    • Guaranteed的Pod，优先级最高，在其资源使用量不超过其 limits 的情况下，可以确保不被杀死
    • 在node节点的内存资源紧张，且没有其它QOS为BestEffort的Pod时，一旦Burstable的Pod使用的资源量超过了其 requests，这些Pod就容易被杀死
    • BestEffort的Pod，优先级最低，当node节点的内存资源紧张时，这些Pod会被最先杀死

    三.关于pod容器的三种探针

    健康检查：又称为探针（Probe)，探针是由kubelet对容器执行的定期诊断。

    1.探针的三种规则

    存活探针（livenessProbe）

    • 探测Pod容器是否在正常运行。
    • 如果探测失败则kubelet杀掉容器，并根据容器的重启策略决定是否重启容器

    exec检查方式

    1. vim pod3.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   creationTimestamp: null
    6.   labels:
    7.     run: pod-test
    8.   name: pod-test
    9. spec:
    10.   containers:
    11.   - image: soscscs/myapp:v1
    12.     name: myapp
    13.     ports:
    14.     - containerPort: 80
    15.     resources: {}
    16.     command:
    17.     - sh
    18.     - -c
    19.     - "touch /tmp/scj.txt; sleep 20; rm -f /tmp/scj.txt; sleep 3600"
    20.     livenessProbe:            #存活探针
    21.       exec:
    22.         command:
    23.         - sh
    24.         - -c
    25.         - "test -f /tmp/scj.txt"
    26.       initialDelaySeconds: 5
    27.       periodSeconds: 5
    28.       failureThreshold: 3
    29.   dnsPolicy: ClusterFirst
    30.   restartPolicy: Always
    31. status: {}
    32.  
    33. kubectl apply -f pod3.yaml
    34. kubectl get pod -o wide -w
    35. kubectl describe pod pod-test

    httpget检查方式

    1. vim pod4.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   creationTimestamp: null
    6.   labels:
    7.     run: pod-test
    8.   name: pod-test
    9. spec:
    10.   containers:
    11.   - image: soscscs/myapp:v1
    12.     name: myapp
    13.     ports:
    14.     - containerPort: 80
    15.       name: http
    16.     resources: {}
    17.     livenessProbe:               #存活探针  
    18.       initialDelaySeconds: 5
    19.       periodSeconds: 5
    20.       failureThreshold: 3
    21.       httpGet:                   #httpget检查方式   
    22.         port: http
    23.         path: /index.html
    24.   dnsPolicy: ClusterFirst
    25.   restartPolicy: Always
    26. status: {}
    27.  
    28. kubectl apply -f pod4.yaml
    29. kubectl log pod-test

    tcpSocket检查方式

    1. vim pod3.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   creationTimestamp: null
    6.   labels:
    7.     run: pod-test
    8.   name: pod-test
    9. spec:
    10.   containers:
    11.   - image: soscscs/myapp:v1
    12.     name: myapp
    13.     ports:
    14.     - containerPort: 80
    15.     resources: {}
    16.     livenessProbe:
    17.       tcpSocket:
    18.         port: 8080
    19.       initialDelaySeconds: 5
    20.       periodSeconds: 5
    21.       failureThreshold: 3
    22.   dnsPolicy: ClusterFirst
    23.   restartPolicy: Always
    24. status: {}
    25.  
    26. kubectl apply -f pod3.yaml
    27. kubectl exec -it pod-test -- netstat -lntp

    就绪探针（readinessProbe）

    • 探测Pod是否能进入就绪状态（要求read状态栏是1/1 2/2），并做好接收service转发来的请求的准备                          
    • 如果探测失败则Pod变成未就绪状态（read状态栏是0/1 1/2），service会删除未就绪的Pod端点，并不再转发请求给未就绪的Pod
    1. vim pod4.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   creationTimestamp: null
    6.   labels:
    7.     run: pod-test
    8.   name: pod-test
    9. spec:
    10.   containers:
    11.   - image: soscscs/myapp:v1
    12.     name: myapp
    13.     ports:
    14.     - containerPort: 80
    15.       name: http
    16.     resources: {}
    17.     readinessProbe:            #就绪探针
    18.       initialDelaySeconds: 5
    19.       periodSeconds: 5
    20.       failureThreshold: 3
    21.       httpGet:
    22.         port: http
    23.         path: /scj.html        #目标目录中不存在这个文件
    24.     livenessProbe:
    25.       initialDelaySeconds: 5
    26.       periodSeconds: 5
    27.       failureThreshold: 3
    28.       httpGet:
    29.         port: http
    30.         path: /index.html
    31.   dnsPolicy: ClusterFirst
    32.   restartPolicy: Always
    33. status: {}

    若想将状态变成就绪，如何操作？

    1. kubectl exec -it pod-test -- sh
    2. cd /usr/share/nginx/html/
    3. echo 123 > scj.html    #创建这个文件后，就绪探针即可满足条件

    启动探针（startupProbe）

    • 探测Pod容器内的应用进程是否启动成功。在启动探针探测成功前，存活探针和就绪探针都会处于赞同状态，直到启动探针探测成功为止
    • 如果探测失败则kubelet杀掉容器，并根据容器的重启策略决定是否重启容器
       
    1. vim pod4.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   creationTimestamp: null
    6.   labels:
    7.     run: pod-test
    8.   name: pod-test
    9. spec:
    10.   containers:
    11.   - image: soscscs/myapp:v1
    12.     name: myapp
    13.     ports:
    14.     - containerPort: 80
    15.       name: http
    16.     resources: {}
    17.     readinessProbe:
    18.       initialDelaySeconds: 5
    19.       periodSeconds: 5
    20.       failureThreshold: 3
    21.       httpGet:
    22.         port: http
    23.         path: /scj.html
    24.     livenessProbe:
    25.       initialDelaySeconds: 5
    26.       periodSeconds: 5
    27.       failureThreshold: 3
    28.       httpGet:
    29.         port: http
    30.         path: /index.html
    31.     startupProbe:
    32.       periodSeconds: 10
    33.       failureThreshold: 12
    34.       httpGet:
    35.         port: http
    36.         path: /tan.html
    37.   dnsPolicy: ClusterFirst
    38.   restartPolicy: Always
    39. status: {}

    2.Probe支持三种检查方法

    • exec：在容器里执行指定的Linux命令，如果命令返回码为0则认为探测成功，如果命令返回码为非0值则认为探测失败
    • httpGet：向Pod的指定端口及URL路径发送HTTP GET请求，如果HTTP响应状态码为2XX 3XX则认为探测成功，如果HTTP响应状态码为4XX 5XX则认为探测失败
    • tcpSocket：向Pod的指定端口发送TCP连接请求（三次握手），如果端口正确且TCP连接成功则认为探测成功，如果TCP连接失败则认为探测失败

    3.探测的三种结果

    • 成功（Success）：表示容器通过了检测
    • 失败（Failure）：表示容器未通过检测
    • 未知（Unknown）：表示检测没有正常进行

    4.常用参数

    • initialDelaySeconds：指定容器启动后延迟探测的时间（单位为秒）
    • periodSeconds：指定每次探测的间隔时间
    • failureThreshold：指定判断探测失败的连续失败次数
    • timeoutSeconds：指定探测超时等待的时间

    四.pod容器的启动、退出动作

    postStart：当容器创建后且容器进程启动之前（即容器主进程开始运行但不一定完全准备好接收

    请求时），Kubernetes会尝试执行postStart。通常用来执行一些初始化任务，比如资源部署、环境

    配置等。如果postStart钩子执行失败，容器仍然会被启动，并且kubelet不会因此重启容器。

    我们可以通过lifecycle配置项在 Pod 定义的 spec.containers[*].lifecycle.postStart 字段中指定一个

    命令或者 HTTP 请求。

    preStop：当容器即将被kubelet终止时，Kubernetes会尝试执行preStop。这个钩子可以优雅地关

    闭连接、保存状态或释放资源。kubelet会确保preStop被触发并至少已经开始执行。如果容器突然

    崩溃（CrashLoopBackOff等情况），preStop可能无法得到执行。

    preStop的执行与SIGTERM信号是异步的，也就是说如果PreStop钩子脚本执行时间超过这个优雅

    期，Kubernetes将强制终止Pod。

    我们同样可以通过 spec.containers[*].lifecycle.preStop 字段来设置执行命令或HTTP请求。

    示例

    1. vim pod-test.yaml
    2. apiVersion: v1
    3. kind: Pod
    4. metadata:
    5.   name: pod-test7
    6. spec:
    7.   volumes:
    8.   - name: scj-vol
    9.     hostPath:
    10.       path: /data/scj/
    11.       type: DirectoryOrCreate
    12.   initContainers:
    13.   - name: myapp
    14.     image: soscscs/myapp:v1
    15.     volumeMounts:
    16.     - name: scj-vol
    17.       mountPath: /mnt/                
    18.     command:
    19.     - sh
    20.     - -c
    21.     - "echo 'scj like 123 from initcontainer' >> /mnt/scj.txt"
    22.   containers:
    23.   - image: nginx:1.20
    24.     name: nginx
    25.     ports:
    26.     - containerPort: 80
    27.     resources: {}
    28.     volumeMounts:
    29.     - name: scj-vol
    30.       mountPath: /usr/local/bin/       #将本地目录/data/scj/挂载到容器的/usr/local/bin/上
    31.     lifecycle:
    32.       postStart:                       #设置Pod容器启动时额外执行的操作
    33.         exec:
    34.           command:
    35.           - sh
    36.           - -c
    37.           - "echo 'tangjun like from poststat' >> /usr/local/bin/scj.txt"
    38.       preStop:                         #设置Pod容器被kubelet杀掉退出时执行的操作
    39.         exec:
    40.           command:
    41.           - sh
    42.           - -c
    43.           - "echo 'jun like from prestop' >> /usr/local/bin/scj.txt"
    44.   dnsPolicy: ClusterFirst
    45.   restartPolicy: Always
    46.  
    47. kubectl apply -f pod-test.yaml

    pod生命周期

  • 相关阅读:
    Python-基础知识汇集
    以太坊合并后 展望质押经济前景与 DeFi 新机遇
    【Arma3脚本教程】二、常用命令
    GPU利用率背后的性能真相
    java：使用shardingSphere访问mysql的分库分表数据
    项目中用的网关Gateway及SpringCloud
    dl_model_param
    结构型模式-外观（Facade）模式
    Node-EventEmitter的用法
    后端SpringBoot+前端Vue前后端分离的项目（一）
  • 原文地址：https://blog.csdn.net/F12138X/article/details/140947311