| 学习路线指引（点击解锁） | 知识定位 | 人群定位 |
|---|---|---|
| 🧡 Python实战微信订餐小程序 🧡 | 进阶级 | 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 |
| 💛Python量化交易实战💛 | 入门级 | 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 |
kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。
kubelet结合以下数据项来做出驱逐决定：
（1）驱逐信号；
（2）驱逐策略；
（3）驱逐监测间隔；
节点上的memory、nodefs、pid等资源都有驱逐信号，kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定；
驱逐信号列举如下：
（1）memory.available；
（2）nodefs.available；
（3）nodefs.inodesFree；
（4）imagefs.available；
（5）imagefs.inodesFree；
（6）pid.available；
kubelet支持以下文件系统分区：
（1）nodefs：节点的主要文件系统，用于本地磁盘卷、emptyDir、日志存储等。 例如，nodefs包含/var/lib/kubelet/；
（2）imagefs：可选文件系统，供容器运行时存储容器镜像和容器可写层。
kubelet节点压力驱逐包括了两种，软驱逐和硬驱逐；
软驱逐机制表示，当node节点的memory、nodefs等资源达到一定的阈值后，需要持续观察一段时间（宽限期），如果期间该资源又恢复到低于阈值，则不进行pod的驱逐，若高于阈值持续了一段时间（宽限期），则触发pod的驱逐。
kubelet软驱逐相关启动参数配置：
（1）eviction-soft：一组软驱逐条件，如memory.available<1.5Gi,nodefs.available<500Mi， 如果驱逐条件持续时长超过对应的驱逐宽限期，则触发pod驱逐；
（2）eviction-soft-grace-period：一组软驱逐宽限期，如memory.available=1m30s,nodefs.available=1m30s；
（3）eviction-max-pod-grace-period：pod被软驱逐时，停止pod中container的最大宽限期，默认值0，单位秒；
硬驱逐策略没有宽限期，当达到硬驱逐条件时，kubelet会立即触发pod的驱逐，而不是优雅终止。
kubelet硬驱逐相关启动参数配置：
（1）eviction-hard：一组硬驱逐条件，如memory.available<1Mi,nodefs.available<1Mi,nodefs.inodesFree<1，kubelet的默认硬驱逐条件为memory.available<100Mi,nodefs.available<10%,imagefs.available<15%,nodefs.inodesFree<5%；
（1）最小驱逐回收--eviction-minimum-reclaim；
在某些情况下，驱逐pod只能回收少量的资源，这可能导致频繁满足驱逐条件而触发驱逐操作；
为了解决上述问题，可以配置--eviction-minimum-reclaim参数，当因某个驱逐信号而触发驱逐，驱逐回收后的资源量不再满足驱逐条件后，会继续回收--eviction-minimum-reclaim参数配置的资源量；
如果某一次驱逐逻辑中没有驱逐pod，则会等待10s后再进行下一次的驱逐逻辑轮询调用；
对于因内存资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod的实际资源使用量是否超过其请求量，超过的优先被驱逐；
（2）pod的优先级定义（pod.Spec.Priority），值越小越容易被驱逐；
（3）pod实际资源使用量与其请求量的差值大小，差值越小，则越容易被驱逐；
对于因pid资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod的优先级定义（pod.Spec.Priority），值越小越容易被驱逐；
对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod对于资源的实际使用（包括pod的本地卷与pod中所有容器的日志），实际使用量超过请求量的优先被驱逐；
（2）pod对于资源的实际使用（包括pod的本地卷与pod中所有容器的日志）与其请求量之间的差值大小，差值越小，则越容易被驱逐；
对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod容器可写层资源的实际使用，实际使用量超过请求量的优先被驱逐；
（2）pod容器可写层资源的实际使用与其请求量之间的差值大小，差值越小，则越容易被驱逐；
对于因可用fs大小、inode资源紧张而发生驱逐时，kubelet根据以下情况来确定pod的驱逐顺序：
（1）pod对于资源的实际使用（包括pod容器可写层、pod的本地卷与pod中所有容器的日志），实际使用量超过请求量的优先被驱逐；
（2）pod对于资源的实际使用（包括pod容器可写层、pod的本地卷与pod中所有容器的日志）与其请求量之间的差值大小，差值越小，则越容易被驱逐；
当nodefs（kubelet的根文件系统）与imagefs（docker镜像存储的文件系统）所在分区相同时，判断为无专用imagefs文件系统，否则判断为有专用imagefs文件系统；
总结一下就是，nodefs是kubelet启动参数--root-dir目录所在分区，imagefs是docker安装目录所在的分区；
（1）根据kubelet启动参数配置，获取驱逐策略配置；
（2）从cAdvisor、CRIRuntimes获取各种统计信息，如节点上各个资源的总量以及使用量情况、容器的资源声明及使用量情况等；
（3）比对驱逐策略配置以及上述的各种资源统计信息，筛选出会触发驱逐的驱逐信号；
（4）将上面筛选出来的驱逐信号做排序，将内存驱逐信号排在所有其他信号之前，并从排序后的结果中取出第一个驱逐信号；
（5）主动尝试回收fs、inode资源，如果回收的资源足够，则直接return，不需要往下执行驱逐pod的逻辑；
（6）根据最终筛选出来的那一个驱逐信号，使用对应的排序函数给pod列表进行排序；
（7）遍历排序后的pod列表，尝试驱逐pod；
几个注意点：
（1）每次的驱逐流程，最多只驱逐一个pod；
（2）一次驱逐流程完成后，如果本次流程有驱逐pod，则马上继续循环执行pod驱逐流程，如果本次驱逐流程没有驱逐pod，则等待10s后再循环执行pod驱逐流程；
（3）驱逐pod，只是将pod.status.phase值更新为Failed，并附上驱逐reason：Evicted以及触发驱逐的详细信息，不会删除pod；而pod.status.phase值被更新为Failed后，replicaset controller会再次创建出新的pod调用到其他节点上，达到驱逐pod的效果；
当因fs、inode资源紧张而需要驱逐pod时，会在驱逐pod之前，先尝试主动回收fs、inode资源；
对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时，不会触发主动回收fs、inode资源；
对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时，会触发下列操作来主动回收fs、inode资源：
（1）删除已停止的容器；
（2）删除没有被使用的容器镜像；
对于因可用fs大小、fs inode资源紧张而发生驱逐时，会触发下列操作来主动回收fs、inode资源：
（1）删除已停止的容器；
（2）删除没有被使用的容器镜像；
kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。
本篇文章从什么时候发生驱逐、驱逐哪些pod、怎么驱逐pod三个角度对kubelet节点压力驱逐进行了分析。
下一篇将对kubelet节点压力驱逐做一下源码分析。