• 浅识k8s中的准入控制器


    背景

    k8s中各组件和kube apiserver通信时的认证和鉴权 中提到"NodeRestriction准入插件",实际上它是一个"准入控制器"。

    "准入控制器"是一个重要的概念,在istio、apisix、某些安全产品中都有用到。

    本文简要记录一下以下内容:

    • "准入控制器"是什么
    • 怎么开启"准入控制器"
    • 从源码浅析"准入控制器"

    本文使用的k8s集群是用kubekey搭建,命令是./kk create cluster --with-kubernetes v1.21.5 --with-kubesphere v3.2.1

    分析

    "准入控制器"是什么?

    它有点类似"插件",为apiserver提供了很好的"可扩展性"。

    请求apiserver时,通过认证、鉴权后、持久化("api对象"保存到etcd)前,会经过"准入控制器",让它可以做"变更和验证"。

    "变更"可以修改"api对象",比如istio用来实现pod注入。"验证"可以用来校验"api对象",比如 校验当前集群是否有足够多的资源满足"api对象"、校验当前提交的"pod对象"是否合法。

    怎么开启"准入控制器"?

    root@ip-172-31-14-33:~/kubernetes-1.21.5/_output/bin# ./kube-apiserver --help |grep admission-plugins
        ...
        --enable-admission-plugins strings       admission plugins that should be enabled in addition to default enabled ones (NamespaceLifecycle, LimitRanger, ServiceAccount, TaintNodesByCondition, Priority, DefaultTolerationSeconds, DefaultStorageClass, StorageObjectInUseProtection, PersistentVolumeClaimResize, RuntimeClass, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, MutatingAdmissionWebhook, ValidatingAdmissionWebhook, ResourceQuota). Comma-delimited list of admission plugins: AlwaysAdmit, AlwaysDeny, AlwaysPullImages, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, DefaultStorageClass, DefaultTolerationSeconds, DenyServiceExternalIPs, EventRateLimit, ExtendedResourceToleration, ImagePolicyWebhook, LimitPodHardAntiAffinityTopology, LimitRanger, MutatingAdmissionWebhook, NamespaceAutoProvision, NamespaceExists, NamespaceLifecycle, NodeRestriction, OwnerReferencesPermissionEnforcement, PersistentVolumeClaimResize, PersistentVolumeLabel, PodNodeSelector, PodSecurityPolicy, PodTolerationRestriction, Priority, ResourceQuota, RuntimeClass, SecurityContextDeny, ServiceAccount, StorageObjectInUseProtection, TaintNodesByCondition, ValidatingAdmissionWebhook. The order of plugins in this flag does not matter.
    • 1
    • 2

    根据命令行帮助可以知道,默认会开启17个"准入控制器"。

    >>> a="NamespaceLifecycle, LimitRanger, ServiceAccount, TaintNodesByCondition, Priority, DefaultTolerationSeconds, DefaultStorageClass, StorageObjectInUseProtection, Persis
    tentVolumeClaimResize, RuntimeClass, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, MutatingAdmissionWebhook, ValidatingAdmissionWebhook, ResourceQuota"
    >>> len(a.split(","))
    17
    • 1
    • 2
    • 3

    也可以用--enable-admission-plugins开启额外的"准入控制器"。

    这些"准入控制器"介绍可以查看 使用准入控制器 文档。在我的实验环境中,可以看到额外开启了NodeRestriction准入控制器,它实现了apiserver对kubelet请求的权限控制。

    root@ip-172-31-14-33:~# ps aux|grep kube-apis
    root      9567  4.8  7.8 1381988 613048 ?      Ssl  03:49  17:48 kube-apiserver ... --enable-admission-plugins=NodeRestriction ...
    • 1

    从源码浅析"准入控制器"

    我们可以通过"断点调试"结合源码分析,验证前面说的两个结论:

    • 请求先经过认证、鉴权,然后经过"准入控制器"
    • 默认开启17个"准入控制器";加上NodeRestriction就是18个

    "认证、日志审计、鉴权"在apiserver中都是以filter的形式存在,而"准入控制器"有点像包装了一层servlet。

    func DefaultBuildHandlerChain(apiHandler http.Handler, c *Config) http.Handler {
        handler := filterlatency.TrackCompleted(apiHandler)
        handler = genericapifilters.WithAuthorization(handler, c.Authorization.Authorizer, c.Serializer) // 鉴权
        ...
        handler = genericapifilters.WithAudit(handler, c.AuditBackend, c.AuditPolicyChecker, c.LongRunningFunc)  // 日志审计
        ...
      handler = genericapifilters.WithAuthentication(handler, c.Authentication.Authenticator, failedHandler, c.Authentication.APIAudiences) // 认证
        ...
        return handler
    }
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    finishRequest函数中会开goroutine调用"准入控制器" img

    可以看到 admissionHandler切片长度是18,17个"默认开启的准入控制器"加上NodeRestriction img

    部分控制器代码在plugin/pkg/admission目录中,会实现Admit接口 img

    总结

    • 请求先经过认证、鉴权,然后经过"准入控制器"
    • 默认开启17个"准入控制器";NodeRestriction不是默认开启的

    默认开启的"准入控制器"中有两个很特殊的,ValidatingAdmissionWebhook和MutatingAdmissionWebhook。这两个控制器让apiserver有了更多的可扩展性,实现了"动态准入控制"。

    文章首发于火线Zone:https://zone.huoxian.cn/d/1255-k8s 作者:leveryd

    火线安全平台:https://www.huoxian.cn/

    火线Zone社区:https://zone.huoxian.cn/?sort=newest

  • 相关阅读:
    假如我写了几个函数,想将函数像存放数据一样放在数组里,方便调用,怎么做?
    Mapstruct 搭配MP分页食用 - 参考自ballcat项目
    被迫开始学习Typescript —— vue3的 props 与 interface
    Mysql索引操作
    VR全景拍摄为什么要加盟?巧借资源实现共赢
    第四节唯物辩证法(两大总特征)
    终结处理和垃圾回收
    Re28:读论文 CECP Charge Prediction by Constitutive Elements Matching of Crimes
    对城乡居民消费结构数据AIDS模型进行参数估计时用SPSS软件的操作视频或操作流程图片
    spring中自定义过滤器
  • 原文地址:https://blog.csdn.net/weixin_40418457/article/details/125596413