剖析容器运行时

特别说明：一部分转载自大佬文章：https://blog.csdn.net/weixin_39246554/article/details/120926174（不得不说大佬总结的真好啊！！！）
剩下的听老王公开课总结。

k8s官网关于运行时的说明：https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/

1、容器运行时

1.Docker的发展历程
从 Docker 1.11 版本开始，Docker 容器运行就不是简单通过 Docker Daemon 来启动了，而是通过集成 containerd、runc 等多个组件来完成的。虽然 Docker Daemon 守护进程模块在不停的重构，但是基本功能和定位没有太大的变化，一直都是 CS 架构，守护进程负责和 Docker Client 端交互，并管理 Docker 镜像和容器。现在的架构中组件 containerd 就会负责集群节点上容器的生命周期管理，并向上为 Docker Daemon 提供 gRPC 接口。(说明：docker daemon(守护进程)：相当就是一个代理了；)

（两张图看那个都行）

当我们要创建一个容器的时候，现在 Docker Daemon 并不能直接帮我们创建了，而是请求 containerd 来创建一个容器，containerd 收到请求后，也并不会直接去操作容器，而是创建一个叫做 containerd-shim 的进程，让这个进程去操作容器，我们指定容器进程是需要一个父进程来做状态收集、维持 stdin 等 fd 打开等工作的，假如这个父进程就是 containerd，那如果 containerd 挂掉的话，整个宿主机上所有的容器都得退出了，而引入 containerd-shim 这个垫片就可以来规避这个问题了。

注：这里的containerd-shim 和下面的docker-shim不是一个东西，docker-shim是为了专门填充CRI和Docker Engine之间的空白的。

containerd-shim：可以翻译成垫片或者中间件。
Containerd-shim可以认为是托管我们容器父进程的一个工具；
每一个容器起起来之后，都会有一个conatinerd-shim存在；
containerd-shim主要是来控制你的容器的；

然后创建容器需要做一些 namespaces 和 cgroups 的配置，以及挂载 root 文件系统等操作，这些操作其实已经有了标准的规范，那就是 OCI（开放容器标准），runc 就是它的一个参考实现（Docker 被逼无耐将 libcontainer 捐献出来改名为 runc 的），这个标准其实就是一个文档，主要规定了容器镜像的结构、以及容器需要接收哪些操作指令，比如 create、start、stop、delete 等这些命令。runc 就可以按照这个 OCI 文档来创建一个符合规范的容器，既然是标准肯定就有其他 OCI 实现，比如 Kata、gVisor 这些容器运行时都是符合 OCI 标准的。(说明：runc就是一个二进制命令；)所以真正启动容器是通过 containerd-shim 去调用 runc 来启动容器的，runc 启动完容器后本身会直接退出，containerd-shim 则会成为容器进程的父进程, 负责收集容器进程的状态, 上报给 containerd, 并在容器中 pid 为 1 的进程退出后接管容器中的子进程进行清理, 确保不会出现僵尸进程。

而 Docker 将容器操作都迁移到 containerd 中去是因为当前做 Swarm，想要进军 PaaS 市场，做了这个架构切分，让 Docker Daemon 专门去负责上层的封装编排，当然后面的结果我们知道 Swarm 在 Kubernetes 面前是惨败，然后 Docker 公司就把 containerd 项目捐献给了 CNCF 基金会，这个也是现在的 Docker 架构。

2.CRI

我们知道 Kubernetes 提供了一个 CRI 的容器运行时接口，那么这个 CRI 到底是什么呢？这个其实也和 Docker 的发展密切相关的。(说明：所谓接口，就是它定义了一个行为，你只要按我的行为来实现了，那么我就能支持你；)

在 Kubernetes 早期的时候，当时 Docker 实在是太火了，Kubernetes 当然会先选择支持 Docker，而且是通过硬编码的方式直接调用 Docker API，后面随着 Docker 的不断发展以及 Google 的主导，出现了更多容器运行时，Kubernetes 为了支持更多更精简的容器运行时，Google 就和红帽主导推出了 CRI 标准，用于将 Kubernetes 平台和特定的容器运行时（当然主要是为了干掉 Docker）解耦。

CRI（Container Runtime Interface 容器运行时接口）本质上就是 Kubernetes 定义的一组与容器运行时进行交互的接口，所以只要实现了这套接口的容器运行时都可以对接到 Kubernetes 平台上来。不过 Kubernetes 推出 CRI 这套标准的时候还没有现在的统治地位，所以有一些容器运行时可能不会自身就去实现 CRI 接口，于是就有了 shim（垫片）， 一个 shim 的职责就是作为适配器将各种容器运行时本身的接口适配到 Kubernetes 的 CRI 接口上，其中 dockershim 就是 Kubernetes 对接 Docker 到 CRI 接口上的一个垫片实现。

Kubelet 通过 gRPC 框架与容器运行时或 shim 进行通信，其中 kubelet 作为客户端，CRI shim（也可能是容器运行时本身）作为服务器。

CRI 定义的 API 主要包括两个 gRPC 服务，ImageService 和 RuntimeService，ImageService 服务主要是拉取镜像、查看和删除镜像等操作，RuntimeService 则是用来管理 Pod 和容器的生命周期，以及与容器交互的调用（exec/attach/port-forward）等操作，可以通过 kubelet 中的标志 --container-runtime-endpoint 和 --image-service-endpoint 来配置这两个服务的套接字。

不过这里同样也有一个例外，那就是 Docker，由于 Docker 当时的江湖地位很高，Kubernetes 是直接内置了 dockershim 在 kubelet 中的，所以如果你使用的是 Docker 这种容器运行时的话是不需要单独去安装配置适配器之类的，当然这个举动似乎也麻痹了 Docker 公司。

现在如果我们使用的是 Docker 的话，当我们在 Kubernetes 中创建一个 Pod 的时候，首先就是 kubelet 通过 CRI 接口调用 dockershim，请求创建一个容器，kubelet 可以视作一个简单的 CRI Client, 而 dockershim 就是接收请求的 Server，不过他们都是在 kubelet 内置的。

dockershim 收到请求后, 转化成 Docker Daemon 能识别的请求, 发到 Docker Daemon 上请求创建一个容器，请求到了 Docker Daemon 后续就是 Docker 创建容器的流程了，去调用 containerd，然后创建 containerd-shim 进程，通过该进程去调用 runc 去真正创建容器。

其实我们仔细观察也不难发现使用 Docker 的话其实是调用链比较长的，真正容器相关的操作其实 containerd 就完全足够了，Docker 太过于复杂笨重了，当然 Docker 深受欢迎的很大一个原因就是提供了很多对用户操作比较友好的功能，但是对于 Kubernetes 来说压根不需要这些功能，因为都是通过接口去操作容器的，所以自然也就可以将容器运行时切换到 containerd 来。

切换到 containerd 可以消除掉中间环节，操作体验也和以前一样，但是由于直接用容器运行时调度容器，所以它们对 Docker 来说是不可见的。 因此，你以前用来检查这些容器的 Docker 工具就不能使用了。

你不能再使用 docker ps 或 docker inspect 命令来获取容器信息。由于不能列出容器，因此也不能获取日志、停止容器，甚至不能通过 docker exec 在容器中执行命令。

当然我们仍然可以下载镜像，或者用 docker build 命令构建镜像，但用 Docker 构建、下载的镜像，对于容器运行时和 Kubernetes，均不可见。为了在 Kubernetes 中使用，需要把镜像推送到镜像仓库中去。

从上图可以看出在 containerd 1.0 中，对 CRI 的适配是通过一个单独的 CRI-Containerd 进程来完成的，这是因为最开始 containerd 还会去适配其他的系统（比如 swarm），所以没有直接实现 CRI，所以这个对接工作就交给 CRI-Containerd 这个 shim 了。

然后到了 containerd 1.1 版本后就去掉了 CRI-Containerd 这个 shim，直接把适配逻辑作为插件的方式集成到了 containerd 主进程中，现在这样的调用就更加简洁了。

与此同时 Kubernetes 社区也做了一个专门用于 Kubernetes 的 CRI 运行时 CRI-O，直接兼容 CRI 和 OCI 规范。

这个方案和 containerd 的方案显然比默认的 dockershim 简洁很多，不过由于大部分用户都比较习惯使用 Docker，所以大家还是更喜欢使用 dockershim 方案。

说明：据说，cri-o的性能没有containerd好，并且containerd是已经在生产里经受住了考验，至少目前不推荐使用cri-o，建议使用containerd；

但是随着 CRI 方案的发展，以及其他容器运行时对 CRI 的支持越来越完善，Kubernetes 社区在2020年7月份就开始着手移除 dockershim 方案了：https://github.com/kubernetes/enhancements/tree/master/keps/sig-node/2221-remove-dockershim，现在的移除计划是在 1.20 版本中将 kubelet 中内置的 dockershim 代码分离，将内置的 dockershim 标记为维护模式，当然这个时候仍然还可以使用 dockershim，目标是在 1.23/1.24 版本发布没有 dockershim 的版本（代码还在，但是要默认支持开箱即用的 docker 需要自己构建 kubelet，会在某个宽限期过后从 kubelet 中删除内置的 dockershim 代码）。

那么这是否就意味这 Kubernetes 不再支持 Docker 了呢？当然不是的，这只是废弃了内置的 dockershim 功能而已，Docker 和其他容器运行时将一视同仁，不会单独对待内置支持，如果我们还想直接使用 Docker 这种容器运行时应该怎么办呢？可以将 dockershim 的功能单独提取出来独立维护一个 cri-dockerd 即可，就类似于 containerd 1.0 版本中提供的 CRI-Containerd，当然还有一种办法就是 Docker 官方社区将 CRI 接口内置到 Dockerd 中去实现。

但是我们也清楚 Dockerd 也是去直接调用的 Containerd，而 containerd 1.1 版本后就内置实现了 CRI，所以 Docker 也没必要再去单独实现 CRI 了，当 Kubernetes 不再内置支持开箱即用的 Docker 的以后，最好的方式当然也就是直接使用 Containerd 这种容器运行时，而且该容器运行时也已经经过了生产环境实践的，接下来我们就来学习下 Containerd 的使用。

3、kubernetes调用runtime的变化（补充）

（1）蜜月期：

最初期，kubernetes除了docker别无选择，所以kubernetes就内置了docker client，然后直接和docker Engine（或者是Docke服务端）直接相连。但是这种状态并没有持续太久，因为Google有野心，他不可能一辈子屈服于Docker，如果是这样做kubernetes就被Docker牵着鼻子走，因为docker一旦发生变化，kubernetes也需要发生一系列的改动。

（2）潜伏期

kubernetes不甘心受控于docker，因此kubernetes发明了CRI（容器运行时接口），所谓的CRI接口就是kubernetes给出个公开的接口，接口尽可能保持稳定，但后一些运行时通过这个接口加入到kubernetes中去，从而实现kubernetes和docker的集成。但是当时的docker如日中天，docker不可能主动上贴kubernetes，docker不可能遵守kubernetes的CRI，所以kubernetes开发了dockershim，并且是为了注定兼容docker而发明的，dockershim可以理解为是个中间件，或者是个“垫片”，起作用就是使得kubernetes连接docker而发明的，kubernetes连接dockershim，dockershim连接docker，而从达到kubernetes集成docker的目的

由于dockershim是集成在kubernetes里面的，因此安装kubernetes是会默认自动安装dockershim组件。

（其实到这一步，kubernetes还是在附着于docker。然后kubernetes开始采取措施了）

（3）采取手段：

看上图，kubernetes不在把dockershim集成到kubernetes里面了，而是把dockershim独立出来，dockershim是个独立的软件，和第二阶段不同的是，此时在安装kubernetes时，不会自动安装dockershim，虽然dockershim是独立的但是dockershim还是有kubernetes开发的。

（4）分道扬镳

在v1.24版本发布后，宣布彻底废除dockershim，换就句话说就是kubernetes不再只依附于docker了。此时的市场是容器编排技术就kubernetes一家独大，而容器技术去出现很多，比如：containerd，红帽的podman等等。因此kubernetes采取个狠毒的手段：kubernetes不在发布dockershim组件，那既然没有了dockershim，docker也就没办法通过CRI和kubernetes结合使用了，因此docker面对如此大的市场陷入了尴尬的场面。因此docker自身降低身段，自己发明了cri-dockerd组件，然后使用此组件并通过CRI主动贴近于kubernetes，从而和kubernetes集成使用。

因此在v1.24版本之前，我们部署kubernetes平台时，只需要把kubernetes装上，docker装上就行了，因为dockershim时安装k8s时自动安装的。

但是在v1.24版本之后想要部署k8s平台需要多安装个组件：cri-docker，就是需要安装k8s，docker，cri-dockerd才能搭建出kubernetes平台。不过cri-dockerd这个组件，docker官方帮我们开发出来了，我们需要在官网下载安装即可。

4、k8s将弃用docker！

在Kubernetes平台中，为了解决与容器运行时（例如Docker）集成问题，在早期社区推出了CRI（Container Runtime Interface，容器运行时接口），以支持更多的容器运行时。 当我们使用Docker作为容器运行时之后，架构是这样的，如图所示：

Kubernetes 计划弃用就是kubelet中dockershim。即 Kubernetes kubelet 实现中的组件之一，它能够与 Docker Engine 进行通信。

为什么这么做？
• Docker内部调用链比较复杂，多层封装和调用，导致性能降低、提升故障率、不易排查
• Docker还会在宿主机创建网络规则、存储卷，也带来了安全隐患

如何应对？
在未来的 Kubernetes 版本彻底放弃 Docker 支持之前，引入受支持的容器运行时。
除了docker之外，CRI还支持很多容器运行时，例如：
• containerd：containerd与Docker相兼容，相比Docker轻量很多，目前较为成熟
• cri-o，podman：都是红帽（RedHat）项目，目前红帽主推podman

QA：k8s不支持docker了

其实，现在docker已经在走标准的runc接口了。docker本身的问题：它有一个非常厚重的docker daemon,它本身的稳定性不是很好，所以现在既然它已经走了标准协议了，那么k8s所谓的不支持docker，其实，它可以通过，更轻量级，性能更好，更稳定的容器运行时，例如containerd来替换docker，即docker本身已经在k8s这里已经没有存在的必要了。

docker太重了，问题很多，切到containerd以后性能和稳定性都有提升；
k8s的价值就是在不影响业务的情况下，基础架构能升级了；使用docker，是Kubelet先通过dockershim调用docker,再通过docker调用containerd去运行镜像。使用Containerd，是由kubelet直接通过CRI调用containerd去运行镜像，相比docker，减少调用链，资源占用会也减少；相应的性能就提升了

3、总结
容器运行时是k8s底层的一个基础；

注意：关于容器运行时的一些概念很容易混淆，需要理清一点！

docker、docker daemon(守护进程)、containerd、containerd-shim(可以翻译成垫片或者中间件。)、runc(oci规范的一个实现)

libcontainer：Docker 被逼无耐将 libcontainer 捐献出来改名为 runc 的；

OCI、CRI–规范；

cri-docker-shim

符合CRI的容器运行时如下：
containerd：containerd与Docker相兼容，相比Docker轻量很多，目前较为成熟；部分大厂已经在向containerd这方面切了；
cri-o，podman：都是红帽（RedHat）项目，目前红帽主推podman；
kata；
gVisor；

6、V1.24之后安装kubernetes图解

以下三张图说明安装变化：

kubernetes-v1.20之前内置：

kubernetes-v1.20-24之间自行安装dockershim：

kubernetes-v1.24之后，需要自行安装cri-dockerd。

整体部署方案图：

图解：

有三种容器运行时去部署kubernetes：docker、containerd、cri-o（红帽研发）。

但是发现无论是使用docker运行时还是containerd运行时都需要contaierd组件，containerd组件是docker开源给CNCF了。

就是有一条：使用docker我们可以安装docker-clinet，所以我们可以使用docker命令，但是如果使用containerd由于没有安装docker-clinet我们不可以使用docker命令，因此不可维护容器。

同时可以发现：containerd和docker需要使用containerd和runc组件，而cri-o需要使用runc组件，而containerd和runc组件都是docker开源的，因此kubernetes只是表面脱离docker，其实内部还是离不开docker的影响。