K8S：kubectl陈述式、声明式资源管理及金丝雀部署

一.陈述式资源管理方法

1.陈述式资源管理概念

（1）kubernetes 集群管理集群资源的唯一入口是通过相应的方法调用 apiserver 的接口
（2）kubectl 是官方的CLI命令行工具，用于与 apiserver 进行通信，将用户在命令行输入的命令，组织并转化为 apiserver 能识别的信息，进而实现管理 k8s 各种资源的一种有效途径
（3）kubectl 的命令大全

kubectl --help
1

k8s中文文档：http://docs.kubernetes.org.cn/683.html
（4）对资源的增、删、查操作比较方便，但对改的不容易操作

2.基本信息查看

（1）查看版本信息

kubectl version
1

（2）查看资源对象简写

kubectl api-resources
1

（3）查看集群信息

kubectl cluster-info
1

（4）配置kubectl自动补全

source <(kubectl completion bash)
1

如想设置永久生效可以在配置文件中修改

vim /etc/bashrc
中最后一行添加：source <(kubectl completion bash)
保存退出
bash
即可
1
2
3
4
5

（5）node节点查看日志

journalctl -u kubelet -f
1

3.增、删、改、查、扩缩容相关操作

命令操作格式：

kubectl get  [-o wide|json|yaml] [-n namespace]
1

注释：

①获取资源的相关信息，-n 指定命令空间，-o 指定输出格式
②resource可以是具体资源名称，如pod nginx-xxx；也可以是资源类型，如pod；或者all(仅展示几种核心资源，并不完整)
③–all-namespaces 或 -A ：表示显示所有命令空间，
④–show-labels ：显示所有标签
⑤-l app ：仅显示标签为app的资源
⑥-l app=nginx ：仅显示包含app标签，且值为nginx的资源

（1）查看 master 节点状态

kubectl get componentstatuses
kubectl get cs
1
2

（2）查看命令空间

命令空间的作用：用于允许不同 命令空间 的 相同类型 的资源 重名的

kubectl get namespace
kubectl get ns
1
2

（3）查看default命名空间的所有资源

#不加-n默认的是default命名空间
kubectl get all [-n default]
1
2

（4）创建命名空间app

kubectl create ns app
kubectl get ns
1
2

（5）删除命名空间app

kubectl delete namespace app
kubectl get ns
1
2

（6）创建副本控制器

在命名空间kube-public 创建副本控制器（deployment）来启动Pod（nginx-wl）

kubectl create deployment nginx-wl --image=nginx  -n kube-public
#检查部署的状态和Pod数量
kubectl get deployment nginx-wl -n kube-public
#命名空间中的所有资源
kubectl get all -n kube-public
1
2
3
4
5

（7）描述某个资源的详细信息

kubectl create ns app
kubectl create deployment nginx-app --image=nginx  -n app
kubectl get pod -n app
kubectl describe pod nginx-app-d6ff45774-9kddk -n app
1
2
3
4

（8）查看命名空间app 中的pod 信息

kubectl get pods -n app
1

#在yaml文件中也可以查看pod信息
kubectl get pods -o yaml
1
2

#获取所有命名空间中具有特定标签的 Pod 列表
kubectl get pod -A -l app
1
2

#取所有命名空间中的 Pod 列表，并显示它们的标签信息
kubectl get pod --show-labels -A
1
2

#展示所有系统资源
kubectl get pod -n kube-system
1
2

#具体过滤查看某个资源状态
kubectl get pod -n kube-system | grep etcd-master01
1
2

（9）kubectl exec可以跨主机登录容器，docker exec 只能在容器所在主机上登录

kubectl exec -it nginx-wl-67f75b9476-mbdkc bash -n app
1

（10）删除（重启）pod资源

#由于存在deployment/rc之类的副本控制器，删除pod也会重新拉起来
kubectl delete pod nginx-wl-67f75b9476-mbdkc -n app
1
2

（11）强行删除pod

#若pod无法删除，总是处于terminate状态，则要强行删除pod
#格式
kubectl delete pod  -n  --force --grace-period=0
1
2
3

注释：

grace-period表示过渡存活期，默认30s，在删除pod之前允许POD慢慢终止其上的容器进程，从而优雅退出，0表示立即终止pod

kubectl delete pod nginx-wl-67f75b9476-9kddk -n app --force --grace-period=0
1

（12）扩缩容

扩容不会影响业务，缩容时等业务结束会进行缩容

kubectl scale deployment nginx-wl --replicas=6 -n kube-public	# 扩容
kubectl scale deployment nginx-wl --replicas=2 -n kube-public	# 缩容
1
2

（13）删除副本控制器

kubectl delete deployment nginx-wl -n kube-public
或
kubectl delete deployment/nginx-wl -n kube-public
1
2
3

4.项目的生命周期：创建——发布——更新——回滚——删除

（1）创建——kubectl create命令

创建并运行一个或多个容器镜像。
创建一个deployment 或job 来管理容器。

kubectl create --help
1

#启动 nginx 实例，暴露容器端口 80，设置副本数 3
kubectl create deployment nginx --image=nginx:1.14 --port=80 --replicas=3
1
2

#查看创建信息
kubectl get pods
kubectl get all
1
2
3

（2）发布——kubectl expose命令

将资源暴露为新的 Service。

kubectl expose --help
1

#为deployment的nginx创建service，并通过Service的80端口转发至容器的80端口上，Service的名称为nginx-service，类型为NodePort

kubectl expose deployment nginx --port=80 --target-port=80 --name=nginx-service --type=NodePort

kubectl get svc
1
2
3
4
5

注释：

Kubernetes 之所以需要 Service，一方面是因为 Pod 的 IP 不是固定的（Pod可能会重建），另一方面则是因为一组 Pod 实例之间总会有负载均衡的需求。
Service 通过 Label Selector 实现的对一组的 Pod 的访问。
对于容器应用而言，Kubernetes 提供了基于 VIP（虚拟IP） 的网桥的方式访问 Service，再由 Service 重定向到相应的 Pod。

• service 的 type 类型：
  ClusterIP：提供一个集群内部的虚拟IP以供Pod访问（service默认类型)
• NodePort：在每个Node上打开一个端口以供外部访问，Kubernetes将会在每个Node上打开一个端口并且每个Node的端口都是一样的，通过 NodeIp:NodePort 的方式Kubernetes集群外部的程序可以访问Service。
  每个端口只能是一种服务，端口范围只能是 30000-32767。

注：生产环境中不会使用，测试使用，每个服务对应的端口多，配置端口会冲突

• LoadBalancer：通过设置LoadBalancer映射到云服务商提供的LoadBalancer地址。这种用法仅用于在公有云服务提供商的云平台上设置Service的场景。通过外部的负载均衡器来访问，通常在云平台部署LoadBalancer还需要额外的费用。
  在service提交后，Kubernetes就会调用CloudProvider在公有云上为你创建一个负载均衡服务，并且把被代理的Pod的IP地址配置给负载均衡服务做后端。

• externalName：将service名称映射到一个DNS域名上，相当于DNS服务的CNAME记录，用于让Pod去访问集群外部的资源，它本身没有绑定任何的资源。

• headless clusterIP 无头模式 ： 无service ip，只有名称没有IP地址———使用名称来访问

#查看pod网络状态详细信息和 Service暴露的端口
kubectl get pods,svc -o wide
1
2

#查看关联后端的节点
kubectl get endpoints
1
2

#查看 service 的描述信息
kubectl describe svc nginx
1
2

#在 node01 节点上操作，查看负载均衡端口
yum install ipvsadm -y
ipvsadm -Ln
1
2
3

#外部访问的IP和端口
TCP 172.17.0.1:30001：对外提供服务的 IP 地址为 172.17.0.1，端口为 30001。
TCP 172.17.0.1:31128：对外提供服务的 IP 地址为 172.17.0.1，端口为 31128。
TCP 192.168.122.1:30001：对外提供服务的 IP 地址为 192.168.122.1，端口为 30001。
TCP 192.168.122.1:31128：对外提供服务的 IP 地址为 192.168.122.1，端口为 31128。
TCP 192.168.198.12:30001：对外提供服务的 IP 地址为 192.168.198.12，端口为 30001。
TCP 192.168.198.12:31128：对外提供服务的 IP 地址为 192.168.198.12，端口为 31128。
TCP 10.96.106.130:443：对外提供服务的 IP 地址为 10.96.106.130，端口为 443。
TCP 10.96.116.27:80：对外提供服务的 IP 地址为 10.96.116.27，端口为 80。
TCP 10.96.119.158:8000：对外提供服务的 IP 地址为 10.96.119.158，端口为 8000。
TCP 10.96.165.162:30000：对外提供服务的 IP 地址为 10.96.165.162，端口为 30000。
TCP 10.96.213.1:80：对外提供服务的 IP 地址为 10.96.213.1，端口为 80。
1
2
3
4
5
6
7
8
9
10
11
12

#pod集群组内部访问的IP和端口
其他的 IP 地址和端口可以视为集群组内部访问使用的。
1
2

#在 node02 节点上操作，同样方式查看负载均衡端口
yum install ipvsadm -y
ipvsadm -Ln
1
2
3

可以根据IP地址进行分类：

外部访问的IP和端口：

• 所有以 192.168 和 10. 开头的IP地址及其相应的端口。

内部访问的IP和端口：

• 所有以 127.0.0.1 和 172.17.0.1 开头的IP地址及其相应的端口。
• 所有以 10.244 开头的IP地址及其相应的端口，这些IP地址是 Kubernetes 集群中 Pod 的IP地址。

curl 192.168.198.12:31231
1

#在master01操作 查看访问日志
kubectl logs nginx-deployment-6cff9b4c45-l892b
1
2

（3）更新——kubectl set命令

#更改现有应用资源一些信息。
kubectl set --help
1
2

#获取修改模板
kubectl set image --help
1
2

#查看当前 nginx 的版本号
curl -I http://192.168.198.12:31231
curl -I http://192.168.198.11:31231
1
2
3

#将nginx 版本更新为 1.15 版本
kubectl set image deployment/nginx nginx=nginx:1.15
1
2

#处于动态监听 pod 状态，由于使用的是滚动更新方式，所以会先生成一个新的pod，然后删除一个旧的pod，往后依次类推
kubectl get pods -w
1
2

#再看更新好后的 Pod 的 ip 会改变
kubectl get pods -o wide
1
2

#再看 nginx 的版本号
curl -I http://192.168.198.12:31231
curl -I http://192.168.198.11:31231
1
2
3

（4）回滚——kubectl rollout 命令

#对资源进行回滚管理
kubectl rollout --help
1
2

v!

#查看历史版本
kubectl rollout history deployment/nginx 
1
2

#执行回滚到上一个版本
kubectl rollout undo deployment/nginx
1
2

#执行回滚到指定版本
kubectl rollout undo deployment/nginx --to-revision=1
1
2

#检查回滚状态
kubectl rollout status deployment/nginx
1
2

（5）删除——kubectl delete命令

#删除副本控制器
kubectl delete deployment/nginx
1
2

#删除service
kubectl delete svc/nginx-service

kubectl get all
1
2
3
4

5.项目发布方式

（1）蓝绿发布

①概念：首先将所有的应用服务集群为蓝绿两组，首先将绿组的集群从负载均衡中移除，蓝组则继续对用户提供服务。此时移除的绿组进行服务的升级，等升级完毕后，再从新将绿组接入到负载均衡中为用户提供服务。

再把蓝组进行移除，进行服务升级，升级完毕后再接入到负载均衡的集群中。此时整个项目集群得进行升级完毕，我们将此称为蓝绿发布

②特点：如果出问题，影响范围较大；发布策略简单；用户无感知，平滑过渡；升级/回滚速度快。

③缺点：需要准备正常业务使用资源的两倍以上服务器，防止升级期间单组无法承载业务突发；短时间内浪费一定资源成本；基础设施无改动，增大升级稳定性。

蓝绿发布在早期物理服务器时代，还是比较昂贵的，由于云计算普及，成本也大大降低

总：两套设备，进行新旧版本的切换
用户无感、业务稳定
要消耗2倍资源，成本高
1
2
3

（2）灰度发布 /金丝雀发布

①概念：灰度发布又叫金丝雀发布，灰度是指在黑与白之间，能够平滑过渡的一种发布方式

该过程类似于游戏中的体验服，首先会让一部分用户进行使用测试，如果没什么问题后，会逐步面积推广，彻底替代旧的版本

②特点：保证整体系统稳定性，在初始灰度的时候就可以发现、调整问题，影响范围可控；新功能逐步评估性能，稳定性和健康状况，如果出问题影响范围很小，相对用户体验也少；用户无感知，平滑过渡。

③缺点：自动化要求高

（3）滚动发布

①概念：滚动发布就是刚刚我们在k8s中使用的项目服务更新方式。滚动发布是指每次只升级一个或多个服务，升级完成后加入生产环境，不断执行这个过程，直到集群中的全部旧版本升级新版本。

②特点：用户无感知，平滑过渡；节约资源。

③缺点：部署时间慢，取决于每阶段更新时间；发布策略较复杂；无法确定OK的环境，不易回滚。

总：
蓝绿发布：两套环境交替升级，旧版本保留一定时间便于回滚。

灰度发布 /金丝雀发布：按照负载均衡部署方式，先更新一部分的pod，然后暂停更新，安排一小部分用户的流量去访问这部分的新的pod进行测试，当测试没问题后再扩大测试比例查到全部更新，根据比例将老版本升级，例如80%用户访问是老版本，20%用户访问是新版本。

滚动发布：按照比例一部分一部分的滚动更新，k8s默认的更新机制，无创建一定比例的新pod，再删除一定的旧的pod，按批次停止老版本实例，启动新版本实例

6.金丝雀发布（Canary Release）

（1）概念

Deployment控制器支持自定义控制更新过程中的滚动节奏，如“暂停(pause)”或“继续(resume)”更新操作。比如等待第一批新的Pod资源创建完成后立即暂停更新过程，此时，仅存在一部分新版本的应用，主体部分还是旧的版本。然后，再筛选一小部分的用户请求路由到新版本的Pod应用，继续观察能否稳定地按期望的方式运行。确定没问题之后再继续完成余下的Pod资源滚动更新，否则立即回滚更新操作。这就是所谓的金丝雀发布。

总：会有一个对外暴露测试，没有问题再更新剩余的，更新一个对外开放一个

（2）相关架构理念及金丝雀发布部署操作

#删除之前的pod
kubectl delete deployments.apps nginx-deployment
kubectl get pod
1
2
3

#创建新的资源
kubectl create deployment nginx-summer --image=nginx:1.14 --port=80 --replicas=3
kubectl get pod
1
2
3

#查看详细信息
kubectl describe pod
1
2

#另开一个终端进行实时跟踪
kubectl get pod -w
1
2

#在原本的终端更新资源类型
kubectl  set image deployment nginx-summer nginx=nginx:1.15 && kubectl rollout pause deployment nginx-summer
kubectl get pod
kubectl get all
1
2
3
4

#监控更新的过程，可以看到已经新增了一个资源，但是并未按照预期的状态去删除一个旧的资源，就是因为使用了pause暂停命令
kubectl get pods -w 
1
2

#查看详细地址
kubectl get pod -owide
1
2

#查看连接并查看版本
curl -I 10.244.1.18
curl -I 10.244.2.11
1
2
3

这里是将更新的作为测试访问，如何访问以下操作：

#对端口进行外放访问设置
kubectl expose deployment nginx-summer --port=80 --target-port=80 --type=NodePort
#查看设置的内容
kubectl get svc
1
2
3
4

#浏览器访问测试
http://192.168.198.11:32605/
1
2

#查看详细信息
kubectl describe svc nginx-summer 

1
2
3

#查看 Kubernetes 集群中的服务端点信息
kubectl get endpoints
1
2

#详细信息
kubectl describe endpoints nginx-summer
1
2

#金丝雀隔离新的pod测试新的版本是否有问题，给pod做隔离，需要单独的标签
#创建新的pod并给端口
kubectl expose deployment nginx-summer --name=new-nginx-nginx-summer --port=80 --target-port=80 --type=NodePort
kubectl get svc
kubectl get endpoints
1
2
3
4
5

#编辑服务对象
kubectl edit svc new-nginx-nginx-summer
复制里面的文件内容编辑新的yaml文件
1
2
3

#获取 Pod 的列表
kubectl get pod --show-labels
kubectl describe pod nginx-summer-64dcd8d75b-lg2l6 
#编辑yaml文件
vim new-nginx-nginx-summer.yaml
#粘贴并加以修改，做标签分离
1
2
3
4
5
6

#删除新的标签
kubectl delete svc new-nginx-nginx-summer 
#取当前集群中所有服务对象的列表
kubectl get svc
#创建或更新服务对象
kubectl apply -f new-nginx-nginx-summer.yaml
#再次被执行，目的是获取已经更新后的服务对象列表
kubectl get svc
1
2
3
4
5
6
7
8

#访问测试
curl -I 10.96.13.243
1
2

#复制旧的yaml配置文件，复制apiVersion: v1——————  type: NodePort
kubectl edit svc nginx-summer 
#查看标签，复制标签
kubectl get pod --show-labels
1
2
3
4

#编辑配置文件，将标签粘贴
vim nginx-summer.yaml
1
2

#删除现有的
kubectl delete svc nginx-summer 
#查看已删除的
kubectl get svc
#再次新创建
kubectl apply -f nginx-summer.yaml
#查看创建的
kubectl get svc
1
2
3
4
5
6
7
8

#获取当前集群中所有的终结点
kubectl get endpoints
1
2

#获取当前集群中所有的 Pod 列表
kubectl get pod -owide
#登录新的pod测试
kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash


1
2
3
4
5
6

#测试访问
kubectl exec -it nginx-summer-64dcd8d75b-lg2l6 bash
cd /usr/share/nginx/html/
echo "this is blue-update" > index.html
exit

1
2
3
4
5
6

#查看端口，并且浏览器访问
kubectl get svc
#此新的就是给测试更新玩家使用
http://192.168.198.11:32234/
1
2
3
4

#登录旧1的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-7x28n bash
echo "this is web1" >> index.html
exit
1
2
3
4
5

#登录旧2的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-jlwhm bash
cd /usr/share/nginx/html/
echo "this is web2" > index.html
exit
1
2
3
4
5
6

#登录旧3的pod中测试
kubectl get pod
kubectl exec -it nginx-summer-7775bc9d99-xqxmv bash
echo "this is web3" > /usr/share/nginx/html/index.html
exit
1
2
3
4
5

kubectl get svc
#访问网页，等待刷新变化
http://192.168.198.11:32605/

1
2
3
4

#查看更新状态信息
kubectl rollout status  deployment nginx-summer
#确保更新的pod没问题了，继续更新
kubectl rollout resume deployment nginx-summer
1
2
3
4

#查看最后的更新情况
kubectl get pods -w 
1
2

#查看端口及地址
kubectl get svc
#访问测试
curl -I 192.168.198.11:32234
curl -I 10.96.13.243
1
2
3
4
5

> 总：
> 金丝雀发布的声明式管理方法：
> create/apply 两个的区别：
> 当yaml配置文件发送改动后，使用以下两个更新的过程：
> create：是一次性的，先delete删除原有的资源再通过yaml’文件再创建。
> apply：创建资源没办法更新的，如果想更新，可以直接再执行kubectl apply -f 更新或先修改在删除，最后再创建更新。
1
2
3
4
5
6

二.声明式管理方法

1.声明式管理方法概念

（1）适合于对资源的修改操作

（2）声明式资源管理方法依赖于资源配置清单文件对资源进行管理
资源配置清单文件有两种格式：yaml（人性化，易读），json（易于api接口解析）
（3）对资源的管理，是通过事先定义在统一资源配置清单内，再通过陈述式命令应用到k8s集群里
（4）语法格式：kubectl create/apply/delete -f xxxx.yaml

2.相关操作

（1）查看资源配置清单

kubectl get deployment nginx -o yaml
1

（2）解释资源配置清单

kubectl explain deployment.metadata

kubectl get service nginx -o yaml
kubectl explain service.metadata
1
2
3
4

（3）修改资源配置清单并应用

①离线修改：
修改yaml文件，并用 kubectl apply -f xxxx.yaml 文件使之生效
注意：当apply不生效时，先使用delete清除资源，再apply创建资源

kubectl get service nginx -o yaml > nginx-svc.yaml
vim nginx-svc.yaml				#修改port: 8080
kubectl delete -f nginx-svc.yaml
kubectl apply -f nginx-svc.yaml
kubectl get svc
1
2
3
4
5

②在线修改：

直接使用 kubectl edit service nginx 在线编辑资源配置清单并保存退出即时生效（如port: 888）
1

PS：此修改方式不会对yaml文件内容修改

（4）删除资源配置清单

陈述式删除：
kubectl delete service nginx
1
2

声明式删除：
kubectl delete -f nginx-svc.yaml
1
2

总

1.k8s管理操作分为两大类

（1）陈述式资源管理方法:通过命令方式语句来实现对资源的管理一条命令来实现

（2）声明式资源管理方法:我们之前来通过yaml文件
资源现配置所以在的一个yaml和josn（配置文件当中)

2.k8s管理操作对比

（1）陈述式资源管理方法
–主要依赖命令行工具kubectl进行管理
优点
可以满足90%以上的使用场景
对资源的增、删、查操作比较容易

缺点
命令冗长，复杂，难以记忆
特定场景下，无法实现管理需求
对资源的修改麻烦，需要patch来使用json串更改。

（2）声明式资源管理方法
主要依赖统一资源配置清单进行管理

（3）GUI式资源管理方法
主要依赖图形化操作界面进行管理

3.相关命令总结

（1）删除pod

kubectl delete pod
1

（2）删除副本

kubectl delete deployment
1

（3）创建副本

kubectl create deployment
1

（4）扩容、缩容

kubectl scale --replicas
1

（5）创建一个自主式/静态pod

注意就是创建一个pod，这个 pod一旦挂了就不会再node上拉起这个就是静态pod，他不是存在etcd ,他是在存储nodk当中——相当于自营

kubectl create deployment :用于创建deployment控制管理器的pod

注意:这种pod是再控制器管理当中，举列比如pod 运行在node01上控制器会保证pod的数量，如果node1挂了，他会在node02或者其他node节点重新拉起pod的数量——相当于有人管

（6）查看

kubectl get pod, ns,svc
1

（7）查看命名空间资源

kubectl get all -n + 命名空间名
1

（8）跨主机登录容器中

kubectl get pods -n +命名空间名
kubectl exec -it +前条查询到的服务pod信息名 bash -n app
1
2

（9）查看资源的详细信息

kubectl describe svc + 服务（nginx）
1

（10）查看pod中容器中的日志

kubectl logs +pod名
1