k8s的入门和项目部署

1、k8s简介

1.1 k8s是什么

kubernetes，希腊文中舵手的意思，简称K8s，是Google开源的容器编排引擎。在Docker容器引擎的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。

1.2 k8s能做什么

目前大型微服务架构的项目，动辄几十上百个服务，这些服务需要部署到N个服务器上，如何实现快速部署和管理这么多的服务呢？

k8s的功能：

1. 自动化部署：定义好部署文件，可以自动完成大量项目的部署
2. 智能扩缩容：根据容器运行的情况，自动决定是否增加或减少部署的节点数量
3. 自我恢复：节点崩溃后，自动将流量迁移到其他节点，等节点恢复后再使用
4. 负载均衡：通过网络组件可以将流量分发到集群中的每个服务
5. 滚动升降级：先对一部分服务升降机，完成后再更新另一部分服务，保证服务可用性。

1.3 k8s的核心组件

k8s的组件非常多，架构也比较复杂，这里只介绍主要的一些：

• Master

  K8S集群的控制中心，它负责管理整个集群的状态和配置

  包含：

  • API Server

    提供了K8S集群的REST API，用于管理和控制集群中的资源

  • Scheduler

    负责将Pod调度到合适的节点上运行

  • Controller Manager

    负责管理K8S集群中的控制器，如Replication Controller、Deployment Controller等

  • etcd

    分布式键值存储系统，用于存储K8S集群的状态和配置信息

• Node

  Node节点是K8S集群中的工作节点，它负责运行容器化应用程序

  包含：

  • Kubelet

    负责管理节点上的Pod和容器，与Master节点通信以获取Pod的调度信息

  • Kube Proxy

    负责为Pod提供网络代理和负载均衡功能

  • Container Runtime

    负责运行容器，如Docker、rkt等

  • Pod

    K8S中最小的可部署单元，它包含一个或多个容器，这些容器共享同一个网络命名空间和存储卷。Pod可以在同一个节点上运行，也可以跨节点运行

• Service

  K8S中的网络抽象，它为一组Pod提供了一个稳定的IP地址和DNS名称，使得其他应用程序可以通过该IP地址和DNS名称访问这组Pod

• Volume

  K8S中的存储抽象，它为Pod提供了持久化存储，可以将数据存储在本地磁盘、网络存储或云存储中

• Namespace

  K8S中的逻辑隔离单元，它将集群中的资源划分为多个虚拟集群，以便不同的用户或应用程序可以共享同一个集群，但彼此之间互相隔离

2、安装k8s

下面使用kubeadm来搭建一个入门级的k8s环境

2.1 安装环境

基础的软件环境

最基本的集群组成，一个主机，两个节点

2.2 前期配置

下面的配置现在master上完成，后克隆到节点上

1）修改hosts文件

vi /etc/hosts
1

添加内容

192.168.223.188 master
192.168.223.177 node1
192.168.223.166 node2
1
2
3

2）修改主机名

vi /etc/hostname
1

参考hosts配置修改为master或node1、node2

3）时间同步

systemctl start chronyd
systemctl enable chronyd
date 
1
2
3

4）禁用防火墙

systemctl stop firewalld
systemctl disable firewalld
1
2

5）关闭selinux服务

sed -i 's/enforcing/disabled/' /etc/selinux/config
1

6）禁用swap分区

vi /etc/fstab 
#注释掉下面的设置
/dev/mapper/centos-swap swap
1
2
3

7）添加网桥过滤和地址转发功能

cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

#然后执行
sysctl --system  
1
2
3
4
5
6
7
8

2.3 安装docker

1）安装docker依赖

yum install -y yum-utils

1
2

2）设置docker仓库镜像地址

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

1
2

3）安装docker

yum install -y docker-ce docker-ce-cli containerd.io

1
2

4）设置docker开机启动

systemctl enable docker && systemctl start docker

1
2

5）配置docker 镜像加速器

# 创建文件
vi /etc/docker/daemon.json
# 修改内容
{
        "exec-opts": ["native.cgroupdriver=systemd"],
        "registry-mirrors": [
                        "https://registry.docker-cn.com",
                        "http://hub-mirror.c.163.com",
                        "https://docker.mirrors.ustc.edu.cn"
        ]
}

1
2
3
4
5
6
7
8
9
10
11
12

6） 重启docker

systemctl restart docker

1
2

2.4 安装k8s集群

1） kubernetes镜像切换成国内源

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

1
2
3
4
5
6
7
8
9
10

2）安装指定版本 kubeadm，kubelet和kubectl

yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0

1
2

3）设置kubelet开机启动

systemctl enable kubelet

1
2

到这里master上基本的k8s配置完成了，然后将master克隆出两个节点机node1、node2

分别修改IP和hostname

4）master主机上执行k8s初始化

kubeadm init \
  --apiserver-advertise-address=192.168.7.188 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.23.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

1
2
3
4
5
6
7
8

参数说明

–apiserver-advertise-address #集群通告地址(master 机器IP)
–image-repository # 指定阿里云镜像仓库地址
–kubernetes-version #K8s版本，与上面安装的一致
–service-cidr #集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr #Pod网络

1
2
3
4
5
6

5）初始化完成后，会出现提示，将提示复制下来分别在master和node上执行

在master节点创建必要文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

1
2
3
4

在node节点上执行上面的提示，加入集群

kubeadm join 192.168.7.188:6443 --token uxe262.qnvanyd72ojy5c3x \
        --discovery-token-ca-cert-hash sha256:e3c90c7cc1bab7ccd4093a7d7a9a2293ef17e1c4a477bf29b8ec4bf45e662f10 

1
2
3

6） 查看集群

发现node状态是NotReady，因为还没有安装网络

kubectl get nodes

1
2

2.5 安装CNI网络

1）创建kube-flannel.yml

把“net-conf.json”中的Network 改成刚才 kubeadm 的参数 --pod-network-cidr 设置的地址段

---
kind: Namespace
apiVersion: v1
metadata:
  name: kube-flannel
  labels:
    pod-security.kubernetes.io/enforce: privileged
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
rules:
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-flannel
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: flannel
  namespace: kube-flannel
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-flannel
  labels:
    tier: node
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-flannel
  labels:
    tier: node
    app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/os
                operator: In
                values:
                - linux
      hostNetwork: true
      priorityClassName: system-node-critical
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni-plugin
       #image: flannelcni/flannel-cni-plugin:v1.1.0 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.0
        command:
        - cp
        args:
        - -f
        - /flannel
        - /opt/cni/bin/flannel
        volumeMounts:
        - name: cni-plugin
          mountPath: /opt/cni/bin
      - name: install-cni
       #image: flannelcni/flannel:v0.19.2 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel:v0.19.2
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
       #image: flannelcni/flannel:v0.19.2 for ppc64le and mips64le (dockerhub limitations may apply)
        image: docker.io/rancher/mirrored-flannelcni-flannel:v0.19.2
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
          limits:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: false
          capabilities:
            add: ["NET_ADMIN", "NET_RAW"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: EVENT_QUEUE_DEPTH
          value: "5000"
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
        - name: xtables-lock
          mountPath: /run/xtables.lock
      volumes:
      - name: run
        hostPath:
          path: /run/flannel
      - name: cni-plugin
        hostPath:
          path: /opt/cni/bin
      - name: cni
        hostPath:
          path: /etc/cni/net.d
      - name: flannel-cfg
        configMap:
          name: kube-flannel-cfg
      - name: xtables-lock
        hostPath:
          path: /run/xtables.lock
          type: FileOrCreate

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205

2）执行配置文件

kubectl apply -f kube-flannel.yml

1
2

3）查看集群状态

# 查看节点
kubectl get nodes
# 查看pod系统配置
kubectl get pods -n kube-system

1
2
3
4
5

2.6 部署nginx服务

这里部署简单的nginx服务作为k8s的测试

1） 如果没有nginx，先拉取镜像

docker pull nginx

1
2

2） 创建pod部署

kubectl create deployment nginx --image=nginx

1
2

3） 查看pod资源

kubectl get pods -o wide

1
2

状态是Running代表pod正常运行

4） 暴露端口提供服务

kubectl expose deployment nginx --port=80 --type=NodePort

1
2

5）查看服务部署的ip和端口

kubectl get svc

1
2

可以查看到k8s暴露出的端口是31501，使用此端口就可以访问nginx了

出现错误

1） pod创建后一直出现ContainerCreating状态

2）使用describe查看后出现：network: open /run/flannel/subnet.env: no such file or directory

#查看pod执行情况
kubectl describe pod pod名称

1
2
3

3）在各个节点上创建/run/flannel/subnet.env

FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

1
2
3
4
5

4） 删除deployment，重新部署

kubectl delete deployment xxx

1
2

3、k8s部署springboot

这里部署一个Java项目，使用k8s自动部署到两台机器上做集群

1） 创建简单的SpringBoot项目，打包成镜像部署到docker中，具体可以参考

https://blog.csdn.net/u013343114/article/details/112179420

2） 在阿里云中创建个人镜像仓库，在docker中登录仓库，推送镜像

https://cr.console.aliyun.com/

# 登录阿里云仓库
docker login --username=账号 registry.cn-hangzhou.aliyuncs.com
# 给镜像打tag
docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/命名空间/仓库名:[镜像版本号]
# 推送镜像到仓库中
docker push registry.cn-hangzhou.aliyuncs.com/命名空间/仓库名:[镜像版本号]

1
2
3
4
5
6
7

3） 在k8s中创建秘钥，名为demo-docker-secret

kubectl create secret docker-registry demo-docker-secret --docker-server=registry.cn-hangzhou.aliyuncs.com --docker-username=用户名 --docker-password=登录密码

1
2

4） 自动生成部署文件

kubectl create deployment k8sdemo --image=registry.cn-hangzhou.aliyuncs.com/chenheng666/repo01:1.0 --dry-run=client -o yaml > demo-k8s.yaml

1
2

4） 修改demo-k8s.yaml中的副本replicas为2，添加imagePullSecrets秘钥

apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: k8sdemo
  name: k8sdemo
spec:
  replicas: 2
  selector:
    matchLabels:
      app: k8sdemo
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: k8sdemo
    spec:
      imagePullSecrets:
      - name: demo-docker-secret
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/chenheng666/repo01:1.0
        name: repo01
        resources: {}
status: {}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

5） 导入部署文件，创建部署

kubectl apply -f demo-k8s.yaml

1
2

6） 暴露服务端口

kubectl expose deploy k8sdemo --port=8088 --target-port=8088 --type=NodePort

1
2

7） 查看pod

可以看到项目已经部署到两台node上了

kubectl get pods -o wide

1
2

8）查看端口

kubectl get svc

1
2

9） 使用node1和node2都可以访问接口