• Kubernetes(K8S)集群部署

    目录

    一、创建3台虚拟机

    二、为每台虚拟机安装Docker

    三、安装kubelet

    3.1 安装要求

    3.2 为每台服务器完成前置设置

    3.3 为每台服务器安装kubelet、kubeadm、kubectl

    四、使用kubeadm引导集群

    4.1 master服务器

    4.2 node1、node2服务器

    4.3 初始化主节点

    4.4 work节点加入集群

    五、token过期怎么办？

    六、安装可视化界面dashboard

    6.1 安装

    6.2 暴露端口

    6.3 访问web界面

    6.4 创建访问账号

    6.5 生成令牌

    6.6 登录

    七、写在后面的话

    一、创建3台虚拟机

    具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。

    注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）

    安装VMware虚拟机、Linux系统（CentOS7）_何苏三月的博客-CSDN博客

    克隆Linux系统（centos）_linux克隆_何苏三月的博客-CSDN博客

     

    二、为每台虚拟机安装Docker

    请参考：Docker安装、常见命令、安装常见容器（Mysql、Redis等）_docker redis 容器_何苏三月的博客-CSDN博客

    教程中安装docker的命令

    yum install docker-ce docker-ce-cli containerd.io

    原来是默认安装最新版，这里需要指定一下版本，目的是保障后续安装k8s不出问题：

    yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7  containerd.io-1.4.6

    其他步骤不变。

    三、安装kubelet

    3.1 安装要求

    • 一台兼容的 Linux 主机。Kubernetes 项目为基于 Debian 和 Red Hat 的 Linux 发行版以及一些不提供包管理器的发行版提供通用的指令。

    • 每台机器 2 GB 或更多的 RAM （如果少于这个数字将会影响你应用的运行内存)

    • 2 CPU 核或更多

    • 集群中的所有机器的网络彼此均能相互连接(公网和内网都可以)

      • 设置防火墙放行规则

    • 节点之中不可以有重复的主机名、MAC 地址或 product_uuid。请参见这里了解更多详细信息。

      • 设置不同hostname

    • 开启机器上的某些端口。请参见这里 了解更多详细信息。

      • ​​​​​​​内网互信

    • 禁用交换分区。为了保证 kubelet 正常工作，你 必须 禁用交换分区。

      • ​​​​​​​永久关闭

    3.2 为每台服务器完成前置设置

    1. #各个机器设置自己的域名
    2. hostnamectl set-hostname xxxx
    3.  
    4.  
    5. # 将 SELinux 设置为 permissive 模式（相当于将其禁用）
    6. sudo setenforce 0
    7. sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
    8.  
    9. #关闭swap
    10. swapoff -a  
    11. sed -ri 's/.*swap.*/#&/' /etc/fstab
    12.  
    13. #允许 iptables 检查桥接流量
    14. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
    15. br_netfilter
    16. EOF
    17.  
    18. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
    19. net.bridge.bridge-nf-call-ip6tables = 1
    20. net.bridge.bridge-nf-call-iptables = 1
    21. EOF
    22. sudo sysctl --system

    3.3 为每台服务器安装kubelet、kubeadm、kubectl

    kubelet - “厂长”

    kubectl - 程序员敲命令行的命令窗

    kubeadm - 引导创建集群的

    1. # 1.先配置K8S去哪儿下载的地址信息
    2. cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    3. [kubernetes]
    4. name=Kubernetes
    5. baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    6. enabled=1
    7. gpgcheck=0
    8. repo_gpgcheck=0
    9. gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
    10.    http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    11. exclude=kubelet kubeadm kubectl
    12. EOF
    13. # 2. 安装
    14. sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes
    15. # 3. 启动kubelet
    16. sudo systemctl enable --now kubelet

    💡systemctl status kubelet 查看状态会发现，kubelet 现在每隔几秒就会重启，因为它陷入了一个等待 kubeadm 指令的死循环。这是正常现象不用管！

    四、使用kubeadm引导集群

    4.1 master服务器

    下载各个机器需要的镜像，以下只需要在master机器上执行：

    1. # 1. 定义一个for循环，需要的东西下载
    2. sudo tee ./images.sh <<-'EOF'
    3. #!/bin/bash
    4. images=(
    5. kube-apiserver:v1.20.9
    6. kube-proxy:v1.20.9
    7. kube-controller-manager:v1.20.9
    8. kube-scheduler:v1.20.9
    9. coredns:1.7.0
    10. etcd:3.4.13-0
    11. pause:3.2
    12. )
    13. for imageName in ${images[@]} ; do
    14. docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName
    15. done
    16. EOF
    17. # 2. 赋予权限，让它下载这些东西
    18. chmod +x ./images.sh && ./images.sh

    4.2 node1、node2服务器

    从图上可以知道，从节点也需要安装kube-proxy。我们可以只下载这个镜像，当然了为了避免出现意外，我们也可以都下载下来。

    方法完全参考4.1

    4.3 初始化主节点

    1.首先给所有的服务器都添加一下k8s110这台服务器的域名映射

    1. #所有机器添加master域名映射，以下需要修改为自己的内网ip地址
    2. echo "192.168.37.110  cluster-endpoint" >> /etc/hosts

    2.然后只在k8s110这台服务器上执行主节点初始化过程：

    1. #主节点初始化
    2. kubeadm init \
    3. --apiserver-advertise-address=192.168.37.110 \
    4. --control-plane-endpoint=cluster-endpoint \
    5. --image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \
    6. --kubernetes-version v1.20.9 \
    7. --service-cidr=10.96.0.0/16 \
    8. --pod-network-cidr=192.168.50.0/24
    9.  
    10. #要求所有网络范围不重叠 --pod-network-cidr  --service-cidr --apiserver-advertise-address 都不能重叠

    如果出现上述错误，则执行如下命令：

    sysctl -w net.ipv4.ip_forward=1

    然后重新执行

    最后看到如下画面则表示初始化成功！

    这段还比较重要的，它告诉我们怎么使用这个集群信息等等，所以我们把文本单独复制出来

    1. Your Kubernetes control-plane has initialized successfully!
    2.  
    3. To start using your cluster, you need to run the following as a regular user:
    4.  
    5.   mkdir -p $HOME/.kube
    6.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    7.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
    8.  
    9. Alternatively, if you are the root user, you can run:
    10.  
    11.   export KUBECONFIG=/etc/kubernetes/admin.conf
    12.  
    13. You should now deploy a pod network to the cluster.
    14. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    15.   https://kubernetes.io/docs/concepts/cluster-administration/addons/
    16.  
    17. You can now join any number of control-plane nodes by copying certificate authorities
    18. and service account keys on each node and then running the following as root:
    19.  
    20.   kubeadm join cluster-endpoint:6443 --token 3e54se.alzs9d1mkf30f25w \
    21.     --discovery-token-ca-cert-hash sha256:689c076e294bdbb588103a51aaa7248b8a0df34bde634a6189d311ad46a02856 \
    22.     --control-plane
    23.  
    24. Then you can join any number of worker nodes by running the following on each as root:
    25.  
    26. kubeadm join cluster-endpoint:6443 --token 3e54se.alzs9d1mkf30f25w \
    27.     --discovery-token-ca-cert-hash sha256:689c076e294bdbb588103a51aaa7248b8a0df34bde634a6189d311ad46a02856

    那么按照它的要求一步一步执行吧！

    3.按要求创建文件夹复制文件给予权限等操作

    1. mkdir -p $HOME/.kube
    2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    3. sudo chown $(id -u):$(id -g) $HOME/.kube/config

    然后我们查看一下集群的所有结点：

    1. #查看集群所有节点
    2. kubectl get nodes

    发现k8s110这台服务器就是master节点了，但是它的状态是NotReady。

    没关系按照它的要求继续执行，下一步说需要安装一个网络插件。

    4.安装网络插件

    可以有多种安装选择，我们就用calico

    curl https://docs.projectcalico.org/v3.20/manifests/calico.yaml -O

    下载成功，我们calico.yaml配置文件就有了。

    重要提示💡：如果我们在初始化主节点时，修改了--pod-network-cidr=192.168.0.0/16，那么我们就要进入这个配置文件，将我们修改后的ip地址写上去。

    ok，有了这个配置文件，就可以通过如下命令为k8s安装calico插件所需要的东西了

    1. #根据配置文件，给集群创建资源（以后通过该命令为k8s创建资源，不限于calico）
    2. kubectl apply -f calico.yaml

     然后执行命令安装calico网络插件

    如果出现上述提示，说明我们的yaml文件有可能换行符搞错了等等。

    再重新下载就好了。

    我们如何查看集群部署了哪些应用呢？

    1. # 查看集群部署了哪些应用
    2. docker ps
    3. # 等价于
    4. kubectl get pods -A
    5. # 运行中的应用在docker里面叫容器，在k8s里面叫Pod,至于为什么，后续再讲

    以上，master节点就准备就绪了！

    4.4 work节点加入集群

    前面初始化主节点成功后的提示中有步骤：

    1. kubeadm join cluster-endpoint:6443 --token 3e54se.alzs9d1mkf30f25w \
    2.     --discovery-token-ca-cert-hash sha256:689c076e294bdbb588103a51aaa7248b8a0df34bde634a6189d311ad46a02856

    我们只需要将它在另外两台服务器各自执行即可。

    如果加入报错，请查看是否已经关闭了防火墙，确保关闭防火墙然后执行：

    sysctl -w net.ipv4.ip_forward=1

    ok，然后去master查看一下节点信息。

    我们也可以通过linux的命令 watch -n 1 kubectl get pods -A，每一秒查看一下状态

    OK了，我们再看看

    至此，K8S集群就跑起来了。

    五、token过期怎么办？

    token超过24小时就失效了，如果我们还没有加入从节点，或者想加入新的从节点，可以在master节点执行如下命令，让它重新生成

    kubeadm token create --print-join-command

    六、安装可视化界面dashboard

    6.1 安装

    kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml

    如果网络不好安装不了就复制下面的，将它写入到一个yaml文件中，然后执行该文件即可：

    1. # Copyright 2017 The Kubernetes Authors.
    2. #
    3. # Licensed under the Apache License, Version 2.0 (the "License");
    4. # you may not use this file except in compliance with the License.
    5. # You may obtain a copy of the License at
    6. #
    7. #     http://www.apache.org/licenses/LICENSE-2.0
    8. #
    9. # Unless required by applicable law or agreed to in writing, software
    10. # distributed under the License is distributed on an "AS IS" BASIS,
    11. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    12. # See the License for the specific language governing permissions and
    13. # limitations under the License.
    14.  
    15. apiVersion: v1
    16. kind: Namespace
    17. metadata:
    18.   name: kubernetes-dashboard
    19.  
    20. ---
    21.  
    22. apiVersion: v1
    23. kind: ServiceAccount
    24. metadata:
    25.   labels:
    26.     k8s-app: kubernetes-dashboard
    27.   name: kubernetes-dashboard
    28.   namespace: kubernetes-dashboard
    29.  
    30. ---
    31.  
    32. kind: Service
    33. apiVersion: v1
    34. metadata:
    35.   labels:
    36.     k8s-app: kubernetes-dashboard
    37.   name: kubernetes-dashboard
    38.   namespace: kubernetes-dashboard
    39. spec:
    40.   ports:
    41.     - port: 443
    42.       targetPort: 8443
    43.   selector:
    44.     k8s-app: kubernetes-dashboard
    45.  
    46. ---
    47.  
    48. apiVersion: v1
    49. kind: Secret
    50. metadata:
    51.   labels:
    52.     k8s-app: kubernetes-dashboard
    53.   name: kubernetes-dashboard-certs
    54.   namespace: kubernetes-dashboard
    55. type: Opaque
    56.  
    57. ---
    58.  
    59. apiVersion: v1
    60. kind: Secret
    61. metadata:
    62.   labels:
    63.     k8s-app: kubernetes-dashboard
    64.   name: kubernetes-dashboard-csrf
    65.   namespace: kubernetes-dashboard
    66. type: Opaque
    67. data:
    68.   csrf: ""
    69.  
    70. ---
    71.  
    72. apiVersion: v1
    73. kind: Secret
    74. metadata:
    75.   labels:
    76.     k8s-app: kubernetes-dashboard
    77.   name: kubernetes-dashboard-key-holder
    78.   namespace: kubernetes-dashboard
    79. type: Opaque
    80.  
    81. ---
    82.  
    83. kind: ConfigMap
    84. apiVersion: v1
    85. metadata:
    86.   labels:
    87.     k8s-app: kubernetes-dashboard
    88.   name: kubernetes-dashboard-settings
    89.   namespace: kubernetes-dashboard
    90.  
    91. ---
    92.  
    93. kind: Role
    94. apiVersion: rbac.authorization.k8s.io/v1
    95. metadata:
    96.   labels:
    97.     k8s-app: kubernetes-dashboard
    98.   name: kubernetes-dashboard
    99.   namespace: kubernetes-dashboard
    100. rules:
    101.   # Allow Dashboard to get, update and delete Dashboard exclusive secrets.
    102.   - apiGroups: [""]
    103.     resources: ["secrets"]
    104.     resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]
    105.     verbs: ["get", "update", "delete"]
    106.     # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.
    107.   - apiGroups: [""]
    108.     resources: ["configmaps"]
    109.     resourceNames: ["kubernetes-dashboard-settings"]
    110.     verbs: ["get", "update"]
    111.     # Allow Dashboard to get metrics.
    112.   - apiGroups: [""]
    113.     resources: ["services"]
    114.     resourceNames: ["heapster", "dashboard-metrics-scraper"]
    115.     verbs: ["proxy"]
    116.   - apiGroups: [""]
    117.     resources: ["services/proxy"]
    118.     resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]
    119.     verbs: ["get"]
    120.  
    121. ---
    122.  
    123. kind: ClusterRole
    124. apiVersion: rbac.authorization.k8s.io/v1
    125. metadata:
    126.   labels:
    127.     k8s-app: kubernetes-dashboard
    128.   name: kubernetes-dashboard
    129. rules:
    130.   # Allow Metrics Scraper to get metrics from the Metrics server
    131.   - apiGroups: ["metrics.k8s.io"]
    132.     resources: ["pods", "nodes"]
    133.     verbs: ["get", "list", "watch"]
    134.  
    135. ---
    136.  
    137. apiVersion: rbac.authorization.k8s.io/v1
    138. kind: RoleBinding
    139. metadata:
    140.   labels:
    141.     k8s-app: kubernetes-dashboard
    142.   name: kubernetes-dashboard
    143.   namespace: kubernetes-dashboard
    144. roleRef:
    145.   apiGroup: rbac.authorization.k8s.io
    146.   kind: Role
    147.   name: kubernetes-dashboard
    148. subjects:
    149.   - kind: ServiceAccount
    150.     name: kubernetes-dashboard
    151.     namespace: kubernetes-dashboard
    152.  
    153. ---
    154.  
    155. apiVersion: rbac.authorization.k8s.io/v1
    156. kind: ClusterRoleBinding
    157. metadata:
    158.   name: kubernetes-dashboard
    159. roleRef:
    160.   apiGroup: rbac.authorization.k8s.io
    161.   kind: ClusterRole
    162.   name: kubernetes-dashboard
    163. subjects:
    164.   - kind: ServiceAccount
    165.     name: kubernetes-dashboard
    166.     namespace: kubernetes-dashboard
    167.  
    168. ---
    169.  
    170. kind: Deployment
    171. apiVersion: apps/v1
    172. metadata:
    173.   labels:
    174.     k8s-app: kubernetes-dashboard
    175.   name: kubernetes-dashboard
    176.   namespace: kubernetes-dashboard
    177. spec:
    178.   replicas: 1
    179.   revisionHistoryLimit: 10
    180.   selector:
    181.     matchLabels:
    182.       k8s-app: kubernetes-dashboard
    183.   template:
    184.     metadata:
    185.       labels:
    186.         k8s-app: kubernetes-dashboard
    187.     spec:
    188.       containers:
    189.         - name: kubernetes-dashboard
    190.           image: kubernetesui/dashboard:v2.3.1
    191.           imagePullPolicy: Always
    192.           ports:
    193.             - containerPort: 8443
    194.               protocol: TCP
    195.           args:
    196.             - --auto-generate-certificates
    197.             - --namespace=kubernetes-dashboard
    198.             # Uncomment the following line to manually specify Kubernetes API server Host
    199.             # If not specified, Dashboard will attempt to auto discover the API server and connect
    200.             # to it. Uncomment only if the default does not work.
    201.             # - --apiserver-host=http://my-address:port
    202.           volumeMounts:
    203.             - name: kubernetes-dashboard-certs
    204.               mountPath: /certs
    205.               # Create on-disk volume to store exec logs
    206.             - mountPath: /tmp
    207.               name: tmp-volume
    208.           livenessProbe:
    209.             httpGet:
    210.               scheme: HTTPS
    211.               path: /
    212.               port: 8443
    213.             initialDelaySeconds: 30
    214.             timeoutSeconds: 30
    215.           securityContext:
    216.             allowPrivilegeEscalation: false
    217.             readOnlyRootFilesystem: true
    218.             runAsUser: 1001
    219.             runAsGroup: 2001
    220.       volumes:
    221.         - name: kubernetes-dashboard-certs
    222.           secret:
    223.             secretName: kubernetes-dashboard-certs
    224.         - name: tmp-volume
    225.           emptyDir: {}
    226.       serviceAccountName: kubernetes-dashboard
    227.       nodeSelector:
    228.         "kubernetes.io/os": linux
    229.       # Comment the following tolerations if Dashboard must not be deployed on master
    230.       tolerations:
    231.         - key: node-role.kubernetes.io/master
    232.           effect: NoSchedule
    233.  
    234. ---
    235.  
    236. kind: Service
    237. apiVersion: v1
    238. metadata:
    239.   labels:
    240.     k8s-app: dashboard-metrics-scraper
    241.   name: dashboard-metrics-scraper
    242.   namespace: kubernetes-dashboard
    243. spec:
    244.   ports:
    245.     - port: 8000
    246.       targetPort: 8000
    247.   selector:
    248.     k8s-app: dashboard-metrics-scraper
    249.  
    250. ---
    251.  
    252. kind: Deployment
    253. apiVersion: apps/v1
    254. metadata:
    255.   labels:
    256.     k8s-app: dashboard-metrics-scraper
    257.   name: dashboard-metrics-scraper
    258.   namespace: kubernetes-dashboard
    259. spec:
    260.   replicas: 1
    261.   revisionHistoryLimit: 10
    262.   selector:
    263.     matchLabels:
    264.       k8s-app: dashboard-metrics-scraper
    265.   template:
    266.     metadata:
    267.       labels:
    268.         k8s-app: dashboard-metrics-scraper
    269.       annotations:
    270.         seccomp.security.alpha.kubernetes.io/pod: 'runtime/default'
    271.     spec:
    272.       containers:
    273.         - name: dashboard-metrics-scraper
    274.           image: kubernetesui/metrics-scraper:v1.0.6
    275.           ports:
    276.             - containerPort: 8000
    277.               protocol: TCP
    278.           livenessProbe:
    279.             httpGet:
    280.               scheme: HTTP
    281.               path: /
    282.               port: 8000
    283.             initialDelaySeconds: 30
    284.             timeoutSeconds: 30
    285.           volumeMounts:
    286.           - mountPath: /tmp
    287.             name: tmp-volume
    288.           securityContext:
    289.             allowPrivilegeEscalation: false
    290.             readOnlyRootFilesystem: true
    291.             runAsUser: 1001
    292.             runAsGroup: 2001
    293.       serviceAccountName: kubernetes-dashboard
    294.       nodeSelector:
    295.         "kubernetes.io/os": linux
    296.       # Comment the following tolerations if Dashboard must not be deployed on master
    297.       tolerations:
    298.         - key: node-role.kubernetes.io/master
    299.           effect: NoSchedule
    300.       volumes:
    301.         - name: tmp-volume
    302.           emptyDir: {}

    6.2 暴露端口

    kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard

    type: ClusterIP 改为 type: NodePort

    相当于docker中将内部的端口映射到linux的某个端口

    找到放行的端口

    1. kubectl get svc -A |grep kubernetes-dashboard
    2. ## 如果是云服务器，找到端口，在安全组放行

    6.3 访问web界面

    访问： https://集群任意IP:端口 https://192.168.37.110:31820/

    发现虚拟机部署的无法访问，云服务器则没有问题。

    我后面试了试Google、Edge都不行，华为浏览器、火狐浏览器可以访问到：

     具体怎么解决，这个我放到后面有时间再处理吧~

    6.4 创建访问账号

    创建一个配置文件dash-usr.yaml

    1. #创建访问账号，准备一个yaml文件； vi dash.yaml
    2. apiVersion: v1
    3. kind: ServiceAccount
    4. metadata:
    5.   name: admin-user
    6.   namespace: kubernetes-dashboard
    7. ---
    8. apiVersion: rbac.authorization.k8s.io/v1
    9. kind: ClusterRoleBinding
    10. metadata:
    11.   name: admin-user
    12. roleRef:
    13.   apiGroup: rbac.authorization.k8s.io
    14.   kind: ClusterRole
    15.   name: cluster-admin
    16. subjects:
    17. - kind: ServiceAccount
    18.   name: admin-user
    19.   namespace: kubernetes-dashboard

    6.5 生成令牌

    这个可视化界面是通过令牌登录的，我们可以通过如下命令生成访问令牌：

    1. #获取访问令牌
    2. kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"

    6.6 登录

    七、写在后面的话

    值得注意的是，我们的这些kubectl命令都需要在master节点上运行，别整岔劈了！

    另外，我们重启后，k8s集群正常来说就会自动启动，只不过部分应用需要时间慢慢启动，等他们全部running

    如果发现没有重启成功，那么检查一下swap交换分区是不是没有关闭？防火墙是不是打开了？docker是不是都启动了？

    遇事不要慌，逐一进行排查，这也是处理问题的能力。我在搭建的过程中，也遇到了不少的坑，正常。不过只要严格按照上述过程执行，我相信问题不大的。

    好了，我们下一个阶段见！

  • 相关阅读:
    链表、树和图专项练习
    Vue Router
    管道和FIFO
    2022年湖北劳务资质如何办理？劳务资质不分等级
    在数据链路层扩展以太网
    高蛋白过敏我们该如何缓解？教你几招远离过敏吃喝无忌
    GEE开发之Landsat8_NDVI的数据分析
    【ArchSummit】Web3.0去中心化预言机网络技术剖析
    Linux 调试之strace
    编码中的Adapter，不仅是一种设计模式，更是一种架构理念与解决方案
  • 原文地址：https://blog.csdn.net/YuanFudao/article/details/132886568