• kubeadm安装k8s集群


    目录

    一、环境部署

    1、关闭防火墙规则、关闭selinux、关闭swap交换分区

    2、修改主机名、DNS解析

    3、调整内核参数

    二、所有节点安装Docker

    三、安装k8s集群

    1、所有节点配置K8S源

    2、所有节点安装kubeadm、kubelet和kubectl

    3、部署K8S集群

    3.1 初始化操作(master节点操作)

    3.2 设置kubectl命令(master节点操作)

    4、node节点加入k8s集群

    四、所有节点部署网络插件flannel

    五、测试k8s集群,在集群中创建一个pod,验证是否能正常运行

    六、扩展3个副本

    七、部署Dashboard可视化界面

    八、安装Harbor私有仓库

    1、安装docker

    2、安装Harbor

    3、上传镜像,创建pod

    4、访问测试

    一、环境部署

    服务器类型ip地址
    master192.168.247.10
    node01192.168.247.20
    node02192.168.247.30
    hub.ydq.com192.168.247.40

    1、关闭防火墙规则、关闭selinux、关闭swap交换分区

    1. #所有节点,关闭防火墙规则,关闭selinux,关闭swap交换
    2. systemctl stop firewalld
    3. systemctl disable firewalld
    4. setenforce 0
    5. iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
    6. swapoff -a #交换分区必须要关闭
    7. sed -ri 's/.*swap.*/#&/' /etc/fstab #永久关闭swap分区,&符号在sed命令中代表上次匹配的结果
    8. for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
    9. #加载ip_vs

    2、修改主机名、DNS解析

    1. cat >> /etc/hosts <
    2. 192.168.247.10 master
    3. 192.168.247.20 node01
    4. 192.168.247.30 node02
    5. EOF

    3、调整内核参数

    1. cat > /etc/sysctl.d/kubernetes.conf << EOF
    2. #开启网桥模式,可将网桥的流量传递给iptables链
    3. net.bridge.bridge-nf-call-ip6tables=1
    4. net.bridge.bridge-nf-call-iptables=1
    5. #关闭ipv6协议
    6. net.ipv6.conf.all.disable_ipv6=1
    7. net.ipv4.ip_forward=1
    8. EOF
    9. #加载参数
    10. sysctl --system

    二、所有节点安装Docker

    1. yum install -y yum-utils device-mapper-persistent-data lvm2
    2. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    3. yum install -y docker-ce docker-ce-cli containerd.io
    4. mkdir /etc/docker
    5. cat > /etc/docker/daemon.json <
    6. {
    7. "registry-mirrors": ["https://i2q96v0n.mirror.aliyuncs.com"],
    8. "exec-opts": ["native.cgroupdriver=systemd"],
    9. "log-driver": "json-file",
    10. "log-opts": {
    11. "max-size": "100m"
    12. }
    13. }
    14. EOF
    15. #使用Systemd管理的Cgroup来进行资源控制与管理,因为相对Cgroupfs而言,Systemd限制CPU、内存等资源更加简单和成熟稳定。
    16. #日志使用json-file格式类型存储,大小为100M,保存在/var/log/containers目录下,方便ELK等日志系统收集和管理日志。
    17. systemctl daemon-reload
    18. systemctl restart docker.service
    19. systemctl enable docker.service
    20. docker info | grep "Cgroup Driver"

    三、安装k8s集群

    1、所有节点配置K8S源

    1. #定义kubernetes源
    2. cat > /etc/yum.repos.d/kubernetes.repo << EOF
    3. [kubernetes]
    4. name=Kubernetes
    5. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    6. enabled=1
    7. gpgcheck=0
    8. repo_gpgcheck=0
    9. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    10. EOF

    2、所有节点安装kubeadm、kubelet和kubectl

    1. yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11
    2. #安装三个组件命令
    3. systemctl enable kubelet.service
    4. #开机自启kubelet
    5. #K8S通过kubeadm安装出来以后都是以Pod方式存在,即底层是以容器方式运行,所以kubelet必须设置开机自启

    3、部署K8S集群

    1. kubeadm config images list
    2. #查看初始化需要的镜像
    3. mkdir /opt/k8s/
    4. cd /opt/k8s/
    5. #上传v1.20.11.zip压缩包
    6. cd /opt/k8s/v1.20.11
    7. for i in $(ls *.tar);do docker load -i $i;done
    8. #使用for循环,将上传的镜像导入到docker中
    9. scp -r /opt/k8s/v1.20.11 root@node01:/opt
    10. scp -r /opt/k8s/v1.20.11 root@node02:/opt
    11. #复制镜像和脚本到node节点,并在node节点上执行脚本加载镜像文件。(上面的for循环)

    3.1 初始化操作(master节点操作)

    方法一:

    1. kubeadm config print init-defaults > /opt/kubeadm-config.yaml
    2. #打印配置文件重定向到指定文件中
    3. vim /opt/kubeadm-config.yaml
    4. 11 localAPIEndpoint:
    5. 12 advertiseAddress: 192.168.247.10 #指定master节点的IP地址
    6. 13 bindPort: 6443
    7. ......
    8. 34 kubernetesVersion: v1.20.11 #指定kubernetes版本号
    9. 35 networking:
    10. 36 dnsDomain: cluster.local
    11. 37 podSubnet: "10.244.0.0/16" #指定pod网段,10.244.0.0/16用于匹配flannel默认网段
    12. 38 serviceSubnet: 10.96.0.0/12 #指定service网段
    13. 39 scheduler: {}
    14. #末尾再添加以下内容
    15. ---
    16. apiVersion: kubeproxy.config.k8s.io/v1alpha1
    17. kind: KubeProxyConfiguration
    18. mode: ipvs #把默认的kube-proxy调度方式改为ipvs模式
    19. =============================================================
    20. cd /opt
    21. kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
    22. #--upload-certs参数可以在后续执行加入节点时自动分发证书文件
    23. #tee kubeadm-init.log 用以输出日志
    24. less kubeadm-init.log
    25. #查看kubeadm-init.log日志
    26. ls /etc/kubernetes/
    27. #查看kubernetes配置文件目录
    28. ls /etc/kubernetes/pki
    29. #查看存放ca等证书密码的目录

    方法二:

    1. kubeadm init \
    2. --apiserver-advertise-address=192.168.247.10 \
    3. --image-repository registry.aliyuncs.com/google_containers \
    4. --kubernetes-version v1.20.11 \
    5. --service-cidr=10.96.0.0/12 \
    6. --pod-network-cidr=10.244.0.0/16
    7. ------------------------#解释字段----------------------------------------------
    8. --apiserver-advertise-address //apiserver通告给其他组件的IP地址,一般应该为Master节点的用于集群内部通信的IP地址,0.0.0.0表示节点上所有可用地址
    9. --apiserver-bind-port //apiserver的监听端口,默认是6443
    10. --cert-dir //通讯的ssl证书文件,默认/etc/kubernetes/pki
    11. --control-plane-endpoint //控制台平面的共享终端,可以是负载均衡的ip地址或者dns域名,高可用集群时需要添加
    12. --image-repository //拉取镜像的镜像仓库,默认是k8s.gcr.io
    13. --kubernetes-version //指定kubernetes版本
    14. --pod-network-cidr //pod资源的网段,需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16,Calico插件的默认值为192.168.0.0/16;
    15. --service-cidr //service资源的网段
    16. --service-dns-domain //service全域名的后缀,默认是cluster.local
    17. --token-ttl //默认token的有效期为24小时,如果不想过期,可以加上 --token-ttl=0 这个参数
    18. # service-cidr 和 pod-network-cidr 最好就用这个,不然需要修改后面的 kube-flannel.yaml 文件
    19. 方法二初始化后需要修改 kube-proxy 的 configmap,开启 ipvs
    20. kubectl edit cm kube-proxy -n=kube-system
    21. 修改mode: ipvs

    3.2 设置kubectl命令(master节点操作)

    kubectl 需经由API server 认证及授权后方能执行相关的管理操作,kubeadm部署的集群为其生成了一个具有管理权限的认证配置文件 :/etc/kubernets/admin.conf ,它可有kubectl通过默认的 “ $HOME/.kube/config” 的路径进行加载。

    执行以下命令可以使用kubectl管理工具

    1. mkdir -p $HOME/.kube
    2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    3. sudo chown $(id -u):$(id -g) $HOME/.kube/config
    4. #授权操作,不然无法使用kubectl命令
    5. kubectl get cs
    6. #查看集群健康状态

    如果 kubectl get cs 发现集群不健康,更改以下两个文件

    1. vim /etc/kubernetes/manifests/kube-scheduler.yaml
    2. vim /etc/kubernetes/manifests/kube-controller-manager.yaml
    3. # 修改如下内容
    4. 把--bind-address=127.0.0.1变成--bind-address=20.0.0.55 #修改成k8s的控制节点master01的ip
    5. 把httpGet:字段下的hosts由127.0.0.1变成20.0.0.55(有两处)
    6. #- --port=0 # 搜索port=0,把这一行注释掉
    7. systemctl restart kubelet
    8. #重启服务
    9. kubectl get cs
    10. #查看集群节点信息

    4、node节点加入k8s集群

    node01和node02上面都执行

    1. kubeadm join 1922.168.247.10:6443 --token abcdef.0123456789abcdef \
    2. --discovery-token-ca-cert-hash sha256:6e06913a9f07388d0873864f0cce4b11c112e43341ddb52d52c2d956e70de08d
    3. #将前面创建好的token令牌,再两台node节点上执行,加入到集群中

    node 节点加入集群需要生成的 token,token 有效期为 24 小时,过期需要重新创建

    1. kubeadm token create --print-join-command
    2. #token 过期重新生成 token

    四、所有节点部署网络插件flannel

    方法一:

    1. //上传cni-plugins-linux-amd64-v1.2.0.tgz、flannel-cni-v1.2.0.tar、flannel-v0.22.2.tar和kube-flannel.yml
    2. //master01上操作:
    3. docker load -i flannel-v0.22.2.tar
    4. docker load -i flannel-cni-v1.2.0.tar
    5. scp flannel-cni-v1.2.0.tar flannel-v0.22.2.tar node01:/opt #复制到node1节点
    6. scp flannel-cni-v1.2.0.tar flannel-v0.22.2.tar node02:/opt #复制到node2节点
    7. //node01/node02上操作:
    8. docker load -i flannel-v0.22.2.tar
    9. docker load -i flannel-cni-v1.2.0.tar
    10. //master01操作:
    11. kubectl apply -f kube-flannel.yml
    12. kubectl get pod -n kube-system

    ###如若显示下述问题,可尝试重启所有节点的docker和kubelet服务

    方法二:

    1. //所有节点上传flannel镜像 flannel.tar 到 /opt 目录,master节点上传 kube-flannel.yml 文件
    2. cd /opt
    3. docker load < flannel.tar
    4. //在 master 节点创建 flannel 资源
    5. kubectl apply -f kube-flannel.yml

    五、测试k8s集群,在集群中创建一个pod,验证是否能正常运行

    1. #部署服务
    2. kubectl create deployment nginx --image=nginx:1.14
    3. #暴露端口
    4. kubectl expose deployment nginx --port=80 --type=NodePort
    5. kubectl get pods
    6. #查看pod的状态
    7. kubectl get svc(service)
    8. #查看暴露的端口
    9. //测试访问
    10. curl http://node01:32404
    11. ---------------------------------------------------------------------
    12. #删除pod与svc
    13. kubectl delete deploy/nginx
    14. kubectl delete svc/nginx

    六、扩展3个副本

    1. kubectl scale deployment nginx --replicas=3
    2. #使用deployment的pod控制器创建3个pod
    3. kubectl get pods -o wide
    4. #查看pods的状态。显示详细信息

    七、部署Dashboard可视化界面

    在master上面操作

    1. cd /opt/k8s
    2. #上传recommended.yaml 文件到 /opt/k8s目录中
    3. #默认Dashboard只能集群内部访问,修改service为NodePort类型,暴露到外部
    4. vim recommended.yaml
    5. kind: Service
    6. apiVersion: v1
    7. metadata:
    8. labels:
    9. k8s-app: kubernetes-dashboard
    10. name: kubernetes-dashboard
    11. namespace: kubernetes-dashboard
    12. spec:
    13. ports:
    14. - port: 443
    15. targetPort: 8443
    16. nodePort: 30001 #添加
    17. type: NodePort #添加
    18. selector:
    19. k8s-app: kubernetes-dashboard
    20. --------------------------------------------------
    21. kubectl apply -f recommended.yaml
    22. #基于recommended.yaml文件生成
    23. kubectl create serviceaccount dashboard-admin -n kube-system
    24. ##创建资源,并指定账号
    25. kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
    26. #创建pod
    27. kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
    28. #查看pod的详细信息,并且过滤需要的信息
    29. --------------------------token--------------------------------------------
    30. eyJhbGciOiJSUzI1NiIsImtpZCI6IktwWEgwVW9nZW1iZVdaNDl2TkMzeFQ0dlVLQ19RZUNtLVQ0ZnVGQ00wU3cifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tOHpwN2ciLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiMzBkMTBhYzItZGJkZC00YjA1LWJlYTYtYTQxMzdjNjZlNWUzIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.GxOH-3FjrPHKHr3EcDi3D_NUmvDNTBusDIhIb5-fcmjEGrkSEK4Ddj7auh-Xa5dslAIHm77EaXJ4oGrk93fV-PyUbpBNdE1DYVGRsUrveNHrAh2AC4PMx8S0gOotYSzfD0VMOGJV9vx4Ee-yIOfvZi8jeJnKJwxIDcvIGvW3E061rAz0-GSrITpHRB1JtktPhmqkB1r-XoDHOPdE0dOVWuzL6c02x9wmajF8dvzmPFbOb_gbOxjTJf8_m44GLee6JzW3Hl0bgj0tM799-UDPJjEB3QKr-NXp8ochi1hkMYxe1hUFJGDV4Fjz6ndzSB5_vvhPFWhTmmlMys1kqsrvtw
    1. #使用输出的token登录Dashboard
    2. https://NodeIP:30001
    3. 注:
    4. https://192.168.247.20:30001
    5. https://192.168.247.30:30001

    八、安装Harbor私有仓库

    新开一台服务器,ip地址为:192.168.247.40

    1、安装docker

    1. //修改主机名
    2. hostnamectl set-hostname hub.kgc.com
    3. //所有节点加上主机名映射
    4. echo '192.168.247.50 hub.kgc.com' >> /etc/hosts
    5. //安装 docker
    6. yum install -y yum-utils device-mapper-persistent-data lvm2
    7. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    8. yum install -y docker-ce docker-ce-cli containerd.io
    9. mkdir /etc/docker
    10. cat > /etc/docker/daemon.json <
    11. {
    12. "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
    13. "exec-opts": ["native.cgroupdriver=systemd"],
    14. "log-driver": "json-file",
    15. "log-opts": {
    16. "max-size": "100m"
    17. },
    18. "insecure-registries": ["https://hub.kgc.com"]
    19. }
    20. EOF
    21. systemctl start docker
    22. systemctl enable docker

    所有 node 节点都修改 docker 配置文件,加上私有仓库配置

    1. cat > /etc/docker/daemon.json <
    2. {
    3. "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
    4. "exec-opts": ["native.cgroupdriver=systemd"],
    5. "log-driver": "json-file",
    6. "log-opts": {
    7. "max-size": "100m"
    8. },
    9. "insecure-registries": ["https://hub.kgc.com"]
    10. }
    11. EOF
    12. systemctl daemon-reload
    13. systemctl restart docker

    2、安装Harbor

    1. cd /opt/
    2. #上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录
    3. cp docker-compose /usr/local/bin
    4. chmod +x /usr/local/bin/docker-compose
    5. #将docker-compose编排工具复制到bin目录,并添加执行权限
    6. tar -zxvf harbor-offline0installer-v1.2.2.tgz
    7. #将harbor包解包
    8. cd harbor.cfg
    9. vim harbor.cfg
    10. 5 hostname = hub.ydq.com
    11. 9 ui_url_protocol = https
    12. 24 ssl_cert = /data/cert/server.crt
    13. 25 ssl_cert_key = /data/cert/server.key
    14. 59 harbor_admin_password = Harbor12345

    生成证书

    1. mkdir -p /data/cert
    2. #创建证书目录
    3. cd /data/cert
    4. openssl genrsa -des3 -out server.key 2048
    5. #生成私钥
    6. //输入两遍密码:123456
    7. openssl req -new -key server.key -out server.csr
    8. #生成证书签名请求文件
    9. //输入私钥密码:123456
    10. //输入国家名:CN
    11. //输入省名:BJ
    12. //输入市名:BJ
    13. //输入组织名:KGC
    14. //输入机构名:KGC
    15. //输入域名:hub.ydq.com
    16. //输入管理员邮箱:admin@ydq.com
    17. //其它全部直接回车
    18. cp server.key server.key.org
    19. #备份私钥
    20. openssl rsa -in server.key.org -out server.key
    21. #清除私钥密码:123456,重新生成一个文件,覆盖以前的带密码的。
    22. openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt
    23. #签名证书
    24. chmod +x /data/cert/*
    25. #全部添加执行权限
    26. cd /opt/harbor/
    27. ./install.sh
    28. #执行脚本
    1. 在本地使用火狐浏览器访问:https://hub.ydq.com
    2. 添加例外 -> 确认安全例外
    3. 用户名:admin
    4. 密码:Harbor12345

    3、上传镜像,创建pod

    1. #注意错误
    2. 如果其他node节点登录不了harbor仓库,那就需要看一下node节点上是否配置了执行harbor的域名注册表或者DNS解析没有配置。
    1. docker login -u admin -p Harbor12345 https://hub.zzz.com
    2. #在一个node节点上登录harbor
    3. docker tag nginx:1.14 hub.zzz.com/library/nginx:v1
    4. #修改镜像标签
    5. docker push hub.zzz.com/library/nginx:v1
    6. #上传镜像

    在master节点操作

    1. kubectl delete deployment nginx
    2. #在master节点删除之前创建的nginx资源(可不删)
    3. kubectl create deployment nginx-zzz --image=hub.zzz.com/library/nginx:v1 --port=80 --replicas=3
    4. #运行一个pod,它镜像来自于harbor仓库中的nginx,并且保留端口,且创建3个副本
    5. kubectl get pods
    6. #查看创建的pods
    7. kubectl expose deployment nginx-zzz --port=30000 --target-port=80
    8. #暴露端口
    9. kubectl get svc,pods
    10. #查看pods信息和service信息

    修改service的端口类型

    1. kubectl edit svc nginx-kk1
    2. #25行改为:NodePort
    3. kubectl get svc
    4. #查看端口类型

    4、访问测试

    1. 浏览器访问:
    2. 192.168.27.10:32704
    3. 192.168.27.20:32704
    4. 192.168.27.30:32704

    扩展

    1. ########### 内核参数优化方案 ##########
    2. cat > /etc/sysctl.d/kubernetes.conf <
    3. net.bridge.bridge-nf-call-iptables=1
    4. net.bridge.bridge-nf-call-ip6tables=1
    5. net.ipv4.ip_forward=1
    6. net.ipv4.tcp_tw_recycle=0
    7. vm.swappiness=0 #禁止使用 swap 空间,只有当系统内存不足(OOM)时才允许使用它
    8. vm.overcommit_memory=1 #不检查物理内存是否够用
    9. vm.panic_on_oom=0 #开启 OOM
    10. fs.inotify.max_user_instances=8192
    11. fs.inotify.max_user_watches=1048576
    12. fs.file-max=52706963 #指定最大文件句柄数
    13. fs.nr_open=52706963 #仅4.4以上版本支持
    14. net.ipv6.conf.all.disable_ipv6=1
    15. net.netfilter.nf_conntrack_max=2310720
    16. EOF
  • 相关阅读:
    K8S pod资源、探针
    PostgreSQL如何支持PL/Python过程语言
    linux概念基础认识(基于阿里云ecs服务器操作)
    软件测试报告包含哪些内容?如何获取高质量软件测试报告?
    Biotin-PEG-NHS 生物素PEG活性酯
    【力扣刷题】两数求和、移动零、相交链表、反转链表
    科技公司网络规划与设计
    Vue组件的计算属性和普通属性区别、属性侦听器的作用
    134. 加油站
    10、Java——吃货联盟订餐系统(基础知识)
  • 原文地址:https://blog.csdn.net/weixin_46254171/article/details/134040772