二进制安装k8s高可用部署

1 二进制安装k8s的高可用

1.1 部署多master高可用的步骤

1）负责master组件的相关证书、私钥、启动参数配置文件、kubeconfig集群配置文件、二进制文件和etcd的证书、私钥文件

2）修改 kube-apiserver kube-contrller-manager kube-scheduler 启动参数配置文件里的监听地址和通告地址，再依次重启服务进程

3）部署 nginx/haproxy 负载均衡器和 keepalived 高可用

4）修改 kubelet kube-proxy kubectl 的kubeconfig集群引导配置文件里的server参数都指向keepalived的VIP地址，再重启 kubelet kubee-proxy 服务进程

5）修改其他 master 节点上 kube-contrller-manager kube-scheduler 的kubeconfig集群引导配置文件里的server参数都指向本机的 apiserver 地址，再重启服务进程

1.2 高可用实际部署

master02节点进行初始化操作

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab 
设置主机名
hostnamectl set-hostname master02
再各节点添加
cat >> /etc/hosts << EOF
192.168.111.10 master01
192.168.111.55 master02
192.168.111.11 node01
192.168.111.22 node02
EOF
调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

sysctl --system
时间同步
yum install ntpdate -y
ntpdate time.windows.com

只留下必要文件

ls /root/.kube/
cache  config
scp -r /root/.kube/ master02:/root/
root@master02's password:

将etcd数据库所需要的ssl证书、master01节点的kubernetes安装目录（二进制文件、组件与apiserver通信的集群引导文件、启动参数配置文件）、kubectl与apiserver通信的集群引导文件、各组件被systemd管理的service文件从master01传到master02上

scp -r /opt/etcd/ master02:/opt/     #ssl证书文件
scp -r /opt/kubernetes/ master02:/opt/    #kubernetes安装目录
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service master02:/opt/   #被systemd管理的service文件

修改配置文件kube-apiserver中的IP

vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.80.10:2379,https://192.168.80.11:2379,https://192.168.80.12:2379 \
--bind-address=192.168.80.20 \              #修改
--secure-port=6443 \
--advertise-address=192.168.80.20 \         #修改
......

在 master02 节点上启动各服务并设置开机自启

systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service

查看node节点状态

ln -s /opt/kubernetes/bin/* /usr/local/bin/
kubectl get nodes
kubectl get nodes -o wide           #-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名
//此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP把node节点与master节点都关联起来

部署nginx做负载均衡器


//配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）
##### 在lb01、lb02节点上操作 ##### 
//配置nginx的官方在线yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF
 
yum install nginx -y
 
//修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
vim /etc/nginx/nginx.conf
events {
    worker_connections  1024;
}
 
#添加
stream {
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    
    access_log  /var/log/nginx/k8s-access.log  main;
 
    upstream k8s-apiserver {
        server 192.168.111.33:6443;
        server 192.168.111.44:6443;
    }
    server {
        listen 6443;
        proxy_pass k8s-apiserver;
    }
}
 
http {
......
 
 
//检查配置文件语法
nginx -t   
 
//启动nginx服务，查看已监听6443端口
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

部署keepalived服务做k8s集群负载均衡器高可用

//部署keepalived服务
yum install keepalived -y
 
//修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
 
global_defs {
   # 接收邮件地址
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   # 邮件发送地址
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER   #lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
}
 
#添加一个周期性执行的脚本
vrrp_script check_nginx {
    script "/etc/keepalived/nginx.sh"   #指定检查nginx存活的脚本路径
}
 
vrrp_instance VI_1 {
    state MASTER            #lb01节点的为 MASTER，lb02节点的为 BACKUP
    interface ens33         #指定网卡名称 ens33
    virtual_router_id 51    #指定vrid，两个节点要一致
    priority 100            #lb01节点的为 100，lb02节点的为 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.20.150/24   #指定 VIP
    }
    track_script {
        check_nginx         #指定vrrp_script配置的脚本
    }
}
 
 
//方法一：创建nginx状态检查脚本 
vim /etc/keepalived/nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
 
if [ "$count" -eq 0 ];then
    systemctl stop keepalived
fi
 
//方法二：创建nginx状态检查脚本2
cat > /etc/keepalived/nginx.sh << 'EOF'
#!/bin/bash
killall -0 nginx &>/dev/null
if [ $? -ne 0 ];then
    systemctl stop keepalived
fi
EOF
 
 
chmod +x /etc/keepalived/nginx.sh
 
//启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
systemctl start keepalived
systemctl enable keepalived
ip a                #查看VIP是否生成

备服务器修改

验证故障转移

修改修改node节点上的配置引导文件中的server对应的ip为VIP

//修改node节点上的bootstrap.kubeconfig,   kubelet.kubeconfig  kube-proxy.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig 
server: https://192.168.111.100:6443
                      
vim kubelet.kubeconfig
server: https://192.168.111.100:6443
                        
vim kube-proxy.kubeconfig
server: https://192.168.111.100:6443
 
//重启kubelet和kube-proxy服务
systemctl restart kubelet.service 
systemctl restart kube-proxy.service

所有的master节点的集群引导配置文件都指向本机apiserver的ip和端口

[root@master02 cfg]#ls
kube-apiserver  kube-controller-manager  kube-controller-manager.kubeconfig  kube-scheduler  kube-scheduler.kubeconfig  token.csv
[root@master02 cfg]#vim kube-controller-manager.kubeconfig 
[root@master02 cfg]#vim kube-scheduler.kubeconfig 
[root@master02 cfg]#cd ~/.kube/
[root@master02 .kube]#ls
cache  config
[root@master02 .kube]#vim config 
[root@master02 .kube]#ls /usr/lib/systemd/system/kube-*
/usr/lib/systemd/system/kube-apiserver.service  /usr/lib/systemd/system/kube-controller-manager.service  /usr/lib/systemd/system/kube-scheduler.service
[root@master02 .kube]#systemctl restart kube-apiserver.service 
[root@master02 .kube]#systemctl restart kube-controller-manager.service 
[root@master02 .kube]#systemctl restart kube-scheduler.service

2 二进制部署k8s总结

2.1 部署etcd

使用cfssl工具签发证书和私钥文件
解压etcd软件包，获取二进制文件 etcd etcdctl
准备etcd集群配置文件
启动etcd进程服务，将所有节点加入到etcd集群中

etcd的操作：
#查看etcd集群健康状态
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable endpoint health
 
#查看etcd集群状态信息
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable endpoint status
 
#查看etcd集群成员列表
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379,https://IP2:2379,https://IP3:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 -wtable member list
 
#向etcd插入键值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 put  ''
 
#查看键的值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 get 
 
#删除键
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 del 
 
#备份etcd数据库
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 snapshot save 备份文件路径
 
#恢复etcd数据库
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 snapshot restore 备份文件路径

2.2 部署master组件

使用cfssl工具签发证书和私钥文件
下载K8S软件包，获取二进制文件 kube-apiserver kube-controller-manager kube-scheduler
准备 kube-apiserver 启动时要调用的 bootstrap-token 认证文件（token.csv）
准备 kube-apiserver kube-controller-manager kube-scheduler 的进程服务启动参数配置文件
准备 kube-controller-manager kube-scheduler kubectl 的 kubeconfig 集群引导配置文件（用于连接和验证 kube-apiserver）
依次启动 kube-apiserver kube-controller-manager kube-scheduler 进程服务
执行 kubectl get cs 命令查看master组件的健康状态

2.3 部署node组件

获取二进制文件 kubelet kube-proxy
准备 kubelet kube-proxy 使用的 kubeconfig集群引导配置文件 bootstrap.kubeconfig(kubelet首次访问apiserver使用认证的文件) kube-proxy.kubeconfig
准备 kubelet kube-proxy 的进程服务启动参数配置文件
启动 kubelet 进程服务，向 apiserver 发起 CSR 请求自动签发证书，master 通过 CSR 请求后 kubelet 即可获取到证书
加载 ipvs 模块，启动 kube-proxy 进程服务
安装 cni 网络插件（flannel或calico）和 CoreDNS
执行 kubectl get nodes 命令查看node节点状态

2.4 部署master高可用

负责master组件相关的二进制文件、证书、私钥、启动参数配置文件、kubeconfig集群引导配置文件和etcd的证书、私钥文件
修改 kube-apiserver kube-controller-manager kube-scheduler 启动参数配置文件里的监听地址和通告地址，再依次重启服务进程
部署 nginx/haproxy 负载均衡器和 keepalived 高可用
修改 kubelet kube-proxy kubectl 的kubeconfig集群引导配置文件里的server参数都指向keepalived的VIP地址，再重启 kubelet kube-proxy 服务进程
修改其它master节点上的 kube-controller-manager kube-scheduler 的kubeconfig集群引导配置文件里的server参数都指向各自本机的apiserver地址，再重启服务进程

相关阅读:
Vue路由&nodeJS环境搭建
 探寻JWT的本质：它是什么？它有什么作用？
【Linux从入门到精通】信号（信号保存 & 信号的处理）
XML快速入门
 桌面宠物 ① 通过python制作属于自己的桌面宠物
 AI时代设计工具Motiff亮相世界互联网大会带来AI在SaaS领域落地应用案例
 一文快速了解「脉动调查」
手写内存泄漏检测组件
 C++深浅拷贝及简易string类实现
 picoctf_2018_shellcode
原文地址：https://blog.csdn.net/2301_76288258/article/details/136312818

二进制安装k8s高可用部署

1 二进制安装k8s的高可用

1.1 部署多master高可用的步骤

1）负责master组件的相关证书、私钥、启动参数配置文件、kubeconfig集群配置文件、二进制文件和etcd的证书、私钥文件

2）修改 kube-apiserver kube-contrller-manager kube-scheduler 启动参数配置文件里的监听地址和通告地址，再依次重启服务进程

3）部署 nginx/haproxy 负载均衡器和 keepalived 高可用

4）修改 kubelet kube-proxy kubectl 的kubeconfig集群引导配置文件里的server参数都指向keepalived的VIP地址，再重启 kubelet kubee-proxy 服务进程

5）修改其他 master 节点上 kube-contrller-manager kube-scheduler 的kubeconfig集群引导配置文件里的server参数都指向本机的 apiserver 地址，再重启服务进程

1.2 高可用实际部署

master02节点进行初始化操作

只留下必要文件

将etcd数据库所需要的ssl证书、master01节点的kubernetes安装目录（二进制文件、组件与apiserver通信的集群引导文件、启动参数配置文件）、kubectl与apiserver通信的集群引导文件、各组件被systemd管理的service文件从master01传到master02上

修改配置文件kube-apiserver中的IP

在 master02 节点上启动各服务并设置开机自启

查看node节点状态

部署nginx做负载均衡器

部署keepalived服务做k8s集群负载均衡器高可用

备服务器修改

验证故障转移

修改修改node节点上的配置引导文件中的server对应的ip为VIP

所有的master节点的集群引导配置文件都指向本机apiserver的ip和端口

2 二进制部署k8s总结

2.1 部署etcd

使用cfssl工具签发证书和私钥文件

解压etcd软件包，获取二进制文件 etcd etcdctl

准备etcd集群配置文件

启动etcd进程服务，将所有节点加入到etcd集群中

2.2 部署master组件

使用cfssl工具签发证书和私钥文件

下载K8S软件包，获取二进制文件 kube-apiserver kube-controller-manager kube-scheduler

准备 kube-apiserver 启动时要调用的 bootstrap-token 认证文件（token.csv）

准备 kube-apiserver kube-controller-manager kube-scheduler 的进程服务启动参数配置文件

准备 kube-controller-manager kube-scheduler kubectl 的 kubeconfig 集群引导配置文件（用于连接和验证 kube-apiserver）

依次启动 kube-apiserver kube-controller-manager kube-scheduler 进程服务

执行 kubectl get cs 命令查看master组件的健康状态

2.3 部署node组件

获取二进制文件 kubelet kube-proxy

准备 kubelet kube-proxy 使用的 kubeconfig集群引导配置文件 bootstrap.kubeconfig(kubelet首次访问apiserver使用认证的文件) kube-proxy.kubeconfig

准备 kubelet kube-proxy 的进程服务启动参数配置文件

启动 kubelet 进程服务，向 apiserver 发起 CSR 请求自动签发证书，master 通过 CSR 请求后 kubelet 即可获取到证书

加载 ipvs 模块，启动 kube-proxy 进程服务

安装 cni 网络插件（flannel或calico）和 CoreDNS

执行 kubectl get nodes 命令查看node节点状态

2.4 部署master高可用

负责master组件相关的二进制文件、证书、私钥、启动参数配置文件、kubeconfig集群引导配置文件和etcd的证书、私钥文件

修改 kube-apiserver kube-controller-manager kube-scheduler 启动参数配置文件里的监听地址和通告地址，再依次重启服务进程

部署 nginx/haproxy 负载均衡器和 keepalived 高可用

修改 kubelet kube-proxy kubectl 的kubeconfig集群引导配置文件里的server参数都指向keepalived的VIP地址，再重启 kubelet kube-proxy 服务进程

修改其它master节点上的 kube-controller-manager kube-scheduler 的kubeconfig集群引导配置文件里的server参数都指向各自本机的apiserver地址，再重启服务进程