【云原生】Kubeadmin安装k8s集群

Kubeadm 是一个提供了 kubeadm init 和 kubeadm join 的工具，作为创建 Kubernetes 集群的 “快捷途径” 的最佳实践
kubeadm 通过执行必要的操作来启动和运行最小可用集群。按照设计，它只关注启动引导，而非配置机器。同样的，安装各种 “锦上添花” 的扩展，例如 Kubernetes Dashboard、监控方案、以及特定云平台的扩展，都不在讨论范围内。相反，我们希望在 kubeadm 之上构建更高级别以及更加合规的工具，理想情况下，使用 kubeadm 作为所有部署工作的基准将会更加易于创建一致性集群。

一环境部署

1.1 服务器部署功能

节点角色	IP地址	部署服务
master(2C4G)	192.168.181.100	docker,kubeadm,kubelet,kubectl ,flannel
node01 (2C2G)	192.168.181.101	docker,kubeadm,kubelet,kubectl ,flannel
node02(2C2G)	192.168.181.102	docker,kubeadm,kubelet,kubectl ,flannel
Harbor节点(hub.lbj.com)	192.168.181.103	docker,docker-Compose ,harbor-offline-v1.2.2

1.2 环境准备（所有节点）


//所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
swapoff -a						#交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab		#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果
#加载 ip_vs 模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
 
//修改主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02
 
//所有节点修改hosts文件
vim /etc/hosts
192.168.181.100 master01
192.168.181.101 node01
192.168.181.102 node02
 
//调整内核参数
cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
 
//生效参数
sysctl --system

二安装docker（所有节点）


yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io
 
mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://这里我用的是阿里云加速器"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
#使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。
 
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 
 
docker info | grep "Cgroup Driver"
Cgroup Driver: systemd

registry-mirrors：配置镜像加速地址

阿里云的镜像加速：控制台---->在产品与镜像服务搜索容器镜像服务----> 镜像工具------>镜像加速器
exec-opts:
使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
log-driver ; log-opts
日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

三所有节点安装kubeadm，kubelet和kubectl

3.1 定义kubernetes源


cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
 
yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

3.2 开机自启kubelet


systemctl enable kubelet.service
#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

四部署K8S集群

4.1 查看初始化需要的镜像

kubeadm config images list

4.2 master节点上传压缩包


unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

4.3 复制镜像和脚本到 node 节点


scp -r /opt/k8s root@node01:/opt
scp -r /opt/k8s root@node02:/opt
 
#### node节点
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

4.4 初始化 kubeadm


kubeadm config print init-defaults > /opt/kubeadm-config.yaml
 
cd /opt/
vim kubeadm-config.yaml
......
11 localAPIEndpoint:
12   advertiseAddress: 192.168.181.100		#指定master节点的IP地址
13   bindPort: 6443
......
34 kubernetesVersion: v1.20.11				#指定kubernetes版本号
35 networking:
36   dnsDomain: cluster.local
37   podSubnet: "10.244.0.0/16"				#指定pod网段，10.244.0.0/16用于匹配flannel默认网段
38   serviceSubnet: 10.96.0.0/16			#指定service网段
39 scheduler: {}
#末尾再添加以下内容
--- 
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs									#把默认的kube-proxy调度方式改为ipvs模式
 
wq！
###############
 
kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
#--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
#tee kubeadm-init.log 用以输出日志
 
 
//查看 kubeadm-init 日志
less kubeadm-init.log
 
//kubernetes配置文件目录
ls /etc/kubernetes/
 
//存放ca等证书和密码的目录
ls /etc/kubernetes/pki

4.5 证书生成结果


提示：
......
Your Kubernetes control-plane has initialized successfully!
 
To start using your cluster, you need to run the following as a regular user:
 
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
 
Alternatively, if you are the root user, you can run:
 
  export KUBECONFIG=/etc/kubernetes/admin.conf
 
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
 
Then you can join any number of worker nodes by running the following on each as root:
 
kubeadm join 192.168.181.100:6443 --token wfjo7j.baa0aheyw39w3m7h \
    --discovery-token-ca-cert-hash sha256:77100ff66b20100cbd9f1c289788e43aee69c5b4e24cc2c74c2e5d634a074fdc

Token密钥必须保存好，下一步会用到

4.6 设定kubectl（Master节点）

kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。


mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
 
######### 因为node节点还没加入 所以scheduler和controller-manager会显示unhealthy
 
如果 kubectl get cs 发现集群不健康，更改以下两个文件
vim /etc/kubernetes/manifests/kube-scheduler.yaml 
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
# 修改如下内容
把--bind-address=127.0.0.1变成--bind-address=192.168.181.100		#修改成k8s的控制节点master01的ip
把httpGet:字段下的hosts由127.0.0.1变成192.168.181.100（有两处）
#- --port=0					# 搜索port=0，把这一行注释掉
 
systemctl restart kubelet

五所有节点部署网络插件flannel

5.1 部署flannel


kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
 
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
 
 
//在 node 节点上执行 kubeadm join 命令加入群集
kubeadm join 192.168.181.100:6443 --token rc0kfs.a1sfe3gl4dvopck5 \
    --discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2
 
##########
因为Token密钥因为Token密钥失效时间是24h，如果Token失效，可以使用以下命令重新生成
###########
 
kubeadm token create  
####生成token密钥
 
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
####生成openssl十六进制密钥

5.2 在master节点查看节点状态


kubectl get nodes
 
kubectl get pods -n kube-system

5.3 测试 pod 资源创建

kubectl create deployment nginx --image=nginx

5.4 暴露端口提供服务


kubectl expose deployment nginx --port=80 --type=NodePort
 
####查看service通信
kubectl get svc
 
####测试访问
curl http://node01:31044

六部署 Dashboard

6.1 Master节点上传recommended.yaml文件


cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001     #添加
  type: NodePort          #添加
  selector:
    k8s-app: kubernetes-dashboard
	
kubectl apply -f recommended.yaml

6.2 创建service account并绑定默认cluster-admin管理员集群角色


kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
 
#使用输出的token登录Dashboard
https://NodeIP:30001

七安装Harbor私有仓库

7.1 所有节点加上主机名映射

echo '192.168.181.103 hub.lbj.com' >> /etc/hosts

7.2 安装 docker


yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io
 
 
mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://阿里云加速器URL"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.lbj.com"]
}
EOF
 
#####
这里算是个彩蛋吧，网址这里说一下 lbj的全称是Lebron James 本人20年老詹密 lbj一般是我的首选域名~
#####
 
 
systemctl start docker
systemctl enable docker

8 安装 Harbor

8.1 上传并解压修改配置文件


//上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录
cd /opt
cp docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose
 
tar zxvf harbor-offline-installer-v1.2.2.tgz
cd harbor/
 
 
 
vim harbor.cfg
5  hostname = hub.kgc.com
9  ui_url_protocol = https
24 ssl_cert = /data/cert/server.crt
25 ssl_cert_key = /data/cert/server.key
59 harbor_admin_password = Harbor12345

8.2 生成证书


mkdir -p /data/cert
cd /data/cert
#生成私钥
openssl genrsa -des3 -out server.key 2048
输入两遍密码：123456

8.3 生成证书签名请求文件


openssl req -new -key server.key -out server.csr
输入私钥密码：123456
输入国家名：CN
输入省名：BJ
输入市名：BJ
输入组织名：LBJ
输入机构名：LBJ
输入域名：hub.lbj.com
输入管理员邮箱：admin@lbj.com
其它跳过 直接回车（两次）

8.4 备份私钥

cp server.key server.key.org

8.5 清除私钥密码


openssl rsa -in server.key.org -out server.key
输入私钥密码：123456

8.6 签名证书


openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt
 
chmod +x /data/cert/*
 
cd /opt/harbor/
./install.sh
 
在本地使用火狐浏览器访问：https://hub.lbj.com
添加例外 -> 确认安全例外
用户名：admin
密码：Harbor12345

8.7 在一个node节点上登录harbor

docker login -u admin -p Harbor12345 https://hub.lbj.com

8.9 上传镜像并测试


//上传镜像
docker tag nginx:latest hub.kgc.com/library/nginx:v1
docker push hub.kgc.com/library/nginx:v1
 
//在master节点上删除之前创建的nginx资源
kubectl delete deployment nginx
 
kubectl create deployment nginx-deployment --image=hub.lbj.com/library/nginx:v1 --port=80 --replicas=3
 
kubectl expose deployment nginx-deployment --port=30000 --target-port=80
 
kubectl get svc,pods
NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
service/kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP     10m
service/nginx-deployment   ClusterIP   10.96.222.161   <none>        30000/TCP   3m15s
 
NAME                                    READY   STATUS    RESTARTS   AGE
pod/nginx-deployment-77bcbfbfdc-bv5bz   1/1     Running   0          16s
pod/nginx-deployment-77bcbfbfdc-fq8wr   1/1     Running   0          16s
pod/nginx-deployment-77bcbfbfdc-xrg45   1/1     Running   0          3m39s
 
 
yum install ipvsadm -y
ipvsadm -Ln
 
curl 10.96.222.161:30000
 
 
kubectl edit svc nginx-deployment
25   type: NodePort						#把调度策略改成NodePort
 
kubectl get svc
NAME                       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)           AGE
service/kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP           29m
service/nginx-deployment   NodePort    10.96.222.161   <none>        30000:32340/TCP   22m
 
浏览器访问：
192.168.181.100:32340
192.168.181.101:32340
192.168.181.102:32340
 
 
#将cluster-admin角色权限授予用户system:anonymous
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

十内核参数优化方案


cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0									#禁止使用 swap 空间，只有当系统内存不足（OOM）时才允许使用它
vm.overcommit_memory=1							#不检查物理内存是否够用
vm.panic_on_oom=0								#开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963							#指定最大文件句柄数
fs.nr_open=52706963								#仅4.4以上版本支持
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

十一总结以及流程梳理

1、在所有节点上安装Docker和kubeadm
2、部署Kubernetes Master
3、部署容器网络插件
4、部署 Kubernetes Node，将节点加入Kubernetes集群中
5、部署 Dashboard Web 页面，可视化查看Kubernetes资源
6、部署 Harbor 私有仓库，存放镜像资源

（感谢看官~ 文章中有彩蛋，欢迎大家评论区和我互动哈~~）

相关阅读:
OffiSmart Summit智慧办公及空间管理上海线下峰会精彩亮点抢先看
 电子邮件系统哪个好？
微信小程序请求接口返回的二维码(图片)，本地工具和真机测试都能显示，上线之后不显示问题
 Redis原理篇——内存回收
 Axios源码仿写与二次封装
 【秋招】最全算法岗面试，吃透offer拿到手软！
SpringSecurity：通过OAuth2集成Github
HCIP---eth-trunk-链路聚合
 Vue实战篇三十二：实现新闻的无限加载
 TCP和UDP
原文地址：https://blog.csdn.net/Sp_Tizzy/article/details/132760642