• k8s+负载均衡+防火墙

    目录

    实验拓扑

     实验要求

    实验部署

    一、kubeadm部署k8s集群

    1、环境准备（所有节点）

    2、所有节点安装docker

    3、所有节点安装Kubeadm、Kubelet和Kuberctl

    4、部署k8s集群

    初始化kubeadm

    设置kubectl

    5、部署网络插件flannel（所有节点）

    二、创建两个自主式Pod资源

    三、创建service资源（master节点）

    四、搭建负载均衡

    五、配置防火墙服务器

    实验拓扑

     实验要求

    （1）Kubernetes 区域可采用 Kubeadm 方式进行安装。

    （2）要求在 Kubernetes 环境中，通过yaml文件的方式，创建2个Nginx Pod分别放置在两个不同的节点上，Pod使用hostPath类型的存储卷挂载，节点本地目录共享使用 /data，2个Pod副本测试页面二者要不同，以做区分，测试页面可自己定义。

    （3）编写service对应的yaml文件，使用NodePort类型和TCP 30000端口将Nginx服务发布出去。

    （4）负载均衡区域配置Keepalived+Nginx，实现负载均衡高可用，通过VIP 192.168.247.200和自定义的端口号即可访问K8S发布出来的服务。

    （5）iptables防火墙服务器，设置双网卡，并且配置SNAT和DNAT转换实现外网客户端可以通过12.0.0.1访问内网的Web服务。

    实验部署

    一、kubeadm部署k8s集群

    节点IP安装服务
    master（2C/4G，cpu核数要求大于2）192.168.247.100docker、kubeadm、kubelet、kubectl、flannel
    node01（2C/2G）192.168.247.110docker、kubeadm、kubelet、kubectl、flannel
    node02（2C/2G）192.168.247.120docker、kubeadm、kubelet、kubectl、flannel
    lb01192.168.247.130nginx，keepalived
    lb02192.168.247.140nginx，keepalived
    网关服务器

    内网ens33:192.168.247.150

    外网ens36:12.0.0.1

    		iptables
    客户端12.0.0.8

    1、环境准备（所有节点）

    1. #所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
    2. systemctl stop firewalld
    3. systemctl disable firewalld
    4. setenforce 0
    5. sed -i 's/enforcing/disabled/' /etc/selinux/config
    6. iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
    7. swapoff -a                        #交换分区必须要关闭
    8. sed -ri 's/.*swap.*/#&/' /etc/fstab        #永久关闭swap分区，&符号在sed命令中代表上次匹配的结果
    9. #加载 ip_vs 模块
    10. for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
    11.  
    12. #修改主机名
    13. hostnamectl set-hostname master01
    14. hostnamectl set-hostname node01
    15. hostnamectl set-hostname node02
    16. su
    17.  
    18.  
    19. #所有节点修改hosts文件
    20. vim /etc/hosts
    21. 192.168.247.100 master01
    22. 192.168.247.110 node01
    23. 192.168.247.120 node02
    24.  
    25. #调整内核参数
    26. cat > /etc/sysctl.d/kubernetes.conf << EOF
    27. #开启网桥模式，可将网桥的流量传递给iptables链
    28. net.bridge.bridge-nf-call-ip6tables=1
    29. net.bridge.bridge-nf-call-iptables=1
    30. #关闭ipv6协议
    31. net.ipv6.conf.all.disable_ipv6=1
    32. net.ipv4.ip_forward=1
    33. EOF
    34.  
    35. #生效参数
    36. sysctl --system  

    2、所有节点安装docker

    1. yum install -y yum-utils device-mapper-persistent-data lvm2 
    2. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
    3. yum install -y docker-ce docker-ce-cli containerd.io
    4.  
    5. mkdir /etc/docker
    6.  
    7. cat > /etc/docker/daemon.json <<EOF
    8.  {
    9.    "registry-mirrors": ["https://8jp5yjkf.mirror.aliyuncs.com"],  #使用镜像加速
    10.    "exec-opts": ["native.cgroupdriver=systemd"],       #将Cgroup驱动修改为systemd
    11.    "log-driver": "json-file",
    12.    "log-opts": {
    13.      "max-size": "100m"
    14.    }
    15.  } 
    16.  EOF
    17.  
    18.  
    19. #使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
    20. #日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。
    21.  
    22. systemctl daemon-reload
    23. systemctl restart docker.service
    24. systemctl enable docker.service 
    25.  
    26. docker info | grep "Cgroup Driver"
    27. Cgroup Driver: systemd

    3、所有节点安装Kubeadm、Kubelet和Kuberctl

    1. //定义kubernetes源
    2. cat > /etc/yum.repos.d/kubernetes.repo << EOF
    3. [kubernetes]
    4. name=Kubernetes
    5. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    6. enabled=1
    7. gpgcheck=0
    8. repo_gpgcheck=0
    9. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    10. EOF
    11.  
    12. yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11
    13.  
    14. //开机自启kubelet
    15. systemctl enable kubelet.service
    16. #K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

    4、部署k8s集群

    1. //查看初始化需要的镜像
    2. kubeadm config images list
    3.  
    4. //在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录
    5. unzip v1.20.11.zip -d /opt/k8s
    6. cd /opt/k8s/v1.20.11
    7. for i in $(ls *.tar); do docker load -i $i; done
    8.  
    9. //复制镜像和脚本到 node 节点，并在 node 节点上执行脚本加载镜像文件
    10. scp -r /opt/k8s root@node01:/opt
    11. scp -r /opt/k8s root@node02:/opt
    12.  
    13.  
    14. [root@node ~]# cd /opt/k8s/v1.20.11
    15. [root@node ~]# for i in $(ls *.tar); do docker load -i $i; done

    初始化kubeadm

    1. //初始化kubeadm
    2. 方法一：
    3. master节点
    4. [root@master01 opt]# kubeadm config print init-defaults > /opt/kubeadm-config.yaml
    5.  
    6. cd /opt/
    7. [root@master01 opt]# vim kubeadm-config.yaml
    8. ......
    9. 11 localAPIEndpoint:
    10. 12   advertiseAddress: 192.168.247.100        #指定master节点的IP地址
    11. 13   bindPort: 6443
    12. ......
    13. 34 kubernetesVersion: v1.20.11             #指定kubernetes版本号
    14. 35 networking:
    15. 36   dnsDomain: cluster.local
    16. 37   podSubnet: "10.244.0.0/16"            #指定pod网段，10.244.0.0/16用于匹配flannel默认网段
    17. 38   serviceSubnet: 10.96.0.0/16           #指定service网段
    18. 39 scheduler: {}
    19. #末尾再添加以下内容
    20. --- 
    21. apiVersion: kubeproxy.config.k8s.io/v1alpha1
    22. kind: KubeProxyConfiguration
    23. mode: ipvs                                    #把默认的kube-proxy调度方式改为ipvs模式
    24.  
    25.  
    26. [root@master01 opt]# kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
    27. #--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
    28. #tee kubeadm-init.log 用以输出日志
    29.  
    30. //查看 kubeadm-init 日志
    31. [root@master01 opt]# less kubeadm-init.log
    32.  
    33. //kubernetes配置文件目录
    34. [root@master01 opt]# ls /etc/kubernetes/
    35.  
    36. //存放ca等证书和密码的目录
    37. [root@master01 opt]# ls /etc/kubernetes/pki        
    38.  
    39.  
    40. 方法二：
    41. kubeadm init \
    42. --apiserver-advertise-address=192.168.247.100 \
    43. --image-repository registry.aliyuncs.com/google_containers \
    44. --kubernetes-version=v1.20.11 \
    45. --service-cidr=10.96.0.0/16 \
    46. --pod-network-cidr=10.244.0.0/16 \
    47. --token-ttl=0
    48. --------------------------------------------------------------------------------------------
    49. 初始化集群需使用kubeadm init命令，可以指定具体参数初始化，也可以指定配置文件初始化。
    50. 可选参数：
    51. --apiserver-advertise-address：apiserver通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址
    52. --apiserver-bind-port：apiserver的监听端口，默认是6443
    53. --cert-dir：通讯的ssl证书文件，默认/etc/kubernetes/pki
    54. --control-plane-endpoint：控制台平面的共享终端，可以是负载均衡的ip地址或者dns域名，高可用集群时需要添加
    55. --image-repository：拉取镜像的镜像仓库，默认是k8s.gcr.io
    56. --kubernetes-version：指定kubernetes版本
    57. --pod-network-cidr：pod资源的网段，需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico插件的默认值为192.168.0.0/16；
    58. --service-cidr：service资源的网段
    59. --service-dns-domain：service全域名的后缀，默认是cluster.local
    60. --token-ttl：默认token的有效期为24小时，如果不想过期，可以加上 --token-ttl=0 这个参数
    61. ---------------------------------------------------------------------------------------------
    62.  
    63. 方法二初始化后需要修改 kube-proxy 的 configmap，开启 ipvs
    64. kubectl edit cm kube-proxy -n=kube-system
    65. 修改mode: ipvs
    66.  
    67. 提示：
    68. ......
    69. Your Kubernetes control-plane has initialized successfully!
    70.  
    71. To start using your cluster, you need to run the following as a regular user:
    72.  
    73.   mkdir -p $HOME/.kube
    74.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    75.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
    76.  
    77. Alternatively, if you are the root user, you can run:
    78.  
    79.   export KUBECONFIG=/etc/kubernetes/admin.conf
    80.  
    81. You should now deploy a pod network to the cluster.
    82. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    83.   https://kubernetes.io/docs/concepts/cluster-administration/addons/
    84.  
    85. Then you can join any number of worker nodes by running the following on each as root:
    86.  
    87. kubeadm join 192.168.247.100:6443 --token abcdef.0123456789abcdef \
    88.     --discovery-token-ca-cert-hash sha256:9a27d52740acee306ca77038d24dc15b597a62bd37384c2f7ba8a13ee87cb348

     

    设置kubectl

    1. //设定kubectl
    2. kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。
    3.  
    4. [root@master01 opt]# mkdir -p $HOME/.kube
    5. [root@master01 opt]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    6. [root@master01 opt]# chown $(id -u):$(id -g) $HOME/.kube/config
    7.  
    8.  
    9. //如果 kubectl get cs 发现集群不健康，更改以下两个文件
    10. vim /etc/kubernetes/manifests/kube-scheduler.yaml 
    11. vim /etc/kubernetes/manifests/kube-controller-manager.yaml
    12. # 修改如下内容
    13. 把--bind-address=127.0.0.1变成--bind-address=192.168.247.100        #修改成k8s的控制节点master01的ip
    14. 把httpGet:字段下的hosts由127.0.0.1变成192.168.247.100（有两处）
    15. #- --port=0                    # 搜索port=0，把这一行注释掉
    16.  
    17. systemctl restart kubelet

     

    5、部署网络插件flannel（所有节点）

    1. //所有节点部署网络插件flannel
    2. 方法一：
    3. //所有节点上传flannel镜像 flannel.tar 到 /opt 目录，master节点上传 kube-flannel.yml 文件
    4. cd /opt
    5. docker load < flannel.tar
    6.  
    7. //在 master 节点创建 flannel 资源
    8. kubectl apply -f kube-flannel.yml 
    9.  
    10.  
    11. 方法二：
    12. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    13.  
    14.  
    15.  
    16.  
    17.  
    18. //在 node 节点上执行 kubeadm join 命令加入群集
    19. kubeadm join 192.168.247.100:6443 --token abcdef.0123456789abcdef \
    20.     --discovery-token-ca-cert-hash sha256:75f7444aa343b59b1e953295b7b67051833d9e214dfb4e2c6f9807e0d84b0229
    21.  
    22.  
    23.  
    24. //在master节点查看节点状态（需要等一段时间才会响应）
    25. [root@master01 opt]# kubectl get nodes
    26. master01   Ready    control-plane,master   82m   v1.20.11
    27. node01     Ready    <none>                 14m   v1.20.11
    28. node02     Ready    <none>                 14m   v1.20.11
    29.  
    30.  
    31.  
    32.  
    33. [root@master01 opt]# kubectl get pods -n kube-system
    34. NAME                             READY   STATUS    RESTARTS   AGE
    35. coredns-74ff55c5b-jp57r            1/1     Running   0          81m
    36. coredns-74ff55c5b-qzr9h            1/1     Running   0          81m
    37. etcd-master01                      1/1     Running   0          82m
    38. kube-apiserver-master01            1/1     Running   0          82m
    39. kube-controller-manager-master01   1/1     Running   0          74m
    40. kube-flannel-ds-6f8zm              1/1     Running   0          4s
    41. kube-flannel-ds-dkgj5              1/1     Running   0          4s
    42. kube-flannel-ds-k5nbs              1/1     Running   0          4s
    43. kube-proxy-9n9hm                   1/1     Running   0          14m
    44. kube-proxy-ggp6h                   1/1     Running   0          81m
    45. kube-proxy-xh7jc                   1/1     Running   0          14m
    46. kube-scheduler-master01            1/1     Running   0          72m

    二、创建两个自主式Pod资源

    要求在 Kubernetes 环境中，通过yaml文件的方式，创建2个Nginx Pod分别放置在两个不同的节点上，Pod使用hostPath类型的存储卷挂载，节点本地目录共享使用 /data，2个Pod副本测试页面二者要不同，以做区分，测试页面可自己定义。

    1. #1、先空跑命令，生成nginx的pod模板文件
    2.  kubectl run mynginx --image=nginx:1.14 --port=80 --dry-run=client -o yaml > mynginx.yaml
    3.  ​
    4.  #2、修改模板文件
    5.  vim mynginx.yaml
    6.  ---
    7.  apiVersion: v1
    8.  kind: Pod
    9.  metadata:
    10.    labels:
    11.      app: wzy-nginx      #pod的标签
    12.    name: wzy-nginx01
    13.  spec:
    14.    nodeName: node01       #指定该pod调度到node01节点
    15.    containers:
    16.    - image: nginx:1.14
    17.      name: mynginx
    18.      ports:
    19.      - containerPort: 80   #定义容器的端口
    20.      volumeMounts:         #挂载存储卷
    21.      - name: page01        #名称需要与下方定义的存储卷的名称一致
    22.        mountPath: /usr/share/nginx/html    #容器中的挂载点，设置为nginx服务的网页根目录
    23.        readOnly: false     #可读可写
    24.    volumes:                #定义一个存储卷
    25.    - name: page01          #存储卷的名称
    26.      hostPath:             #存储卷的类型为 hostPath       
    27.        path: /data         #node节点的共享目录
    28.        type: DirectoryOrCreate    #该类型表示如果共享目录不存在，则系统会自动创建该目录
    29.  ---
    30.  apiVersion: v1
    31.  kind: Pod
    32.  metadata:
    33.    labels:
    34.      app: wzy-nginx         #pod的标签
    35.    name: wzy-nginx02
    36.  spec:
    37.    nodeName: node02          #指定该pod调度到node02节点
    38.    containers:
    39.    - name: mynginx
    40.      image: nginx:1.14
    41.      ports:
    42.      - containerPort: 80     #定义容器的端口
    43.      volumeMounts:           #挂载存储卷
    44.      - name: page02          #名称需要与下方定义的存储卷的名称一致
    45.        mountPath: /usr/share/nginx/html   #容器中的挂载点
    46.        readOnly: false
    47.    volumes:               #定义一个存储卷
    48.    - name: page02         #存储卷的名称
    49.      hostPath:            #存储卷类型为 hostPath
    50.        path: /data        #node节点的共享目录
    51.        type: DirectoryOrCreate    #该类型表示如果共享目录不存在，则系统会自动创建该目录
    52.        
    53.  #使用yaml文件创建自主式Pod资源
    54.  kubectl apply -f mynginx.yaml
    55.  ​
    56.  #查看创建的两个pod，被调度到了不同的node节点
    57.  kubectl get pods -o wide
    58.  NAME           READY   STATUS    RESTARTS   AGE     IP           NODE     NOMINATED NODE   READINESS GATES
    59.  yuji-nginx01   1/1     Running   0          9m16s   10.244.1.2   node01   <none>           <none>
    60.  yuji-nginx02   1/1     Running   0          9m16s   10.244.2.3   node02   <none>           <none>
    61.  ​
    62.  #---3、两个node节点的存储卷，写入不同的html文件内容，验证访问网页
    63.  #node01节点
    64.  echo "this is node01" > /data/index.html
    65.  ​
    66.  #node02节点
    67.  echo "this is node02" > /data/index.html
    68.  ​
    69.  curl 10.244.1.2   #访问Node01节点的Pod的IP
    70.  ​
    71.  curl 10.244.2.3   #访问Node02节点的Pod的IP
    72.

     

    三、创建service资源（master节点）

    编写service对应的yaml文件，使用NodePort类型和TCP 30000端口将Nginx服务发布出去

    1.  #1、编写service对应的yaml文件
    2. cd /opt
    3.  
    4.  vim myservice.yaml
    5.  ---
    6.  apiVersion: v1
    7.  kind: Service
    8.  metadata: 
    9.     name: wzy-nginx-svc
    10.     namespace: default   
    11.  spec:
    12.    type: NodePort        #service类型设置为NodePort
    13.    ports: 
    14.    - port: 80            #service使用的端口号，ClusterIP后面跟的端口号。
    15.      targetPort: 80      #需要转发到的后端Pod的端口号
    16.      nodePort: 30000     #指定映射到物理机的端口号，k8s集群外部可以使用nodeIP:nodePort访问service
    17.    selector:             
    18.      app: wzy-nginx     #标签选择器要和上一步创建的pod的标签保持一致
    19.      
    20.  #创建service资源    
    21.  kubectl apply -f myservice.yaml
    22.  ​
    23.  #2、查看service资源
    24.  kubectl get svc
    25.  NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
    26.  kubernetes      ClusterIP   10.96.0.1     <none>        443/TCP        5d23h
    27.  wzy-nginx-svc   NodePort    10.99.23.65   <none>        80:30000/TCP   8s
    28.  
    29.  ​
    30.  #查看service资源的详细信息
    31.  kubectl describe svc yuji-nginx-svc  
    32.  Name:                     wzy-nginx-svc
    33.  Namespace:                default
    34.  Labels:                   <none>
    35.  Annotations:              <none>
    36.  Selector:                 app=wzy-nginx
    37.  Type:                     NodePort
    38.  IP Families:              <none>
    39.  IP:                       10.99.23.65
    40.  IPs:                      10.99.23.65
    41.  Port:                     <unset>  80/TCP
    42.  TargetPort:               80/TCP
    43.  NodePort:                 <unset>  30000/TCP
    44.  Endpoints:                10.244.1.2:80,10.244.2.3:80    #service资源管理的2个pod
    45.  Session Affinity:         None
    46.  External Traffic Policy:  Cluster
    47.  Events:                   <none>
    48.  ​
    49.  ​
    50.  #3、测试使用nodeIP:nodePort访问nginx网页
    51.  curl 192.168.247.110:30000   #node01
    52.  ​
    53.  curl 192.168.247.120:30000   #node02
    54.

     

    四、搭建负载均衡

    负载均衡区域配置Keepalived+Nginx，实现负载均衡高可用，通过VIP 192.168.10.100和自定义的端口号即可访问K8S发布出来的服务。

    1.  #---------1、两台负载均衡器配置nginx--------------
    2.  ​
    3.  #关闭防火墙和selinux
    4. systemctl stop firewalld
    5. systemctl disable firewalld
    6. setenforce 0
    7. sed -i 's/enforcing/disabled/' /etc/selinux/config
    8.  ​
    9.  #设置主机名
    10. hostnamectl set-hostname lb01
    11. su
    12. hostnamectl set-hostname lb02
    13. su
    14.  ​
    15.  #配置nginx的官方在线yum源
    16. cat > /etc/yum.repos.d/nginx.repo << 'EOF'
    17. [nginx]
    18. name=nginx repo
    19. baseurl=http://nginx.org/packages/centos/7/$basearch/
    20. gpgcheck=0
    21. EOF
    22.  ​
    23. yum install nginx -y
    24.  ​
    25.  #修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台node的节点ip和30000端口
    26. vim /etc/nginx/nginx.conf
    27. events {
    28.     worker_connections  1024;
    29. }
    30.  ​
    31.  #在http块上方，添加stream块
    32. stream {
    33.     upstream k8s-nodes {
    34.         server 192.168.247.110:30000;    #node01IP:nodePort
    35.         server 192.168.247.120:30000;    #node02IP:nodePort
    36.     }
    37.     server {
    38.         listen 5210;                  #自定义监听端口
    39.         proxy_pass k8s-nodes;
    40.     }
    41. }
    42.  ​
    43. http {
    44. ......
    45.     #include /etc/nginx/conf.d/*.conf;    #建议将这一行注释掉，否则会同时加载/etc/nginx/conf.d/default.conf文件中的内容，nginx会同时监听80端口。
    46. }
    47.  ​
    48.  #检查配置文件语法是否正确
    49. nginx -t   
    50.  ​
    51.  #启动nginx服务，查看到已监听3344端口
    52. systemctl start nginx
    53. systemctl enable nginx
    54. netstat -natp | grep nginx 
    55. tcp        0      0 0.0.0.0:5210            0.0.0.0:*               LISTEN             72138/nginx: master
    56.  ​
    57.  ​
    58.  ​
    59.  #------------2、两台负载均衡器配置keepalived--------
    60.  ​
    61.  #安装keepalived服务
    62. yum install keepalived -y
    63.  ​
    64.  #修改keepalived配置文件
    65. vim /etc/keepalived/keepalived.conf
    66. ! Configuration File for keepalived
    67.  ​
    68. global_defs {
    69.     # 接收邮件地址
    70.    notification_email {
    71.      acassen@firewall.loc
    72.      failover@firewall.loc
    73.      sysadmin@firewall.loc
    74.    }
    75.     # 邮件发送地址
    76.    notification_email_from Alexandre.Cassen@firewall.loc
    77.    smtp_server 127.0.0.1    #修改为本机回环地址
    78.    smtp_connect_timeout 30
    79.    router_id LB01   #lb01节点的为LB01，lb02节点的为LB02
    80. }
    81.  ​
    82.  #添加一个周期性执行的脚本
    83. vrrp_script check_nginx {
    84.     script "/etc/nginx/check_nginx.sh"  #指定检查nginx存活的脚本路径
    85. }
    86.  ​
    87. vrrp_instance VI_1 {
    88.     state MASTER            #lb01节点的为 MASTER，lb02节点的为 BACKUP
    89.     interface ens33         #指定网卡名称 ens33
    90.     virtual_router_id 51    #指定组ID，两个节点要一致
    91.     priority 100            #设置优先级，lb01节点设置为 100，lb02节点设置为 90
    92.     advert_int 1
    93.     authentication {
    94.         auth_type PASS
    95.         auth_pass 1111
    96.     }
    97.     virtual_ipaddress {
    98.         192.168.247.200      #指定VIP地址
    99.     }
    100.     track_script {          #追踪脚本
    101.         check_nginx         #指定vrrp_script配置的脚本
    102.     }
    103. }
    104.  #将配置文件中剩余的内容全都删除
    105.  ​
    106.  #主调度器lb01创建nginx状态检查脚本 
    107. vim /etc/nginx/check_nginx.sh
    108. #!/bin/bash
    109. #egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
    110. count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
    111. if [ "$count" -eq 0 ];then
    112.     systemctl stop keepalived
    113. fi
    114.  ​
    115.  chmod +x /etc/nginx/check_nginx.sh  #为脚本增加执行权限
    116.  ​
    117.  #启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务，否则keepalived检测到nginx没有启动，会杀死自己）
    118.  systemctl start keepalived
    119.  systemctl enable keepalived
    120.  ip addr             #查看主节点的VIP是否生成
    121.  ​
    122.  #测试使用VIP:3344访问web网页
    123.  curl 192.168.10.100:3344
    124.  ​
    125.  ​
    126.  #----------3、关闭主调度器的nginx服务，模拟故障，测试keepalived-------
    127.  ​
    128.  #关闭主调度器lb01的Nginx服务，模拟宕机，观察VIP是否漂移到备节点
    129.  systemctl stop nginx
    130.  ip addr
    131.  systemctl status keepalived   #此时keepalived被脚本杀掉了   
    132.  ​
    133.  #备节点查看是否生成了VIP
    134.  ip addr    #此时VIP漂移到备节点lb02
    135.  ​
    136.  #恢复主节点
    137.  systemctl start nginx         #先启动nginx
    138.  systemctl start keepalived    #再启动keepalived
    139.  ip addr
    140.

     

     

     

     

     

     

    五、配置防火墙服务器

    iptables防火墙服务器，设置双网卡，并且配置SNAT和DNAT转换实现外网客户端可以通过12.0.0.1访问内网的Web服务。

    1. ##两台负载均衡器，将网关地址修改为防火墙服务器的内网IP地址
    2.  vim /etc/sysconfig/network-scripts/ifcfg-ens33
    3.  GATEWAY="192.168.247.150"
    4.  ​
    5.  systemctl restart network   #重启网络
    6.  systemctl restart keepalived   #如果VIP丢失，需要重启一下keepalived
    7.  ​
    8.  ##配置防火墙服务器
    9.  #-------------1、关闭防火墙和selinux-------------
    10. systemctl stop firewalld
    11. systemctl disable firewalld
    12. setenforce 0
    13. sed -i 's/enforcing/disabled/' /etc/selinux/config
    14.  ​
    15.  #------------2、开启路由转发功能----------------
    16.  vim /etc/sysctl.conf
    17.  net.ipv4.ip_forward = 1     //在文件中增加这一行，开启路由转发功能
    18.  ​
    19.  sysctl -p    //加载修改后的配置
    20.  ​
    21.  #------------3、添加一块网卡------------------
    22.  
    23.  ​
    24.  #------------4、配置iptables策略---------------
    25.  ​
    26.  #先将原有的规则清除
    27. iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
    28.  ​
    29.  #设置SNAT服务，解析源地址。修改nat表中的POSTROUTING链。
    30.  #将源地址192.168.247.200转换为为12.0.0.1
    31. iptables -t nat -A POSTROUTING -s 192.168.247.0/24 -o ens36 -j SNAT --to 12.0.0.1
    32.   #-t nat                  //指定nat表
    33.   #-A POSTROUTING          //在POSTROUTING链中添加规则  
    34.   #-s 192.168.247.200/24    //数据包的源地址
    35.   #-o ens36                //出站网卡
    36.   #-j SNAT --to 12.0.0.1   //使用SNAT服务，将源地址转换成公网IP地址。
    37.  ​
    38.  ​
    39.  #设置DNAT服务，解析目的地址。修改nat表中的PRETROUTING链。
    40.  #将目的地址12.0.0.1:5210 转换成 192.168.247.200:5210
    41.  iptables -t nat -A PREROUTING -i ens36 -d 12.0.0.1 -p tcp --dport 5210 -j DNAT --to 192.168.247.200:5210
    42.   #-A PREROUTING         //在PREROUTING链中添加规则        
    43.   #-i ens36              //入站网卡
    44.   #-d 12.0.0.254         //数据包的目的地址
    45.   #-p tcp --dport 5210   //数据包的目的端口
    46.   #-j DNAT --to 192.168.247.200:5210  //使用DNAT功能，将目的地址和端口转换成192.168.247.200:5210
    47.   
    48.  ​
    49.  iptables -t nat -nL   #查看策略
    50.  Chain PREROUTING (policy ACCEPT)
    51.  target     prot opt source               destination
    52.  DNAT       tcp  --  0.0.0.0/0            12.0.0.1             tcp dpt:5210 to:192.168.247.200:5210
    53.  ​
    54.  Chain INPUT (policy ACCEPT)
    55.  target     prot opt source               destination
    56.  ​
    57.  Chain OUTPUT (policy ACCEPT)
    58.  target     prot opt source               destination
    59.  ​
    60.  Chain POSTROUTING (policy ACCEPT)
    61.  target     prot opt source               destination
    62.  SNAT       all  --  192.168.247.0/24      0.0.0.0/0            to:12.0.0.1
    63.   
    64.   
    65.  ##客户端修改网关配置文件，测试访问内网的Web服务
    66.  客户端IP地址：12.0.0.12，将网关地址设置为防火墙服务器的外网网卡地址：12.0.0.1
    67.  浏览器输入 http://12.0.0.1:5210 进行访问
    68.

    ens36 

     

    客户端

     

     

     客户端修改网关地址，测试访问内网，刷新较慢需等待一会儿

     

     

  • 相关阅读:
    站在巨人的肩膀上谈-计算机视觉走向未来
    10. 元组、集合
    Linux之epoll理解
    FusionSphere虚拟化解决方案介绍
    SwiftUI SQLite数据库存储使用教程大合集(2022年版)
    flask获取post请求参数
    项目实用功能-全局loading动画
    [CISCN 2023 初赛]go_session
    腾讯样式初始化文件
    艾美捷ProSci丨ProSci 40S核糖体蛋白S19重组蛋白介绍
  • 原文地址：https://blog.csdn.net/m_j_y0_0/article/details/130796333