• LVS负载均衡集群

    一、集群含义：


      由多台主机构成，但对外只表现为一一个整体，只提供一个访问入口(域名或IP地址)，相当于一台大型计算机。

    二、群集的类型：


    1）负载均衡群集 LB：
      提高系统响应效率，处理更多的访问请求，减少延迟，实现高并发、高负载的能力
    典型代表：软件类：LVS  Nginx  HAProxy 等     硬件类：F5  绿盟

    2）高可用群集 HA：
      提高系统可靠性，减少中断时间，确保服务的连续性（通常使用 N 个 9 来代表高可用的指标）
    典型代表：Keepalived    heartbeat

    3）高性能运输群集 HPC：
      通过云计算或分布式计算获取高性能的CPU、内存等资源，来提高整体运算能力

    三、LVS 的三种工作模式：


    1）NAT 地址转换：
      调度器会作为所以节点服务器的默认网关，也是客户端的访问入口和节点服务器返回响应消息的出口，也就是说调度器会承载双向数据流量的负载压力，可能会成为整个群集的性能瓶颈。由于节点服务器都处于内网环境，使用私网IP地址，所以具有一定安全性。

    2）TUN IP隧道 IP Tunnel：
      调度器仅作为客户端的访问入口，节点服务器的响应消息是直接返回给客户端的，不需要经过调度器。但是由于节点服务器需要部署在不同位置的公网环境中，需要具有独立的公网IP，调度器与节点服务器是通过专用的IP隧道实现相互通信的，因此IP隧道模式的成本较高、安全性较低，且IP隧道需要额外的封装和解封装，性能会受到一定的影响。

    3）DR 直接路由  Direct Routing：
      调度器仅作为客户端的访问入口，节点服务器的响应消息是直接返回给客户端的，不需要经过调度器。（与NAT模式的区别）
      节点服务器与调度器是部署在同一个物理网络内，因此不需要建立专用的IP隧道。（与TUN模式的区别）
          DR模式是企业首选的LVS模式。

    四、LVS 调度算法：


    1. rr 轮询    
    将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ，而不管服务器实际的连接数和系统负载
    2. wrr 加权轮询  
    依据不同RS的权值分配任务。权重值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
    保证性能强的服务器承担更多的访问流量。
    3. sh 源地址哈希  
    以目的地址为关键字查找一个静态hash表来获得所需RS。
    4. dh 目的地址哈希  
    以源地址为关键字查找--个静态hash表来获得需要的RS。
    5. lc 最小连接  
    ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。
    根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。
    6. wlc 加权最小连接  
    假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS。
    7. lblc 基于地址的最小连接
    将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。


    五、ipvsadm管理工具：


      ipvsadm 是在负载调度器上使用的 LVS 群集管理工具，通过调用 ip_vs 模块来添加、删除服务器节点 ，以及查看集群运行状态，在CentOS 7系统中，需安装软件包

    ipvsadm:
    -A       添加虚拟服务器
    -D       删除整个虚拟服务器
    -s        指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc）
    -a        表示添加真实服务器（节点服务器）
    -d        删除某一个节点
    -t         指定 VIP地址及 TCP端口
    -r         指定 RIP地址及 TCP端口
    -m       表示使用 NAT群集模式
    -g        表示使用 DR模式
    -i         表示使用 TUN模式
    -w       设置权重（权重为 0 时表示暂停节点）
    -p 60   表示保持长连接60秒
    -l         列表查看 LVS 虚拟服务器（默认为查看所有）
    -n        以数字形式显示地址、端口等信息，常与“-l”选项组合使用。

        ipvsadm -ln 组合使用查看规则
     

    yum -y install ipvsadm   需要下载

    六、NAT模式 LVS负载均衡群集部署： 

    1.部署共享存储： 

    1. systemctl disable --now firewalld.service  #关闭防火墙和安全机制
    2. setenforce 0
    3.  
    4. yum install nfs-utils rpcbind -y
    5. systemctl start rpcbind.service
    6. systemctl start nfs.service                #安装启动工具
    7.  
    8. systemctl enable nfs.service
    9. systemctl enable rpcbind.service           #设置开机自启
    10.  
    11. mkdir /opt/kgc /opt/benet                    #创建挂载目录
    12. chmod 777 /opt/kgc /opt/benet                #加权限
    13. echo 'this is wzw web1!' > /opt/kgc/index.html
    14. echo 'this is dsj web2!' > /opt/benet/index.html     #模拟数据
    15.  
    16. vim /etc/exports
    17. /usr/share *(ro,sync)
    18. /opt/wzw 192.168.88.0/24(rw,sync)
    19. /opt/dsj 192.168.88.0/24(rw,sync)          #添加规则
    20.  
    21. systemctl restart nfs rpcbind              #重启服务
    22.

    2.配置节点服务器： 

    1. 以下操作两台服务器同时进行：
    2.  
    3. systemctl disable --now firewalld.service
    4. setenforce 0              
    5.  
    6. yum install httpd -y
    7. systemctl enable --now httpd.service  #安装启动httpd
    8.  
    9. yum install nfs-utils rpcbind -y
    10. systemctl enable --now nfs rpcbind    #安装启动共享服务
    11.  
    12. vim /etc/fstab
    13. 192.168.88.103:/opt/wzw	/var/www/html	nfs		defaults,_netdev	0  0
    14.  
    15. ##永久挂载
    16.  
    17. mount -a      #刷新挂载
    18.  
    19.

     3.配置负载调度器：

    1. systemctl disable --now firewalld.service
    2. setenforce 0  
    3.  
    4. yum -y install ipvsadm       #先安装ipvsadn管理工具
    5.  
    6. ipvsadm-save > /etc/sysconfig/ipvsadm  #启动服务前须保存负载分配策略
    7.  
    8. systemctl start ipvsadm.service
    9.  
    10. 添加新网卡IP地址为12.0.0.20   （仅主机）
    11.  
    12. vi /etc/sysctl.conf
    13.  net.ipv4.ip_forward = 1     ##开启路由转发功能
    14.  
    15. sysctl -p      #刷新
    16.  
    17. iptables -t nat -F
    18. iptables -F
    19. iptables -t nat -A POSTROUTING -s 192.168.88.0/24 -o ens36 -j SNAT --to 12.0.0.20
    20.  
    21.   ##清空规则，添加新的SNAT防火墙策略  将88段IP转换为外网
    22.  
    23. ipvsadm -A -t 12.0.0.20:80 -s rr 
    24. ipvsadm -a -t 12.0.0.20:80 -r 192.168.88.100:80 -m 
    25. ipvsadm -a -t 12.0.0.20:80 -r 192.168.88.102:80 -m 
    26. ipvsadm
    27.  
    28.   #添加lvs策略
    29.  
    30. 注意服务器和客户端网关要  指向网关服务器
    31.  
    32. 客户端网关为 12.0.0.20
    33. 服务器网关为 192.168.88.104
    34.

     

     

    七、DR模式 LVS负载均衡群集部署：


      1.LVS-DR数据包流向分析：


    （1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
    （2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
    （3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
    （4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
    （5）Real Server 直接将响应报文传送到客户端。

      2. DR 模式的特点：


    （1）Director Server 和 Real Server 必须在同一个物理网络中。
    （2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
    （3）Director Server作为群集的访问入口，但不作为网关使用。
    （4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
    （5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。
    （6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

      3.DR部署示例：


         3.1 配置负载调度器：

    1. systemctl stop firewalld.service
    2. setenforce 0
    3. modprobe ip_vs
    4. cat /proc/net/ip_vs
    5. yum -y install ipvsadm
    6.  
    7.  
    8. cd /etc/sysconfig/network-scripts/
    9. cp ifcfg-ens33 ifcfg-ens33:0			#若隧道模式，复制为ifcfg-tunl0
    10. vim ifcfg-ens33:0
    11. DEVICE=ens33:0
    12. ONBOOT=yes
    13. IPADDR=192.168.88.200
    14. NETMASK=255.255.255.255
    15.  
    16.  
    17. systemctl restart network
    18. ifconfig ens33:0
    19.  
    20.  
    21. ipvsadm-save > /etc/sysconfig/ipvsadm
    22. systemctl start ipvsadm                   #启动服务
    23.  
    24. ipvsadm -C
    25. ipvsadm -A -t 192.168.88.200:80 -s rr   ##调度算法为轮循
    26. ipvsadm -a -t 192.168.88.200:80 -r 192.168.88.100:80 -g #若隧道模式，-g替换为-i
    27. ipvsadm -a -t 192.168.88.200:80 -r 192.168.88.102:80 -g
    28.  
    29. ipvsadm
    30. ipvsadm -ln              #查看ipvsadm策略
    31.

     

    3.2 配置节点服务器：
       服务器节点配置vip地址，此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。

    1. systemctl disable--now firewalld.service
    2. setenforce 0
    3.  
    4.  
    5. cd /etc/sysconfig/network-scripts/
    6. cp ifcfg-lo ifcfg-lo:0		
    7. vim ifcfg-lo:0
    8. DEVICE=lo:0
    9. ONBOOT=yes
    10. IPADDR=192.168.88.200
    11. NETMASK=255.255.255.255	   ##配置vip地址
    12.  
    13. ifup lo:0
    14. ifconfig lo:0
    15.  
    16.  
    17. vim /etc/rc.local
    18. /usr/sbin/route add -host 192.168.88.200 dev lo:0
    19. chmod +x /etc/rc.d/rc.local
    20. #永久修改来自.200的请求转发到lo:0网卡
    21.  
    22. 调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，
    23.  
    24. vim /etc/sysctl.conf
    25. net.ipv4.conf.lo.arp_ignore = 1			#系统只响应目的IP为本地IP的ARP请求
    26. net.ipv4.conf.lo.arp_announce = 2		#系统不使用IP包的源地址来设置ARP请求的源地址，
    27.                                           而选择发送接口的IP地址
    28. net.ipv4.conf.all.arp_ignore = 1
    29. net.ipv4.conf.all.arp_announce = 2
    30.  
    31. sysctl -p      #刷新
    32.  
    33. 其他操作和上面一样，准备web页面。

     

  • 相关阅读:
    ElasticSearch Suggest Completion 智能补全技术 整合SpringBoot+Vue实现
    P2 C++变量
    cos和obs腾讯云，和华为云的区别
    MFC Windows 程序设计[223]之统计图的生成(附源码)
    ElasticStack日志分析平台－ES 集群、Kibana与Kafka
    Linux 内核参数：oom_kill_allocating_task
    批量压缩图片软件-免费图片压缩后高清无损
    flink on yarn
    Mac电脑录屏软件 Screen Recorder by Omi 中文最新
    基于spingboot通过spark-sql进行大批量插入clickhous分布式数据库
  • 原文地址：https://blog.csdn.net/OuOOutlier_/article/details/133070103