LVS负载均衡集群

文章目录

- Centos7中部署LVS负载均衡集群

Centos7中部署LVS负载均衡集群

一、集群的概述

1、什么是集群？

集群、群集
由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。

2、为什么要有集群？

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器无法满足负载均衡及高可用的需求。

3、集群的三种类型

根据集群针对的目标差异，可分为三种

1.负载均衡群集：

提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载(LB)的整体性能。
LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载

2.高可用群集：

提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果。
HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。
例如：“故障切换”、“双机热备” 等。

3.高性能群集：

以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力。
高性能依赖于"分布式运算”、“并行计算” ，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如，“云计算”、“网格计算”等。

二、负载均衡集群架构

负载均衡的结构：

第一层，负载调度器(Load Balancer或Director)

访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

第二层，服务器池(Server Pool)

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

第三层，共享存储(Share Storage)

为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。

三、负载均衡集群工作模式以及说明

1.NAT模式（地址转换）

Network Address Translation，简称NAT模式
类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

2.TUN模式（IP隧道）

IP Tunnel,简称TUN模式
采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
服务器节点分散在互联网中的不同位置,具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

3.DR模式（直接路由）

Direct Routing，简称DR模式
采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

四、LVS虚拟服务器

1、Linux Virtual Server

针对Linux内核开发的负载均衡解决方案
1998年5月，由我国的章文嵩博士创建
官方网站: http://www.linuxvirtualserver.orgl
LVS 实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法

2、LVS调用

LVS现在已成为Linux内核的一部分，默认编译为ip_ vs模块，必要时能够自动调用。在CentOS 7系统中，以下操作可以手动加载ip_ vs模块，并查看当前系统中ip_ vs模块的版本信息。

modprobe ip_vs
cat /proc/net/ip_vs    #确认内核对LVS的支持
1
2

3、LVS负载均衡调度

1、轮询(Round Robin)

将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器，而不管服务器实际的连接数和系统负载

2、加权轮询 (Weighted Round Robin)

根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多
保证性能强的服务器承担更多的访问流量

3、最少连接 (Least Connections )

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

4、加权最少连接(Weighted L east Connections )

在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
性能较高的节点将承担更大比例的活动连接负载

五、ipvsadm工具

ipvsadm是一个工具，同时它也是一条命令，用于管理LVS的策略规则。

 --add-service     -A        添加一个集群服务，需要使用选项
 --edit-service    -E        编辑一个集群服务，需要使用选项
 --delete-service  -D        删除指定集群服务，需要使用选项
 --clear           -C        删除所有集群服务，包括真实服务器转发策略规则
 --restore         -R        从标准输入中恢复策略规则
 --save            -S        保存策略规则到标准输出
 --add-server      -a        添加一个真实服务器，需要使用选项
 --edit-server     -e        编辑一个真实服务器，需要使用选项
 --delete-server   -d        删除一个真实服务器，需要使用选项
 --list            -L|-l     查看集群服务列表，包括真实服务器转发策略规则
  --tcp-service  -t  <集群服务地址>   允许集群服务使用的传输协议为TCP。<IP:Port>
 --udp-service  -u <集群服务地址>    允许集群服务使用的传输协议为UDP。<IP:Port>
 --scheduler    -s scheduler         指定集群服务使用的调度算法：rr|wrr|lc|wlc|lblc
                                     |lblcr|dh|sh|sed|nq，默认为wlc
 --real-server  -r <真实服务器地址>  指定真实服务器的主机IP与端口
 --gatewaying   -g                   指定真实服务器转发工作模式，使用DR模式，默认
 --ipip         -i                   指定真实服务器转发工作模式，使用TUN模式
 --masquerading -m                   指定真实服务器转发工作模式，使用NAT模式
 --weight       -w <权重值>          指定真实服务器的权重值
 --connection   -c                   显示连接信息，一般与"-l"连用
 --numeric      -n                   地址和端口以数字格式显示，一般与"-l"连用
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

六、LVS-NAT部署

IP地址规划

设备名	IP地址
Director Server 服务器	192.168.10.10/24
Real Server服务器1	192.168.10.12/24
Real Server服务器2	192.168.10.13/24
NFS服务器	192.168.10.11/24
客户端PC	192.168.10.111/24

1、部署NFS服务器

1.1、安装服务应用

yum install nfs-utils rpcbind -y
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
1
2
3
4
5

1.2、创建共享目录和设置权限

mkdir /opt/setting /opt/test
chmod 777 /opt/setting /opt/test
1
2

1.3、配置NFS共享

/opt/setting 192.168.10.0/24(rw,sync)
/opt/test 192.168.10.0/24(rw,sync)
    
    exportfs -rv //发布共享
    showmount -e //查看共享目录
1
2
3
4
5

2、配置服务器（192.168.10.12、192.168.10.13）

2.1、关闭防火墙

systemctl stop firewalld.service
setenforce 0
1
2

2.2、配置VIP（192.168.10.110）

此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0   #添加虚拟的换回网卡
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.10.110
NETMASK=255.255.255.255           
    
    ifup ifcfg-lo：0
1
2
3
4
5
6
7
8
9

2.3、添加vip访问ens33的静态路由

ifup lo:0
ifconfig lo:0
route add -host 192.168.10.110 dev lo:0
1
2
3

2.4、调整内核空间的arp响应参数

vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

    sysctl -p
1
2
3
4
5
6
7
8
9

2.5、挂载NFS共享目录

systemctl star rpcbind
systemctl enable rpcbind
    showmount -e 192.168.10.11
mount.nfs 192.168.10.11：/opt/setting /var/www/html
    echo 'this is setting !' > /var/www/html/index.html
1
2
3
4
5

注：所有real server配置一致。只有挂载的内容不同。

real server2配置如下：

3、配置调度器（192.168.10.10）

3.1、关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
1
2
3

3.2、配置SNAT转发规则

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
或
echo '1' > /proc/sys/net/ipv4/ip_forward
sysctl -p

iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 -j SNAT --to-source 12.0.0.1
1
2
3
4
5
6
7
8
9

3.3、加载LVS并安装ipvsadm

modprobe ip_vs					#加载 ip_vs模块
cat /proc/net/ip_vs				#查看 ip_vs版本信息
yum -y install ipvsadm
1
2
3

3.4、配置负载策略

ipvsadm -C 					#清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.12:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.13:80 -m
ipvsadm						#启用策略

ipvsadm -ln					#查看节点状态，Masq代表 NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm						#保存策略

1
2
3
4
5
6
7
8
9

七、LSV-DR部署

1、LVS-DR工作原理

LVS-DR（Linux Virtual Server Director Server）工作模式，是生产环境中最常用的一种工作模式。

LVS-DR 模式，Director Server 作为群集的访问入口，不作为网关使用
节点 Director Server 与 Real Server 需要在同一个网络中，返回给客户端的数据不需要经过 Director Server。
为了响应对整个群集的访问，Director Server 与 Real Server 都需要配置 VIP 地址。

总结：

Director Server仅在访问时被使用，回复时由Real Server直接回复给客户端，为了保证Director Server的作用（根据策略选择Real Server），所以需要保证Director Server和Real Server在同一个局域网中（通过二层给指定Real Server响应）。为了响应对整个群集的访问，Director Server（前端负载均衡节点服务器）与Real Server（后端真实服务器）都需要配置有VIP地址。

每个Real Server上都有两个IP：VIP（负载均衡对外提供访问的 IP 地址）和RIP（负载均衡后端的真实服务器 IP 地址），VIP作用于集群的服务，内部传输则是通过RIP和RMAC（负载均衡后端的真实服务器 MAC地址）来实现，VIP配置在虚拟接口上。在Director Server接收到客户端的请求后，Director Server根据负载算法选择一台Real Server sever的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端Real Server serve处理，后端再通过自己的路由网关回复给客户端。

2、LVS-DR数据流向

lvs-DR数据流向图

数据包流向分析：

用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
由于Director Server和Real Server在同一个网络中，所以是通过二层数据链路层来传输。
内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.
Real Server发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给ens33网卡然后向外发出。
Real Server直接将响应报文传送到客户端。

3、DR模式特点。

3.1、DR模式特点

Director Server 和 Real Server 必须在同一个物理网络中。
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
Director Server作为群集的访问入口，但不作为网关使用。
所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过。
Real Server 上的 lo 接口配置 VIP 的 IP 地址。

3.2、LVS-DR的优缺点

优点：
负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个 Virtual Server能达到1G的吞吐量。甚至更高；

缺点：
Real Server和 lvs的vip提供服务的端口必须一致。也就是说：vip的端口对外端口为 80，但后端服务的真实端口为8080，通过lvs的DR模式是实现不了的。
Real Server和LVS服务不能部署在同一台机器上。
Real Server 和Director Server需要在同一个vlan或者局域网下。

4、ARP解析问题

4.1、IP地址冲突

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址。势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

解决：

对节点服务器进行处理，使其不响应针对VIP的ARP请求
用虚接口lo:0承载VIP地址
设置内核参数arp_ ignore=1: 系统只响应目的IP为本地IP的ARP请求
1
2
3

4.2 第二次再有访问请求错误

Real Server返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。

解决：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
1

总结：arp_announce只是对源数据包的发出前的arp广播使用接口IP进行，并不对数据包的源IP地址进行修改。以上两者图是在DS对出接口进行抓包的，发现发向客户端PC的httpd报文中的源MAC地址是RS1的服务器（192.168.10.12）的MAC地址。

5、部署LVS-DR集群

LVS－DR的IP划分表：

设备名	IP地址
Director Server 服务器	192.168.10.10/24
Real Server服务器1	192.168.10.12/24
Real Server服务器2	192.168.10.13/24
NFS服务器	192.168.10.11/24
客户端PC	192.168.10.111/24
vip地址	192.168.10.110/32

5.1、配置负载调度器（192.168.10.10）

5.1.1、关闭防火墙

systemctl stop firewalld.service
setenforce 0
1
2

5.1.2、安装ipvsadm工具

5.1.3 、配置VIP地址

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
ifup ens33:0
ifconfig ens33:0
1
2
3
4
5

5.1.4、调整内核空间配置

对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能。

vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
1
2
3
4
5

5.1.5、配置负载分配

ipvsadm-save > /etc/sysconfig/ipvsadm

ipvsadm -C
ipvsadm -A -t 192.168.10.110 -s rr
ipvsadm -a -t 192.168.10.110:80 -r 192.168.10.12:80 -g      #若隧道模式，-g替换为-i
ipvsadm -a -t 192.168.10.1100:80 -r 192.168.10.13:80 -g
ipvsadm
ipvsadm -ln         #查看节点状态，Route代表 DR模式
1
2
3
4
5
6
7
8

5.2 部署NFS服务器

5.2.1、安装服务应用

yum install nfs-utils rpcbind -y
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
1
2
3
4
5

5.2.2、创建共享目录和设置权限

mkdir /opt/setting /opt/test
chmod 777 /opt/setting /opt/test
1
2

5.2.3、配置NFS共享

/opt/setting 192.168.10.0/24(rw,sync)
/opt/test 192.168.10.0/24(rw,sync)
    
    exportfs -rv //发布共享
    showmount -e //查看共享目录
1
2
3
4
5

5.3、配置服务器（192.168.10.12、192.168.10.13）

5.3.1、关闭防火墙

systemctl stop firewalld.service
setenforce 0
1
2

5.3.2、配置VIP（192.168.10.110）

此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0   #添加虚拟的换回网卡
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.10.110
NETMASK=255.255.255.255           
    
    ifup ifcfg-lo：0
1
2
3
4
5
6
7
8
9

5.3.3、添加vip访问ens33的静态路由

ifup lo:0
ifconfig lo:0
route add -host 192.168.10.110 dev lo:0
1
2
3

5.3.4、调整内核空间的arp响应参数

vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

    sysctl -p
1
2
3
4
5
6
7
8
9

5.3.5、挂载NFS共享目录

systemctl star rpcbind
systemctl enable rpcbind
    showmount -e 192.168.10.11
mount.nfs 192.168.10.11：/opt/setting /var/www/html
    echo 'this is setting !' > /var/www/html/index.html
1
2
3
4
5

注：所有real server配置一致。只有挂载的内容不同。

real server2配置如下：

6、验证

客户端PC配置如下：

通过客户端浏览器查看：

相关阅读:
0929全连接卷积神经网络（FCN）
基于libmodbus库实现modbus TCP/RTU通信
Java继承——抽象类与接口的比较以及内部类、匿名类、异常类......
论文阅读--Energy efficiency in heterogeneous wireless access networks
Markdown 表格
看动画，学Java基础教程13：变量
Linux操作系统裸机开发-环境搭建
提升网速网卡和驱动
绑定点击事件及解绑点击事件
德博能源、西门子能源、霍尼韦尔等出席2023中国可持续生物燃料峰会

原文地址：https://blog.csdn.net/weixin_46514551/article/details/126129620