• LVS+Keepalived

    1.  规划环境：

    主机名称

    服务器名称

    IP

    用途

    centosnode1

    LVS_Master

    192.168.188.223

    提供负载均衡

    centosnode2

    LVS_Backup

    192.168.188.226

    提供负载均衡

    LVS-DR-VIP

    192.168.188.100

    网站的VIP地址

    centosnode3

    Web1服务器

    192.168.188.227

    提供Web服务

    centosnode4

    Web2服务器

    192.168.188.228

    提供Web服务

    2.  配置LVS_Master的Keepalived实现LVS负载均衡：

    1. [root@centosnode1 ~]# vim /etc/keepalived/keepalived.conf
    2.  
    3. ! Configuration File for keepalived
    4.  
    5. global_defs {
    6.    notification_email {
    7.      acassen@firewall.loc
    8.      failover@firewall.loc
    9.      sysadmin@firewall.loc
    10.    }
    11.    notification_email_from Alexandre.Cassen@firewall.loc
    12.    smtp_server 192.168.200.1
    13.    smtp_connect_timeout 30
    14.    router_id MASTER
    15. }
    16.  
    17. vrrp_instance VI_1 {
    18.     state MASTER
    19.     interface ens33
    20.     virtual_router_id 51
    21.     priority 100
    22.     advert_int 1
    23.     authentication {
    24.         auth_type PASS
    25.         auth_pass 1111
    26.     }
    27.  
    28.     virtual_ipaddress {
    29.         192.168.188.100  ##设置vip
    30.     }
    31. }
    32.  
    33. virtual_server 192.168.188.100 80 {  ##定义虚拟服务，需指定IP地址和端口，空格隔开
    34.     delay_loop 6  ##定义RS运行情况监测时间间隔
    35.     lb_algo rr  ##设置负载均衡算法
    36.     lb_kind DR  ##设置lvs的工作模式
    37.     persistence_timeout 50   ##定义会话保持时间，S为单位
    38.     protocol TCP  ##指定转发协议
    39.  
    40.     real_server 192.168.188.227 80 {  ##定义真实服务器IP地址和端口
    41.         weight 1   ##定义RS的权重
    42.         TCP_CHECK {  ##设置健康检查方式
    43.           connect_timeout 8  ##定义超出8s连接超时
    44.           nb_get_retry 3  ##定义重试次数
    45.           delay_before_retry 3  ##定义重试时间间隔
    46.           connect_port 80  ##定义健康检查端口
    47.         }
    48.     }
    49. }
    50.  
    51. virtual_server 192.168.188.100 80 {  ##定义虚拟服务，需指定IP地址和端口，空格隔开
    52.     delay_loop 6  ##定义RS运行情况监测时间间隔
    53.     lb_algo rr  ##设置负载均衡算法
    54.     lb_kind DR  ##设置lvs的工作模式
    55.     persistence_timeout 50  ##定义会话保持时间，S为单位
    56.     protocol TCP  ##指定转发协议
    57.  
    58.     real_server 192.168.188.228 80 {  ##定义真实服务器IP地址和端口
    59.         weight 1  ##定义RS的权重
    60.         TCP_CHECK {  ##设置健康检查方式
    61.           connect_timeout 8  ##定义超出8s连接超时
    62.           nb_get_retry 3  ##定义重试次数
    63.           delay_before_retry 3  ##定义重试时间间隔
    64.           connect_port 80  ##定义健康检查端口
    65.         }
    66.     }
    67. }

    3.  配置LVS_Backup的Keepalived实现LVS负载均衡：

    1. [root@centosnode2 ~]# vim /etc/keepalived/keepalived.conf
    2.  
    3. ! Configuration File for keepalived
    4.  
    5. global_defs {
    6.    notification_email {
    7.      acassen@firewall.loc
    8.      failover@firewall.loc
    9.      sysadmin@firewall.loc
    10.    }
    11.    notification_email_from Alexandre.Cassen@firewall.loc
    12.    smtp_server 192.168.200.1
    13.    smtp_connect_timeout 30
    14.    router_id MASTER
    15. }
    16.  
    17. vrrp_instance VI_1 {
    18.     state BACKUP
    19.     interface ens33
    20.     virtual_router_id 51
    21.     priority 80
    22.     advert_int 1
    23.     authentication {
    24.         auth_type PASS
    25.         auth_pass 1111
    26.     }
    27.  
    28.     virtual_ipaddress {
    29.         192.168.188.100  ##设置vip
    30.     }
    31. }
    32.  
    33. virtual_server 192.168.188.100 80 {  ##定义虚拟服务，需指定IP地址和端口，空格隔开
    34.     delay_loop 6  ##定义RS运行情况监测时间间隔
    35.     lb_algo rr  ##设置负载均衡算法
    36.     lb_kind DR  ##设置lvs的工作模式
    37.     persistence_timeout 50   ##定义会话保持时间，S为单位
    38.     protocol TCP  ##指定转发协议
    39.  
    40.     real_server 192.168.188.227 80 {  ##配置后端真实服务器
    41.         weight 1
    42.         TCP_CHECK {  ##设置健康检查方式
    43.           connect_timeout 8
    44.           nb_get_retry 3
    45.           delay_before_retry 3
    46.           connect_port 80 
    47.         }
    48.     }
    49. }
    50.  
    51. virtual_server 192.168.188.100 80 {  ##定义虚拟服务，需指定IP地址和端口，空格隔开
    52.     delay_loop 6  ##定义RS运行情况监测时间间隔
    53.     lb_algo rr  ##设置负载均衡算法
    54.     lb_kind DR  ##设置lvs的工作模式
    55.     persistence_timeout 50  ##定义会话保持时间，S为单位
    56.     protocol TCP  ##指定转发协议
    57.  
    58.     real_server 192.168.188.228 80 {  ##配置后端真实服务器
    59.         weight 1
    60.         TCP_CHECK {  ##设置健康检查方式
    61.           connect_timeout 8
    62.           nb_get_retry 3
    63.           delay_before_retry 3
    64.           connect_port 80 
    65.         }
    66.     }
    67. }

    4.  后端多台服务器做acl限制，这里通过shell脚本来对后端服务器做acl限制

    1. [root@centosnode3 ~]# vim /etc/init.d/lvs_rs 
    2.  
    3. #!/bin/bash 
    4. # Startup script handle the initialisation of LVS 
    5. # chkconfig: - 28 72 
    6. # description: Initialise the Linux Virtual Server for DR 
    7. ### BEGIN INIT INFO # Provides: ipvsadm 
    8. # Required-Start: $local_fs $network $named 
    9. # Required-Stop: $local_fs $remote_fs $network 
    10. # Short-Description: Initialise the Linux Virtual Server 
    11. # Description: The Linux Virtual Server is a highly scalable and highly 
    12. # available server built on a cluster of real servers, with the load 
    13. # balancer running on Linux. 
    14. # description: start LVS of DR-RIP 
    15. LOCK=/var/lock/ipvsadm.lock
    16. VIP=192.168.188.100
    17. . /etc/rc.d/init.d/functions
    18. start() {
    19.         PID=`ifconfig | grep lo:10 | wc -l`
    20.         if [ $PID -ne 0 ];
    21.         then
    22.                 echo "The LVS-DR-RIP Server is already running !" 
    23.         else
    24.                 /sbin/ifconfig lo:10 $VIP netmask 255.255.255.255 broadcast $VIP up
    25.                 /sbin/route add -host $VIP dev lo:10
    26.                 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    27.                 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    28.                 echo "1" >/proc/sys/net/ipv4/conf/eth0/arp_ignore
    29.                 echo "2" >/proc/sys/net/ipv4/conf/eth0/arp_announce
    30.                 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    31.                 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    32.                 /bin/touch $LOCK
    33.                 echo "starting LVS-DR-RIP server is ok !" 
    34.         fi
    35. }
    36.  
    37. stop() {
    38.         /sbin/route del -host $VIP dev lo:10
    39.         /sbin/ifconfig lo:10 down >/dev/null
    40.         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    41.         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
    42.         echo "0" >/proc/sys/net/ipv4/conf/eth0/arp_ignore
    43.         echo "0" >/proc/sys/net/ipv4/conf/eth0/arp_announce
    44.         echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
    45.         echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
    46.         rm -rf $LOCK
    47.         echo "stopping LVS-DR-RIP server is ok !" 
    48. }
    49.  
    50. status() {
    51.         if [ -e $LOCK ];
    52.         then
    53.                 echo "The LVS-DR-RIP Server is already running !" 
    54.         else
    55.                 echo "The LVS-DR-RIP Server is not running !" 
    56.         fi
    57. }
    58.  
    59. case "$1" in
    60.         start)
    61.                 start
    62.                 ;;
    63.         stop)
    64.                 stop
    65.                 ;;
    66.         restart)
    67.                 stop
    68.                 start
    69.                 ;;
    70.         status)
    71.                 status
    72.                 ;;
    73.         *)
    74.                 echo "Usage: $1 {start|stop|restart|status}" 
    75.                 exit 1
    76. esac
    77. exit 0
    78.

    5.  启动多台后端服务器" /etc/init.d/lvs_rs "脚本：

    1. ##赋予脚本执行权限
    2. [root@centosnode3 ~]# chmod +x /etc/init.d/lvs_rs
    3.  
    4. ##启动脚本
    5. [root@centosnode3 ~]# /etc/init.d/lvs_rs start

    6.  启动centosnode1和centosnode2的lvs和keepalived服务：

    1. ##启动lvs
    2. [root@centosnode1 ~]# systemctl start ipvsadm.service 
    3.  
    4. ##启动keepalived
    5. [root@centosnode1 ~]# systemctl start keepalived.service

    7.  开启后端两台web服务器，并设置web页面：

    1. ##设置web1服务器页面
    2. [root@centosnode3 ~]# echo "this is page ip : 192.168.188.227" > /var/www/html/index.html
    3.  
    4. ##启动web1的httpd服务
    5. [root@centosnode3 ~]# systemctl start httpd
    6.  
    7. ##设置web2服务器页面
    8. [root@centosnode3 ~]# echo "this is page ip : 192.168.188.228" > /var/www/html/index.html
    9.  
    10. ##启动web2的httpd服务
    11. [root@centosnode3 ~]# systemctl start httpd

    8.  查看LVS状态：

    1. [root@centosnode1 ~]# ipvsadm -ln
    2. IP Virtual Server version 1.2.1 (size=4096)
    3. Prot LocalAddress:Port Scheduler Flags
    4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    5. TCP  192.168.188.100:80 rr persistent 50
    6.   -> 192.168.188.227:80           Route   1      0          0         
    7.   -> 192.168.188.228:80           Route   1      0          0

    9.  测试LVS负载均衡是否正常：

    1. [root@centosnode5 ~]# curl 192.168.188.100
    2. this is page ip : 192.168.188.227
    3. [root@centosnode5 ~]# curl 192.168.188.100
    4. this is page ip : 192.168.188.228

    10.  测试LVS健康检查：

    1. ##监控lvs状态
    2. [root@centosnode1 ~]# watch ipvsadm -ln

     当前两台后端服务器都正常运行，使其中一台后端服务器的httpd服务关闭，模拟服务器故障，观察LVS健康检查是否正常。

    [root@centosnode3 ~]# systemctl stop httpd

     11.  测试keepalived故障转移是否正常，是否会发生ip飘移：

    由此可见当前vip地址在centosnode1主机上，然后模拟服务器故障，停掉keepalived服务。

    [root@centosnode1 ~]# systemctl stop keepalived.service

     

    再次查看vip，发现vip飘移到了centosnode2主机上。可以将centosnode1主机的keepalived服务再次开启，会发现vip又会飘移到了centosnode1主机上，因为keepalived默认配置抢占主服务器，优先级高的服务器，将抢占到vip。

     补充：1.  real_server中健康检查的方式：

            1>.  TCP_CHECK：工作在第4层，keepalived向后端服务器发起一个tcp连接请求，如果后端服务器没有响应或超时，那么这个后端将从服务器池中移除。

            2>.  HTTP_GET：工作在第5层，向指定的URL执行http请求，将得到的结果用md5加密并与指定的md5值比较看是否匹配，不匹配则从服务器池中移除；此外还可以指定http返回码来判断检测是否成功。HTTP_GET可以指定多个URL用于检测，这个一台服务器有多个虚拟主机的情况下比较好用。

            3>.  SSL_GET：跟上面的HTTP_GET相似，不同的只是用SSL连。

            4>.  MISC_CHECK：用脚本来检测，脚本如果带有参数，需将脚本和参数放入双引号内。脚本的返回值需为：

                    0） 检测成功。

                    1） 检测失败，将从服务器池中移除。
                    2－255 ）检测成功；如果有设置 misc_dynamic ，权重自动调整为 退出码 -2 ，如退出码为 200 ，权重自动调整为198=200-2 。
            5>.  SMTP_CHECK ：用来检测邮件服务的 smtp。
    2.  健康检查的相关选项： 
    1. delay_loop 隔多长时间做一次健康检测，单位为秒 
    2.  
    3. connect_timeout 连接超时时间，单位为秒 
    4.  
    5. nb_get_retry 检测失败后的重试次数，如果达到重试次数仍然失败，将后端从服务器池中移除。 
    6.  
    7. delay_before_retry 失败重试的间隔时间，单位为秒

    3.  健康检查的相关配置：

            1>.  以上示例就是TCP健康检查。

            2>.  HTTP_GET|SSL_GET：

    1. HTTP_GET | SSL_GET 
    2. {
    3. url { 
    4. path /  #HTTP/SSL 检查的url 可以是多个 
    5. 方式一：digest <STRING>  #HTTP/SSL 检查后的摘要信息 用工具genhash生成 
    6. 方式二：status_code 200  #HTTP/SSL 检查返回的状态码 
    7. }
    8. connect_port 80  #连接端口 
    9. bindto <IPADD> 
    10. connect_timeout 3  #连接超时时间 
    11. nb_get_retry 3  #重连次数 
    12. delay_before_retry 2  #连接间隔时间 
    13. }

    其中digest的摘要需要通过genhash工具得到：genhash工具使keepalived安装包中自带的。

    1. ##查看genhash工具版本
    2. [root@centosnode1 ~]# ./genhash -h
    3.  
    4. ##生成检查后的摘要信息
    5.  
    6. 命令格式：genhash -s要生成摘要的后端服务器地址 -p 要生成摘要的端口 -u 检查的url
    7.  
    8. [root@centosnode1 ~]# genhash -s192.168.188.227 -p 80 -u /index.html
    9. MD5SUM = ab9d2b22ae01e991a259a08feb1f1629
    10.  
    11. [root@centosnode1 ~]# genhash -s192.168.188.228 -p 80 -u /index.html
    12. MD5SUM = 639870c3471db8868e37dcf972ea0df3

    示例：

    1. virtual_server 192.168.188.100 80 {
    2.     delay_loop 6
    3.     lb_algo rr
    4.     lb_kind DR
    5.     persistence_timeout 50
    6.     protocol TCP
    7.  
    8.     real_server 192.168.188.227 80 {
    9.         weight 1
    10.  
    11.         HTTP_GET {
    12.           url {
    13.             path /index.html
    14.             digest ab9d2b22ae01e991a259a08feb1f1629
    15.           }
    16.           connect_timeout 8
    17.           nb_get_retry 3
    18.           delay_before_retry 3
    19.           connect_port 80
    20.         }
    21.     }
    22. }
    23.  
    24. virtual_server 192.168.188.100 80 {
    25.     delay_loop 6
    26.     lb_algo rr
    27.     lb_kind DR
    28.     persistence_timeout 50
    29.     protocol TCP
    30.  
    31.     real_server 192.168.188.228 80 {
    32.         weight 1
    33.  
    34.         HTTP_GET {
    35.           url {
    36.             path /index.html
    37.             digest 639870c3471db8868e37dcf972ea0df3
    38.           }
    39.           connect_timeout 8
    40.           nb_get_retry 3
    41.           delay_before_retry 3
    42.           connect_port 80
    43.         }
    44.     }
    45. }
    46.

            3>.  MISC:

    1. MISC_CHECK { 
    2. misc_path <STRING>|<QUOTED-STRING>  #外部程序或者脚本绝对路径 
    3. misc_timeout <INT>  #执行脚本的超时时间 
    4. misc_dynamic  #如果设置了misc_dynamic,healthchecker程序的退出状态码会用来动态调整服务器的 权重（weight）. 
    5. #返回0：健康检查OK，权重不被修改 
    6. #返回1：健康检查失败，权重设为0 
    7. #返回2-255：健康检查OK，权重设置为：退出状态码-2，比如返回255，那么weight=255-2=253 }

  • 相关阅读:
    MAUI模板项目闪退问题
    Spring Boot 资源索引
    HTTP协议状态及报文组成 - 一文通读
    springboot+nacos使用
    Compose中的FlowLayout
    JavaPhaseOne
    C++一些细碎知识点（持续更新）
    Maven 脚本批量导入本地jar包
    Windows Server 2008R2 开机自动登录 自启程序无管理员权限的解决
    通过安装chrome插件解决Sorry, your browser does not support Java的问题
  • 原文地址：https://blog.csdn.net/NancyLCL/article/details/126752149