keepalived原理以及lvs、nginx跟keeplived的运用

keepalived基础

keepalived的原理是根据vrrp协议（主备模式）去设定的

vrrp技术相关原理

状态机； 

优先级0~255 心跳线1秒

 vrrp工作模式 

双主双备模式

VRRP负载分担过程

vrrp安全认证：使用共享密匙 

 keepalived工具介绍

keepalived是专门为LVS和HA（高可用主备模式）设计的一款健康行检查工具

举例说明：当有两台lvs服务器工作时，出现故障，而lvs本身又无法健康性检查，所以借助keepalived工具

当主服务器出现故障，此时备服务器顶上，当主服务器恢复时，有三种模式

1.抢占模式（当主恢复好时，立马切换到这）

2.不抢占模式（当主恢复好时，依然在备服务器上运行）

3.延迟抢占（当主恢复好时，多少秒从备切换到主上）

 keepalived架构

 keepalived相关文件

• 软件包名：keepalived

• 主程序文件：/usr/sbin/keepalived

• 主配置文件：/etc/keepalived/keepalived.conf

• 配置文件示例：/usr/share/doc/keepalived/

• Unit File：/lib/systemd/system/keepalived.service

• Unit File的环境配置文件：

• /etc/sysconfig/keepalived CentOS

主配置文件详解： 

/etc/keepalived/keepalived.conf 
global_defs {
 notification_email {
 root@localhost
 #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
 root@localhost
  360601212@qq.com 
 }
 notification_email_from keepalived@localhost  
 #发邮件的地址
 smtp_server 127.0.0.1     
 #邮件服务器地址
 smtp_connect_timeout 30   
 #邮件服务器连接timeout
 router_id R1
 #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
 vrrp_skip_check_adv_addr  
 #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
vrrp_strict 
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。
 vrrp_garp_interval 0 
 #gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟
 vrrp_gna_interval 0 
 #unsolicited NA messages （不请自来）消息发送延迟
 vrrp_mcast_group4 224.0.0.18 
 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 
 vrrp_iptables        
 #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

 切记：在修改配置文件的时候，记得备份，以防万一出错

配置文件讲解

简要来说，全局配置只需要改三处

1.自己的ip  2.路由id名字 3.严格模式关闭

 给lvs调度器设置：

state MASTER|BACKUP
#当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME 
#绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID 
#每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100 
#当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同
 
advert_int 1
#vrrp通告的时间间隔，默认1s
 
 
authentication { 
#认证机制
 auth_type AH|PASS   
 #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
 auth_pass <PASSWORD> 
 #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
include    /etc/keealived/conf.d/*.conf
virtual_ipaddress { 
#虚拟IP,生产环境可能指定上百个IP地址
 <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
 192.168.200.100 
 #指定VIP，不指定网卡，默认为,注意：不指定/prefix,默认为/32
 192.168.200.101/24 dev eth1   
 #指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡
 192.168.200.102/24 dev eth2 label eth2:1 
 #指定VIP的网卡label 
}
track_interface { 
#配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移
 eth0
 eth1
 …
}

如果当项目中，有很多的虚拟ip，则建立子配置文件

虚拟服务器端的具体配置：

  delay_loop 6
    #健康间隔时间6秒
    lb_algo rr
    #调度算法轮询
    lb_kind DR
    #lvs模式为DR 
    persistence_timeout 0
    #连接保持时间改为0 否则 无法体现效果
    protocol TCP
    #采用协议

 真实服务器端配置：

   weight 1
        #45行删除
        #节点权重
        TCP_CHECK{
            connect_port 80
            #检查目标端口
            connect_timeout 3
            #连接超时 
            nb_get_retry 3
            #重试次数
            delay_before_retry 3
            #重试间隔时间
        }
    }

解释说明：检查80端口，相当于keepalived 用curl这个命令访问真是服务器的80端口，如果80端口能访问，代表活着，如果80端口检查失败，则下线，不会自动调度过去。

超时时间3秒，如果3秒不回应，则代表此真是服务器挂掉

重试次数3次，去访问80端口，3次以上，如果不回复，则认为此服务器挂掉

实验操作

 

第一步，四台服务器全部关闭防火墙，关闭防护

 

主lvs调度服务器：

先下载lvs keepalived

 第二步切换到主配置文件，然后备份

 第三步 修改主配置文件

 随后，ipvsadm -ln 查看一下规则  虚拟ip 跟真实ip都在里面

 备LVS服务器配置

第一步 下载ipvsadm keepalived

然后进入到主lvs（centos1）服务器将配置文件直接复制到备服务器里面，省的重新写配置文件了 

 然后再进入到备服务器，将data里面的keepalived配置文件移动到自己keepalived的配置文件中

 然后再keepalived配置文件中修改里面的备模式  路由id名  优先级即可

 修改过配置文件，然后重启

然后开启ipvsadm

 

 centos3 真实服务器配置（httpd）

 加入虚拟ip  是因为DR模式，lvs服务器跟真实服务器要用相同的虚拟ip地址，真实服务器回给客户端才不会有冲突，并且要将路由转发给关了，当配置相同的虚拟ip时，客户端访问，lvs服务器跟真是服务器会同时响应，但是客户端应到lvs服务器，所以要将真实服务器的路由转发功能给关闭

ifconfig lo:0 192.168.68.188 netmask 255.255.255.255

关闭路由转发

然后给网页写入内容

 

 然后关闭长连接

centos4真是服务器配置

然后配置虚拟ip 并且关闭路由转发

ifconfig lo:0 192.168.68.188 netmask 255.255.255.255

然后关闭长连接（是为了更好的出现7-3 到7-4的转换）

然后客服端去访问虚拟服务器

 现在模拟，当主lvs关闭keepalived服务时，7-3 7-4页面是否会出来

客户端访问时，还是会出现7-3 7-4 是因为lvs直接到备服务器上面了

 打开备服务器，虚拟ip跑到备服务器上面了，所以还是会正常运行

我们keepalived默认是抢占模式，可以看一下，再次打开主keepalived服务器，然后看虚拟ip

非抢占模式：

 操作如下：

主lvs服务器 

 nopreempt

然后重启

 备服务器配置：

随后，关闭主服务器，查看虚拟机ip，可以看见开启非抢占模式，主服务器关闭之后重启 虚拟ip不会回到主服务器上

而是当主服务器关闭，切换到备服务器上，就一直在备服务器上了  可以查看备服务器

延迟抢占

 

preempt_delay 60 

 主服务器配置

 备服务器配置

然后模拟主服务器关闭

 

密码是明文传输的，可以通过抓包看见

组播地址

 vrrp默认的单播地址是224.0.0.18

如果要修改组播地址，主备服务器都要修改 加在严格模式下方

vrrp_mcast_group4 234.6.6.6（这地址自定义）范围224~239

 主备的修改是一样的  都是backup

 随后，保存，然后重启

在备服务器上抓包

修改单播地址

 unicast_src_ip 192.168.68.3
  unicast_peer{
   192.168.68.4
 }

 主服务器配置

备服务器配置

随后在备服务器上抓包 单播修改成功

通知脚本 

#!/bin/bash
#
contact='940132245@qq.com'
notify() {
 mailsubject="$(hostname) to be $1, vip floating"
 mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
 echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
 notify master
 ;;
backup)
 notify backup
 ;;
fault)
 notify fault
 ;;
*)
 echo "Usage: $(basename $0) {master|backup|fault}"
 exit 1
 ;;
esac

 在主服务器上面配置

写一个脚本 keepalive.sh

 

随后，给这个脚本文件加上权限

 随后，修改主配置文件

 notify_master "/opt/keepalive.sh master"
   notify_backup "/opt/keepalive.sh backup"
   notify_fault "/opt/keepalive.sh fault"

随后，保存重启

 

 然后模拟master故障

随后，打开自己的qq邮箱，会发一个邮件过来

日志功能 

 随后，在日志文件中添加6级别

 因为修改了keepalived 跟rsyslog 所以都要重新加载

因为把keepalived日志放在了data下面 可以查看一下

 查看一下日志

重点！ 脑裂

脑裂的意思就是，当主服务器没有故障时，备服务器认为自己是主，虚拟ip188会出现在主备上面 

 怎么模拟脑裂？------>在备服务器上模拟屏蔽掉主服务器所有的报文，包括屏蔽vrrp协议

 在备lvs服务器上面屏蔽掉主服务器的所有流量，包括vrrp报文

然后在主备上面ip a  都能看见虚拟机

使用其他应用的高可用性 vrrp script 

当有两台nginx代理服务器，nginx是无法处理自身单点故障的，可以通过keepalived来实现，如果一台nginx代理服务器出故障，直接跳到另外一台nginx代理服务器上

keepalived利用脚本去解决nginx的高并发

 定义vrrp script

 实验操作

 主 备nginx服务器 都要下载nginx 跟keepalived

主备服务器相同操作：

 

 然后开启nginx

 主服务器配置修改：

 

然后重启

 随后，写一个脚本，能够让keepalived运行nginx的脚本，并且给这个脚本执行的权限

脚本里面的内容

 

随后，修改keepalived配置文件里面的内容

 将virtual以下的内容删除，因为不需要

第二步，在全部配置下面写入脚本，切记！！一定是在全局配置里面写入脚本

 

随后，在virtual里面去执行脚本

 保存，之后重新加载

 将主服务器上面的配置文件复制到备服务器上nginx配置文件中

将主服务器上面的keepalived配置文件复制到备服务器上 

 备服务器上配置

随后nginx配置文件拷过来之后，重启一下

 然后进入主页访问虚拟地址192.168.68.188 会出现7-3 7-4

 

现在模拟主nginx服务器停止出现故障

然后进入主页访问虚拟ip，还是会出现7-3 7-4 因为主nginx坏掉，是直接跳到备nginx上了