HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件,是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器,支持基于cookie的持久性,自动故障切换,支持正则表达式及web状态统计,目前最新TLS版本为2.2。
HAProxy是可提供高可用性、负载均衡以及基于TcP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。HProxy非常适用于并发大(并发达1w以上) web站点,这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中,同时可以保护web服务器不被暴露到网络上。
支持功能:
官方文档
http://cbonte.github.io/haproxy-dconv/2.4/configuration.html#4-balance
roundrobin,表示简单的轮询 rr
static-rr,表示根据权重
leastconn,表示最少连接者先处理
source,表示根据请求源IP
uri,表示根据请求的URI,做cdn需使用
url param,表示根据请求的URl参数’ balance url param’requires an URL parameter name
hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求
rdp-cookie (name),表示根据据cookie(name)来锁定并哈希每一次TCP请求
静态调度算法:不管后端服务器,按照调度器的算法进行分配
动态调度算法:会考虑后端服务器的负载情况(直接动态的调整算法,发送指令给进程,直接生效)
nginx | haproxy | lvs(四层) |
---|---|---|
rr | rr | rr |
加权轮询 | static-rr | wrr(加权) |
ip hash | 最小连接数 | 源地址hash(SH) |
url hash | source(根据源地址) | 目的地址hash(DH) |
cookie hash | 根据请求来调度 | 默认wlc 加权最小连接数 |
fair | 根据cookie来调度 | lc 最小连接 |
最小连接数 | 根据请求头 | 初始连接高权重优先(SED) |
每个人都有一个连接后,再使用初始连接高权重(NQ) |
IVS基于Linux操作系统实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡
LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术,HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案,但是性能不如lvs,lvs > haproxy > nginx
LVs因为工作在TCP模型的第四层,其状态监测功能单一,而HAProxy在状态监测方面功能更丰富、强大,可支持端口、URI等多种状态检测方式
HAProxy功能强大,但整体性能低于4层模式的IVS负载均衡
Nginx主要用于web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能,但是对群集节点健康检查功能不强,性能没有Haproxy好
haproxy对比nginx性能优越,功能又单一,haproxy只做反向代理
lvs没有后端服务器健康性检测,nginx和haproxy有后端服务器健康性检测
四层协议和七层协议区别:
四层协议:性能好,功能少,只能控制四层协议,端口ip
七层协议:性能弱,功能多,可以控制七层协议http
CentOS 7 的默认的base仓库中包含haproxy的安装包文件,但是版本比较旧,是1.5.18的版本,距离当前版本已经有较长时间没有更新,由于版本比较旧所以有很多功能不支持,如果对功能和性能没有要求可以使用此版本,否则推荐使用新版本。
yum install -y haproxy.x86_64
#安装haproxy
haproxy -v
#查看haproxy版本
yum info haproxy
#版本信息更详细
##yum安装的haproxy服务版本过于老旧,很多功能不支持
yum install centos-release-scl-rh
yum install rh-haproxy18-haproxy
#使用第三方仓库安装haproxy
systemctl start rh-haproxy18-haproxy.service
#开启服务
HAProxy 支持基于lua实现功能扩展,lua是一种小巧的脚本语言,于1993年由巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组开发,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。
Lua 官网:www.lua.org
Lua 应用场景
由于CentOS7 之前版本自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求,因此需要编译安装较新版本的lua环境,然后才能编译安装HAProxy,过程如下:
#当前系统版本
lua -v
Lua 5.1.4 Copyright (C) 1994-2008 Lua.org, PUC-Rio
https://www.lua.org
##登录lua官方网站,选择download,查看下载安装步骤
curl -L -R -O https://www.lua.org/ftp/lua-5.4.6.tar.gz
tar zxf lua-5.4.6.tar.gz
cd lua-5.4.6
make all test
yum groupinstall 'Development Tools'
#安装gcc命令
make all test
cd src
./lua -v
ln -s lua-5.4.6 lua
#做软链接
yum -y install gcc openssl-devel pcre-devel systemd-devel
#安装依赖环境
tar xf haproxy-2.4.25.tar.gz
#上传需要的haproxy安装包,解压
cd haproxy-2.4.25/
#切换目录
cat INSTALL
#查看安装方法
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/data/lua/src/ LUA_LIB=/data/lua/src/
#安装
make install PREFIX=/apps/haproxy
#安装并指定目录
ln -s /apps/haproxy/sbin/haproxy /usr/sbin/
#做软连接
haproxy -v
#查看haproxy版本
#多行重定向,编辑配置文件,可以使用systemctl管理
tee /usr/lib/systemd/system/haproxy.service <<eof
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
[Install]
WantedBy=multi-user.target
eof
mkdir /etc/haproxy
#建立配置文件夹
#编辑配置文件
vim /etc/haproxy/haproxy.cfg
global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
uid 99
gid 99
daemon
#nbproc 4
#cpu-map 1 0
#cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info
defaults
option http-keep-alive
option forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client 300000ms
timeout server 300000ms
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:123456
listen web_port
bind 0.0.0.0:8899
mode http
log global
server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5
mkdir /var/lib/haproxy
#建立pid文件路径
useradd -r -s /sbin/nologin haproxy
#新建用户,设置目录权限(-r表示随机生成pid号)
systemctl enable --now haproxy
#自启并立即启动
systemctl status haproxy.service
#查看haproxy状态
官方帮助文档
http://cbonte.github.io/haproxy-dconv/
http://cbonte.github.io/haproxy-dconv/2.4/configuration.html
https://www.haproxy.org/download/2.5/doc/configuration.txt
相关配置详解
chroot #锁定运行目录
deamon #以守护进程运行,后台运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1 #socket文件
user, group, uid, gid #运行haproxy的用户身份
nbproc n #开启的haproxy work 进程数,默认进程数是一个
#nbthread 1 #和多进程 nbproc配置互斥(版本有关,CentOS8的haproxy1.8无此问题),指定每个haproxy进程开启的线程数,默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误,无法启动服务Apr 714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.
cpu-map 1 0 #绑定haproxy worker 进程至指定CPU,将第1个work进程绑定至0号CPU
cpu-map 2 1 #绑定haproxy worker 进程至指定CPU,将第2个work进程绑定至1 号CPU
#ps axo pid,cmd,psr |grep haproxy
maxconn n #每个haproxy进程的最大并发连接数
maxsslconn n #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间,建议2-5(20%-50%)之间,默认值0
pidfile #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器;日志服务器需要开启UDP协议,最多可以定义两个
defaults
log global #引入global定义的日志格式
mode http #模式为http(7层代理http,4层代理tcp)
option httplog #日志类别为http日志格式
option dontlognull #不记录健康检查日志信息
retries 3 #检查节点服务器失败次数,连续达到3次,则反馈不可用
redispatch #当服务器负载很高时,自动结束当前队列处理比较久的连接
maxconn 2000 #最大连接数,此处的数值不能大于全局里的数值
contimeout 5000 #设置连接超时时间,默认单位是毫秒
clitimeout 50000 #设置客户端超时时间,默认单位是毫秒
srvtimeout 50000 #设置服务器超时时间,默认单位是毫秒
#以下是新版本中的
timeout http-request 10s #默认http请求超时时间
timeout queue 1m #默认队列超时时间
timeout connect 10s #默认连接超时时间,新版本中替代
timeout client 1m
timeout server 1m
timeout http-keep-alive
timeout check 10s
defaults [] #默认配置项,针对以下的frontend、backend和listen生效,可以多个name也可以没有name
frontend #前端servername,类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend #后端服务器组,等于nginx的upstream和LVS中的RS服务器
listen #将frontend和backend合并在一起配置,相对于frontend和backend配置更简洁,生产常用
使用listen替换 frontend和backend的配置方式,可以简化设置,通常只用于TCP协议的应用
#官网业务访问入口
listen webcluster 0.0.0.0:80
option httpchk GET /test.html
balance roundrobin
server inst1 192.168.10.12:80 check inter 2000 fall 3
server inst2 192.168.10.13:80 check inter 2000 fall 3
HAProxy 的配置文件haproxy.cfg由两大部分组成,分别是global和proxies部分
进程及安全配置相关的参数
性能调整相关参数
Debug参数
defaults:为frontend, backend, listen提供默认配置
frontend:前端,相当于nginx中的server {}
backend:后端,相当于nginx中的upstream {}
listen:同时拥有前端和后端配置,配置简单,生产推荐使用
官方文档:
http://cbonte.github.io/haproxy-dconv/2.4/configuration.html#3
配置详细讲解:
chroot #锁定运行目录,类似于ftp中的禁锢
deamon #以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1 #socket文件进程件通信
user, group, uid, gid #运行haproxy的用户身份
nbproc n #开启的haproxy worker进程数,默认进程数是一个,保持与 淳朴个数相同
#nbthread 1 #和多进程 nbproc配置互斥(版本有关,CentOS8的haproxy1.8无此问题),指定每个haproxy进程开启的线程数,默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误,无法启动服务
Apr 7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot
enable multiple processes if multiple threads are configured. Please use either
nbproc or nbthread but not both.
cpu-map 1 0 #绑定haproxy worker 进程至指定CPU,将第1个work进程绑定至0号CPU
cpu-map 2 1 #绑定haproxy worker 进程至指定CPU,将第2个work进程绑定至1号CPU
maxconn n #每个haproxy进程的最大并发连接数
maxsslconn n #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间,建议2-5(20%-50%)之间,默认值0
pidfile #指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器;日志服务器需要开启UDP协议,最多可以定义两个
#状态页配置
vim /etc/haproxy/haproxy.cfg
listen stats
mode http
bind 0.0.0.0:9999
stats enable
log global
stats uri /haproxy-status
stats auth haadmin:123456
systemctl restart haproxy
#重启服务
#验证访问
192.168.10.12:9999/haproxy-status
nbproc n #开启的haproxy work 进程数,默认进程数是一个
#nbthread 1 #和多进程 nbproc配置互斥(版本关,CentOS8的haproxy1.8无此问题),指定每个haproxy进程开启的线程数,默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误,无法启动服务Apr 714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.
vim /etc/haproxy/haproxy.cfg
nbproc 4
#修改配置文件,开启4个进程
systemctl restart haproxy
#重启服务
pstree -p |grep haproxy
#过滤haproxy进程
nbproc 2
cpu-map 1 0 #绑定haproxy worker进程至指定CPU,将第1个work进程绑定至0号CPU
cpu-map 2 1 #绑定haproxy worker进程至指定CPU,将第2个work进程绑定至1号CPU
ps axo cmd,psr |grep haproxy
#查看cpu亲缘性,未绑定
#修改配置文件,cpu亲缘性绑定
vim /etc/haproxy/haproxy.cfg
cpu-map 1 0
cpu-map 2 1
cpu-map 3 2
cpu-map 4 3
systemctl restart haproxy.service
#重启服务
ps axo cmd,psr |grep haproxy
#查看cpu亲缘性绑定
#多进程配置文件
vim /etc/haproxy/haproxy.cfg
global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
uid 99
gid 99
daemon
nbproc 4
systemctl restart haproxy
#重启服务
pstree -p |grep haproxy
#查看haproxy进程
#在global配置项定义:
log 127.0.0.1 local{1-7} info #基于syslog记录日志到指定设备,级别有(err、warning、info、debug)
listen web_port
bind 127.0.0.1:80
mode http
log global #开启当前web_port的日志功能,默认不记录日志
server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5
将日志记录到指定的文件中(本地日志):
#修改配置文件
vim /etc/haproxy/haproxy.cfg
log 127.0.0.1 local3 info
#记录日志到local3 info
#修改配置文件
vim /etc/rsyslog.conf
14 # Provides UDP syslog reception
15 $ModLoad imudp
16 $UDPServerRun 514
74 local3.* /var/log/haproxy.log
systemctl restart haproxy.service
systemctl restart rsyslog.service
#重启服务
ls /var/log/haproxy.log
#访问haproxy状态页,生成日志文件
192.168.10.12:9999/haproxy-status
#验证访问
tail -f /var/log/haproxy.log
#实时查看
将日志传给远端服务器(远程日志):
#修改配置文件
vim /etc/haproxy/haproxy.cfg
log 127.0.0.1 local3 info
log 192.168.10.11 local6 info
#指定远端服务器记录日志到local6 info
systemctl restart haproxy.service
#重启服务
#修改远端服务器配置文件
vim /etc/rsyslog.conf
14 # Provides UDP syslog reception
15 $ModLoad imudp
16 $UDPServerRun 514
#服务器要开启udp端口
72 # Save boot messages also to boot.log
73 local7.* /var/log/boot.log
74 local6.* /var/log/haproxy.log
#指定日志存放位置
systemctl restart rsyslog.service
#重启服务
192.168.10.12:9999/haproxy-status
#验证访问
tail -f /var/log/haproxy.log
#实时查看
官方文档
http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#4
相关配置详解:
defaults [<name>] #默认配置项,针对以下的frontend、backend和listen生效,可以多个name也可以没有name
frontend <name> #前端servername,类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name> #后端服务器组,等于nginx的upstream和LVS中的RS服务器
listen <name> #将frontend和backend合并在一起配置,相对于frontend和backend配置更简洁,生产常用
注意:name字段只能使用大小写字母,数字,‘-’(dash),‘_‘(underscore),’.’ (dot)和 ‘:’(colon),并且严格区分大小写。
defaults 配置参数:
option redispatch #当server Id对应的服务器挂掉后,强制定向到其他健康的服务器,重新派发
option abortonclose #当服务器负载很高时,自动结束掉当前队列处理比较久的连接,针对业务情况选择开启
option http-keep-alive #开启与客户端的会话保持
option forwardfor #透传客户端真实IP至后端web服务器
mode http|tcp #设置默认工作类型,使用TCP服务器性能更好,减少压力
timeout http-keep-alive 120s #session 会话保持超时时间,此时间段内会转发到相同的后端服务器
timeout connect 120s #客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前),默认单位ms
timeout server 600s #客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后),默认单位ms,如果超时,会出现502错误,此值建议设置较大些,防止502错误
timeout client 600s #设置haproxy与客户端的最长非活动时间,默认单位ms,建议和timeout server相同
timeout check 5s #对后端服务器的默认检测超时时间
default-server inter 1000 weight 3 #指定后端服务器的默认设置
1、调度服务器(地址:192.168.10.12)
#修改配置文件(负载均衡配置)
vim /etc/haproxy/haproxy.cfg
listen xxx_http_80
bind 192.168.10.12:80
log global
server rs1 192.168.10.11
server rs2 192.168.10.13
systemctl restart haproxy.service
#重启服务
2、后端服务器(地址:192.168.10.11、192.168.10.13)
yum install -y httpd
#安装httpd服务
systemctl start httpd
#开启服务
cd /var/www/html
#切换目录
echo this is 192.168.10.11 > index.html
#写入页面内容
echo this is 192.168.10.13 > index.html
#写入页面内容
3、访问验证(使用客户端访问)
curl 192.168.10.12
#后端服务器页面交替显示
systemctl stop httpd
#关闭一台后端服务器
curl 192.168.10.12
#访问时,依旧会访问关闭的后端服务器
#修改配置文件(负载均衡配置)
vim /etc/haproxy/haproxy.cfg
server rs1 192.168.10.11:80 check
server rs2 192.168.10.13:80 check
#在配置文件中加入健康性检测,添加端口号
systemctl restart haproxy.service
#重启服务
curl 192.168.10.12
#此时访问调度服务器,不会再去访问关闭的后端服务器
#官网业务访问入口
listen WEB_PORT_80 #业务名称
bind 10.0.0.7:80 #ip加端口
mode http #默认 可以不写
option forwardfor #透传客户端真实IP至后端web服务器
server web1 10.0.0.17:8080 check inter 3000 fall 3 rise 5
server web2 10.0.0.27:8080 check inter 3000 fall 3 rise 5
frontend配置参数:
bind: #指定HAProxy的监听地址,可以是IPV4或IPV6,可以同时监听多个IP或端口,可同时用于listen字段中
#格式:
bind [<address>]:<port_range> [, ...] [param*]
#注意:如果需要绑定在非本机的IP,需要开启内核参数:net.ipv4.ip_nonlocal_bind=1
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度,注意:不支持backend
listen http_proxy #监听http的多个IP的多个端口和sock文件
bind :80,:443,:8801-8810
bind 10.0.0.1:10080,10.0.0.1:10443
bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
listen http_https_proxy #https监听
bind :80
bind :443 ssl crt /etc/haproxy/site.pem #公钥和私钥公共文件
listen http_https_proxy_explicit #监听ipv6、ipv4和unix sock文件
bind ipv6@:80
bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
bind unix@ssl-frontend.sock user root mode 600 accept-proxy
listen external_bind_app1 #监听file descriptor
bind "fd@${FD_APP1}"
frontend xx_web_port #可以采用后面形式命名:业务-服务-端口号
bind 192.168.10.14:80
use_backend <backend_name> #调用的后端服务器组名称
backend xx_web #调给后端服务器
server rs1 192.168.10.11:80 check
server rs2 192.168.10.13:80 check
注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动
mode http|tcp #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server #定义后端real server,必须指定IP和端口
#针对一个server配置
check #对指定real进行健康状态检查,如果不加此设置,默认不开启检查,只有check后面没
有其它配置也可以启用检查功能
#默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定
端口才能实现健康性检查
addr <IP> #可指定的健康状态监测IP,可以是专门的数据网段,减少业务网络的流量
port <num> #指定的健康状态监测端口
inter <num> #健康状态检查间隔时间,默认2000 ms
fall <num> #后端服务器从线上转为线下的检查的连续失效次数,默认为3
rise <num> #后端服务器从下线恢复上线的检查的连续有效次数,默认为2
weight <weight> #默认为1,最大值为256,0(状态为蓝色)表示不参与负载均衡,但仍接受持久连
接
backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务,类似
Sorry Server
disabled #将后端服务器标记为不可用状态,即维护状态,除了持久模式,将不再接受连接,
状态为深黄色,优雅下线,不再接受新用户的请求
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL,只适用于
http模式
redir http://www.baidu.com #将请求临时(302)重定向至其它URL,只适用于
http模式
maxconn <maxconn> #当前后端server的最大并发连接数
拓展:
四层
七层
硬件
F5
https://f5.com/zh
Netscaler
https://www.citrix.com.cn/products/citrix-adc/
Array
https://www.arraynetworks.com.cn/
深信服
http://www.sangfor.com.cn/
北京灵州
http://www.lingzhou.com.cn/cpzx/llfzjh/