深入理解nginx负载均衡round-robin算法

1. 概述

   nginx为我们提供了强大的HTTP代理功能，而负载均衡算法是实现后端多Real Server代理的一个重要环节，nginx内部为我们集成了一些负载均衡算法，包括round-robin、ip-hash、hash、least_con、random等算法，另外第三方模块甚至提供了一致性哈希等算法。其中最基础的算法要数round-robin了，它也是nginx默认采用的负载均衡算法。本文透过nginx的源码来深入理解一下其实现机制，并对nginx在启动代理逻辑的时候如何进行Real server的选择过程有一个深入的理解。

   在开始之前，先来了解一下什么是round-robin算法，round-robin算法中文名叫轮询调度算法，就是以轮询的方式依次将请求调度不同的服务器，即每次调度执行i = (i + 1) mod n，并选出第i台服务器。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。轮询调度算法假设所有服务器的处理性能都相同，不关心每台服务器的当前连接数和响应速度。当每台服务器的能力有差异的情况下，轮询调度算法容易导致实际服务器间的负载不平衡。

  为了克服round-robin算法的缺点，所以又在此基础上，衍生出了weighted round-robin算法，即加权轮询调度算法，它可以为不同的Real Server设置不同的权重，权重高的Real Server会分配到更多的负载。而nginx实现的round-robin算法实际上是weighted round-robin算法。

  以下就从源码层面来对nginx的round-robin算法进行分析。

2. 如何启用round-robin算法

  因为round-robin是nginx的默认负载均衡算法，因此如果在nginx配置文件的upstream块中如果没有设置任何其他的负载均衡算法，那么就自然启用round-robin算法了。

  因为nginx实际实现的是weighted round-robin算法，因此，可以对每个服务器设置其负载权重，如下：

upstream {
	server 192.168.0.1 weight=1;
	server 192.168.0.2 weight=2;
	server 192.168.0.3 weight=4;
......
};

1
2
3
4
5
6
7

  在upstream的初始化代码ngx_http_upstream_init_main_conf函数（这个函数是在配置读取完毕，并且在配置merge之前）中执行的，代码如下：

static char *
ngx_http_upstream_init_main_conf(ngx_conf_t *cf, void *conf)
{
   
    ngx_http_upstream_main_conf_t  *umcf = conf;

    ngx_uint_t                      i;
    ngx_array_t                     headers_in;
    ngx_hash_key_t                 *hk;
    ngx_hash_init_t                 hash;
    ngx_http_upstream_init_pt       init;
    ngx_http_upstream_header_t     *header;
    ngx_http_upstream_srv_conf_t  **uscfp;

    uscfp = umcf->upstreams.elts;

    for (i = 0; i < umcf->upstreams.nelts; i++) {
   

        init = uscfp[i]->peer.init_upstream ? uscfp[i]->peer.init_upstream:
                                            ngx_http_upstream_init_round_robin;

        if (init(cf, uscfp[i]) != NGX_OK) {
   
            return NGX_CONF_ERROR;
        }
    }
......
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

  可以看到，如果配置解析完毕后，upstream块对应的负载均衡算法没有被设置成任何其他负载均衡算法，那么就设置成默认的round-rpbin算法，下面就是调用ngx_http_upstream_init_round_robin函数进行算法的初始化了。

3. 初始化round-robin算法

3.1 设置算法上下文环境初始化回调函数

  首先，在ngx_http_upstream_init_round_robin函数中，首先执行了下面这个语句：

us->peer.init = ngx_http_upstream_init_round_robin_peer;
1

   这个ngx_http_upstream_init_round_robin_peer回调函数用来在nginx收到请求后，在进行执行负载均衡算法前，对round-robin算法的上下文环境进行初始化。

3.2 加载服务器列表

  在nginx配置文件解析到upstream的时候，server列表已经被加载到ngx_http_upstream_srv_conf_t的servers数组中了，在ngx_http_upstream_init_round_robin函数中，需要将加载到的每一个server放入ngx_http_upstream_rr_peer_t中，并进行一些初始化工作。nginx将配置的server分为两组，一个是主server，一个是backup server，其中默认使用的是主server列表中的服务器，只有到主server中的服务器都不可用了才会考虑使用backup server。 nginx将主server和backup server分两次来进行加载，首先加载主server。

  第一步险要计算server的总全重w、总的地址数n和可用地址数t，源码如下：

   for (i = 0; i < us->servers->nelts; i++) {
   
      /* 这里仅加载主server，所以backup server直接跳过 */
		if (server[i].backup) {
       
			continue;
		}

		n += server[i].naddrs;
		w += server[i].naddrs * server[i].weight;

		if (!server[i].down) {
   
			t += server[i].naddrs;
		}
	}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

  第二步是创建ngx_http_upstream_rr_peer_t结构体并进行初始化

  ngx_http_upstream_rr_peer_t结构体保存了每个peer的信息，和相关描述信息，如总的权重、总的地址数、域名等。源码如下：

	peers = ngx_pcalloc(cf->pool, sizeof(ngx_http_upstream_rr_peers_t));
	if (peers == NULL) {
   
		return NGX_ERROR;
	}

......
    peer = ngx_pcalloc(cf->pool, sizeof(ngx_http_upstream_rr_peer_t) * n);
    if (peer == NULL) {
   
        return NGX_ERROR;
    }

	peers->single = (n == 1);       /* single=1表示仅有一个rs地址 */
	peers->number = n;
	peers->weighted = (w != n);
	peers->total_weight = w
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16