1、Nginx 日志介绍

Nginx 有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_module 的支持，日志格式通过 log_format 命令来定义，日志对于统计和排错是非常有利的，下面总结了 nginx 日志相关的配置 包括 access_log、rewrite_log、error_log。

# 设置访问日志
access_log path 样式;

2、作用域

可以应用access_log指令的作用域分别有http，server，location。也就是说，在这几个作用域外使用该指令，Nginx会报错。

该例子指定日志的写入路径为/var/logs/nginx-access.log，日志格式使用默认的combined。

access_log /var/logs/nginx-access.log combined;

该例子指定日志的写入路径为/var/logs/nginx-access.log，日志格式使用默认的combined

3、log_format 指令

Nginx 预定义了名为 combined 日志格式，如果没有明确指定日志格式默认使用该格式：

log_format combined '$remote_addr - $remote_user [$time_local] '
                    '"$request" $status $body_bytes_sent '
                    '"$http_referer" "$http_user_agent"';

如果不想使用Nginx预定义的格式，可以通过log_format指令来自定义。

语法

log_format name [escape=default|json] string ...;

• name 格式名称。在 access_log 指令中引用。

• escape 设置变量中的字符编码方式是json还是default，默认是default。

• string 要定义的日志格式内容。该参数可以有多个。参数中可以使用Nginx变量。

log_format 指令中常用的一些变量：

4.自定义日志格式的使用：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';
                  
access_log /var/logs/nginx-access.log main;
server {
    ........
}

使用log_format指令定义了一个main的格式，并在access_log指令中引用了它。假如客户端有发起请求：http://qf.com/，我们看一下我截取的一个请求的日志记录:

10.0.105.207 - - [01/Jul/2019:10:44:36 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" "-"

我们看到最终的日志记录中$remote_user、$http_referer、$http_x_forwarded_for都对应了一个-，这是因为这几个变量为空。

面试时：注意日志里面的ip地址一定要在第一列。

5、error_log 指令

错误日志在Nginx中是通过error_log指令实现的。该指令记录服务器和请求处理过程中的错误信息。

语法

配置错误日志文件的路径和日志级别。

error_log file [level];
Default:
error_log logs/error.log warn;

file 参数指定日志的写入位置。

level 参数指定日志的级别。level可以是debug, info, notice, warn, error, crit, alert,emerg中的任意值。可以看到其取值范围是按紧急程度从低到高排列的。只有日志的错误级别等于或高于level指定的值才会写入错误日志中。

基本用法

error_log /var/logs/nginx/nginx-error.log;

配置段：http, mail, stream, server, location作用域。

例子中指定了错误日志的路径为：/var/logs/nginx/nginx-error.log，日志级别使用默认的 error。

• 6、rewrite_log 指令

  由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启，启用时将在error log中记录重写日志。 基本语法:

rewrite_log on | off;

默认值: 
rewrite_log off;

配置段: http, server, location, if作用域。

7、Nginx 日志配置总结

Nginx中通过access_log和error_log指令配置访问日志和错误日志，通过log_format我们可以自定义日志格式。

详细的日志配置信息可以参考Nginx官方文档

8、Nginx的日志轮转

[root@192 ~]# rpm -ql nginx |grep log
/etc/logrotate.d/nginx
/var/log/nginx
[root@192 ~]# vim /etc/logrotate.d/nginx
/var/log/nginx/*.log {           #指定需要轮转处理的日志文件
        daily     #日志文件轮转周期，可用值为: daily/weekly/yearly
        missingok               # 忽略错误信息
        rotate 7               # 轮转次数，即最多存储7个归档日志，会删除最久的归档日志
        minsize 5M           #限制条件，大于5M的日志文件才进行分割，否则不操作
        dateext             # 以当前日期作为命名格式
        compress         # 轮循结束后，已归档日志使用gzip进行压缩
        delaycompress    # 与compress共用，最近的一次归档不要压缩
        notifempty         # 日志文件为空，轮循不会继续执行
        create 640 nginx nginx     #新日志文件的权限
        sharedscripts     #有多个日志需要轮询时，只执行一次脚本
        postrotate    # 将日志文件转储后执行的命令。以endscript结尾，命令需要单独成行
                if [ -f /var/run/nginx.pid ]; then    #判断nginx的PID。# 默认logrotate会以root身份运行
                        kill -USR1 cat /var/run/nginx.pid
                fi
        endscript
}

执行命令:
[root@192 nginx]# /usr/sbin/logrotate -f /etc/logrotate.conf
创建计划任务:
[root@192 nginx]# crontab -e
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.conf

Nginx 的平滑升级

1、为什么要对 nginx 平滑升级

随着 nginx 越来越流行，并且 nginx 的优势也越来越明显，nginx 的版本迭代也来时加速模式，1.9.0版本的nginx更新了许多新功能，伴随着 nginx 的广泛应用，版本升级必然越来越快，线上业务不能停，此时 nginx 的升级就需要平滑升级。

nginx 方便地帮助我们实现了平滑升级。其原理简单概括，就是： （1）在不停掉老进程的情况下，启动新进程。 （2）老进程负责处理仍然没有处理完的请求，但不再接受处理请求。 （3）新进程接受新请求。 （4）老进程处理完所有请求，关闭所有连接后，停止。 这样就很方便地实现了平滑升级。一般有两种情况下需要升级 nginx，一种是确实要升级 nginx 的版本，另一种是要为 nginx 添加新的模块。

2、Nginx 平滑升级描述

多进程模式下的请求分配方式

nginx 默认工作在多进程模式下，即主进程（master process）启动后完成配置加载和端口绑定等动作，fork出指定数量的工作进程（worker process），这些子进程会持有监听端口的文件描述符（fd），并通过在该描述符上添加监听事件来接受连接

信号的接收和处理

nginx 主进程在启动完成后会进入等待状态，负责响应各类系统消息，如SIGCHLD、SIGHUP、SIGUSR2等。

Nginx信号简介

主进程支持的信号

• TERM, INT: 立刻退出

• QUIT: 等待工作进程结束后再退出

• KILL: 强制终止进程

• HUP: 重新加载配置文件，使用新的配置启动工作进程，并逐步关闭旧进程。

• USR1: 重新打开日志文件

• USR2: 启动新的主进程，实现热升级

• WINCH: 逐步关闭工作进程

工作进程支持的信号

• TERM, INT: 立刻退出

• QUIT: 等待请求处理结束后再退出

• USR1: 重新打开日志文件

3、Nginx 平滑升级实战

1、查看现有的 nginx 编译参数

[root@nginx-server ~]#  /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) 
built with OpenSSL 1.0.2k-fips  26 Jan 2017
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --group=nginx --user=nginx --sbin-path=/usr/local/nginx/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/tmp/nginx/client_body --http-proxy-temp-path=/tmp/nginx/proxy --http-fastcgi-temp-path=/tmp/nginx/fastcgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-pcre --with-http_realip_module --with-stream

2.上传新版本的源码包nginx-1.22.0.tar.gz，解压到/usr/local/

 按照原来的编译参数安装 nginx 的方法进行安装，只需要到 make，千万不要 make install 。如果make install 会将原来的配置文件覆盖

[root@nginx-server2 ~]# cd /usr/local/nginx-1.22.0/
[root@nginx-server2 nginx-1.22.0]# ./configure --prefix=/usr/local/nginx --group=nginx --user=nginx --sbin-path=/usr/local/nginx/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/tmp/nginx/client_body --http-proxy-temp-path=/tmp/nginx/proxy --http-fastcgi-temp-path=/tmp/nginx/fastcgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-pcre --with-http_realip_module --with-stream
[root@nginx-server2 nginx-1.22.0]# make
千万不要make install 

3、备份原 nginx 二进制文件

备份二进制文件和 nginx 的配置文件（期间nginx不会停止服务）

[root@nginx-server2 nginx-1.22.0]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx_$(date +%F)

4、复制新的nginx二进制文件，进入新的nginx源码包

[root@nginx-server2 nginx-1.22.0]# cp /usr/local/nginx-1.22.0/objs/nginx /usr/local/nginx/sbin/

 5、测试新版本的nginx是否正常

[root@nginx-server2 nginx-1.22.0]# /usr/local/nginx/sbin/nginx -t

6、给nginx发送平滑迁移信号（若不清楚pid路径，请查看nginx配置文件）

USR2: 启动新的主进程，实现热升级

[root@nginx-server2 nginx-1.22.0]# kill -USR2 `cat /var/run/nginx.pid`

7、查看nginx pid，会出现一个nginx.pid.oldbin

[root@nginx-server2 nginx-1.22.0]# ll /var/run/nginx.pid*
-rw-r--r-- 1 root root 5 Jul  1 11:29 /var/run/nginx.pid
-rw-r--r-- 1 root root 5 Jul  1 09:54 /var/run/nginx.pid.oldbin

  8、从容关闭旧的Nginx进程(WINCH: 逐步关闭工作work进程)

[root@nginx-server2 nginx-1.22.0]# kill -WINCH `cat /var/run/nginx.pid.oldbin`

  9、此时不重新载配置启动旧的工作进程

HUP: 重新加载配置文件，使用新的配置启动工作进程，并逐步关闭旧进程。

[root@nginx-server2 nginx-1.22.0]# kill -HUP `cat /var/run/nginx.pid.oldbin`

10、结束工作进程，完成此次升级

QUIT: 等待请求处理结束后再退出

 [root@nginx-server2 nginx-1.22.0]# kill -QUIT `cat /var/run/nginx.pid.oldbin`

 

11、验证Nginx是否升级成功

[root@nginx-server2 nginx-1.22.0]# /usr/local/nginx/sbin/nginx -V

 

12、访问验证

[root@localhost nginx-1.22.0]# elinks 192.168.132.100

Nginx 错误页面配置

nginx错误页面包括404 403 500 502 503 504等页面，只需要在server中增加以下配置即可：

#error_page  404 403 500 502 503 504  /404.html;
                location = /404.html {
                        root   /usr/local/nginx/html;
                }

注意：

/usr/local/nginx/html/ 路径下必须有404.html这个文件！！！

404.html上如果引用其他文件的png或css就会有问题，显示不出来，因为其他文件的访问也要做配置； 为了简单，可以将css嵌入文件中，图片用base编码嵌入；如下：

[root@localhost html]# vim 404.html


    
        
        
        
        
    
    
        

            
            

                

                    

 
                     

哎呀，找不到该页面啦！

                       

请检查您的网络连接是否正常或者输入的网址是否正确

                   

               

           

       

        
   

Nginx 流量控制

流量限制 (rate-limiting)，是Nginx中一个非常实用，却经常被错误理解和错误配置的功能。我们可以用来限制用户在给定时间内HTTP请求的数量。请求，可以是一个简单网站首页的GET请求，也可以是登录表单的 POST 请求。流量限制可以用作安全目的，比如可以减慢暴力密码破解的速率。通过将传入请求的速率限制为真实用户的典型值，并标识目标URL地址(通过日志)，还可以用来抵御 DDOS 攻击。更常见的情况，该功能被用来保护上游应用服务器不被同时太多用户请求所压垮。

以下将会介绍Nginx的 流量限制 的基础知识和高级配置；

1、Nginx如何限流

Nginx的”流量限制”使用漏桶算法(leaky bucket algorithm)，该算法在通讯和分组交换计算机网络中广泛使用，用以处理带宽有限时的突发情况。就好比，一个桶口在倒水，桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率，桶里面的水将会溢出；同样，在请求处理方面，水代表来自客户端的请求，水桶代表根据”先进先出调度算法”(FIFO)等待被处理的请求队列，桶底漏出的水代表离开缓冲区被服务器处理的请求，桶口溢出的水代表被丢弃和不被处理的请求。

2、配置基本的限流

“流量限制”配置两个主要的指令，limit_req_zone和limit_req，如下所示：

192.168.62.155配置:
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
upstream myweb {
        server 192.168.62.157:80 weight=1 max_fails=1 fail_timeout=1;
        }
server {
        listen 80;
        server_name localhost;

        location /login {
                limit_req zone=mylimit;
                proxy_pass http://myweb;
                proxy_set_header Host $host:$server_port;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                }
}

192.168.62.157配置:
server {
        listen 80;
        server_name localhost;
        location /login {
                root    /usr/share/nginx/html;
                index   index.html index.html;
                }
}

limit_req_zone指令定义了流量限制相关的参数，而limit_req指令在出现的上下文中启用流量限制(示例中，对于”/login/”的所有请求)。

limit_req_zone指令通常在HTTP块中定义，使其可在多个上下文中使用，它需要以下三个参数：

• Key - 定义应用限制的请求特性。示例中的 Nginx 变量$binary_remote_addr，保存客户端IP地址的二进制形式。这意味着，我们可以将每个不同的IP地址限制到，通过第三个参数设置的请求速率。(使用该变量是因为比字符串形式的客户端IP地址$remote_addr，占用更少的空间)

• Zone - 定义用于存储每个IP地址状态以及被限制请求URL访问频率的共享内存区域。保存在内存共享区域的信息，意味着可以在Nginx的worker进程之间共享。定义分为两个部分：通过zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息，大约需要1MB，所以示例中区域可以存储160000个IP地址。

• Rate - 定义最大请求速率。在示例中，速率不能超过每秒1个请求。Nginx实际上以毫秒的粒度来跟踪请求，所以速率限制相当于每1000毫秒1个请求。因为不允许”突发情况”(见下一章节)，这意味着在前一个请求1000毫秒内到达的请求将被拒绝。

limit_req_zone指令设置流量限制和共享内存区域的参数，但实际上并不限制请求速率。所以需要通过添加

limit_req指令，将流量限制应用在特定的location或者server块。在上面示例中，我们对/login/请求进行流量限制。

现在每个IP地址被限制为每秒只能请求1次/login/，更准确地说，在前一个请求的1000毫秒内不能请求该URL。

3、处理突发

如果我们在1000毫秒内接收到2个请求，怎么办？对于第二个请求，Nginx将给客户端返回错误。这可能并不是我们想要的结果，因为应用本质上趋向于突发性。相反地，我们希望缓冲任何超额的请求，然后及时地处理它们。我们更新下配置，在limit_req中使用burst参数：

 limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
        upstream myweb {
                server 192.168.62.157:80 weight=1 max_fails=1 fail_timeout=1;
                }
              
        server {
                listen 80;
                server_name localhost;
                location /login {
                        limit_req zone=mylimit burst=20;
                        proxy_pass http://myweb;
                        proxy_set_header Host $host:$server_port;
                        proxy_set_header X-Real-IP $remote_addr;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        }
        }

burst参数定义了超出zone指定速率的情况下(示例中的mylimit区域，速率限制在每秒10个请求，或每100毫秒一个请求)，客户端还能发起多少请求。上一个请求100毫秒内到达的请求将会被放入队列，我们将队列大小设置为20。

这意味着，如果从一个给定IP地址发送21个请求，Nginx会立即将第一个请求发送到上游服务器群，然后将余下20个请求放在队列中。然后每100毫秒转发一个排队的请求，只有当传入请求使队列中排队的请求数超过20时，Nginx才会向客户端返回错误。

4、配置流量控制相关功能

 1、配置日志记录

默认情况下，Nginx会在日志中记录由于流量限制而延迟或丢弃的请求，如下所示：

2019/02/13 04:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.1.2, server: nginx.com, request: "GET / HTTP/1.0", host: "nginx.com" 

日志条目中包含的字段：

• limiting requests - 表明日志条目记录的是被“流量限制”请求

• excess - 每毫秒超过对应“流量限制”配置的请求数量

• zone - 定义实施“流量限制”的区域

• client - 发起请求的客户端IP地址

• server - 服务器IP地址或主机名

• request - 客户端发起的实际HTTP请求

• host - HTTP报头中host的值

默认情况下，Nginx以error级别来记录被拒绝的请求，如上面示例中的[error]所示(Nginx以较低级别记录延时请求，一般是info级别)。如要更改Nginx的日志记录级别，需要使用limit_req_log_level指令。这里，我们将被拒绝请求的日志记录级别设置为warn：

一定要定义日志位置和级别才可以：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
        upstream myweb {
                server 192.168.62.157:80 weight=1 max_fails=1 fail_timeout=1;
                }
        server {
                listen 80;
                server_name localhost;

                location /login {
                        limit_req zone=mylimit;
                        limit_req_log_level warn;
                        proxy_pass http://myweb;
                        proxy_set_header Host $host:$server_port;
                        proxy_set_header X-Real-IP $remote_addr;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        }
        }

继续访问测试，看error.log日志

2、发送到客户端的错误代码

一般情况下，客户端超过配置的流量限制时，Nginx响应状态码为503(Service Temporarily Unavailable)。可以使用limit_req_status指令来设置为其它状态码(例如下面的404状态码):

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
    upstream myweb {
            server 192.168.62.157:80 weight=1 max_fails=1 fail_timeout=1;
        }
    server {
            listen 80;
            server_name localhost;
        
            location /login {
            limit_req zone=mylimit;
            limit_req_log_level warn;
            limit_req_status 404;
            proxy_pass http://myweb;
            proxy_set_header Host $host:$server_port;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            }
    }

5、Nginx 流量控制总结

以上已经涵盖了Nginx提供的“流量限制”的很多功能，包括为HTTP请求的不同location设置请求速率，给“流量限制”配置burst参数。

Nginx 访问控制

1、nginx 访问控制模块

（1）基于IP的访问控制：http_access_module （2）基于用户的信任登录：http_auth_basic_module

2、基于IP的访问控制

1、配置语法

Syntax：allow address | CIDR | unix: | all;
default：默认无
Context：http，server，location

Syntax：deny address | CIDR | unix: | all;
default：默认无
Context：http，server，location

2、配置测试

修改/etc/nginx/conf.d/access_mod.conf内容如下：

server {
        listen 80;
        server_name localhost;
        location ~ ^/admin {
                root /home/www/html;
                index index.html index.hml;
                deny 192.168.1.8;
                allow all;
                #deny 192.168.1.8;
        }
}
#需要注意:
如果先允许访问，在定义拒绝访问。那么拒绝访问不生效。

虚拟机宿主机IP为192.168.1.8，虚拟机IP为192.168.1.11，故这里禁止宿主机访问，允许其他所有IP访问。 宿主机访问http://192.168.1.11/admin，显示403 Forbidden。 当然也可以反向配置，同时也可以使用IP网段的配置方式，如allow 192.168.1.0/24;，表示满足此网段的IP都可以访问。

3、指定location拒绝所有请求

如果你想拒绝某个指定URL地址的所有请求，而不是仅仅对其限速，只需要在location块中配置deny all指令：

server {
        listen 80;
        server_name localhost;
        location /foo.html {
                root /home/www/html;
                deny all;
                }
} 

3、基于用户的信任登录

1、配置语法

Syntax：auth_basic string | off;
default：auth_basic off;
Context：http，server，location，limit_except

Syntax：auth_basic_user_file file;
default：默认无
Context：http，server，location，limit_except
file：存储用户名密码信息的文件。

2、配置示例  

改名access_mod.conf为auth_mod.conf，内容如下：

server {
    listen 80;
    server_name localhost;
    location ~ ^/admin {
        root /home/www/html;
        index index.html index.hml;
        auth_basic "Auth access test!";
        auth_basic_user_file /etc/nginx/auth_conf;
        }
}

auth_basic不为off，开启登录验证功能，auth_basic_user_file加载账号密码文件。

3、建立口令文件

[root@192 ~]# mkdir /home/www/html/admin -p
[root@192 ~]# vim /home/www/html/admin/index.html
hello qf
[root@192 ~]# yum install -y httpd-tools #htpasswd 是开源 http 服务器 apache httpd 的一个命令工具，用于生成 http 基本认证的密码文件
[root@192 ~]# htpasswd -cm /etc/nginx/auth_conf user10    //第一次新建用户
[root@192 ~]# htpasswd -m /etc/nginx/auth_conf user20    //第二次添加用户
[root@192 ~]# cat /etc/nginx/auth_conf
user10:$apr1$MOa9UVqF$RlYRMk7eprViEpNtDV0n40
user20:$apr1$biHJhW03$xboNUJgHME6yDd17gkQNb0

4、访问测试

测试失败

5、局限性

（1）用户信息依赖文件方式 （2）操作管理机械，效率低下