Linux内核参数调优

一、Linux内核配置文件

Linux在系统运行时修改内核参数(/proc/sys与/etc/sysctl.conf)，而不需要重新引导系统，这个功能是通过/proc虚拟文件系统实现的。

在/proc/sys目录下存放着大多数的内核参数，并且设计成可以在系统运行的同时进行更改, 可以通过更改/proc/sys中内核参数对应的文件达到修改内核参数的目的(修改过后，保存配置文件就马上自动生效)，不过重新启动机器后之前修改的参数值会失效，所以只能是一种临时参数变更方案。(适合调试内核参数优化值的时候使用，如果设置值有问题，重启服务器还原原来的设置参数值了，简单方便) 。

但是如果调试内核参数优化值结束后，需要永久保存参数值，就要通过修改/etc/sysctl.conf内的内核参数来永久保存更改。但只是修改sysctl文件内的参数值，确认保存修改文件后，设定的参数值并不会马上生效，如果想使参数值修改马上生效，并且不重启服务器，可以执行下面的命令：

# sysctl –p

下面介绍一下/proc/sys下内核文件与配置文件sysctl.conf中变量的对应关系。

由于可以修改的内核参数都在/proc/sys目录下，所以sysctl.conf的变量名省略了目录的前面部分（/proc/sys）。

即将/proc/sys中的文件转换成sysctl中的变量依据下面两个简单的规则：

1．去掉前面部分/proc/sys

2．将文件名中的斜杠变为点

这两条规则可以将/proc/sys中的任一文件名转换成sysctl中的变量名。

例如：

/proc/sys/net/ipv4/ip_forward ＝》 net.ipv4.ip_forward
/proc/sys/kernel/hostname ＝》 kernel.hostname

可以使用下面命令查询所有可修改的变量名。

# sysctl –a

二、linux内核参数

根据参数文件所处目录不同而进行分表整理

下列文件所在目录：/proc/sys/net/ipv4/

所处目录/proc/sys/net/ipv4/netfilter/

文件需要打开防火墙才会存在。

文件所处目录/proc/sys/net/core/

三、修改内核参数方法

1、使用echo value方式直接追加到文件里如echo "1" >/proc/sys/net/ipv4/tcp_syn_retries，但这种方法设备重启后又会恢复为默认值。

2、把参数添加到/etc/sysctl.conf中，然后执行sysctl -p使参数生效，永久生效。

四、内核参数优化点

优化Linux文件打开最大数

• 为了防止失控的进程破坏系统的性能,UNIX和Linux会跟踪进程使用的大部分资源,并允许用户和系统管理员使用对进程的资源限制,例如控制某个进程打开的文件数、对某个用户打开系统进程数进行限制等,一般限制手段包括软限制和硬限制
  • 软限制(soft limit):内核实际执行的限制,任何进程都可以将软限制设置为任意小于或等于对进程限制的硬限制的值、最大线程数(noproc)和文件数(nofile)
  • 硬限制(hard limit):可以在任何时候任何进程中设置,但硬限制只能由超级用户修改
• Linux系统一切皆文件,对Linux进行各种操作,实际就是对文件进行操作,文件可分为普通文件、目录文件、链接文件和设备文件.而文件描述符(file descriptor)是内核为了高效管理已被打开的文件所创建的索引,其值是一个非负整数(通常是小正数),用于指代被打开的文件,所有执行I/O操作的系统调用都通过文件描述符
• Linux系统默认已经打开的文件描述符包括STDIN_FILENO 0表示标准输入、STDOUT_FILENO 1表示标准输出、STDERR_FILENO 2表示标准错误输出,默认打开一个文件,它的文件描述符为3
• 每个文件描述符与一个打开文件相对应,不同的文件描述符可以指向同一个文件,相同的文件可以被不同的进程打开,也可以在同一进程中被多次打开
• Linux系统为每个进程维护了一个文件描述符,该表的值都是从0开始,在不同的进程中用户会看到相同的文件描述符,相同文件描述符有可能指向同一个文件,也可能指向不同的文件.Linux内核对文件操作,维护了3个数据结构概念:
  • 进程级的文件描述符表
  • 系统级的打开文件描述符表
  • 文件系统的i-node表
• 其中进程级的描述符表的每一条目记录了单个文件描述符的相关信息,例如控制文件描述符操作的一组标志及对打开文件句柄的引用.Linux内核对所有打开的文件都维护了一个系统级的描述符表(open file description table).将描述符表中的记录行称为打开文件句柄(open file handle),一个打开文件句柄存储了一个打开文件相关的全部信息
  • 当前文件偏移量
  • 打开文件时所使用的的状态标识
  • 文件访问模式
  • 与信号驱动相关的设置
  • 对该文件inode对象的引用
  • 文件类型和访问权限
  • 指针指向该文件所持有的锁列表
  • 文件的各种属性
• 默认Linux内核对每个用户设置了打开文件最大数为1024,对于高并发网站,是远远不够的,需要将默认值调整到更大,方法如下:
  • Linux每个用户打开文件最大数临时设置方法,重启服务器该参数无效

 unlimit -n 65535 

Linux每个用户打开文件最大数永久设置方法,修改/etc/security/limits.conf,在末尾修改以下内容：

*               soft    noproc            65535
*               hard    noproc            65535
*               soft    nofile            65535
*               hard    nofile            65535

上述设置为对每个用户分别设置nofile、noproc最大数,如果需要对Linnx整个系统设置文件最大限制数,需修改/proc/sys/fs/file-max中的值,该值为Linux总文件打开数.例如设置为3865161233。

内核参数的优化

• Linux /proc/sys目录下存放着多数内核的参数,并且可以在系统运行时进行更改,一般重新启动机器就会失效.而/etc/sysctl.conf是一个允许改变正在运行中的Linux系统的接口,它包含一些TCP/IP堆栈和虚拟内存系统的高级选项,修改内核参数永久生效
• /proc/sys下内核文件与配置文件sysctl.conf中变量存在着对应关系,即修改sysctl.conf配置文件,实际是修改/proc/sys相关参数,所以对Linux内核优化只需修改/etc/sysctl.conf文件即可

影响服务器性能因素

• 影响生产环境Linux服务器性能的因素有很多,一般分为两大类,即操作系统层级和应用程序级别.以下为各级别影响性能的具体项及性能评估的标准

1. 操作系统级别

• 内存
• CPU
• 磁盘I/O
• 网络I/O带宽

• 应用程序及软件

• Nginx
• MySQL
• Tomcat
• PHP

• Linux系统性能评估表

 五、系统性能评估与分析调优工具

性能分析工具

• 常用系统性能分析命令为vmstat、sar、iostat、netstat、free、ps、top、iftop等
• 常用系统性能组合命令:
  • vmstat、sar、iostat:检测是否是CPU瓶颈
  • free、vmstat:检测是否是内存瓶颈
  • iostat:检测是否是磁盘I/O瓶颈
  • netstat、iftop:检测是否是网络带宽瓶颈

Linux服务器性能评估与优化

• Linux服务器性能评估与优化是一项长期的工作,需要随时关注网站服务器的运行状态,及时作出相应的调整

1. Linux系统整体性能评估

• uptime命令主要用于查看当前服务器整体性能,例如CPU、负载、内存等值的总览,以下为uptime详解

uptime
21:51:02 up 13:24,  1 user,  load average: 0.00, 0.01, 0.05

• oad average负载有3个值,分别表示最近1min、5min、15min系统的负载,3个值的大小一般不能大于系统逻辑CPU核数的2倍,例如Linux操作系统有4个逻辑CPU,如果load average的3个值长期大于8时,说明CPU很繁忙,负载很高,可能会影响系统性能,但是偶尔大于8时,可以不用担心,一般不会影响系统性能
• 如果load average的输出装小于CPU逻辑个数的2倍,则表示CPU还有空闲的时间片.基于此参数不能完全确认服务器的性能瓶颈,需要借助其他工具判断

CPU性能评估

利用vmstat命令监控CPU,该命令可以显示关于系统各种资源之间相关性能的简要信息,主要用它来查看CPU负载及队列情况。

vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----
r  b  swpd   free  buff  cache   si   so    bi   bo   in   cs us sy id  wa st
1  0     0 625548  2148 761888    0    0     7   17   28   74 0  0  100  0  0

• r:该列表示运行和等待CPU时间片的进程数,这个值如果长期大于系统CPU的个数,说明CPU不足,需要增加CPU。
• b:该列表示在等待资源的进程数,比如正在等待I/O或者内存交换。
• us:该列显示了用户进程消耗的CPU时间百分比,us的值比较高时,说明用户进程消耗的CPU时间多,但是如果长期大于50%,就需要考虑优化程序或算法。
• sy:该列显示了内核进程消耗的CPU时间百分比,sy的值较高时,说明内核消耗的CPU资源很多。
• us+sy:参考值为80%,如果us+sy大于80%说明可能存在CPU资源不足。
• 利用sar命令监控系统CPU,sar功能很强大,可以对系统的每个方面进行单独的统计,但是使用sar命令会增加系统开销,不过这些开销是可以评估的,对系统的统计结果不会有很大影响。

sar -u 2 10
Linux 3.10.0-957.el7.x86_64 (orange)   03/24/2020  _x86_64_    (1 CPU)
 
10:10:42 PM   CPU     %user     %nice   %system   %iowait    %steal     %idle
10:10:44 PM   all      0.00      0.00      0.50      0.00      0.00     99.50
10:10:46 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:10:48 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:10:50 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:10:52 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:10:54 PM   all      0.00      0.00      0.50      0.00      0.00     99.50
10:10:56 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:10:58 PM   all      0.00      0.00      0.00      0.00      0.00    100.00
10:11:00 PM   all      0.50      0.00      2.49      0.00      0.00     97.01
10:11:02 PM   all      0.00      0.00      1.51      0.00      0.00     98.49
Average:      all      0.05      0.00      0.50      0.00      0.00     99.45

输出结果详解:

%user:该列显示用户进程消耗的CPU时间百分比。
%nice:该列显示了运行正常进程所消耗的CPU时间百分比。
%system:该列显示了系统进程消耗的CPU时间百分比。
%iowait:该列显示了I/O等待所占用的CPU时间百分比。
%steal:该列显示了CPU处在空闲状态的时间百分比。
%idle:该列显示了在内存相对紧张的环境下pagein强制对不同页面进行的steal操作。

内存性能评估

利用free指令监控内存,free是监控Linux内存使用状况最常用的指令。

free -m
              total        used        free      shared  buff/cache   available
Mem:           1980         624         419           9         936        1163
Swap:          2047           0        2047

• 一般而言,服务器内存可以通过以下方法判断是否空余
  • 应用程序可用内存/系统物理内存大于70%时,表示系统内存资源非常充足,不影响系统性能
  • 应用程序可用内存/系统物理内存小于20%时,表示系统内存资源紧缺,需要增加系统内存
  • 20%<应用程序可用内存/系统物理内存<70%时,表示系统内存资源基本能满足应用需求,暂时不影响系统性能

磁盘I/O性能评估

利用iostat评估磁盘性能,监控磁盘I/O读写及带宽。

iostat -d 1 10
Linux 3.10.0-957.el7.x86_64 (orange)   03/24/2020  _x86_64_    (1 CPU)
 
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
scd0              0.00         0.11         0.00       5476          0
sda               0.29         7.09        20.92     354986    1046959
dm-0              0.29         6.74        20.84     337211    1042843
dm-1              0.00         0.05         0.00       2460          0
dm-2              0.00         0.10         0.04       5160       2048
 
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
scd0              0.00         0.00         0.00          0          0
sda               0.00         0.00         0.00          0          0
dm-0              0.00         0.00         0.00          0          0
dm-1              0.00         0.00         0.00          0          0
dm-2              0.00         0.00         0.00          0          0
 
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
scd0              0.00         0.00         0.00          0          0
sda               0.00         0.00         0.00          0          0
dm-0              0.00         0.00         0.00          0          0
dm-1              0.00         0.00         0.00          0          0
dm-2              0.00         0.00         0.00          0          0 

• iostat输出结果详解:
  • kB_read/s:表示每秒读取的数据块数
  • kB_wrtn/s:表示每秒写入的数据块数
  • kB_read:表示读取的所有块数
  • kB_wrtn:表示写入的所有块数
• 可以通过kB_read/s和kB_wrtn/s的值对磁盘的读写性能有基本的了解,如果kB_wrtn/s值很大,表示磁盘的写操作很频繁,可以考虑优化磁盘或者优化程序,如果kB_read/s值很大,表示磁盘直接读取操作很多,可以将读取的数据放入内存中进行操作
• 利用sar评估磁盘性能,通过sar -d可以对系统的磁盘I/O做基本的统计

sar -d 1 10
Linux 3.10.0-957.el7.x86_64 (orange)   03/24/2020  _x86_64_    (1 CPU)
 
10:29:20 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
10:29:21 PM   dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:21 PM    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:21 PM  dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:21 PM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:21 PM  dev253-2      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
 
10:29:21 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
10:29:22 PM   dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:22 PM    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:22 PM  dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:22 PM  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
10:29:22 PM  dev253-2      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

• sar输出结果详解
  • await:表示平均每次设备I/O操作的等待时间(以ms为单位)
  • svctm:表示平均每次设备I/O操作的服务时间(以ms为单位)
  • %util:表示1秒内有百分之几的时间用于I/O操作
• 磁盘I/O性能,评判的标准为正常情况下svctm应该是小于await的值,而svctm的大小和磁盘性能有关,CPU、内存的负荷也会对svctm值造成影响,过多的请求也会间接地导致svctm值的增加
• await的值大小一般取决于svctm的值和I/O队列长度以及I/O请求模式,如果svctm的值与await很接近,表示几乎没有I/O等待,磁盘性能很好,如果await的值远高于svctm的值,则表示I/O队列等待太长,系统上运行的应用程序将变慢,此时可通过更换更快的硬盘来解决问题
• %util项的值也是衡量磁盘I/O的一个重要指标,如果%util接近100%,表示磁盘产生的I/O请求太多,I/O系统已经满负荷的在工作,该磁盘可能存在瓶颈.长期下去,势必影响系统的性能,可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题

网络性能评估

1、通过ping命令检查网络的连通性。

2、通过netstat -i组合检测网络接口状况。

3、通过netstat -r组合检测系统的路由表信息。

4、通过sar -n组合显示系统的网络运行状态通过。

5、iftop -i ens32可以查看网卡流量。

 - iftop -i ens32详细参数:
   - <=:客户端流入的流量
   - =>:服务端流出的流量
   - TX:发送流量
   - RX:接收流量
   - TOTAL:总流量
   - cum:运行iftop到目前时间的总流量
   - peak:流量峰值
   - rates:分别表示过去2s、10s、40s的平均流量

六、生产环境内核参数优化方案

作为高性能WEB服务器，只调整Nginx本身的参数是不行的，因为Nginx服务依赖于高性能的操作系统。

以下为常见的几个Linux内核参数优化方法。

• net.ipv4.tcp_max_tw_buckets

对于tcp连接，服务端和客户端通信完后状态变为timewait，假如某台服务器非常忙，连接数特别多的话，那么这个timewait数量就会越来越大。
毕竟它也是会占用一定的资源，所以应该有一个最大值，当超过这个值，系统就会删除最早的连接，这样始终保持在一个数量级。
这个数值就是由net.ipv4.tcp_max_tw_buckets这个参数来决定的。
CentOS7系统，你可以使用sysctl -a |grep tw_buckets来查看它的值，默认为32768，
你可以适当把它调低，比如调整到8000，毕竟这个状态的连接太多也是会消耗资源的。
但你不要把它调到几十、几百这样，因为这种状态的tcp连接也是有用的，
如果同样的客户端再次和服务端通信，就不用再次建立新的连接了，用这个旧的通道，省时省力。

• net.ipv4.tcp_tw_recycle = 1

该参数的作用是快速回收timewait状态的连接。上面虽然提到系统会自动删除掉timewait状态的连接，但如果把这样的连接重新利用起来岂不是更好。
所以该参数设置为1就可以让timewait状态的连接快速回收，它需要和下面的参数配合一起使用。

• net.ipv4.tcp_tw_reuse = 1

该参数设置为1，将timewait状态的连接重新用于新的TCP连接，要结合上面的参数一起使用。

• net.ipv4.tcp_syncookies = 1

tcp三次握手中，客户端向服务端发起syn请求，服务端收到后，也会向客户端发起syn请求同时连带ack确认，
假如客户端发送请求后直接断开和服务端的连接，不接收服务端发起的这个请求，服务端会重试多次，
这个重试的过程会持续一段时间（通常高于30s），当这种状态的连接数量非常大时，服务器会消耗很大的资源，从而造成瘫痪，
正常的连接进不来，这种恶意的半连接行为其实叫做syn flood攻击。
设置为1，是开启SYN Cookies，开启后可以避免发生上述的syn flood攻击。
开启该参数后，服务端接收客户端的ack后，再向客户端发送ack+syn之前会要求client在短时间内回应一个序号，
如果客户端不能提供序号或者提供的序号不对则认为该客户端不合法，于是不会发ack+syn给客户端，更涉及不到重试。

• net.ipv4.tcp_max_syn_backlog

该参数定义系统能接受的最大半连接状态的tcp连接数。客户端向服务端发送了syn包，服务端收到后，会记录一下，
该参数决定最多能记录几个这样的连接。在CentOS7，默认是256，当有syn flood攻击时，这个数值太小则很容易导致服务器瘫痪，
实际上此时服务器并没有消耗太多资源（cpu、内存等），所以可以适当调大它，比如调整到30000。

• net.ipv4.tcp_syn_retries

该参数适用于客户端，它定义发起syn的最大重试次数，默认为6，建议改为2。

• net.ipv4.tcp_synack_retries

该参数适用于服务端，它定义发起syn+ack的最大重试次数，默认为5，建议改为2，可以适当预防syn flood攻击。

• net.ipv4.ip_local_port_range

该参数定义端口范围，系统默认保留端口为1024及以下，以上部分为自定义端口。这个参数适用于客户端，
当客户端和服务端建立连接时，比如说访问服务端的80端口，客户端随机开启了一个端口和服务端发起连接，
这个参数定义随机端口的范围。默认为32768 61000，建议调整为1025 61000。

• net.ipv4.tcp_fin_timeout

tcp连接的状态中，客户端上有一个是FIN-WAIT-2状态，它是状态变迁为timewait前一个状态。
该参数定义不属于任何进程的该连接状态的超时时间，默认值为60，建议调整为6。

• net.ipv4.tcp_keepalive_time

tcp连接状态里，有一个是established状态，只有在这个状态下，客户端和服务端才能通信。正常情况下，当通信完毕，
客户端或服务端会告诉对方要关闭连接，此时状态就会变为timewait，如果客户端没有告诉服务端，
并且服务端也没有告诉客户端关闭的话（例如，客户端那边断网了），此时需要该参数来判定。
比如客户端已经断网了，但服务端上本次连接的状态依然是established，服务端为了确认客户端是否断网，
就需要每隔一段时间去发一个探测包去确认一下看看对方是否在线。这个时间就由该参数决定。它的默认值为7200秒，建议设置为30秒。

• net.ipv4.tcp_keepalive_intvl

该参数和上面的参数是一起的，服务端在规定时间内发起了探测，查看客户端是否在线，如果客户端并没有确认，
此时服务端还不能认定为对方不在线，而是要尝试多次。该参数定义重新发送探测的时间，即第一次发现对方有问题后，过多久再次发起探测。
默认值为75秒，可以改为3秒。

• net.ipv4.tcp_keepalive_probes

第10和第11个参数规定了何时发起探测和探测失败后再过多久再发起探测，但并没有定义一共探测几次才算结束。
该参数定义发起探测的包的数量。默认为9，建议设置2。
设置和范例

在Linux下调整内核参数，可以直接编辑配置文件/etc/sysctl.conf，然后执行sysctl -p命令生效。

 这儿所列参数是生产中常用的参数：

net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_retries2 = 5
net.ipv4.tcp_fin_timeout = 6
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 32768
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_wmem = 8192 131072 16777216
net.ipv4.tcp_rmem = 32768 131072 16777216
net.ipv4.tcp_mem = 786432 1048576 1572864
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.ip_conntrack_max = 65536
net.ipv4.netfilter.ip_conntrack_max=65536
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384 //30000