• 【logrotate】linux定时文件切割（解决openresty单个日志文件过大问题）

    搭建openresty的web服务之后，日志文件随着时间和业务量会逐渐增大，既占用磁盘空间，又不便于日志查看，调查问题。这个时候，就可以使用logrotate做下定时日志切割啦，既方便又省事。

    一、logrotate介绍

    logrotate程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。Linux系统默认安装logrotate工具，它默认的配置文件在：/etc/logrotate.conf ，/etc/logrotate.d/，Logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate，日志轮转是系统自动完成的。实际运行时，Logrotate会调用配置文件/etc/logrotate.conf。

    （1）关于CRON服务的定时周期执行时间，centos系统请查看/etc/anacrontab这个文件，如下：

    1. # /etc/anacrontab: configuration file for anacron
    2.  
    3. # See anacron(8) and anacrontab(5) for details.
    4.  
    5. SHELL=/bin/sh
    6. PATH=/sbin:/bin:/usr/sbin:/usr/bin
    7. MAILTO=root
    8. # the maximal random delay added to the base delay of the jobs
    9. RANDOM_DELAY=45
    10. # the jobs will be started during the following hours only
    11. START_HOURS_RANGE=3-22
    12.  
    13. #period in days   delay in minutes   job-identifier   command
    14. 1       5       cron.daily              nice run-parts /etc/cron.daily
    15. 7       25      cron.weekly             nice run-parts /etc/cron.weekly
    16. @monthly 45     cron.monthly            nice run-parts /etc/cron.monthly

    START_HOURS_RANGE=3-22 表示作业的执行时间范围3点-22点之间执行，基本就是3点开始的，再就是延时。

    RANDOM_DELAY=45，这个是随机最大延时时间，具体还是要看分任务的延时，比如daily的delay in minutes配置是5，那就是至少延时5分钟了，也就是每日定时任务执行时间会是在3:05之后。

    二、logrotate的配置

    配置的路径是/etc/logrotate.conf，文件内容如下：

    1. # see "man logrotate" for details
    2. # rotate log files weekly
    3. weekly
    4.  
    5. # keep 4 weeks worth of backlogs
    6. rotate 4
    7.  
    8. # create new (empty) log files after rotating old ones
    9. create
    10.  
    11. # use date as a suffix of the rotated file
    12. dateext
    13.  
    14. # uncomment this if you want your log files compressed
    15. #compress
    16.  
    17. # RPM packages drop log rotation information into this directory
    18. include /etc/logrotate.d
    19.  
    20. # no packages own wtmp and btmp -- we'll rotate them here
    21. /var/log/wtmp {
    22.     monthly
    23.     create 0664 root utmp
    24.         minsize 1M
    25.     rotate 1
    26. }
    27.  
    28. /var/log/btmp {
    29.     missingok
    30.     monthly
    31.     create 0600 root utmp
    32.     rotate 1
    33. }
    34.  
    35. # system-specific logs may be also be configured here.

    参数说明：

    1. compress                                   通过gzip 压缩转储以后的日志
    2. nocompress                                不做gzip压缩处理
    3. copytruncate                              用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
    4. nocopytruncate                           备份日志文件不过不截断
    5. create mode owner group             轮转时指定创建新文件的属性，如create 0777 nobody nobody
    6. nocreate                                    不建立新的日志文件
    7. delaycompress                           和compress 一起使用时，转储的日志文件到下一次转储时才压缩
    8. nodelaycompress                        覆盖 delaycompress 选项，转储同时压缩。
    9. missingok                                 如果日志丢失，不报错继续滚动下一个日志
    10. errors address                           专储时的错误信息发送到指定的Email 地址
    11. ifempty                                    即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
    12. notifempty                               当日志文件为空时，不进行轮转
    13. mail address                             把转储的日志文件发送到指定的E-mail 地址
    14. nomail                                     转储时不发送日志文件
    15. olddir directory                         转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
    16. noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
    17. sharedscripts                           运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
    18. prerotate                                 在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
    19. postrotate                               在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
    20. daily                                       指定转储周期为每天
    21. weekly                                    指定转储周期为每周
    22. monthly                                  指定转储周期为每月
    23. rotate count                            指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
    24. dateext                                  使用当期日期作为命名格式
    25. dateformat .%s                       配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
    26. size(或minsize) log-size            当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
    27. 当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）
    28. size = 5 或 size 5 （>= 5 个字节就转储）
    29. size = 100k 或 size 100k
    30. size = 100M 或 size 100M

    include /etc/logrotate.d会将这个目录下的配置全部引用进来，但是不包含此文件的公共部分设置如：

    1. # rotate log files weekly
    2. weekly
    3.  
    4. # keep 4 weeks worth of backlogs
    5. rotate 4
    6.  
    7. # create new (empty) log files after rotating old ones
    8. create
    9.  
    10. # use date as a suffix of the rotated file
    11. dateext
    12.  
    13. # uncomment this if you want your log files compressed
    14. #compress

    有需要的话，要在/etc/logrotate.d这个目录下的单个配置文件里定义。

    三、命令格式

    logrotate [OPTION...]

    -d   --debug ：debug模式，测试配置文件是否有错误。不进行具体操作

    -f   --force ：强制转储文件。测试时查看效果

    -m  --mail=command ：压缩日志后，发送日志到指定邮箱。

    -s   --state=statefile ：使用指定的状态文件。

    -v   --verbose ：显示转储过程。

     四、openresty相关设置

    可以在/etc/logrotate.d这个目录下加一个配置，专门作为openresty的日志切割，比如我创建的文件为openresty,具体配置如下：

    1. # Logrotate file for openresty other RPM
    2. # create new (empty) log files after rotating old ones
    3. create
    4.  
    5. # use date as a suffix of the rotated file
    6. dateext
    7.  
    8. /home/openresty/run/logs/*.log {
    9.     daily
    10.     missingok
    11.     rotate 30
    12.     notifempty
    13.     sharedscripts
    14.     compress
    15.     postrotate
    16.         [ ! -f /home/openresty/run/tmp/prod-nginx.pid ] || kill -USR1 `cat /home/openresty/run/tmp/prod-nginx.pid`
    17.     endscript
    18.  
    19. }

    dateext保证压缩的日志后缀带有日期。

    postrotate脚本执行的命令作用是，判断openresty是否运行，运行的话，向openresty发送USR1消息。

    五、其他

    kill命令及USR1信号 openresty的处理

    [root@proxy ~]# kill -l
     1) SIGHUP     2) SIGINT     3) SIGQUIT     4) SIGILL     5) SIGTRAP
     6) SIGABRT     7) SIGBUS     8) SIGFPE     9) SIGKILL    10) SIGUSR1
    11) SIGSEGV    12) SIGUSR2    13) SIGPIPE    14) SIGALRM    15) SIGTERM
    16) SIGSTKFLT    17) SIGCHLD    18) SIGCONT    19) SIGSTOP    20) SIGTSTP
    21) SIGTTIN    22) SIGTTOU    23) SIGURG    24) SIGXCPU    25) SIGXFSZ
    26) SIGVTALRM    27) SIGPROF    28) SIGWINCH    29) SIGIO    30) SIGPWR
    31) SIGSYS    34) SIGRTMIN    35) SIGRTMIN+1    36) SIGRTMIN+2    37) SIGRTMIN+3
    38) SIGRTMIN+4    39) SIGRTMIN+5    40) SIGRTMIN+6    41) SIGRTMIN+7    42) SIGRTMIN+8
    43) SIGRTMIN+9    44) SIGRTMIN+10    45) SIGRTMIN+11    46) SIGRTMIN+12    47) SIGRTMIN+13
    48) SIGRTMIN+14    49) SIGRTMIN+15    50) SIGRTMAX-14    51) SIGRTMAX-13    52) SIGRTMAX-12
    53) SIGRTMAX-11    54) SIGRTMAX-10    55) SIGRTMAX-9    56) SIGRTMAX-8    57) SIGRTMAX-7
    58) SIGRTMAX-6    59) SIGRTMAX-5    60) SIGRTMAX-4    61) SIGRTMAX-3    62) SIGRTMAX-2
    63) SIGRTMAX-1    64) SIGRTMAX    

    以上是kill命令的信号参数。在linux系统中，linux是通过信号与”正在运行的进程”进行通信的。linux系统中，也有很多预定义好的信号，像常用的SIGHUP，SIGKILL，SIGSTOP等USR1，对应的数字选项为 -10 。

    （1 ）nginx 的主进程收到USR1信号，会重新打开日志文件(以nginx配置文件中的日志名称命名,就是配置文件中access_log项所设置的值，如果文件不存在，会自动创建一个新的文件xxx.log)。

    （2）然后把日志文件的拥有者改为“工作进程(worker进程)”，目的是让worker进程就具备了对日志文件的读写权限（master和worker可能以不同用户运行，所以需要改变拥有者）。

    （3）nginx主进程会关闭重名的日志文件(也就是刚才使用mv命令重命名成xxx.log-$date.log的文件)，并通知工作进程使用新打开的日志文件(刚才主进程打开的文件xxx.log)。具体实现上更细化点就是，主进程把USR1信号发给worker，worker接到这个信号后，会重新打开日志文件(也就是配置文件中约定的xxx.log)

    只有第9种信号(SIGKILL)才可以无条件终止进程，其他信号进程都有权利忽略。 下面是常用的信号：

    HUP    1    终端断线，重新加载配置文件，平滑升级

    INT     2    中断（同 Ctrl + C）

    QUIT    3    退出（同 Ctrl + \）

    TERM   15    终止 （如果kill 命令后直接加进程的pid号 默认选项为-15 ，代表终止此进程）

    KILL    9    强制终止

    CONT   18    继续（与STOP相反， fg/bg命令）

    STOP    19    暂停（同 Ctrl + Z）

    参考文章：

    logrotate程序的使用_daydayup9527的博客-CSDN博客_logrotate使用

    linux kill 命令 以及 USR1 信号 解释_狂奔的蚂蚁（达克）的博客-CSDN博客_user1信号

     

  • 相关阅读:
    华为数据中心VS技术理论讲解
    K8S最新版本集群部署(v1.28) + 容器引擎Docker部署（下）
    计算机毕业设计Java优乐帮育儿系统(系统+程序+mysql数据库+Lw文档）
    多商户自营连锁小程序商城的作用是什么
    一个简单高效低内存的.NET操作Excel开源框架 - MiniExcel
    MySQL 查询 唯一约束 对应的字段，列名称合并
    百度竞价排名推广对比自然排名哪一个更具优势-华媒舍
    大数据----数据仓库设计基础(实列演示)
    Spark RDD算子
    链接服务器导致SQL Server停止响应
  • 原文地址：https://blog.csdn.net/sirria1/article/details/126479111