码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Linux查看日志文件写入速度的4种方法


    原创:扣钉日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。

    简介#

    有时,我们需要查看某个文件的增长速度,如日志文件,以此来感受系统的负载情况,因为一般情况下,日志写入越快,说明系统负载越重。

    本文就来介绍下Linux中查看日志增长速度的几种方法,如下:

    使用dd#

    首先要介绍的是dd,因为dd命令几乎所有主流发行版都自带,无需额外安装,如下:

    $ tail -F app.log | dd of=/dev/null status=progress
    3875840 bytes (3.9 MB) copied, 8.228797 s, 471 kB/s
    

    如上,使用tail -F获取新写入的数据,然后用管道将数据交给dd,dd将数据拷贝到/dev/null,其中status=progress是用来显示拷贝速度的,可见,我们日志的写入速度是471 kB/s。

    使用pv#

    pv命令可以看做是带进度的cp,如下:

    $ yum install -y pv
    
    $ tail -F app.log | pv >/dev/null
    2.05MiB 0:00:03 [ 330kiB/s] [       <=>                                ]
    

    原理与dd类似,不过命令换成了pv。

    使用cv命令#

    由于日志数据都是程序(如java)写入的,而在如下的伪文件中,存放着程序打开的文件信息,如下:

    • /proc/<pid>/fd:存放着打开的文件描述符
    • /proc/<pid>/fdinfo:存放着文件描述符写入到的offset

    于是定期的读取这个offset就可以知道文件的写入速度了,这也是cv命令的实现原理,如下:

    $ yum install -y cv
    
    $ cv -mc java
    [    1] java app.log 100.0% (6.1 GiB / 6.1 GiB) 390.2 KiB/s
    
    # 实际上,由于Linux上大多数命令(如cp)没自带进度查看功能,而cv就成了很好的补充
    # 比如查看cp复制文件的进度
    $ cp app.log app.log.bak & cv -mc cp 
    

    新版cv命令已经改名为progress,安装不到cv包时,可试着安装progress包。

    编写小脚本#

    通过写一个小脚本,定期观察文件大小,也可查看文件写入速度,如下:

    # 每秒获取文件大小,通过减去上一秒的大小,即可计算出速度
    while sleep 1; do  \
      sz=`stat -c %s app.log`; \
      numfmt --from=auto --to=iec $((sz-psz)); \
      psz=$sz; \
    done
    
    492K
    750K
    370K
    
    
    

    通过watch再加上观察,也能大致看出速度,如下:

    watch -d -t -n1 du app.log
    

    watch_du

    举一反三#

    其实转念一想,如果我们在某个函数中打上日志,然后通过grep过滤出此日志,然后我们只要计算每秒输出的日志行数,这岂不就是函数执行的QPS了!

    # 使用grep过滤出日志,tr删除非换行符,所以dd显示的是换行符的个数!
    $ tail -F app.log \
        | grep --line-buffered '/order/get' \
        | stdbuf -oL tr -dc '\n' \                     
        | dd of=/dev/null bs=1 status=progress
    
    151 bytes (151 B) copied, 15.523018 s, 0.0 kB/s
    

    这里可以通过151/15计算出QPS是10,由于没有超过1000,所以看到的是0.0kB/s,如果使用pv命令,会更简单一些,如下:

    $ tail -F app.log \
        | grep --line-buffered '/order/get' \
        | pv -l >/dev/null
        
    144  0:00:03 [11.5 /s] [       <=>                         ]
    

    往期内容#

    密码学入门
    q命令-用SQL分析文本文件
    神秘的backlog参数与TCP连接队列
    mysql的timestamp会存在时区问题?
    真正理解可重复读事务隔离级别
    字符编码解惑

  • 相关阅读:
    前端图片压缩解决办法
    11-JVM中常用垃圾回收器分析与实践
    常用的文本对比工具或网站
    有奖招募——2023年度清华社“荐书官”活动今日开始了!
    全网没有之一的API 文档:Swagger
    unplugin-vue-components和unplugin-auto-import插件
    都说测试行业饱和了,为什么我们公司给初级测试开到了12K?
    【Redis实战】有MQ为啥不用?用Redis作消息队列!?Redis作消息队列使用方法及底层原理高级进阶
    java酒店预订网站设计与实现
    将jar包、vue项目打成docker镜像并推送到Harbor本地仓库
  • 原文地址:https://www.cnblogs.com/codelogs/p/16365448.html
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号