• Linux 打开的文件过多 too many open files


    Linux系统中如果一个进程打开文件或者socket连接过多,有没有及时处理和关闭掉文件或连接,当该进程打开文件的数量超过open files的数量时候,就会报too many open files的错误

    Linux open files可以在进程级别限制
    ulimit -a 命令可以看到open files进程级别限制的大小。
    如果当前open files配置的是1024,则这个进程最多只能打开1024个文件,/proc/{pid}/fd 目录下的打开文件描述符的数量不会超过1024, 使用 lsof -p {pid} | wc -l 来查看进程打开的文件数, 超过1024则报too many open files的错误,这时候其他进程仍然可以打开文件,进程之间互不影响。

    可以临时通过 ulimit -n 65535 这样设置 open files为65535,然后在同一个用户session下重新启动程序。这样的设置只能在Session级别生效,如果切换用户或者切换shell session就失效了。如果要永久生效,需要修改/etc/security/limits.conf文件,在文件末尾添加下列参数并重启机器。

    * soft nofile 65535
    * hard nofile 65535
    
    • 1
    • 2

    什么是open file(打开的文件)
    打开的文件可以是常规文件、目录、块特殊文件、字符特殊文件、执行文本引用、库、流或网络文件。

    什么是file descriptor(文件描述符)
    文件描述符是程序用来获取文件句柄的数据结构。文件描述符在形式上是一个非负整数。习惯上,标准输入(standard input)的文件描述符是0,标准输出(standard output)是1,标准错误(standard error)是2。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于Unix、Linux这样的操作系统。

    一个文件即使被打开,也可能没有文件描述符,比如当前工作目录、内存映射文件和可执行文本文件。

    查询某个进程打开的文件列表

    lsof | grep {pid}
    
    • 1

    查询某个进程打开的文件数目

    lsof | grep {pid} | wc -l
    
    • 1

    查询进程使用的文件描述符

    ls -l /proc/{pid}/fd/
    
    • 1

    查询进程使用的文件描述符数目

    ls -l /proc/{pid}/fd/ | wc -l
    
    • 1

    查看系统文件描述符的最大设置

    cat /proc/sys/fs/file-max
    
    • 1

    系统当前被使用的文件描述符数目

    cat /proc/sys/fs/file-nr
    
    • 1
  • 相关阅读:
    Kubernetes leader election 源码分析
    【Android】一个contentResolver引起的内存泄漏问题分析
    【大数据入门核心技术-Hadoop】(四)Hadoop基础概念之YARN
    面试经验—底层软硬件研发工程师
    [环境]Ubuntu20.04-SLAM测评工具-evo安装
    c++ 录制电脑屏幕桌面
    让直播和视频通话更精彩的实时换脸神器: 亲妈都未必认识
    关于ORVIBO的HomeAI V4.0的分析
    【JavaScript】用echarts绘制饼图
    计算机网络
  • 原文地址:https://blog.csdn.net/yuanchengmm/article/details/128075008