使用 python multiprocessing.Queue 出现 too many open files 错误

问题描述

使用 python 子进程multiprocessing.Process执行任务，并使用multiprocessing.Queue回传任务执行结果。程序执行时间长以后，出现 Too many open files 错误。使用 lsof -p 进程号 能看到有很多未关闭的 pipe。后经排查发现大概率是 multiprocessing.Queue的问题，为了验证想法，写了一个测试脚本

#!/usr/bin/env python
# -*- coding-utf8 -*-
"""
:Copyright: 2023, XXX
:Software python_cook_book
:File Name: queue_test.py
:Author wind
:Date 2023/9/5 11:52
:Version: v.1.0
:Description:
"""
import os
import time
from multiprocessing import Process, Queue


def start_sub_process(q, index):
    print(f'get a queue, index is: {index}')
    time.sleep(10)
    print('sleep finished')
    if q:
        q.put(f'hello {index}')


def execute():

    queues = []

    for i in range(10):
        q = None
        if i % 3 == 0:
            q = Queue()
        p = Process(target=start_sub_process, args=(q, i))
        p.start()
        queues.append((p, q))
        
    print('start sub process ok')

    for p, q in queues:
        msg = q.get() if q else ''
        print(f'q get ret is: {msg}')
        while p.is_alive():
            print('process is alive') 
            time.sleep(1)

        p.close()
        del p
        if q:
            # q._writer.close()
            q.close()
        time.sleep(20)
        print(f'close queue finished')

    while True:
        time.sleep(3)
        print('sleep')


if __name__ == '__main__':
    execute()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61

测试程序启动后，找到进程号，然后使用 lsof -p 进程号 | grep pipe | wc -l 查看遗漏的文件描述符的数量。这时出现了令人困惑的事情，在不同的linux发行版和同一个发行版不同的版本上，程序的遗漏文件描述符的数量不一样。而且有的能全部回收，有的只能部分回收。

问题处理

针对这种情况，最直接的当然是想办法让描述符能回收，如果确实不行，就只能将子进程放在进程池中进行管理再配备对应的通信队列，限制住进程队列的数量。
在网上找了一圈，最后找到一个比较靠谱的方案 python issue 即在回收队列时，调用 q._writer.close() ，上面脚本已经写上这行代码。但这个方案在有些系统下执行仍然会有文件描述符泄露的问题，并且用del queue gc.coolect()都没法解决，碰到这种没法直接用代码处理的最好是换处理方式，用进程池，并控制队列的使用数量