supervisor无法杀死threading.Thread().start()创建的子线程

问题描述

Flask 服务需要新建线程跑定时任务，用 gunicorn+gevent 部署，用 supervisor 守护进程，因为无法杀死子进程，它会成为孤儿进程占用端口，需要手动杀死，否则 supervisor 再重启该服务时会报错。

经过验证，实际和 Flask 无关，只不过 Flask 是主进程，占用了端口。

主线程会等待子线程结束才结束。

安装

pip install flask
pip install schedule
1
2

app.py

import time
import logging
import threading

import schedule
from flask import Flask

logger = logging.getLogger()

app = Flask(__name__)


@app.route('/')
def ping():
    return 'pong\n'


def run():
    def job():
        logger.warning(str(time.time()))

    schedule.every(5).seconds.do(job)
    while True:
        schedule.run_pending()
        time.sleep(1)


threading.Thread(target=run).start()

if __name__ == '__main__':
    app.run()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

app.conf

[program:app]
directory=/data/all_data/test  ; 工作路径
command=/Envs/test/bin/gunicorn -b 127.0.0.1:5001 -k gevent -w 2 app:app  ; 启动命令
autostart=true
autorestart=true
startsecs=10
exitcodes=0,2  ; 进程的预期退出代码列表，默认为0
stopsignal=QUIT  ; 终止进程的信号，默认为TERM
redirect_stderr=true
stdout_logfile=/data/all_data/test/stdout.log
1
2
3
4
5
6
7
8
9
10

启动

supervisorctl reread
supervisorctl update
watch -n 1 "supervisorctl status"
1
2
3

重启

supervisorctl restart app
1

看日志

tail -f /data/all_data/test/stdout.log
1

报错

[2022-11-04 16:22:03 +0800] [38837] [INFO] Starting gunicorn 20.1.0
[2022-11-04 16:22:03 +0800] [38837] [ERROR] Connection in use: ('127.0.0.1', 5001)
[2022-11-04 16:22:03 +0800] [38837] [ERROR] Retrying in 1 second.
[2022-11-04 16:22:04 +0800] [38837] [ERROR] Connection in use: ('127.0.0.1', 5001)
1
2
3
4

手动杀死进程再重启即可

ss -nlp | grep 5001  # 查看端口占用
tcp    LISTEN     0      128    127.0.0.1:5001                  *:*                   users:(("gunicorn",pid=16485,fd=5),("gunicorn",pid=16483,fd=5),("gunicorn",pid=16481,fd=5),("gunicorn",pid=16471,fd=5))

kill -9 $(lsof -i tcp:5001 -t)  # 杀死占用的进程
supervisorctl restart app  # 重启
watch -n 1 "supervisorctl status"  # 查看状态
1
2
3
4
5
6

解决方案

一、supervisor配置文件添加stopasgroup=true

修改配置文件

vim /etc/supervisor/conf.d/app.conf
1

添加一行

stopasgroup=true
1

停止并手动杀死进程

supervisorctl stop app
kill -9 $(lsof -i tcp:5001 -t)
1
2

更新配置并重启

supervisorctl reread
supervisorctl update
watch -n 1 "supervisorctl status"
1
2
3

再重启验证

supervisorctl restart app
1

看日志

tail -f /data/all_data/test/stdout.log
1

二、threading.Thread()添加参数daemon=True

import time
import logging
import threading

import schedule
from flask import Flask

logger = logging.getLogger()

app = Flask(__name__)


@app.route('/')
def ping():
    return 'pong\n'


def run():
    def job():
        logger.warning(str(time.time()))

    schedule.every(3).seconds.do(job)
    while True:
        schedule.run_pending()
        time.sleep(1)


threading.Thread(target=run, daemon=True).start()

if __name__ == '__main__':
    app.run()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

参考文献

1. threading — Python 文档
2. Configuration File — Supervisor Documentation
3. Supervisor can kill the main process, but not the scheduler, web server, and xmpp server
4. service supervisord restart - it doesn’t kill old processes, just add new
5. python主线程与子线程的结束顺序
6. Python中的线程
7. 启动与停止线程 — python3-cookbook 文档