Python 脚本死锁问题与解决方案

1. 问题背景

该 Python 脚本旨在启动多个线程，每个线程又通过 Popen 启动一个子进程。子进程将从一个数据库中的表格中将 10M 条记录传输到另一个数据库中的不同表格中。这个过程中会涉及大量的数据整理和转换，因为两个数据库具有不同的架构。子进程在执行过程中，如果遇到错误（如错误的记录或重复的主键）或执行成功，都会输出 “Done\n”；如果没有更多记录可供传输，则会输出 “NO DATA\n”。

脚本 “tableTransfer.py” 意在生成这些子进程，读取它们的输出，并依此输出一些信息，如已完成的更新数量、剩余时间、已经过去的时间，以及每秒的传输数量。

然而，在运行这个脚本一段时间后，遇到了死锁问题。子进程没有在运行，还有记录需要更新，脚本也没有退出。它只是停在那里，不再输出当前信息，因为没有子进程运行来更新总完成数（这是控制输出更新的内容）。

2. 解决方案

2.1 使用队列通信

为了解决死锁问题，需要使用队列来进行进程间通信。队列是一个先进先出的数据结构，可以将数据从一个进程传输到另一个进程。在脚本中，可以创建一个队列来存储子进程的输出，然后由主进程从队列中读取输出并进行处理。这样，子进程就不会阻塞主进程，也不会发生死锁。

2.2 使用信号处理

为了处理 Ctrl+C 中断信号，需要使用信号处理模块。该模块提供了处理不同信号的函数，包括 Ctrl+C 中断信号。在脚本中，可以使用信号处理模块注册一个 Ctrl+C 中断信号处理函数，当用户按下 Ctrl+C 时，该函数将被调用。在处理函数中，可以关闭所有子进程并退出脚本。

2.3 优化脚本结构

为了提高脚本的可读性和可维护性，可以对脚本的结构进行优化。例如，可以将脚本划分为不同的函数，每个函数负责一个特定的任务。还可以使用面向对象编程来组织代码，使代码更加模块化和易于复用。

2.4 代码示例

import queue
import threading
import signal
import subprocess

# 创建一个队列来存储子进程的输出
output_queue = queue.Queue()

# 创建一个函数来处理子进程的输出
def process_output(output):
    # 在这里处理子进程的输出
    # ...

# 创建一个函数来启动一个子进程
def start_subprocess(command):
    # 启动一个子进程
    process = subprocess.Popen(command, stdout=subprocess.PIPE)

    # 将子进程的输出添加到队列中
    for line in iter(process.stdout.readline, b''):
        output_queue.put(line.decode('utf-8'))

    # 等待子进程完成
    process.wait()

# 创建一个函数来处理 Ctrl+C 中断信号
def signal_handler(signal, frame):
    # 关闭所有子进程
    for thread in threads:
        thread.join()

    # 退出脚本
    exit()

# 注册 Ctrl+C 中断信号处理函数
signal.signal(signal.SIGINT, signal_handler)

# 创建一个列表来存储线程
threads = []

# 启动一定数量的线程来启动子进程
for i in range(10):
    thread = threading.Thread(target=start_subprocess, args=('python script.py',))
    threads.append(thread)
    thread.start()

# 从队列中读取输出并进行处理
while True:
    output = output_queue.get()
    process_output(output)