• 面试问题-除了threading还会哪种并发


    threading实现多线程并发

    multiprocessing实现多进程并发

    asyncio实现基于协程的异步IO(asyncio)

    threadingmultiprocessing ,多进程和多线程并发的几个关键区别:

    1. 全局解释器锁(GIL)
      • threading:Python 的标准 threading 模块受到全局解释器锁(GIL)的限制。这意味着,即使在多核 CPU 上,Python 的线程也不会真正地并行执行 Python 字节码。GIL 确保了在任何时候只有一个线程可以执行 Python 字节码。这并不意味着线程之间不能并行执行,而是说它们不能并行执行 Python 字节码。例如,I/O 操作(如读写文件或网络请求)通常不会受到 GIL 的影响,因此这些操作可以在等待时让出 GIL,允许其他线程执行。
      • multiprocessingmultiprocessing 模块通过在单独的 Python 解释器中启动多个进程来避免 GIL 的限制。每个进程都有自己的内存空间和 GIL,因此它们可以真正地并行执行 Python 字节码。这意味着 multiprocessing 可以更好地利用多核 CPU。
    2. 内存共享
      • threading:线程共享同一进程的内存空间,因此它们可以轻松地共享数据。但是,这也带来了线程间同步和数据一致性的问题。
      • multiprocessing:进程之间不共享内存空间,因此需要通过进程间通信(IPC)机制(如管道、队列、套接字等)来共享数据。这增加了编程的复杂性,但也提高了数据的安全性和隔离性。
    3. 启动和销毁开销
      • threading:线程的创建和销毁通常比进程更快,因为线程共享进程的内存空间,不需要复制整个进程环境。
      • multiprocessing:进程的创建和销毁通常比线程更慢,因为需要复制整个进程环境(包括内存空间、打开的文件描述符等)。但是,一旦进程被创建,它可以在多个任务之间重用,从而减少额外的开销。
    4. 资源限制
      • threading:由于线程共享同一进程的内存空间,因此它们受到该进程可用内存的限制。此外,由于 GIL 的存在,线程数量过多可能会导致上下文切换开销增加,从而降低性能。
      • multiprocessing:每个进程都有自己的内存空间,因此可以独立地分配和管理资源。但是,这也可能导致系统资源(如 CPU、内存、文件描述符等)更快地耗尽。
    5. 适用场景
      • threading:适用于 I/O 密集型任务,因为 I/O 操作通常不会受到 GIL 的限制。此外,由于线程之间共享内存空间,因此它们也适用于需要频繁共享数据的场景。
      • multiprocessing:适用于 CPU 密集型任务,因为它可以真正地并行执行 Python 字节码。此外,由于进程之间不共享内存空间,因此它也适用于需要高数据隔离性和安全性的场景。

    总结:

    • threading适用于I/O密集型任务,但受GIL限制,对CPU密集型任务效果不佳。
    • multiprocessing适用于CPU密集型任务,能够真正利用多核优势。
    • asyncio也适用于I/O密集型任务,且避免了多线程/多进程的复杂性,提供了更简洁的异步编程模型。
  • 相关阅读:
    kubectl常用命令
    破茧化蝶,从Ring Bus到Mesh网络,CPU片内总线的进化之路
    QSS之QComboBox
    C#线程间操作无效:从不是创建控件“textbox1”的线程访问它
    Pytorch实战 | 第P2周:彩色图片识别
    Flutter小功能实现-咖啡店
    springmvc 整合 camunda
    Google play 应用下架、封号常见原因:8.3/10.3分发协议及恶意软件政策问题浅析
    [山东科技大学OJ]1634 Problem F: 矩阵的行列交换
    有向图D和E
  • 原文地址:https://blog.csdn.net/weixin_46447310/article/details/139686276