python多进程假死

╰半夏微凉° 2024-04-17 05:40 15阅读 0赞

结论：python多进程间用Queue通信时，如果子进程操作Queue满了或者内容比较大的情况下，该子进程会阻塞等待取走Queue内容(如果Queue数据量比较少，不会等待)，如果调用join，主进程将处于等待，等待子进程结束，造成死锁

解决方式：在调用join前，及时把Queue的数据取出，而且Queue.get需要在join前

# 原理分析 #

模拟子进程阻塞：

from multiprocessing import Process, Queue
    
    
    def fun(q):
        num = 1000000000
        q.put('=' * num)
        print("done put")
    
    
    if __name__ == '__main__':
        queue = Queue()
        p = Process(target=fun, args=(queue,))
        p.start()
        p.join()
        print("done")

原因分析：

#
    # Queue type using a pipe, buffer and thread
    #
    
    class Queue(object):

multiprocessing.Queue底层是基于Pipe构建，操作系统管道不是无限长，因此子进程在执行put()期间，处于阻塞，直到某些其他进程使用get()从队列中取走数据。上例中，主进程等待子进程，打印不了done

而当队列put数据比较少时，是没有问题的，先打印done put，再打印done，但这样写法是有隐患，当put数据比较多时，就会阻塞

from multiprocessing import Process, Queue
    
    
    def fun(q):
        num = 1
        q.put('=' * num)
        print("done put")
    
    
    if __name__ == '__main__':
        queue = Queue()
        p = Process(target=fun, args=(queue,))
        p.start()
        p.join()
        print("done")

正确的写法

在join前面调用queue.get

注意！！！以下这样写法也是不对的，join要在queue.get前面，不然主进程等待子进程结束，而子进程等待队列数据取走，造成死锁

p = Process(target=fun, args=(queue,))
        p.start()
        p.join()
        queue.get()

# Python多线程补充 #

Python 是一门**解释型语言**，它的执行是由**解释器**来控制的。

GIL，全称是 `Global Interpreter Lock` ，全局解释锁 ，专门**给解释器用**

**一般情况下在用户态下是无法做到线程级别的时间片轮转**

但是 python 能做到！python 里，解释器可以记录每一个线程执行了多长时间——时间一到，就能够切换到另一条线程。

GIL 就是拿来给线程加锁的，当一个线程将要执行时，解释器会把 GIL 锁给这个线程，其他线程因为没有锁，是无法运行的。**等到持有锁线程阻塞或者运行 100 个字节码，解释器就会把锁交给其他线程**。

但是这个 GIL 锁是**全局（Global）**的，也就导致**即使是多核情况下，一次也只有一个线程能运行，从整体上看，整个程序是串行的**。

### python多线程应用 ###