如何在python中使用多线程和多进程

左手的ㄟ右手 2024-04-17 18:33 90阅读 0赞

### 目录 ###

*  多线程
 *  多进程
 *  总结

多线程和多进程可以让程序拥有并行处理的能力，视实际情况不同程度的提升程序运行的效率。这篇博客以python来介绍多进程和多线程的使用。

# 多线程 #

我们创建一个简单的test函数来测试一下，功能就是打印输入的字符串，然后让程序停止2秒钟。

from threading import Thread
    from time import sleep, time
    
    
    def test(text):
        print(text)
        sleep(2)  # 让程序沉睡2秒
    
    # 开始添加线程
    threads = []
    # target：函数，args：函数的参数，以元组形式
    threads.append(Thread(target=test, args=('第一次执行test函数',)))
    threads.append(Thread(target=test, args=('第二次执行test函数',)))
    
    s1 = time()
    
    for t in threads:
        # 设置为守护线程：主线程运行完毕之后，子线程仍然继续运行
        t.setDaemon(True)
        t.start()  # 所有子线程同时启动
    # 等待所有子线程运行完毕之后，再运行主程序
    for t in threads:
        t.join()
        
    s2 = time()
    print("程序运行时间：", s2 - s1)

**我们创建了包含两个线程的线程池，一个线程执行一次test函数。可以看到，如果是正常的串并运行的话，是需要4秒的时间，但是通过多线程的并行，只需要2秒就完成了。**

第一次执行test函数
    第二次执行test函数
    程序运行时间： 2.0180001258850098

# 多进程 #

我们还是使用上面的函数来测试，但是我们让输入的字符串也返回。

from multiprocessing import Pool
    from time import sleep, time
    
    
    def test(text):
        print(text)
        sleep(2)  # 让程序沉睡2秒
        return text
    
    
    if __name__ == "__main__":
        s1 = time()
    
        # 列表的每个元素就是每个进程的函数的参数
        # 这也意味着使用多进程的函数只能接受一个参数
        paras = ['第一次执行test函数', '第二次执行test函数', '第三次执行test函数']
        pool = Pool(3)  # 新建含有3个进程的进程池
        ret = pool.map(test, paras)
        pool.close()  # 关闭进程池
        pool.join()  # 阻塞住进程，等待子进程的运行完毕
    
        s2 = time()
        print("程序运行时间：", s2 - s1)
        print("ret = ", ret)

**同样，多进程的并行也可以达到2秒完成，但是可以看出比多线程多了0.3秒，主要是因为进程的启动需要花稍微多一点的时间**

第一次执行test函数
    第二次执行test函数
    第三次执行test函数
    程序运行时间： 2.312999963760376
    ret =  ['第一次执行test函数', '第二次执行test函数', '第三次执行test函数']

# 总结 #

1.  python的多线程和Java的是不一样的，python的多线程是在单核（单个cpu）下并行的，而Java会把多个线程分配到不同cpu的核心上；
2.  多线程在IO密集（例如网络请求）的场景下，单个cpu的处理能力能够支撑起所有线程的并行，所以可以有很大的提升效果；
3.  在计算密集（特别是计算较为复杂）的场景下,此时远远超出了单个cpu的处理能力，多线程往往不能有任何效果，此时就只能通过多进程了，因为一个进程对应一个cpu，即多进程会启动多个cpu来并行处理。

欢迎关注同名公众号：“我就算饿死也不做程序员”。  
交个朋友，一起交流，一起学习，一起进步。![在这里插入图片描述][20200430114203977.jpg]

[20200430114203977.jpg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/097e20669dcb460382609096b9cca0a6.jpg