如何在Python中实现并行处理？-蒲公英云

如何在Python中实现并行处理？

原创迷南。 2025-01-29 20:30 73阅读 0赞

在Python中，你可以使用各种库来实现并行处理。以下是几种常用的库和方法：

multiprocessing：Python标准库中的一个模块，用于创建进程进行并行计算。

示例：

import multiprocessing
def worker(num):
    return num * num
if __name__ == '__main__':
    # 创建进程池
    pool = multiprocessing.Pool()
    # 分配任务到进程中
    results = pool.map(worker, [1, 2, 3]]))
    # 关闭进程池
    pool.close()
    pool.join()
    print(results)  # 输出：[1, 4, 9]]

concurrent.futures：Python 3.2引入的新模块，用于创建线程池和执行异步任务。

示例：

import concurrent.futures
def worker(num):
    return num * num
if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor() as executor:
        # 提交任务到线程池
        future = executor.submit(worker, 1))
        result = future.result()
        print(result)  # 输出：1

asyncio：Python 3.7引入的新模块，用于实现异步编程。使用协程和事件循环可以创建并行任务。

示例：

import asyncio
async def worker(num):
    await asyncio.sleep(0.5)  # 模拟耗时操作
    return num * num
if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    future = loop.create_task(worker(1)))
    try:
        result = future.result()  # 等待协程完成任务
        print(result)  # 输出：1
    except KeyboardInterrupt:
        # 在用户按下 Ctrl+C 来中断程序时，处理退出
        loop.stop()
        print('Program stopped by user.')