Python并行计算：多线程、多进程和协程的应用案例

原创落日映苍穹つ 2025-02-09 19:24 13阅读 0赞

在Python中，我们通常利用各种并发机制来提高程序的执行效率。以下将详细介绍三种常用的并发方式——多线程、多进程和协程。

1. **多线程（ threading ）**：
   - 应用：I/O密集型任务，如下载大文件、网络通信等。
   - 案例：创建一个简单的线程，用于下载文件。
   ```python
   import threading

def download_file(url):
       # 文件下载逻辑
       pass

def thread_download(file_url):
       threading.Thread(target=download_file, args=(file_url,),).start()

file_url = 'http://example.com/large_file.zip'
   thread_download(file_url)
   ```

2. **多进程（ multiprocessing ）**：
   - 应用：CPU密集型任务，如大量计算、图像处理等。
   - 案例：使用`Pool`来并发执行任务。
   ```python
   from multiprocessing import Pool

def worker(x):
       return x * x

if __name__ == '__main__':
       # 创建一个进程池
       pool = Pool()

# 并发任务列表
       tasks = [pool.apply_async(worker, (x,))) for x in range(10)]

# 获取所有结果
       results = [task.get() for task in tasks]

print("Results:", results)
   ```

3. **协程（ coroutines ）**：
   - 应用：I/O密集型任务，以及需要轻量级线程交互的场景。
   - 案例：使用`asyncio`库实现协程应用。
   ```python
   import asyncio

async def download_file(file_url):
       downloaded_data = await asyncio.sleep(1)  # 模拟下载时间
       return file_url, downloaded_data

async def process_files(file_urls):
       processed_files = []
       for file_url in file_urls:
           file_info = await download_file(file_url)
           processed_files.append((file_url, file_info[1]), file_info[0]))
       return processed_files

if __name__ == '__main__':
       file_urls = ['http://example.com/large_file1.zip', 'http://example.com/large_file2.zip']
       loop = asyncio.get_event_loop()
       processed_files = loop.run_until_complete(process_files(file_urls)))
       print("Processed Files:", processed_files)
   ```

总结，Python中通过多线程、多进程和协程实现并行计算。应用场景多样，可根据任务性质选择合适的并发方式。