Python中的多进程multiprocessing

矫情吗；* 2023-10-03 08:37 2阅读 0赞

大家好！在本文中，我们将学习 Python 中的多进程multiprocessing。所以，让我们开始吧。

### 什么是多进程？ ###

Multiprocessing 是 Python 中的一个包，它支持生成使用 Python API 的进程的能力。它类似于 Python 中的线程模块。

### 理解 Python 中的多进程 ###

多处理器是一台计算机，意味着该计算机具有多个中央处理器。如果一台计算机只有一个多核处理器，则可以使用[Python 中的多线程][Python]并行运行任务。

多处理器系统能够同时支持多个处理器。要查找我们系统上可用的 CPU 内核数，我们使用***mp.cpu\_count()***函数。

在本文中，我们将使用 Python 的多处理模块

**这是使用 multiprocessing 模块在 Python 中查找处理器计数的示例代码：**

输出：**12**

这里的计数是多个处理器之间的内核总数，总和。

**该模块的四个最重要的类是-**

*  进程类
 *  锁类
 *  队列类
 *  泳池课

让我们分别看一下这些类中的每一个……

#### 1.进程类 ####

进程是当前进程的分叉副本。它创建一个新的进程标识符，任务作为独立的子进程运行。

***start()***和***join()***函数属于这个类。要通过进程传递参数，我们使用***args***关键字。

start() 函数示例-

在这里，我们创建了一个函数*calc\_square*和*calc\_cube 分别*用于查找数字的平方和立方。在 main 函数中，我们创建了对象*p1*和*p2*。*p1.start()*和*p2.start()*将启动函数并调用*p1.join() 和 p2.join*将终止进程。

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:left;vertical-align:baseline;"> 
    <div style="margin-left:0;text-align:left;"> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>import</code> <code>time</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>import</code> <code>multiprocessing</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>def</code> <code>calc_square(numbers):</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>n </code><code>in</code> <code>numbers:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>'square '</code> <code>+</code> <code>str</code><code>(n</code><code>*</code><code>n))</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>def</code> <code>calc_cube(numbers):</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>n </code><code>in</code> <code>numbers:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>'cube '</code><code>+</code> <code>str</code><code>(n</code><code>*</code><code>n</code><code>*</code><code>n))</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>"__main__"</code><code>:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>arr</code><code>=</code><code>[</code><code>2</code><code>,</code><code>3</code><code>,</code><code>8</code><code>,</code><code>9</code><code>]</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p1</code><code>=</code><code>multiprocessing.Process(target</code><code>=</code><code>calc_square,args</code><code>=</code><code>(arr,))</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p2</code><code>=</code><code>multiprocessing.Process(target</code><code>=</code><code>calc_cube,args</code><code>=</code><code>(arr,))</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p1.start()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p2.start()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p1.join()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p2.join()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>"Done"</code><code>)</code></span></span></span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

Output:

#### 2. 锁类 ####

lock 类允许锁定代码，以确保在释放之前没有其他进程可以执行类似的代码。

要声明锁，使用***acquire()***函数，释放锁，使用***release()***函数。

输出

#### 3. 队列类 ####

队列是一种使用先进先出 (FIFO) 技术的数据结构。它帮助我们使用原生 Python 对象执行进程间通信。

队列使进程能够在作为参数传递时使用共享数据。

***put()***函数用于向队列中插入数据， ***get()***函数用于消费队列中的数据。

<table> 
 <tbody> 
  <tr> 
   <td style="text-align:left;vertical-align:baseline;"> 
    <div style="margin-left:0;text-align:left;"> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>import</code> <code>multiprocessing as mp</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>def</code> <code>sqr(x,q):</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>q.put(x</code><code>*</code><code>x)</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>"__main__"</code><code>:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>q</code><code>=</code><code>mp.Queue() </code><code># Instance of queue class created</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>processes</code><code>=</code><code>[mp.Process(target</code><code>=</code><code>sqr,args</code><code>=</code><code>(i,q))</code><code>for</code> <code>i </code><code>in</code> <code>range</code> <code>(</code><code>2</code><code>,</code><code>10</code><code>)] </code><code># List of processes within range 2 to 10</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>p </code><code>in</code> <code>processes:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p.start()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>p </code><code>in</code> <code>processes:</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p.join()</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;">&nbsp;</span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>result </code><code>=</code> <code>[q.get() </code><code>for</code> <code>p </code><code>in</code> <code>processes]</code></span></span></span> 
     </div> 
     <div style="margin-left:0;text-align:left;"> 
      <span style="color:#0a0c10;"><span style="background-color:#ffffff;"><span style="background-color:#f5f6f9;"><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(result)</code></span></span></span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

输出：

#### 4. 泳池课 ####

pool 类帮助我们针对多个输入值并行执行一个函数。这个概念称为数据并行。

这里，数组 \[5,9,8\] 被映射为函数调用中的输入。pool.map() 函数用于传递多个参数的列表。

输出：

### 结论 ###

在本文中，我们学习了 Python 多处理中最重要的四个类——进程、锁、队列和池，它们可以更好地利用 CPU 内核并提高性能。

### 参考 ###

[官方模块文档][Link 1]

[Python]: https://www.askpython.com/python-modules/multithreading-in-python
[Link 1]: https://docs.python.org/3/library/multiprocessing.html