python并行计算numpy_如何在python numpy中并行化和计算？

Bertha 。 2022-12-31 09:28 202阅读 0赞

我有一个总和,我正在尝试计算,我很难并行化代码.我试图并行化的计算有点复杂(它使用numpy数组和scipy稀疏矩阵).它吐出一个numpy数组,我想从大约1000个计算中求和输出数组.理想情况下,我会在所有迭代中保持运行总和.但是,我还没弄清楚如何做到这一点.

到目前为止,我已经尝试使用joblib的Parallel函数和pool.map函数与python的多处理包.对于这两个,我使用一个返回numpy数组的内部函数.这些函数返回一个列表,我将其转换为numpy数组,然后求和.

但是,在joblib并行函数完成所有迭代后,主程序永远不会继续运行(看起来原始作业处于挂起状态,使用0％CPU).当我使用pool.map时,在所有迭代完成后我得到内存错误.

有没有办法简单地并行化运行的数组总和？

编辑：目标是做以下的事情,除了并行.

def summers(num\_iters):

sumArr = np.zeros((1,512\*512)) \#initialize sum

for index in range(num\_iters):

sumArr = sumArr + computation(index) \#computation returns a 1 x 512^2 numpy array

return sumArr

解决方法:

我想出了如何使用多处理,apply\_async和回调并行化数组的总和,所以我在这里为其他人发布这个.我使用the example page for Parallel Python作为Sum回调类,虽然我实际上没有使用该包来实现.但它给了我使用回调的想法.这是我最终使用的简化代码,它完成了我想要它做的事情.

import multiprocessing

import numpy as np

import thread

class Sum: \#again, this class is from ParallelPython's example code (I modified for an array and added comments)

def \_\_init\_\_(self):

self.value = np.zeros((1,512\*512)) \#this is the initialization of the sum

self.lock = thread.allocate\_lock()

self.count = 0

def add(self,value):

self.count += 1

self.lock.acquire() \#lock so sum is correct if two processes return at same time

self.value += value \#the actual summation