python用于数据处理真的那么强大嘛_用于大数据处理的python

╰半夏微凉° 2023-01-08 08:08 141阅读 0赞

正如在评论中所暗示的，multiprocessing模块就是您要寻找的。线程对您没有帮助，因为全局解释器锁(GIL)将一次只能执行一个Python线程。特别是，我要看看multiprocessing pools。这些对象为您提供了一个接口，使一个子进程池与主进程并行工作，您可以稍后返回并检查结果。在

您的示例片段可能如下所示：import multiprocessing

X = \["a","b"\]

Y = \["c","d","e"\]

Z= \["f","g"\]

pool = multiprocessing.pool() \# by default, this will create a number of workers equal to

\# the number of CPU cores you have available

combination\_list = \[\] \# create a list to store the combinations

for A in itertools.combinations(X,1):

for B in itertools.combinations(Y,2):

for C in itertools.combinations(Z, 2):

D = A + B + C

combination\_list.append(D) \# append this combination to the list

results = pool.map(simulation\_function, combination\_list)

\# simulation\_function is the function you're using to actually run your

\# simulation - assuming it only takes one parameter: the combination

对pool.map的调用是阻塞的-这意味着一旦调用它，主进程中的执行将停止，直到所有模拟完成，但它是并行运行的。当它们完成时，无论模拟函数返回什么，都将在results中可用，其顺序与输入参数在combination\_list中的顺序相同。在

如果您不想等待它们，也可以在池中使用apply\_async，并存储结果以备以后查看：

^\{pr2\}$

如果使用此结构，result\_list将充满multiprocessing.AsyncResult objects，这允许您检查它们是否准备好使用result.ready()，如果准备好了，则使用result.get()检索结果。这种方法将导致在计算组合时立即启动模拟，而不是等到所有模拟计算完毕后才开始处理它们。缺点是管理和检索结果要复杂一些。例如，您必须确保结果已经准备好或者准备好捕捉异常，您需要准备好捕捉可能在worker函数中引发的异常，等等。这些警告在文档中有很好的解释。在

如果计算组合实际上并不需要很长时间，并且您不介意主进程在它们都准备好之前停止，那么我建议使用pool.map方法。在

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关科学计算与数据分析：Python用于物理、化学实验的数据处理方法

Python作为一门强大的编程语言，被广泛应用于物理和化学实验的数据处理。以下是一些具体的方法： 1. **数据收集**：通过实验设备（如传感器）获取原始数据。可以使用Pyt

秒速五厘米/ 2025年02月21日 22:48/ 0 赞/ 3 阅读

相关强大且灵活的Python数据处理和分析库：Pandas

Pandas是一个强大且灵活的Python数据处理和分析库。它提供了高效的数据结构和数据操作工具，使得数据分析变得更加简单和便捷。本文将详细介绍Pandas库的常用功能和应用场

忘是亡心i/ 2023年10月13日 16:28/ 0 赞/ 115 阅读

相关 Pandas是用于数据操作和分析的强大库

Python中有许多流行的统计分析库，下面是其中一些主要的库及其主要用法： 1. NumPy：用途：NumPy是Python中的数值计算库，提

客官°小女子只卖身不卖艺/ 2023年10月12日 16:56/ 0 赞/ 82 阅读

相关 python读取文件中的字符进行处理（可用于分析log中的数据）

直接上代码然后注释，很容易理解：先声明列表 losslist = [] 打开文件然后将数据读入lines with open ('VGG_

你的名字/ 2023年06月09日 04:56/ 0 赞/ 11 阅读

相关用于数据分析的Python – Pandas

大熊猫 (Pandas) Pandas is an open-source library built on top of NumPy Panda

缺乏、安全感/ 2023年03月05日 12:43/ 0 赞/ 124 阅读

相关 python用于数据处理真的那么强大嘛_用于大数据处理的python

正如在评论中所暗示的，multiprocessing模块就是您要寻找的。线程对您没有帮助，因为全局解释器锁(GIL)将一次只能执行一个Python线程。特别是，我要看看mult

╰半夏微凉°/ 2023年01月08日 08:08/ 0 赞/ 142 阅读

相关 Apache Spark™是用于大规模数据处理的统一分析引擎

目录简介特点性能特点基本原理计算方法速度使用方便概论无处不在社区贡献者入门 -------------------- 文

拼搏现实的明天。/ 2022年12月02日 15:09/ 0 赞/ 174 阅读

相关 Python大数据处理模块Pandas

Pandas使用一个二维的数据结构DataFrame来表示表格式的数据，相比较于Numpy，Pandas可以存储混合的数据结构，同时使用NaN来表示缺失的数据，而不用像Nump

朱雀/ 2022年07月12日 04:06/ 0 赞/ 505 阅读

相关 speechpy模块中用于信号处理操作的处理模块部分 PYTHON

后处理用于信号处理操作的处理模块。该模块演示了信号处理功能的文档，这些文档是包中的内部计算所必需的。 <table> <tbody> <tr>

爱被打了一巴掌/ 2022年02月15日 13:09/ 0 赞/ 290 阅读

相关 Python工具 | 10个用于处理日期和时间的 Python 库

1️⃣arrow 更好的 Python 日期时间操作类库。 [官网][Link 1] 2️⃣Chronyk Python 3 的类库，用于解析手写格式的时

向右看齐/ 2022年01月11日 05:03/ 0 赞/ 705 阅读