使用ThreadPool批量处理任务

约定不等于承诺〃 2022-10-09 12:11 95阅读 0赞

multiprocessing提供了一个线程池的工具，可以供使用者进行批量处理任务

比如下面一个例子，就是使用这个批量打印路径

from multiprocessing.pool import ThreadPool
    
    _paths=[str(i)+".jpg" for i in range(1000)]
    def fast(_p):
        _pss="/opt/"+_p    
        print(_pss)
    
    tpool = ThreadPool(50)
    data_list = tpool.map(fast, _paths)

运行结果如下：

/opt/0.jpg/opt/5.jpg/opt/10.jpg
    /opt/1.jpg
    /opt/2.jpg
    /opt/3.jpg
    
    /opt/11.jpg
    /opt/12.jpg
    
    /opt/4.jpg
    /opt/15.jpg
    /opt/16.jpg
    /opt/17.jpg
    /opt/18.jpg/opt/13.jpg
    /opt/14.jpg
    /opt/20.jpg
    /opt/21.jpg
    /opt/22.jpg
    /opt/23.jpg/opt/6.jpg
    /opt/7.jpg
    /opt/8.jpg
    /opt/19.jpg
    /opt/25.jpg
    /opt/26.jpg
    /opt/27.jpg
    /opt/28.jpg
    /opt/29.jpg
    /opt/30.jpg
    /opt/31.jpg
    /opt/32.jpg
    /opt/33.jpg/opt/35.jpg/opt/40.jpg
    /opt/41.jpg
    /opt/42.jpg
    /opt/43.jpg
    /opt/44.jpg
    
    /opt/34.jpg
    /opt/45.jpg
    
    /opt/9.jpg
    /opt/50.jpg
    /opt/51.jpg
    /opt/52.jpg
    /opt/53.jpg
    /opt/54.jpg
    /opt/55.jpg
    /opt/56.jpg
    /opt/57.jpg
    /opt/58.jpg
    /opt/59.jpg
    /opt/60.jpg
    /opt/61.jpg
    /opt/62.jpg
    /opt/63.jpg/opt/65.jpg
    /opt/46.jpg
    /opt/47.jpg
    /opt/48.jpg/opt/70.jpg
    
    
    ...............
    
    /opt/848.jpg
    /opt/849.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，95人围观）

还没有评论，来说两句吧...

相关阅读

相关使用 Task 替换 ThreadPool ，异步监测所有线程（任务）是否全部执行完毕

判断线程池中线程是否全部执行完成的问题？ using Microsoft.VisualStudio.TestTools.UnitTesting;

柔光的暖阳◎/ 2024年02月17日 15:24/ 0 赞/ 6 阅读

相关华为od统一考试B卷【批量处理任务】Java 实现

所有题目均有五种语言实现。[C实现目录][C]、[C++ 实现目录][C_]、[Python实现目录][Python]、[Java实现目录][Java]、[JavaScrip

爱被打了一巴掌/ 2023年10月10日 23:23/ 0 赞/ 38 阅读

相关华为od统一考试B卷【批量处理任务】C++ 实现

所有题目均有五种语言实现。[C实现目录][C]、[C++ 实现目录][C_]、[Python实现目录][Python]、[Java实现目录][Java]、[JavaScrip

雨点打透心脏的1/2处/ 2023年09月23日 15:06/ 0 赞/ 104 阅读

相关 mysql处理批量推送任务时候_python使用happybase批量的操作hbase

最近在跑任务的回溯，发现有时候，速度会很慢，一开始确定到了是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉。后来在集群中的其他h

我不是女神ヾ/ 2022年10月31日 12:27/ 0 赞/ 130 阅读

相关使用ThreadPool批量处理任务

multiprocessing提供了一个线程池的工具，可以供使用者进行批量处理任务比如下面一个例子，就是使用这个批量打印路径 from multiprocess

约定不等于承诺〃/ 2022年10月09日 12:11/ 0 赞/ 96 阅读

相关 C# ThreadPool

首先，看看线程池的样子： ![10cd5c17de64be13c93d6da5.jpg][] 从上图看出，线程池维护1个至n个线程，操作系统从请求队列中提取请求分配个

蔚落/ 2022年06月14日 11:14/ 0 赞/ 182 阅读

相关批量Kill yarn 任务

\ 删除处于ACCEPTED状态的任务 for i in \`yarn application -list | grep -w ACCEPTED | awk

小咪咪/ 2022年04月11日 04:21/ 0 赞/ 459 阅读

相关 Tars框架线程池TC_ThreadPool的使用--执行lambda形式任务task

线程池是我们在开发多线程程序中几乎是必不可少的一部分。今天实践一下Tars框架的线程池TC\_ThreadPool，本例采用一个lambda函数作为线程执行的任务，源码如

比眉伴天荒/ 2022年03月17日 10:36/ 0 赞/ 234 阅读

相关使用swoole实现异步任务处理

使用swoole实现异步任务处理，有以下几个目标：能够异步非阻塞处理任务能够实时查询任务状态任务完成之后，可以执行一些操作或者回调 swoole内置

淡淡的烟草味﹌/ 2022年02月13日 13:45/ 0 赞/ 436 阅读

相关 Java——ThreadPool

1. 为什么使用线程池当并发执行线程数量很多时，且每个线程执行很短的时间就结束了，这样，我们频繁的创建、销毁线程就大大降低了工作效率（创建和销毁线程需要时间、资源）。

布满荆棘的人生/ 2021年06月10日 20:40/ 0 赞/ 266 阅读