python多线程执行程序，让爬虫更快

妖狐艹你老母 2022-10-09 12:27 168阅读 0赞

定义线程池

import concurrent.futures.thread
    executor = concurrent.futures.thread.ThreadPoolExecutor(max_workers=5)

从线程池中获取线程来执行方法

executor.submit(start, ur, index)

结束关闭线程池

executor.shutdown()

使用示例：（使用线程进行多页面下载）

import concurrent.futures.thread
    
    import m3u8
    import requests
    from fake_useragent import UserAgent
    
    
    # 定义方法
    def start(url, i):
        random = UserAgent().random
        print(random)
        # 下载url内容存储到本地
        response = requests.get(url, headers={'User-Agent': random})
        with open(r'E:\temp\first' + str(i) + '.ts', 'wb') as f:
            f.write(response.content)
    
    
    if __name__ == '__main__':
        play_list = m3u8.load('https://video.buycar5.cn/20200809/Vqdbr9lj/2000kb/hls/index.m3u8')
        # 定义线程池
        executor = concurrent.futures.thread.ThreadPoolExecutor(max_workers=5)
        for index, segment in enumerate(play_list.segments):
            ur = segment.uri
            # 从线程池中获取线程进行方法的执行，参数：(方法名，参数...)
            executor.submit(start, ur, index)
        # 关闭线程池
        executor.shutdown()

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java 多线程深入解析，让我们都高并发程序更稳健

一、线程池的概念和作用什么是线程池？线程池是一种管理和复用线程资源的机制，它可以在应用程序中创建一组预先初始化的线程，以执行多个任务。线程池维护着一个线程队列，

雨点打透心脏的1/2处/ 2023年10月14日 14:53/ 0 赞/ 10 阅读

相关 JAVA如何让多个线程顺序执行？

直接代码说明 / 顺序执行多线程 @author GaoYuan / public class SortThread {

╰+哭是因爲堅強的太久メ/ 2022年12月13日 11:24/ 0 赞/ 168 阅读

相关 Python基础—python爬虫多线程、多进程

> 使用多进程、多线程编写爬虫的代码能有效的提高爬虫爬取目标网站的效率。一、什么是进程和线程引用廖雪峰的官方网站关于进程和线程的讲解：进程：对于操作系统来说，一个

你的名字/ 2022年12月01日 11:43/ 0 赞/ 381 阅读

相关怎么写代码能让 CPU 执行更快？

技术厉害一点的工程师都知道，性能不仅对产品的攻城掠地至关重要，也是程序员价值的重要体现，在工作面试、等级晋升上都扮演着核心角色。比如，很多大厂为了保障晋升的公平性，一般会由

￡神魔★判官ぃ/ 2022年11月15日 05:51/ 0 赞/ 196 阅读

相关 python多线程队列爬虫流程图_Python+多线程+队列爬虫

Python+多线程+队列，爬虫例子 \ -\- coding: utf-8-\- import urllib2 import urllib import json

系统管理员/ 2022年10月27日 13:58/ 0 赞/ 234 阅读

相关 python多线程执行程序，让爬虫更快

定义线程池 import concurrent.futures.thread executor = concurrent.futures.thread.Thr

妖狐艹你老母/ 2022年10月09日 12:27/ 0 赞/ 169 阅读

相关 Python爬虫之多线程下载程序类电子书

近段时间，笔者发现一个神奇的网站：[http://www.allitebooks.com/][http_www.allitebooks.com] ，该网站提供了大量免费的编

Bertha 。/ 2022年05月30日 05:57/ 0 赞/ 176 阅读

相关多线程爬虫

\ !/usr/bin/env python \ \_\\_ coding:utf-8 \_\\_ import requests from lxml impo

今天药忘吃喽~/ 2022年05月16日 22:23/ 0 赞/ 220 阅读

相关 Python3爬虫与多线程

Python3爬虫与多线程文章来源：企鹅号 - 你收到一封新邮件本文按如下内容组织： \ 介绍这个爬虫的目的、模块，创造原始单线程爬虫 \ 对这个爬虫进行改造

妖狐艹你老母/ 2022年02月05日 12:17/ 0 赞/ 292 阅读

相关多线程爬虫

多线程爬虫全局解释器锁GIL 控制着Python的线程能否得到CPU的计算资源，正是这个锁来控制同一时刻只有一个线程能够运行。多线程的编码方式可以分为两种：第一种是

Myth丶恋晨/ 2021年09月17日 19:38/ 0 赞/ 296 阅读