Python并发下载器【原理+实例】

我不是女神ヾ 2022-11-27 10:17 80阅读 0赞

### 文章目录 ###

*   *  一、并发下载原理
     *  二、实现多个视频下载

## 一、并发下载原理 ##

from gevent import monkey
    import gevent
    import urllib.request
    
    # 有耗时操作时需要
    monkey.patch_all()
    
    
    def my_downLoad(url):
        print('GET: %s' % url)
        resp = urllib.request.urlopen(url)
        data = resp.read()
        print('%d bytes received from %s.' % (len(data), url))
    
    
    gevent.joinall([
        gevent.spawn(my_downLoad, 'http://www.baidu.com/'),
        gevent.spawn(my_downLoad, 'http://www.taobao.cn/'),
        gevent.spawn(my_downLoad, 'http://www.jd.com/'),
    ])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDM0Mzg0_size_16_color_FFFFFF_t_70_pic_left]  
从以上结果能够看到：是先发送的获取baidu的相关信息，然后依次是jd、taobao，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步。即不确定什么时候会收到数据，顺序不一定。

## 二、实现多个视频下载 ##

from gevent import monkey
    import gevent
    import urllib.request
    
    # 有IO才做时需要这一句
    monkey.patch_all()
    
    
    def my_downLoad(file_name, url):
        print('GET: %s' % url)
        resp = urllib.request.urlopen(url)
        data = resp.read()
    
        with open(file_name, "wb") as f:
            f.write(data)
    
        print('%d bytes received from %s.' % (len(data), url))
    
    
    gevent.joinall([
        gevent.spawn(my_downLoad, "1.jpg",
                     'http://bpic.51yuansu.com/activity/20200526/5ecc8269692c6.jpg'),
        gevent.spawn(my_downLoad, "2.jpg",
                     'http://bpic.51yuansu.com/activity/20200327/5e7d6eea6b7e6.jpg'),
        gevent.spawn(my_downLoad, "3.jpg",
                     'http://bpic.51yuansu.com/activity/20200416/5e97c0f436fcb.jpg')
    ])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDM0Mzg0_size_16_color_FFFFFF_t_70_pic_left 1]  
![在这里插入图片描述][20200814221823558.png_pic_left]  
上面的url可以换为自己需要下载视频、音乐、图片等网址。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDM0Mzg0_size_16_color_FFFFFF_t_70_pic_left]: /images/20221124/d81fcacb9dc649fe86d45bd8b6f39703.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0MDM0Mzg0_size_16_color_FFFFFF_t_70_pic_left 1]: /images/20221124/b1b08736629347ad8490d2e66ac60c67.png
[20200814221823558.png_pic_left]: /images/20221124/b55027d6a4e04fa0828489c228740b27.png