简单比较一下同步|多线程|协程的爬取速度

今天药忘吃喽~ 2023-09-24 20:50 72阅读 0赞

**「本章，啥也不干，就来简略的比较比较爬虫速度」**

先上结果，以下结果是多次运行后取的最优结果。不同时间段对于速率影响还是有的。参考即可

"""
    普通函数执行：总耗时 3.330171585083008 S
    线程池执行：总耗时 总耗时 1.6058530807495117 S
    多线程执行：总耗时 总耗时 1.8512330055236816 S
    协程异步执行：总耗时 总耗时 总耗时 1.091230869293213 S
    线程池协程异步：总耗时 0.8936080932617188 S
    """

#### 普通函数 ####

也就是同步爬虫

import requests
    import time
    
    List_Url = ['https://img.soutula.com/large/006APoFYly8hbhsbsmciuj30hs0hfaam.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhrnv8vx1j20hs0hj3zo.jpg',
                'https://img.soutula.com/large/006APoFYly8hbhm20mb6rj30hs0hmt9j.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhixn8cvvj205k0563yf.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhbzwzy4ej20hs0f1753.jpg']
    
    def run():
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36 Edg/91.0.864.53',
            'Referer': 'https://www.fabiaoqing.com/biaoqing'
        }
        for Url in List_Url:
            response = requests.get(Url,headers=headers)
            with open("爬fabiaoqing网图/" + Url[-8:-4] + '.jpg', 'wb') as w:
                content =response.content
                w.write(content)
    
    if __name__ == '__main__':
        s = time.time()
        run()
        print("总耗时 {} S".format(time.time() - s))

这个没什么看的，下一个

--------------------

#### 线程池与多线程爬虫 ####

import requests
    import time
    from concurrent.futures import ThreadPoolExecutor
    import threading
    
    List_Url = ['https://img.soutula.com/large/006APoFYly8hbhsbsmciuj30hs0hfaam.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhrnv8vx1j20hs0hj3zo.jpg',
                'https://img.soutula.com/large/006APoFYly8hbhm20mb6rj30hs0hmt9j.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhixn8cvvj205k0563yf.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhbzwzy4ej20hs0f1753.jpg']
    
    def run(Url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36 Edg/91.0.864.53',
            'Referer': 'https://www.fabiaoqing.com/biaoqing'
        }
        response = requests.get(Url,headers=headers)
        with open("爬fabiaoqing网图/" + Url[-8:-4] + '.jpg', 'wb') as w:
            content =response.content
            w.write(content)
    
    if __name__ == '__main__':
        s = time.time()
    
        with ThreadPoolExecutor(max_workers=5) as pool:
            # for Url in List_Url:
            #     pool.submit(run,Url)
            pool.map(run,List_Url)
    
        # threads = []
        # for url in List_Url:
        #     thread = threading.Thread(target=run, args=(url,))
        #     thread.start()
        #     threads.append(thread)
        # [j.join() for j in threads]
        print("总耗时 {} S".format(time.time() - s))

一般来说，爬虫最常用的就是它两了，效率上其实影响不大，主要还是跟当前的响应什么的挂钩。

值得注意的是用法上的区别。

--------------------

#### 协程 ####

import asyncio
    import time
    import aiohttp
    
    List_Url = ['https://img.soutula.com/large/006APoFYly8hbhsbsmciuj30hs0hfaam.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhrnv8vx1j20hs0hj3zo.jpg',
                'https://img.soutula.com/large/006APoFYly8hbhm20mb6rj30hs0hmt9j.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhixn8cvvj205k0563yf.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhbzwzy4ej20hs0f1753.jpg']
    
    async def run(session, Url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36 Edg/91.0.864.53',
            'Referer': 'https://www.fabiaoqing.com/biaoqing'
        }
        async with session.get(Url,headers=headers) as response:
            with open("爬fabiaoqing网图/" + Url[-8:-4] + '.jpg', 'wb') as w:
                content = await response.content.read()
                w.write(content)
    
    async def main():
        async with aiohttp.ClientSession() as session:
            tasks = [asyncio.create_task(run(session, Url)) for Url in List_Url]
            await asyncio.wait(tasks)
    
    if __name__ == '__main__':
        s = time.time()
        loop = asyncio.get_event_loop()
        loop.run_until_complete(main())
    
        print("总耗时 {} S".format(time.time() - s))

对于协程不懂的就看看基础，再来吧，此处的并发协程，速率还是有比较的明显的提升的。网络波动不大的情况下，是要比多线程要快的。

--------------------

#### 线程池协程异步 ####

**「小小的说一句，此处并没有做任何验证，只是单纯的测试了一下」**如果不对欢迎指出。

import asyncio
    import time
    import aiohttp
    from concurrent.futures import ThreadPoolExecutor
    
    List_Url = ['https://img.soutula.com/large/006APoFYly8hbhsbsmciuj30hs0hfaam.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhrnv8vx1j20hs0hj3zo.jpg',
                'https://img.soutula.com/large/006APoFYly8hbhm20mb6rj30hs0hmt9j.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhixn8cvvj205k0563yf.jpg',
                'https://img.soutula.com/large/ceeb653ely8hbhbzwzy4ej20hs0f1753.jpg']
    
    async def run(session, Url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36 Edg/91.0.864.53',
            'Referer': 'https://www.fabiaoqing.com/biaoqing'
        }
        async with session.get(Url, headers=headers) as response:
            with open("爬fabiaoqing网图/" + Url[-8:-4] + '.jpg', 'wb') as w:
                content = await response.content.read()
                w.write(content)
    
    async def main():
        async with aiohttp.ClientSession() as session:
            tasks = [asyncio.create_task(run(session, Url)) for Url in List_Url]
            await asyncio.wait(tasks)
    
    if __name__ == '__main__':
        s = time.time()
    
        loop = asyncio.get_event_loop()
        with ThreadPoolExecutor(max_workers=5) as pool:
            pool.submit(loop.run_until_complete(main()))
    
        print("总耗时 {} S".format(time.time() - s))

--------------------

#### 小结 ####

上述代码中，请忽略用法上的冗余！

**最后：** 下方这份完整的软件测试视频学习教程已经整理上传完成，朋友们如果需要可以自行免费领取**`【保证100%免费】`**

![在这里插入图片描述][ed4627a964d644e285a28f9b5dd81dae.png_pic_center]

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！

![在这里插入图片描述][fd304060815649f9a3353283fd89cb7f.gif_pic_center]

[ed4627a964d644e285a28f9b5dd81dae.png_pic_center]: https://img-blog.csdnimg.cn/ed4627a964d644e285a28f9b5dd81dae.png#pic_center
[fd304060815649f9a3353283fd89cb7f.gif_pic_center]: https://img-blog.csdnimg.cn/fd304060815649f9a3353283fd89cb7f.gif#pic_center