python 爬取网站图片例子

「爱情、让人受尽委屈。」 2022-05-24 04:56 316阅读 0赞

import bs4
    import requests
    
    url = 'http://xkcd.com'
    os.makedirs('xkcd', exist_ok=True)
    while not url.endswith('#'):
        print('Downloading page {0}....'.format(url))
    
        try:
            res.raise_for_status()
        except Exception as exc:
            print('This is a problam {0}'.format(exc))
        soup = bs4.BeautifulSoup(res.text, 'html.parser')
        comicElem = soup.select('#comic img')
        if comicElem == []:
            print('Could not find comic image.')
        else:
            try:
                comicUrl = 'http:' + comicElem[0].get('src')
                print('Downloading image {0}....'.format(comicUrl))
                res = requests.get(comicUrl)
            except requests.exceptions.MissingSchema:
                prevLink = soup.select('a[rel="prev"]')[0]
                url = 'http://xkcd.com' + prevLink.get('href')
                continue
            imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb')
            for chunk in res.iter_content(1000000):
                imageFile.write(chunk)
            imageFile.close()
        prevLink = soup.select('a[rel="prev"]')[0]
        url = 'http://xkcd.com' + prevLink.get('href')
        print('Done......')

发表评论取消回复

表情：

评论列表（有 0 条评论，316人围观）

还没有评论，来说两句吧...

相关阅读

相关 Jsoup爬取网站图片

Jsoup 是一款 Java 的 HTML 解析器，我们可以用它进行网站图片的爬取，然后下载到本地文件夹中。首先在pom.xml中添加依赖。 <dependen

谁践踏了优雅/ 2023年01月21日 13:23/ 0 赞/ 242 阅读

相关 python 爬取图片

!/usr/bin/nev python --coding:utf8-- import tkinter as tk import

Dear 丶/ 2022年10月12日 05:23/ 0 赞/ 237 阅读

相关 Java爬取网站图片

[Java爬虫-使用爬虫下载千张美女图片！][Java_-] [https://blog.csdn.net/qq\_35402412/article/details/113

ゞ浴缸里的玫瑰/ 2022年09月10日 05:14/ 0 赞/ 281 阅读

相关 Python爬取图片

参考了别人的代码。给代码添加了多线程和Queue的结合应用。 \[python\] [ view plain][view plain] [copy][view plain]

心已赠人/ 2022年08月13日 13:52/ 0 赞/ 282 阅读

相关 Python爬虫——爬取网站的图片

爬虫这东西最早出现在我大学计算机网络的课程上面，我们当时的老师人很好，期末不笔试，他说这东西笔试没什么用，对于一个年纪比较大的老师来讲，能提出这种方式，实在难得。当时在考虑

比眉伴天荒/ 2022年08月10日 09:28/ 0 赞/ 402 阅读

相关简单几行Python代码，爬取网站图片

Python的语法很简单容易上手，适合拿来做爬虫，我做了一个简单地爬取下载网站图片一、找到你想要爬取图片的链接地址二、当然是编写我们的Python代码 Pyth

待我称王封你为后i/ 2022年05月25日 01:44/ 0 赞/ 220 阅读

相关 Python爬虫(1)------爬取网站图片

初学爬虫的学习流程环境 python 3.6 使用 urlib库进行爬取内容熟悉爬虫首先对百度进行爬取 -- coding: utf-8

刺骨的言语ヽ痛彻心扉/ 2022年05月25日 00:49/ 0 赞/ 361 阅读

相关 python 爬取网站图片例子

import bs4 import requests url = 'http://xkcd.com' os.makedirs('xkc

「爱情、让人受尽委屈。」/ 2022年05月24日 04:56/ 0 赞/ 317 阅读

相关用python爬虫爬取图虫网站图片

用python爬虫爬取图虫网站上的付费图片话不多说，直接上代码！ import requests import re import os

雨点打透心脏的1/2处/ 2021年07月26日 13:57/ 0 赞/ 558 阅读

相关 Python爬取图片

import requests # 模块导入的俩种方法 from multiprocessing import Pool import...

灰太狼/ 2021年04月08日 04:26/ 0 赞/ 741 阅读