python爬虫抓取网站图片并保存

系统管理员 2024-02-19 21:57 87阅读 0赞

import urllib2 from bs4 import BeautifulSoup import socket baseurl = "http://dbmeizi.com/" \#伪装浏览器,以免被封 def user\_agent(url): req\_header = \{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'\} req\_timeout = 20 try: req = urllib2.Request(url,None,req\_header) page = urllib2.urlopen(req,None,req\_timeout) html = page except urllib2.URLError as e: print e.message except socket.timeout as e: user\_agent(url) return html def page\_loop(pageid): url = baseurl+'?p=%s'%pageid print url page = user\_agent(url) soup = BeautifulSoup(page) total\_img = 0 img = soup.find\_all(\['img'\]) for myimg in img: link = myimg.get('src') total\_img += 1 print link \# content2 = urllib2.urlopen(link).read() content2 = user\_agent(link).read() \#这句代码直接从OSC上面弄下来的 \#D:\\myimg是保存路径,你可以自己改成自己的,但是路径必须要自己创建好 with open(u'D:\\myimg'+'/'+link\[-11:\],'wb') as code: code.write(content2) print total\_img return total\_img page\_start = 0 page\_stop = 4 total = 0 for i in range(page\_start,page\_stop): total+=page\_loop(i) print total \#total就是统计下总共保存到本地的图片数量

发表评论取消回复

表情：

评论列表（有 0 条评论，87人围观）

还没有评论，来说两句吧...

相关阅读

相关利用爬虫爬取图片并保存

1 问题在工作中，有时会遇到需要相当多的图片资源，可是如何才能在短时间内获得大量的图片资源呢？ 2 方法我们知道，网页中每一张图片都是一个连接，所以我们提出利用爬虫爬

拼搏现实的明天。/ 2024年03月23日 20:36/ 0 赞/ 133 阅读

相关 python爬虫抓取网站图片并保存

import urllib2 from bs4 import BeautifulSoup import socket baseurl = "http://dbmeizi.com

系统管理员/ 2024年02月19日 21:57/ 0 赞/ 88 阅读

相关 Python爬虫获取图片并下载保存至本地

`import urllib.request` `import os` `to open the url` `def url_open(url):` ```req=ur

水深无声/ 2024年02月19日 21:57/ 0 赞/ 75 阅读

相关 Python爬虫实战（1）——抓取帖子并保存内容和图片

最近在网上看了很多的爬虫脚本，写的参差不齐，但是其中有很多写的非常的优秀，代码质量很高，规范性也很好，很具有代表性，非常值得我们去学习！~ 写好一个python爬虫需要有以下

向右看齐/ 2023年10月17日 09:22/ 0 赞/ 3 阅读

相关 python爬虫保存图片和文件

看了一篇博客，是这么保存图片的： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLm

￡神魔★判官ぃ/ 2023年06月27日 08:58/ 0 赞/ 43 阅读

相关 Python爬虫网站图片并下载到本地

文章目录先看效果 1、环境准备 2、要爬取的网站 3、程序源代码（可直接运行）先看效果 ![在这里插入图

逃离我推掉我的手/ 2022年12月30日 03:40/ 0 赞/ 293 阅读

相关 python实现简单爬虫抓取图片

最近在学习python,正如大家所知，python在网络爬虫方面有着广泛的应用，下面是一个利用python程序抓取网络图片的简单程序，可以批量下载一个网站更新的图片，其中使用

雨点打透心脏的1/2处/ 2022年08月21日 04:21/ 0 赞/ 389 阅读

相关 Python爬虫：异步数据抓取并保存到Excel

Python爬虫：异步数据抓取并保存到Excel 标签（空格分隔）： Python 爬虫异步 -------------------- > 环境：`Python 3

清疚/ 2022年06月07日 05:22/ 0 赞/ 538 阅读

相关 Python3爬虫图片抓取

（1）实战背景 ![1][] 上图的网站的名字叫做Unsplash，免费高清壁纸分享网是一个坚持每天分享高清的摄影图片的站点，每天更新一张高质量的图片素材，全是

╰+攻爆jí腚メ/ 2022年05月23日 01:25/ 0 赞/ 347 阅读

相关爬虫请求并保存图片

requests 模块的用法 pic_res = requests.get(url, cookies=cookies, headers=headers)

野性酷女/ 2021年09月14日 16:14/ 0 赞/ 404 阅读