Python爬虫获取图片并下载保存至本地

水深无声 2024-02-19 21:57 37阅读 0赞

`import urllib.request`

`import os`

`#to open the url`

`def url_open(url):`

```req=urllib.request.Request(url)`

```req.add_header(``'User-Agent'``,``'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'``)`

```response=urllib.request.urlopen(url)`

```html=response.read()`

```return` `html`

`#to get the num of page like 1,2,3,4...`

`def get_page(url):`

```html=url_open(url).decode(``'utf-8'``)`

```a=html.find(``'current-comment-page'``)+23 #add the 23 offset th arrive at the [2356]`

```b=html.find(``']'``,a)`

```#``print``(html[a:b])`

```return` `html[a:b]`

`#find the url of imgs``and` `return` `the url of arr`

`def find_imgs(url):`

```html=url_open(url).decode(``'utf-8'``)`

```img_addrs=[]`

```a=html.find(``'img src='``)`

```while` `a!=-1:`

```b=html.find(``'.jpg'``,a,a+255) #``if` `false :``return` `-1`

```if` `b!=-1:`

```img_addrs.append(``'http:'``+html[a+9:b+4])`

```else``:`

```b=a+9`

```a=html.find(``'img src='``,b)`

```#``print``(img_addrs)`

```return` `img_addrs`

```#``print``(``'http:'``+each)`

``

`#save the imgs`

`def save_imgs(folder,img_addrs):`

```for` `each in img_addrs:`

```filename=each.split(``'/'``)[-1] #get the last member of arr,that is the name`

```with open(filename,``'wb'``)``as` `f:`

```img = url_open(each)`

```f.write(img)`

``

`def download_mm(folder=``'mm'``,pages=10):`

```os.``mkdir``(folder)`

```os.``chdir``(folder)`

```url=``'http://jandan.net/ooxx/'`

```page_num=int(get_page(url))`

``

```for` `i in range(pages):`

```page_num -= i`

```page_url = url +``'page-'` `+ str(page_num) +``'#comments'`

```img_addrs=find_imgs(page_url)`

```save_imgs(folder,img_addrs)`

``

`if` `__name__ ==``'__main__'``:`

```download_mm()`

发表评论取消回复

表情：

评论列表（有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫抓取网站图片并保存

import urllib2 from bs4 import BeautifulSoup import socket baseurl = "http://dbmeizi.com

系统管理员/ 2024年02月19日 21:57/ 0 赞/ 48 阅读

相关 Python爬虫获取图片并下载保存至本地

`import urllib.request` `import os` `to open the url` `def url_open(url):` ```req=ur

水深无声/ 2024年02月19日 21:57/ 0 赞/ 38 阅读

相关使用JavaScript将图片保存至本地

在最近的开发当中，我们需要为img标签以及canvas动态绘制的图像提供下载功能，下面是经过探索后我们得出的结果。一、Canvas 版本 // 下载Can

秒速五厘米/ 2024年02月19日 18:53/ 0 赞/ 57 阅读

相关 Python爬虫网站图片并下载到本地

文章目录先看效果 1、环境准备 2、要爬取的网站 3、程序源代码（可直接运行）先看效果 ![在这里插入图

逃离我推掉我的手/ 2022年12月30日 03:40/ 0 赞/ 258 阅读

相关【爬虫入门】爬取图片并保存在本地

一、分析页面明确所需爬取的标签 -> 分析正则匹配大家都知道，图片的标签为< img src="">,所以说根据标签想获取图片的网络URL是很容易的（r’s

向右看齐/ 2022年11月29日 12:23/ 0 赞/ 256 阅读

相关【Java】Java从网络读取图片并保存至本地

一、js代码： ![20170518134742069][] 代码如下： / 点击下载当前图片 / function downloadThisImage

灰太狼/ 2022年06月15日 00:10/ 0 赞/ 451 阅读

相关 Python 使用scrapy爬虫框架爬取图片下载并保存本地

Scrapy官方文档:[http://scrapy-chs.readthedocs.io/zh\_CN/latest/index.html][http_scrapy-chs.

柔光的暖阳◎/ 2022年05月17日 01:35/ 0 赞/ 392 阅读

相关 Python下载图片并保存本地的两种方式

一：使用Python中的urllib类中的urlretrieve()函数，直接从网上下载资源到本地，具体代码： import os,stat impor

左手的ㄟ右手/ 2021年11月11日 07:48/ 0 赞/ 1025 阅读

相关 python +requests 爬虫-爬取图片并进行下载到本地

因为写12306抢票脚本需要用到爬虫技术下载验证码并进行定位点击所以这章主要讲解，爬虫，从网页上爬取图片并进行下载到本地爬虫实现方式： 1.首先选取你需要的抓

向右看齐/ 2021年11月11日 02:14/ 0 赞/ 366 阅读

相关爬虫请求并保存图片

requests 模块的用法 pic_res = requests.get(url, cookies=cookies, headers=headers)

野性酷女/ 2021年09月14日 16:14/ 0 赞/ 363 阅读