从网上抓取图像

偏执的太偏执、 2022-09-01 09:09 11阅读 0赞

# load logo data from logo.txt which include image http paths.
    
    import sys
    import os
    import argparse
    import time
    
    from urllib.request import urlretrieve
    
    def parse_arguments(argv):
        parser = argparse.ArgumentParser()
        parser.add_argument('--file_path', type=str, help='the txt file path', default='/opt/xxx/data/img_path.txt')
        parser.add_argument('--save_path', type=str, help='save path', default='/opt/xxx/data/test')
    
        return parser.parse_args(argv)
    
    
    def main(args):
        with open(args.file_path, 'r', encoding='utf-8') as f:
            idx = 0
            for line in f.readlines():
                img_path = line.strip('\n')
                if img_path:
                    print(img_path)
                    for i in range(10):
                        try:
                            urlretrieve(img_path, os.path.join(args.save_path, '2021-07-27_'+ str(idx) + '.jpg'))
                        except Exception as e:
                            if i >= 9:
                                print('load faild')
                            else:
                                time.sleep(0.5)
                        else: 
                            time.sleep(0.1)
                            break
                    idx = idx + 1
    
    
    if __name__ == '__main__':
        main(parse_arguments(sys.argv[1:]))

**参考资料**  
[Python Requests 频繁请求网站时返回“\[Errno 104\] Connection reset by peer”错误的解决方法][Python Requests _Errno 104_ Connection reset by peer]

[Python Requests _Errno 104_ Connection reset by peer]: https://oldtang.com/2101.html

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫实践：从网页抓取特定数据案例

在Python中，我们可以使用各种库来抓取网页上的特定数据。这里我们将介绍一个常见的例子——抓取网站新闻内容。首先，我们需要安装两个库：`requests` 和 `Beau

蔚落/ 2025年02月22日 14:24/ 0 赞/ 5 阅读

相关使用Python 3从网上下载文件

本文翻译自：[Download file from web in Python 3][] I am creating a program that will download

- 日理万妓/ 2023年03月05日 03:20/ 0 赞/ 55 阅读

相关 java抓取rtmp流的图像

最近项目都在跟摄像头打交道，对录制视频流以及抓取图片这一块做了详细的研究，由于目前的摄像头支持可见光以及红外光，之前录制可见光直播流可以见博客[使用ffmpeg录制直播流][f

水深无声/ 2022年12月17日 01:22/ 0 赞/ 84 阅读

相关 java从网上下载文件_java 从网上下载文件的几种方式（转）

package com.github.pandafang.tool; import java.io.BufferedOutputStream; import java.io

╰半夏微凉°/ 2022年11月06日 13:00/ 0 赞/ 241 阅读

相关从网上抓取图像

load logo data from logo.txt which include image http paths. import sys

偏执的太偏执、/ 2022年09月01日 09:09/ 0 赞/ 12 阅读

相关使用jsoup从网站抓取数据

下载jsoup-1.7.3.jar 1、访问要解析的网址获取html @Override public void run(){ Documen

素颜马尾好姑娘i/ 2022年08月18日 11:50/ 0 赞/ 271 阅读

相关爬虫(六)网站登录/动态数据抓取/图像识别

使用requests登录github: import requests from bs4 import BeautifulSoup de

r囧r小猫/ 2022年05月23日 11:06/ 0 赞/ 188 阅读

相关 eclipse从网上获取源码包

![70][] 搜索java source attacher 下载并安装。过程略然后在jar包右击，点击attach java source。就能下载源码了 [70

朴灿烈づ我的快乐病毒、/ 2022年05月07日 23:50/ 0 赞/ 164 阅读

相关从零开始学抓取

从零开始学抓取　　昨天突然遇到了一个需要统计某个网站所有页面单词数的任务，于是从零开始学起python搞抓取。　　看了一下资料，需要用到下面几个库： bea

╰半橙微兮°/ 2022年02月14日 13:53/ 0 赞/ 444 阅读

相关用python抓取网上的照片并保存在本地（Python经典编程案例）

用python抓取网上的照片并保存在本地 import requests import os url = "http://image.nat

谁践踏了优雅/ 2021年10月23日 23:28/ 0 赞/ 295 阅读