Python3直接爬取图片URL并保存示例

刺骨的言语ヽ痛彻心扉 2023-05-28 05:25 13阅读 0赞

今天小编就为大家分享一篇Python3直接爬取图片URL并保存示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧  
有时候我们会需要从网络上爬取一些图片，来满足我们形形色色直至不可描述的需求。

一个典型的简单爬虫项目步骤包括两步：获取网页地址和提取保存数据。

这里是一个简单的从图片url收集图片的例子，可以成为一个小小的开始。

获取地址

这些图片的URL可能是连续变化的，如从001递增到099，这种情况可以在程序中将共同的前面部分截取，再在最后递增并字符串化后循环即可。

抑或是它们的URL都保存在某个文件中，这时可以读取到列表中：

def getUrls(path):
      urls = []
      with open(path,'r') as f:
        for line in f:
          urls.append(line.strip('\n'))
      return(urls)

保存图片

在python3中，urllib提供了一系列用于操作URL的功能，其中的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。具体细节请看注释：

def requestImg(url, name, num_retries=3):
      img_src = url
      # print(img_src)
      header = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/35.0.1916.114 Safari/537.36',
        'Cookie': 'AspxAutoDetectCookieSupport=1'
      }
      # Request类可以使用给定的header访问URL
      req = urllib.request.Request(url=img_src, headers=header) 
      try:
        response = urllib.request.urlopen(req) # 得到访问的网址
        filename = name + '.jpg'
        with open(filename, "wb") as f:
          content = response.read() # 获得图片
          f.write(content) # 保存图片
          response.close()
      except HTTPError as e: # HTTP响应异常处理
        print(e.reason)
      except URLError as e: # 一定要放到HTTPError之后，因为它包含了前者
        print(e.reason)
      except IncompleteRead or RemoteDisconnected as e: 
        if num_retries == 0: # 重连机制
          return
        else:
          requestImg(url, name, num_retries-1)

其他

捕获异常

以下是批量爬取网页时可能需要捕获的异常，同时可以看出，urllib2库对应urllib库，而httplib库对应http.client：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhb3h1bjEy_size_16_color_FFFFFF_t_70]  
重连机制

在函数参数中设置一个参数num\_retries并对其进行初始化，即默认参数。在某些异常出现时可以将该参数递减，再让它递归调用自身，这就是基本的重连机制。

修饰器

有种设计模式叫修饰器模式，它可以在不修改目标函数代码的前提下，在目标函数执行前后增加一些额外功能。

def clock(func): # 修饰器函数，对函数计时
      def clocked(*args):
        t0 = timeit.default_timer()
        result = func(*args)
        elapsed = timeit.default_timer() - t0
        name = func.__name__
        arg_str = ', '.join(repr(arg) for arg in args)
        print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
        # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
        return result
      return clocked

上面这段代码是修饰器函数的一个例子，用来对函数运行时间进行计时，在需要计时的函数上一行添加一点点代码即可：

@clock

完整代码

from urllib.error import HTTPError, URLError
    from http.client import IncompleteRead, RemoteDisconnected
    import timeit, time
    import urllib.request
    import socket
      
      
    # timeout = 20
    # socket.setdefaulttimeout(timeout) # 等待，防止被简单地反爬
      
      
    def getUrls(path):
      urls = []
      with open(path,'r') as f:
        for line in f:
          urls.append(line.strip('\n'))
      return(urls)
      
      
    def clock(func): # 修饰器函数，对函数计时
      def clocked(*args):
        t0 = timeit.default_timer()
        result = func(*args)
        elapsed = timeit.default_timer() - t0
        name = func.__name__
        arg_str = ', '.join(repr(arg) for arg in args)
        print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
        # print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
        return result
      return clocked
      
      
    @clock
    def requestImg(url, name, num_retries=3):
      img_src = url
      # print(img_src)
      header = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/35.0.1916.114 Safari/537.36',
        'Cookie': 'AspxAutoDetectCookieSupport=1'
      }
      req = urllib.request.Request(url=img_src, headers=header)
      try:
        response = urllib.request.urlopen(req)
        filename = name + '.jpg'
        with open(filename, "wb") as f:
          content = response.read()
          f.write(content)
          response.close()
      except HTTPError as e:
        print(e.reason)
      except URLError as e:
        print(e.reason)
      except IncompleteRead or RemoteDisconnected as e:
        if num_retries == 0:
          return
        else:
          requestImg(url, name, num_retries-1)
      
      
      
    if __name__ =='__main__':
      urls = getUrls('./'URLS.txt') # 换成你的URL文件路径 nLines = len(urls) print(nLines) for index, value in enumerate(urls): requestImg(value, './'+str(index).zfill(6)) # zfill用来格式化数字：000001

最后给大家推荐一个口碑不错的python聚集地【[点击进入][Link 1]】，这里有很多的老前辈学习技巧，学习心得

，面试技巧，职场经历等分享，更为大家精心准备了零基础入门资料，实战项目资料，每天都有程序员

定时讲解Python技术，分享一些学习的方法和需要留意的小细节

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhb3h1bjEy_size_16_color_FFFFFF_t_70]: /images/20230528/7fc964341a8e4f17bcecbbc3945e0266.png
[Link 1]: https://jq.qq.com/?_wv=1027&k=5cb1kUZ