python爬虫超时重试_python爬虫怎么处理异常和超时？

Dear 丶 2023-01-01 01:45 200阅读 0赞

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等等，处理好这些问题，才能保证爬虫程序持续地运行下去。

一、反爬虫策略。这里不多说，之前有讨论过，可以参考之前的文章《爬虫如何有效突破网站的反爬机制？》。

二、超时设置。网络总是不会一如既往的稳定如一，可能代理IP某个时间不稳定，也可能目标服务器某个时间不稳定，还有自身机器的网络也可能不稳定，如果不设置好超时，程序也不好跑下去。

selenium+chrome的超时设置：

显式等待：、等待某个条件发生，然后再继续进行代码。

driver = webdriver.Firefox()

driver.get("http://somedomain/url\_that\_delays\_loading")

try:

element = WebDriverWait(driver, 10).until( \#这里修改时间

EC.presence\_of\_element\_located((By.ID, "myDynamicElement"))

)

finally:

driver.quit()

隐式等待：是告诉WebDriver在尝试查找一个或多个元素(如果它们不是立即可用的)时轮询DOM一定时间。默认设置为0，一旦设置，将为WebDriver对象实例的生命期设置隐式等待。

driver = webdriver.Firefox()

driver.implicitly\_wait(10) \# seconds

driver.get("http://somedomain/url\_that\_delays\_loading")

myDynamicElement = driver.find\_element\_by\_id("myDynamicElement")

三、异常处理。是程序就会有异常，不管是什么程序，python使用try&except语句来处理异常。try&except语句不仅仅是要让其捕获异常更重要的是让其忽略异常，因为爬虫中的绝大多数异常可能重新请求就不存在，因此，发现异常的时候将其任务队列进行修复其实是个最省力的好办法。

try:

passhttp://www.\*\*\*.com/\*\*\*/\#

\#可能出错的语句

except Exception,e:

pass

\#保留错误的url，留待下次重跑

print e

finally:

\#无论是否处理了异常都继续运行

print time.ctime()

四、自重启设置。如果一个程序在某种情况下报错多次，或者运行时间够久远，那么其性能可能会下降，就像一台电脑一样，用的越久就越慢，重启不失为一个好办法。当然这是治标不治本，但无疑是最省力的方法之一，当满足设置的重启条件后，程序自重启，也是让程序持久运行的一个好方法。

发表评论取消回复

表情：

评论列表（有 0 条评论，200人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫实践：常见的请求超时问题解决

在编写Python爬虫时，经常会遇到请求超时的问题。这主要是因为网络环境不稳定，或者服务器响应速度慢等原因导致的。下面是一些解决请求超时问题的方法： 1. 设置合理的请求

曾经终败给现在/ 2025年01月25日 04:45/ 0 赞/ 5 阅读

相关 Python爬虫：面对网页加载超时的解决方案

在编写Python爬虫时，确实会遇到网页加载超时的情况。以下是一些应对策略： 1. 设置合理的请求间隔：当你的爬虫频繁发起请求时，服务器可能会因为过载而响应延迟。可以

小咪咪/ 2024年12月31日 17:24/ 0 赞/ 72 阅读

相关 Python爬虫遇到的超时与重试问题案例

在Python爬虫中，经常会遇到超时（Timeout）和重试（Retry）的问题。以下是一个具体案例分析：案例：爬取网页数据假设我们要爬取一个网页，该网页可能由于网络波

矫情吗；*/ 2024年12月25日 16:27/ 0 赞/ 33 阅读

相关 Python爬虫：为何经常遇到'请求超时'问题？

在进行网络爬虫时，经常会遇到'请求超时'的问题。这主要是由于以下几个原因： 1. **服务器响应时间过长**：如果目标网站的服务器处理速度慢，或者服务器负载过高，那么即使是正

小鱼儿/ 2024年12月14日 14:48/ 0 赞/ 84 阅读

相关 python爬虫超时重试_python爬虫怎么处理异常和超时？

该楼层疑似违规已被系统折叠隐藏此楼查看此楼写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等

Dear 丶/ 2023年01月01日 01:45/ 0 赞/ 201 阅读

相关 java 下载超时_Java下载文件爬虫超时处理解决方案

import java.util.List; import java.io.BufferedReader; import java.io.BufferedWriter;

冷不防/ 2022年11月09日 14:20/ 0 赞/ 378 阅读

相关 python爬虫超时的处理

1. \coding:utf-8 2. ''''' 3. Created on 2014-7-24 4. 5. @author: Administrato

曾经终败给现在/ 2022年09月30日 10:50/ 0 赞/ 204 阅读

相关 Python爬虫编程思想（24）：在requests中使用代理和处理超时

目录 1. 使用代理 2. 超时 -------------------- 1. 使用代理使用代理的必要性在前文已经详细阐述了，reques

缺乏、安全感/ 2022年09月11日 09:23/ 0 赞/ 221 阅读

相关 Python爬虫编程思想（9）：用urllib处理请求超时

[Python爬虫编程思想（10）：通过urllib设置HTTP请求头][Python_10_urllib_HTTP] 当向服务端发送HTTP

骑猪看日落/ 2022年08月29日 15:48/ 0 赞/ 244 阅读

相关使用jsoup爬虫超时分析与处理

1.请求头信息得一致当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。 1. `try{` 2. `doc = Jsoup.co

￡神魔★判官ぃ/ 2021年10月09日 10:50/ 0 赞/ 501 阅读