python urllib3秒杀,如何在Python 3中处理urllib的超时？

爱被打了一巴掌 2022-08-30 11:16 175阅读 0赞

![Image 1][]

First off, my problem is quite similar to this one. I would like a timeout of urllib.urlopen() to generate an exception that I can handle.

Doesn't this fall under URLError?

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error(

'Data of %s not retrieved because %s\\nURL: %s', name, error, url)

else:

logging.info('Access successful.')

The error message:

resp = urllib.request.urlopen(req, timeout=10).read().decode('utf-8')

File "/usr/lib/python3.2/urllib/request.py", line 138, in urlopen

return opener.open(url, data, timeout)

File "/usr/lib/python3.2/urllib/request.py", line 369, in open

response = self.\_open(req, data)

File "/usr/lib/python3.2/urllib/request.py", line 387, in \_open

'\_open', req)

File "/usr/lib/python3.2/urllib/request.py", line 347, in \_call\_chain

result = func(\*args)

File "/usr/lib/python3.2/urllib/request.py", line 1156, in http\_open

return self.do\_open(http.client.HTTPConnection, req)

File "/usr/lib/python3.2/urllib/request.py", line 1141, in do\_open

r = h.getresponse()

File "/usr/lib/python3.2/http/client.py", line 1046, in getresponse

response.begin()

File "/usr/lib/python3.2/http/client.py", line 346, in begin

version, status, reason = self.\_read\_status()

File "/usr/lib/python3.2/http/client.py", line 308, in \_read\_status

line = str(self.fp.readline(\_MAXLINE + 1), "iso-8859-1")

File "/usr/lib/python3.2/socket.py", line 276, in readinto

return self.\_sock.recv\_into(b)

socket.timeout: timed out

There was a major change from in Python 3 when they re-organised the urllib and urllib2 modules into urllib. Is it possible that there was a change then that causes this?

解决方案

The exception is timeout from socket, so

from socket import timeout

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error('Data of %s not retrieved because %s\\nURL: %s', name, error, url)

except timeout:

logging.error('socket timed out - URL %s', url)

else:

logging.info('Access successful.')

should catch the new exception. Though I'm not sure if that answers your question, as I'm not sure what your question is..

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，175人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 使用urllib3获取请求状态

要使用Python的urllib3库来获取请求状态，需要先安装urllib3库。可以使用以下命令在终端中安装该库： pip install urllib3 安装完成

布满荆棘的人生/ 2023年10月13日 12:54/ 0 赞/ 37 阅读

相关 python2中的urllib、urllib2

最近在使用python进行爬虫的学习，遇到了urllib、urllib2还有python3中的urllib，通过这段时间的使用，将其大致的使用场景和区别总结如下： pyth

客官°小女子只卖身不卖艺/ 2023年10月09日 12:58/ 0 赞/ 44 阅读

相关 python urllib3秒杀,如何在Python 3中处理urllib的超时？

![Image 1][] First off, my problem is quite similar to this one. I would like a timeout

爱被打了一巴掌/ 2022年08月30日 11:16/ 0 赞/ 176 阅读

相关 python 3 urllib Proxy Authentication Required

proxy = urllib.request.ProxyHandler({'http': 'http://username:password@host:post'})

末蓝、/ 2022年08月10日 04:49/ 0 赞/ 3 阅读

相关 python中的urllib和urllib2

python中有urllib和urllib2两个模块，但并不是urllib2就完全可以取代urllib 看官方文档上的解释， urllib (https://do

一时失言乱红尘/ 2022年07月27日 19:59/ 0 赞/ 250 阅读

相关 Python的urllib3软件包详解

urllib3是一款Python 3的HTTP客户端。 Python标准库提供了urllib。在Python 2中，另外提供了urllib2；而在Python 3中，重构了u

矫情吗；*/ 2022年06月15日 10:46/ 0 赞/ 504 阅读

相关 python3.6使用 urllib完成下载

url = u'http://tieba.baidu.com/f?kw=权利的游戏&ie=utf-8&pn=50' url = quote(url, safe

刺骨的言语ヽ痛彻心扉/ 2022年06月07日 10:27/ 0 赞/ 190 阅读

相关 Python3 urllib库学习

python3将python2的urllib和urllib2库整合为一个urllib库，由于近期用到了这个库就参考官方文档和网上的资料总结了一下导入 imp

拼搏现实的明天。/ 2022年06月01日 07:50/ 0 赞/ 245 阅读

相关 python2和python3对比Urllib

Py2.x： Urllib库 Urllin2库 Py3.x： Urllib库变化：在Pytho2.x中使用import urllib2——-对应的，在Py

喜欢ヅ旅行/ 2022年04月11日 04:30/ 0 赞/ 226 阅读

相关 Python urllib与urllib2

　　Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取ht

快来打我*/ 2021年12月20日 08:43/ 0 赞/ 312 阅读