报错：http.client.IncompleteRead: IncompleteRead(180224 bytes read, 39396 more exp

缺乏、安全感 2022-05-09 02:14 206阅读 0赞

在我爬取某网站时出现了该错误，但是只要重新运行一下程序还是请求成功。

我搜索了一下百度，没有发现类似的答案，不过在stackoverflow有类似的疑问。等会后面有链接。

可能出现这个问题的原因：这里执行urllib的read（）函数时候，它会捕获任何不完整的读取异常。因此出现了报错。

我们可以不让它捕获异常，因此当读取链接的时候我们可以用try / catch来抛出异常。

我之前的一段代码，不完整。

request = urllib.request.Request('https://****.org/'+ url)
            res = urllib.request.urlopen(request)
           
           
            
            buffer = res.read()             #这里
            
                
            if os.path.isfile(r'E:\pythonxm\zhengze\%s.pdf'%(filename)):
                print("已存在%s文件" %(filename))
                i = i+1
                continue
            fo =open(filename+".pdf","wb+")
            fo.write(buffer)
            fo.close()
            i = i+1

改过之后：

try:                                           #添加了try语句
                buffer = res.read()
            except http_client.IncompleteRead as e:
                buffer = e.partial
            if os.path.isfile(r'E:\pythonxm\zhengze\%s.pdf'%(filename)):
                print("已存在%s文件" %(filename))
                i = i+1
                continue
            fo =open(filename+".pdf","wb+")
            fo.write(buffer)
            fo.close()
            i = i+1

我这里用的是python3，python2中的urllib2不能再使用，**由urllib.request代替。**

参考网页链接：[https://stackoverflow.com/questions/14442222/how-to-handle-incompleteread-in-python][https_stackoverflow.com_questions_14442222_how-to-handle-incompleteread-in-python]

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_分割线——————————————————————————————

别人的类似文章，不知道有没有用，先记下链接，仅供参考：

此篇重在分析出错原因：[https://blog.csdn.net/woshiaotian/article/details/40297239][https_blog.csdn.net_woshiaotian_article_details_40297239]

这篇给出了其他的解决方案：[https://blog.csdn.net/haoli001/article/details/40863433][https_blog.csdn.net_haoli001_article_details_40863433]

—————————————————————————再次更新—————————

IncompleteRead打出这个关键字可以发现很多，，，，，，尴尬，，，，尴尬

[https_stackoverflow.com_questions_14442222_how-to-handle-incompleteread-in-python]: https://stackoverflow.com/questions/14442222/how-to-handle-incompleteread-in-python
[https_blog.csdn.net_woshiaotian_article_details_40297239]: https://blog.csdn.net/woshiaotian/article/details/40297239
[https_blog.csdn.net_haoli001_article_details_40863433]: https://blog.csdn.net/haoli001/article/details/40863433