python-爬虫-requests.get()-响应内容中文乱码

港控/mmm° 2024-02-18 18:17 88阅读 0赞

python-爬虫-requests.get()-响应内容中文乱码  
  
  
由于目标url的headers没有提供charset，那么这串字节流就会用latin-1 转换为 unicode 编码的方式转换成了我们见到的unicode对象。  
但是网页的编码方式实际上是utf-8，所以我们实际上需要的是从utf-8转换成unicode编码。 此时这一串字节流就会被错误地解释成unicode编码。  
我们如何发现这种情况呢？  
其实很简单，我们只要知道reponse的encoding方式是否错误就可以了，查看response对象的编码  
resp = requests.get(’http://baidu.com‘) \#请求  
print '响应:\\nencoding=\{\}'.format(resp.encoding) \#如果中文乱码，如果requests没有发现http headers中的charset  
  
  
如何转为 utf-8 输出？  
我们可以在调用 txt = resp.text 之前设置 resp 对象的编码。resp.encoding='utf-8'  
  
  
完整实例

# -*- coding: utf-8 -*-
    import sys
    import lxml
    import requests
    import codecs
    import time
    from lxml import etree,html
    import tomd
    
    
    
    
    reload(sys)
    sys.setdefaultencoding('utf8')  # 设置默认编码格式为'utf-8'
    
    
    if sys.stdout.encoding != 'UTF-8':
        sys.stdout = codecs.getwriter('utf-8')(sys.stdout, 'strict')
    if sys.stderr.encoding != 'UTF-8':
        sys.stderr = codecs.getwriter('utf-8')(sys.stderr, 'strict')
    
    
    
    
    def http_get(url):
        print '请求地址：{}'.format(url)
        '''
        '''
        headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel …) Gecko/20100101 Firefox/58.0'}
        resp = requests.get(url,headers=headers) #请求
        print '请求完成'
        if not resp:
            print '无响应内容'
            return
        print '响应:\nencoding={}'.format(resp.encoding)  #如果中文乱码，如果requests没有发现http headers中的charset
        resp.encoding='gb2312' #设置响应编码（gbk、utf-8、gb2312）
        txt = resp.text #获取响应的html内容
        print '原始：\n{}'.format(txt)
        print '响应:\nencoding={}'.format(resp.encoding)
    
    
    http_get('http://baidu.com')