Python如何解决中文乱码

古城微笑少年丶 2023-02-11 10:07 45阅读 0赞

### 环境配置： ###

windows 10, 64bit
    Anaconda 3, python 3.7

### 1、问题描述： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n_size_16_color_FFFFFF_t_70][]

如上图所示，我们从python爬虫得到网页内容，print(req.text)可能会出现中文乱码，其中，req是我们获取到的response，如：req = requests.get(url)。在网上找了挺多方法都不起作用。下面，将通过三种方法来分别解决中文乱码问题。

### 2、问题分析： ###

运行以下python代码：

print(req.encoding)
    print(req.apparent_encoding)
    print(requests.utils.get_encodings_from_content(req.text))

（1）“print(req.encoding)”返回的是python爬虫爬取到的网页源码response的编码。

（2）我们知道Requests 会基于 HTTP 头部对响应的编码作出有根据的推测，这个一般跟原HTML文件中设置的编码有关。当你访问 req.text 之时，Requests 会使用其推测的文本编码来作为req.text的编码。所以“print(req.apparent\_encoding)”获取的是Requests 推测的文本编码。

（3）“print(requests.utils.get\_encodings\_from\_content(req.text))”获取的是原html网页文件中设置的编码，如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n_size_16_color_FFFFFF_t_70 1][]

上面代码的运行结果如下：

ISO-8859-1   # response的编码
    GB2312       # Requests推断出来的编码，即req.text的编码
    ['GB2312']   # 原HTML文件中设置的编码，即charset = "GB2312"

问题原因：

response的编码为“ISO-8859-1”，而req.text的编码却用的是Requests推断的编码为“GB2312”，所以当我们print(req.text)就会出现乱码了。

### 3、解决方法： ###

根据以上原因，我们知道只需要让response的编码和req.text的编码保持一致就可以解决该问题。因此我们有以下三种解决办法：

（1）把response的编码改成原HTML文件的编码，因为Requests推断的编码（即req.text的编码）一般是跟原HTML文件的编码保持一致或者是互相兼容的。代码如下：

req.encoding = "GB2312"

（2）把response的编码改成Requests推断的编码（即req.text的编码）。代码如下：

req.encoding = req.apparent_encoding

（3）通过编码、解码的方式，先把req.text编码成response的编码，然后再解码成python默认的编码。代码如下：

html = req.text.encode('ISO-8859-1').decode('GB2312')

最后“.decode('GB2312')”这个参数填的是“GB2312”，但是 req.text.encode('ISO-8859-1')分明是把req.text.编码成“ISO-8859-1”了，通过

import chardet
    
    print(chardet.detect(req.text.encode('ISO-8859-1')))

查看，得到的是 req.text.encode('ISO-8859-1')的编码为“GB2312”，这可能是python直接把它转成“GB2312”编码了，所以后面是“.decode("GB2312")”来解码成我们python设置的默认编码“utf-8”。

通过以上的三种方法都可以解决python爬虫的中文乱码问题。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200522192849153.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200522194335494.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1YW5tYW9uaW5n,size_16,color_FFFFFF,t_70