总结python中的乱码问题

妖狐艹你老母 2022-08-04 00:53 257阅读 0赞

首先要知道，字符串在Python内部的表示是**unicode**编码(万国码)，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（**decode**）成**unicode**，再从**unicode**编码（**encode**）成另一种编码。

python编码有两种数据模型来支持字符串类型 一种是str 一种是unicode。

s=”中文” 为str类型的字符串  
u=u”中文” 为unicode类型的basestring

首先**str** 需要先**decode**(解码)成为**unicode** ，**str->decode->unicode**  
然后将**unicode**通过**encode**(编码)成为**str**， **unicode->encode->str**

解释一下**decode**和**encode**：  
**decode**：

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串str1转换成unicode编码。

**encode**：

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘gb2312’)，表示将unicode编码的字符串str2转换成gb2312编码。

因此，转码的时候一定要先搞明白，字符串str是什么编码，然后decode成unicode，然后再encode成其他编码

代码中字符串的默认编码与代码文件本身的编码一致，至于如何查看网页的编码方式可以[查看博客说明][Link 1]。

如：s=’中文’  
如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。

如果字符串是这样定义：s=u’中文’

则该字符串的编码就被指定为unicode了，即python的内部编码，而与代码文件本身的编码无关。因此，对于这种情况做编码转换，只需要直接使用encode方法将其转换成指定编码即可。

如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断：  
isinstance(s, unicode) \#用来判断是否为unicode  
用非unicode编码形式的str来encode会报错

在python的头部需要声明默认的编码方式： \#-*- coding:utf-8 -*\- (或者是\#coding=utf-8) ->（文中若有用到非ascii字符时则用）

大致思路：  
乱码->**unicode中转码**\->我们需要的编码方式  
**decode**（）->**unicode**\->**encode**转化为需要的格式

举例：  
content为从文件中读取的gbk编码的内容，我们通过以上方法输出该内容。  
**print content.decode(‘gbk’).encode(‘utf-8’)**  
这里的decode方法将content内容转为unicode格式  
这里的encode方法将unicode格式的数据转化为自己所需要的编码方式。

另外，在爬取网页的时候经常会遇到乱码，但是我们可以通过查看网页的源代码查看charset方式，也可以[通过python编程获得网页的编码方式][Link 1]。

下面就拿爬取百度首页来讲解一下：

**方法一：**

>import urllib2
    >url="http://www.baidu.com"
    >data=urllib2.urlopen(url).read()
    >print data.decode('utf-8','ignore').encode('gbk','ignore')

这里使用的是python的urllib2模块读取百度首页的html

**方法二：**

>from bs4 import BeautifulSoup
    >url="http://www.baidu.com"
    >content=urllib2.urlopen(url)
    >soup=BeautifulSoup(content,from_encoding="utf-8")
    >print soup.encode('gbk')

这里是使用的python的BeautifulSoup模块及urllib2模块。  
from\_encoding=”utf-8”为该打开的网页的charset方式，encode（’gbk’）为你想要转换成的编码方式。

注意：

s.decode(“utf-8”, “ignore”) 忽略其中有异常的编码，仅显示有效的编码  
s.decode(“utf-8”, “replace”) 替换其中异常的编码，这个相对来可能一眼就知道那些字符编码出问题了。

[Link 1]: http://blog.csdn.net/winterto1990/article/details/47658887