python字符编码问题的总结

曾经终败给现在 2022-07-11 07:45 234阅读 0赞

**概述：**

以前刚学python时候遇到了一些关于字符编码的奇怪问题，没有仔细研究，而且为了避免这个问题就全用英文了，但是今天开始写的程序需要抓取网页上的中文，解析下来后字符编码的问题又回来了，而且比以前来的更猛烈，程序崩溃的哗啦呼啦的。所以抽出了很长时间，仔细的研究了一下，希望看到文章的同学也能不再为字符编码的问题困扰。充斥在网络上的信息无数，但他们都逃不出要被编码的命运，在国内的网络环境下，我们可能接触到的编码格式有，ascii,unicode,utf-8,gb2312,gbk等。正是这几种编码的混合出现才造成了我们遇到的字符编码的问题，如果只有一种就不会有这个难缠的问题了。关于字符编码的详细介绍可以看这位博主的文章[传送门][Link 1]。

**环境：python 2.7.11**

**问题引出：**

def foo(user,action=u'逛街'):
        print type(action)
        print '%sis%s' %(user,action)
    
    if __name__ == '__main__':
        foo('小李')

这段程序抛出了如下的异常

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

一开始以为在开头忘记声明了\#coding:utf-8(\#\_\*\_ coding:utf-8 \_\*\_与前面的不同只是这个比较好看一点)，但是明明声明了，这就很奇怪了，修改程序。

def foo(user,action=u'逛街'):
        print type(action)
        print '%s' %(user)
    
    if __name__ == '__main__':
        foo('小李')

这样就没问题了，也就是说只有两个一起出现的时候才有问题？仔细观察程序发现是action=u'逛街'的问题，既然开头声明了是utf-8，这里又使用unicode，那当然是有问题的了，utf-8对中文是三个字节表示，而uniocde是两个，这两种放在一起print函数取解码的时候当然会混淆了。把action=‘逛街’就可以了。两种编码统一了，就不会出问题了。但是追究根源为什么会写成action=u'逛街'，原来是在命令行下测试脚本的一个小习惯。

**python终端下的字符编码问题：**

![Center][]

直接在终端下将一个中文串赋值给变量他的编码如上所示为'\\xd6\\xd0'，在练习廖雪峰python3教程的时候有关于，encode和decode的部分，当时没有在意，使用当前的这个2.7版本练习的，总是在text.encode('utf-8')的时候却出现了问题。

![Center 1][]

原来python2的编码只有ascii和unicode两种，所有其他编码都要先转换成unicode码才能进行其他转换也就是说上面的'\\xd6\\d0'看起来是ascii其实是一种其他的编码，需要使用decode方法后，在进行编码。但是当前text的编码是什么难住我了。

![Center 2][]

求助type发现系统的内建函数没办法帮助我了，仔细思考后发现我在终端下输入的中文，肯定和终端有关系，我看了下终端的编码。

![Center 3][]

看到终端的编码是GBK我恍然大悟，原来这个中文是GBK编码，我按照GBK对他进行解码，也就是由GBK变成了unicode。

![Center 4][]

为了证明一下他确实是GBK，我又看了一下'中'的GBK编码是什么

![Center 5][]

没错了，就是GBK，现在就理解直接输入‘中’出现的编码是什么了。

[Link 1]: http://blog.csdn.net/ldanduo/article/details/8203532/
[Center]: /images/20220711/97cc9ac6a8044ce8b51d0898d3af04ef.png
[Center 1]: /images/20220711/b2b0f738a94e47a2863387841f94b121.png
[Center 2]: /images/20220711/15d2d1fbc3214d5f94409ff4c85f784f.png
[Center 3]: /images/20220711/c83b44977bab48d08e880ee16dfd9ef7.png
[Center 4]: /images/20220711/1c48485c491c47818f257d930afee968.png
[Center 5]: /images/20220711/8d9d93e626b842208ae6f4214f4c0629.png