[Python3] 关于Bytes与String 写文件遇到的编码问题

深藏阁楼爱情的钟 2022-03-25 07:42 374阅读 0赞

## 写前面的话 ##

最近在搞一个python3的项目，其中有个功能需要写文件，但是接口传给我的数据是str类型的。我用str写文件的话，由于对于str原始的编码不能确定，所以文件就会出现乱码，大致描述如下：

> UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\\u200e’ in position 43: illegal multibyte sequence

## Bytes与String ##

python3最重要的新特性大概要算对文本和二进制数据做了更为清晰的区分，文本总是unicode字符集，有str类型表示，二进制数据则有bytes类型表示。python3不会以任何隐式的方式混用str和bytes，正是这是的这两者的区别特别明显，你不能拼接字符串和字节包，也无法在字节包里搜索字符串（反之亦然），也不能将字符串传入参数为字节包的函数（反之亦然）；  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZldmVubGNm_size_16_color_FFFFFF_t_70]  
代码展示：

buf = "我爱祖国"
    print (type(buf), buf)
    buf2 = buf.encode(encoding='utf-8')
    print (type(buf2), buf2)
    
    <class 'str'> 我爱祖国
    <class 'bytes'> b'\xe6\x88\x91\xe7\x88\xb1\xe7\xa5\x96\xe5\x9b\xbd'

# decode函数与encode函数使用 #

### 1. decode()函数 ###

> 描述：以 encoding 指定的编码格式解码Bytes类型数据，解码后的数据类型为：<class ‘str’>

### 2. encode()函数 ###

> 描述：以 encoding 指定的编码格式对string类型数据转码，编码后的数据类型为：<class ‘bytes’>

*  encoding ——要使用的编码，如：utf-8，gb2312，cp936，gbk等。
 *  errors ——设置不同解码错误的处理方案。默认为 ‘strict’,意为编码错误引起一个 UnicodeDecodeError。 其它可能得值有 ‘ignore’, 'replace’以及通过 codecs.register\_error() 注册的1其它值。

程序示例：

s = "我爱祖国"
    str1 = s.encode(encoding="utf-8",errors="strict")
    str2 = s.encode("gb2312") #编码错误的处理方案默认为"strict"
    str3 = s.encode("gbk")
    print (type(str1), type(str2), type(str3))
    
    print(str1.decode(encoding="utf-8",errors="strict"))#用utf-8的解码格式，解码str1.
    print(str1.decode(encoding="gbk",errors="ignore"))  ##如果以gbk的解码格式对str1进行解码得，将无法还原原来的字符串内容
    print(str1.decode(encoding="gbk",errors="strict"))
    print(str1.decode(encoding="gbk",errors="replace"))
    print(str2.decode("gb2312"))
    print(str3.decode("gbk"))

结果展示：

<class 'bytes'> <class 'bytes'> <class 'bytes'>
    我爱祖国
    鎴戠埍绁栧浗
    鎴戠埍绁栧浗
    鎴戠埍绁栧浗
    我爱祖国
    我爱祖国

# 文件操作问题 #

除了在数据的处理上有二进制bytes和字符串string区分，其实写文件的时候也有区分。同样写文件的时候也有编码的区分，尤其当输入文本类型为string类型的时候。

import requests
    s = requests.get('http://www.12306.cn/mormhweb')
    with  open('12306.html','w', encoding='utf-8') as fd:
        fd.write(s.content.decode('UTF-8',errors='replace'))

我们看到 encoding=‘utf-8’ 说明写入文件的编码方式为utf-8，与文本解码出来的格式是一样的。如果我们把 encoding='gbk’那么可想而知，得出的结果就不一定对了。

filerad = open(‘C:/Users/Administrator/Desktop/randomnum.txt’,‘wb’) # 以二进制方式进行写入

以下为open模式：

*  r 打开只读文件，该文件必须存在。
 *  r+ 打开可读写的文件，该文件必须存在。
 *  w 打开只写文件，若文件存在则文件长度清为0，即该文件内容会消失。若文件不存在则建立该文件。
 *  w+ 打开可读写文件，若文件存在则文件长度清为零，即该文件内容会消失。若文件不存在则建立该文件。
 *  a 以附加的方式打开只写文件。若文件不存在，则会建立该文件，如果文件存在，写入的数据会被加到文件尾，即文件原先的内容会被保留。
 *  a+ 以附加方式打开可读写的文件。若文件不存在，则会建立该文件，如果文件存在，写入的数据会被加到文件尾后，即文件原先的内容会被保留。

上述的形态字符串都可以再加一个b字符，如rb、w+b或ab＋等组合，加入b 字符用来告诉函数库打开的文件为二进制文件，而非纯文字文件。不过在POSIX系统，包含Linux都会忽略该字符。

# 结论 #

说了这么多，其实py3的 关于bytes与str的区分已经给了我们答案了！come on！  
很多时候，如果不知道解决方法，是否可以回过头再梳理一下基础知识呢！！

备注：  
在python3调用 vs dll时候，传参为bytes 格式！！！！否则传参就会错误！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZldmVubGNm_size_16_color_FFFFFF_t_70]: /images/20220325/ba06f53606934ce1826d67afe23818ba.png