win10 Python读取文件编码问题

川长思鸟来 2023-02-19 14:29 11阅读 0赞

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 34: illegal multibyte sequence  
原始读取代码：

with open(file, 'r') as f:
            for line in f:
                line = line.strip().split("\t")
                en.append(["BOS"] + nltk.word_tokenize(line[0].lower()) + ["EOS"])
                cn.append(["BOS"] + [c for c in line[1]] + ["EOS"])
        return en, cn

这个时候默认的编码方式是gbk，也就是`with open(file, 'r'，encoding='gbk') as f:`  
首先我们看看文件的编码方式：（win10）  
打开文件-另存为-  
![在这里插入图片描述][20200621104746995.png]  
下面可以看到编码方式为utf-8  
将原始代码修改为：`with open(file, 'r', encoding='utf-8') as f:`即可  
如果还是不行的话：`with open(file, 'r', encoding='utf-8', errors='ignore') as f:`即可  
参考：  
https://blog.csdn.net/lzbmc/article/details/89177359  
关于编码方式：  
GBK：是一种**汉字**编码，包括繁体字  
GB18030：在GBK基础上继续扩展生僻字和日文、朝鲜语等的编码，**兼容GBK**  
（GB2312过时标准、GBK微软标准、GB18030国家标准。GB18030收录的汉字最多）  
除了上述两种编码方式兼容外，下面的编码方式都不兼容，因此上面需要修改编码方式  
BIG5：统一繁体字编码,要转码成GB18030或者GBK才能显示成简体中文  
UTF-8: 包含全世界所有国家需要用到的字符。

[20200621104746995.png]: https://img-blog.csdnimg.cn/20200621104746995.png

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 文件读取

1、CSV 文件存储 1.1 写入简单示例 import csv with open('data.csv', 'a') as csvf

亦凉/ 2023年09月30日 21:32/ 0 赞/ 30 阅读

相关 1_win10安装python-tensorflow问题解决

win10系统 python3.6 tools pip 其他工具使用pip下载都很顺利,但是遇到 pip install tensorflow CPU 深度

左手的ㄟ右手/ 2023年06月06日 12:09/ 0 赞/ 20 阅读

相关 win10 Python读取文件编码问题

UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 34: illegal multibyte

川长思鸟来/ 2023年02月19日 14:29/ 0 赞/ 12 阅读

相关 win10共享文件

参考博客： 1.[博客][Link 1] 2.[博客][Link 2] ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk

￡神魔★判官ぃ/ 2023年01月07日 03:56/ 0 赞/ 185 阅读

相关读取文件报编码错误

读取文件报编码错误 1. 问题描述读取文件报告: > ‘gbk’ codec can’t decode byte 0xad in position 2: ill

痛定思痛。/ 2022年12月29日 00:21/ 0 赞/ 145 阅读

相关 win7,win10 显示文件扩展名

1. 如果系统是win7的话，步骤如下： 1）选择组织菜单中的“文件夹和搜索选项”， ![Center][]![Image 1]

￡神魔★判官ぃ/ 2022年07月15日 01:12/ 0 赞/ 274 阅读

相关 python 文件读取

读取整个文件操作文件的第一步就是得打开要操作的文件，然后进行读取。在python中我们可以使用open函数来打开一个文件，然后使用read方法来读取文件。

太过爱你忘了你带给我的痛/ 2022年05月19日 10:53/ 0 赞/ 312 阅读

相关 Python读取数据编码排错

> 在Python开发中，当需要读取某些数据文件或者获取某些数据时，很有可能会遇到因为编码不匹配而报错的情况。这类问题其实非常常见，主要原因，还是因为没有选择正确的编码来识别所

﹏ヽ暗。殇╰゛Y/ 2022年03月21日 05:38/ 0 赞/ 232 阅读

相关读取properties文件时编码错误

指定编码格式 <context:property-placeholder location="classpath:\.properties" file-encoding

ゝ一纸荒年。/ 2021年12月20日 01:51/ 0 赞/ 255 阅读

相关 python读取csv编码问题

python读取csv编码问题主要参考[https://www.cnblogs.com/shengulong/p/7097869.html][https_www.cnblo

深碍√TFBOYSˉ_/ 2021年09月30日 11:52/ 0 赞/ 652 阅读