Python模块之codecs（字符编解码处理）

古城微笑少年丶 2024-02-18 14:12 72阅读 0赞

![793034-20160506113025857-1085885850.png][]

### 1 Python中的编码 ###

python对多国语言的处理是支持的很好的，它可以处理现在任意编码的字符，这里深入的研究一下python对多种不同语言的处理。  
有一点需要清楚的是，当python要做编码转换的时候，会借助于内部的编码，转换过程请参考上图。

Unicode编码有两种，一种是UCS-2，用两个字节编码，共65536个码位；另一种是UCS-4，用4个字节编码，共2147483648个码位。

python都是支持的，这个是在编译时通过--enable- unicode=ucs2或--enable-unicode=ucs4来指定的。那么我们自己默认安装的python有的什么编码怎么来确定呢？有一个 办法，就是通过sys.maxunicode的值来判断：

import  sys
    print  sys.maxunicode

如果输出的值为65535,那么就是UCS-2,如果输出是1114111就是UCS-4编码。

import sys
    
    # python idle 的默认编码方式
    sys.getdefaultencoding()

我们要认识到一点：当一个字符串转换为内部编码后，它就不是str类型了！它是unicode类型

a  =   " 风卷残云 "
    print  type(a)
    b  =  unicode(a，‘gb2312')
    print  type(b)

运行结果：

<type 'str'>
    <type 'unicode'>

### 2 Codecs编解码 ###

# -*- encoding: gb2312 -*-
    import  codecs, sys
    
    print   ' - ' * 60
    #  创建gb2312编码器
    look   =  codecs.lookup( " gb2312 " )
    #  创建utf-8编码器
    look2  =  codecs.lookup( " utf-8 " )
    
    a  =   " 我爱北京 "
    
    print  len(a), a
    #  把a编码为内部的unicode, 但为什么方法名为decode呢，我的理解是把gb2312的字符串解码为unicode
    b  =  look.decode(a)
    #  返回的b[0]是数据，b[1]是长度，这个时候的类型是unicode了
    print  b[ 1 ], b[0], type(b[0])
    #  把内部编码的unicode转换为gb2312编码的字符串，encode方法会返回一个字符串类型
    b2  =  look.encode(b[0])
    #  发现不一样的地方了吧？转换回来之后，字符串长度由14变为了7! 现在的返回的长度才是真正的字数，原来的是字节数
    print  b2[ 1 ], b2[0], type(b2[0])
    #  虽然上面返回了字数，但并不意味着用len求b2[0]的长度就是7了，仍然还是14，仅仅是codecs.encode会统计字数
    print  len(b2[0])

### 3 Codec的简单使用--IO ###

读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。

**读文件**

打开一个文件，读取后应该close()，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  try:
2.  f = open('/path/to/file', 'r')
3.  print f.read()
4.  finally:
5.  if f:
6.  f.close()

Python引入了with语句来自动帮我们调用close()方法：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  <pre name="code" class="python">with open('/path/to/file', 'r') as f:
2.  print f.read()

这和前面的try ... finally是一样的，但是代码更佳简洁，并且不必调用f.close()方法。调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示

读大文件时，建议下面的方式：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  with open('/path/to/file', 'r') as f:
2.  for line in f:
3.  print line

这种迭代的方式不会一次性的把大文件都读入内存。

二进制文件

前面讲的默认都是读取文本文件，并且是ASCII编码的文本文件。要读取二进制文件，比如图片、视频等等，用'rb'模式打开文件即可。

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/test.jpg', 'rb')
2.  >>> f.read()
3.  '\\xff\\xd8\\xff\\xe1\\x00\\x18Exif\\x00\\x00...' \# 十六进制表示的字节

字符编码

要读取非ASCII编码的文本文件，就必须以二进制模式打开，再解码。比如GBK编码的文件：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/gbk.txt', 'rb')
2.  >>> u = f.read().decode('gbk')
3.  >>> u
4.  u'\\u6d4b\\u8bd5'
5.  >>> print u
6.  测试

如果每次都这么手动转换编码嫌麻烦（写程序怕麻烦是好事，不怕麻烦就会写出又长又难懂又没法维护的代码），Python还提供了一个codecs模块帮我们在读文件时自动转换编码，直接读出unicode：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  import codecs
2.  with codecs.open('/Users/michael/gbk.txt', 'r', 'gbk') as f:
3.  f.read() \# u'\\u6d4b\\u8bd5'

以gbk编码打开文件/Users/michael/gbk.txt，读取后直接自动转换成python内部的unicode编码。

**写文件**写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/test.txt', 'w')
2.  >>> f.write('Hello, world!')
3.  >>> f.close()

你可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：

**\[python\]** [view plain][] [copy][view plain] [print][view plain][?][view plain][![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  with open('/Users/michael/test.txt', 'w') as f:
2.  f.write('Hello, world!')

要写入特定编码的文本文件，请效仿codecs的示例，在open()指定以什么编码打开文件，在写入时将待写入内容先解码成unicode，既(str.decode("unicode\_escape"))，那么在write()时，codecs就会自动将内容转换成指定编码写入文件。

读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。

**读文件**

打开一个文件，读取后应该close()，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  try:
2.  f = open('/path/to/file', 'r')
3.  print f.read()
4.  finally:
5.  if f:
6.  f.close()

[![save_snippets.png][]][save_snippets.png 1]

Python引入了with语句来自动帮我们调用close()方法：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  <pre name="code" class="python">with open('/path/to/file', 'r') as f:
2.  print f.read()

[![save_snippets.png][]][save_snippets.png 1]

这和前面的try ... finally是一样的，但是代码更佳简洁，并且不必调用f.close()方法。调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示

读大文件时，建议下面的方式：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  with open('/path/to/file', 'r') as f:
2.  for line in f:
3.  print line

[![save_snippets.png][]][save_snippets.png 1]

这种迭代的方式不会一次性的把大文件都读入内存。

二进制文件

前面讲的默认都是读取文本文件，并且是ASCII编码的文本文件。要读取二进制文件，比如图片、视频等等，用'rb'模式打开文件即可。

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/test.jpg', 'rb')
2.  >>> f.read()
3.  '\\xff\\xd8\\xff\\xe1\\x00\\x18Exif\\x00\\x00...' \# 十六进制表示的字节

[![save_snippets.png][]][save_snippets.png 1]

字符编码

要读取非ASCII编码的文本文件，就必须以二进制模式打开，再解码。比如GBK编码的文件：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/gbk.txt', 'rb')
2.  >>> u = f.read().decode('gbk')
3.  >>> u
4.  u'\\u6d4b\\u8bd5'
5.  >>> print u
6.  测试

[![save_snippets.png][]][save_snippets.png 1]

如果每次都这么手动转换编码嫌麻烦（写程序怕麻烦是好事，不怕麻烦就会写出又长又难懂又没法维护的代码），Python还提供了一个codecs模块帮我们在读文件时自动转换编码，直接读出unicode：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  import codecs
2.  with codecs.open('/Users/michael/gbk.txt', 'r', 'gbk') as f:
3.  f.read() \# u'\\u6d4b\\u8bd5'

[![save_snippets.png][]][save_snippets.png 1]

以gbk编码打开文件/Users/michael/gbk.txt，读取后直接自动转换成python内部的unicode编码。

**写文件**  
写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  >>> f = open('/Users/michael/test.txt', 'w')
2.  >>> f.write('Hello, world!')
3.  >>> f.close()

[![save_snippets.png][]][save_snippets.png 1]

你可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：

**\[python\]** view plain copy print?[![在CODE上查看代码片][CODE]][CODE_CODE][![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  with open('/Users/michael/test.txt', 'w') as f:
2.  f.write('Hello, world!')

[![save_snippets_01.png][]][save_snippets.png 1]

要写入特定编码的文本文件，请效仿codecs的示例，在open()指定以什么编码打开文件，在写入时将待写入内容先解码成unicode，既(str.decode("unicode\_escape"))，那么在write()时，codecs就会自动将内容转换成指定编码写入文件。

[793034-20160506113025857-1085885850.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c985ca83b5b64a0dae84edc135a7d212.png
[view plain]: http://write.blog.csdn.net/postedit/77017229#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/1769605
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/1769605/fork
[save_snippets.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/18b1e06d1d104e3b9b5ac42bc0b446e2.png
[save_snippets.png 1]: http://write.blog.csdn.net/postedit/77017229
[save_snippets_01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/a13180000c434990a500f45c84cde173.png

发表评论取消回复

表情：

评论列表（有 0 条评论，72人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python模块之codecs（字符编解码处理）

![793034-20160506113025857-1085885850.png][] 1 Python中的编码 python对多国语言的处理是支持的很好的，它可以处

古城微笑少年丶/ 2024年02月18日 14:12/ 0 赞/ 73 阅读

相关 Netty4之编解码

本文是基于Netty4.1.x，一般在使用Netty作为网络框架进行开发时，编解码框架是我们应该注意的一个重要部分。应用从网络层接收数据需要经过解码(Decode),将二进制的

冷不防/ 2023年10月11日 09:29/ 0 赞/ 75 阅读

相关 Netty之Marshalling编解码

Netty主流的编解码器： > ①JBoss的Marshalling包 > > ②google的Protobuf > > ③基于Protobuf的Kyro > > ④A

左手的ㄟ右手/ 2023年06月19日 13:27/ 0 赞/ 74 阅读

相关 Netty之编解码开发（五）

文章目录分析分析：业界主流的编解码框架 Netty中编解码结果其他我

深藏阁楼爱情的钟/ 2023年03月04日 13:26/ 0 赞/ 170 阅读

相关 Python学习教程：Python3内置模块之json编解码方法小结

Python学习教程：Python3内置模块之json编解码方法小结 Python3中我们利用内置模块json解码和编码JSON对象，JSON（JavaScript Obje

深藏阁楼爱情的钟/ 2022年10月01日 09:49/ 0 赞/ 22 阅读

相关视频编解码学习之二：编解码框架

转自 [http://www.cnblogs.com/xkfz007/archive/2012/07/29/2613824.html][http_www.cnblogs.com

叁歲伎倆/ 2022年09月19日 04:23/ 0 赞/ 398 阅读

相关 H.265/HEVC Codec 编解码 (MP4 和 TS)

转自 [H.265/HEVC Codec 编解码 (MP4 和 TS)][H.265_HEVC Codec _ _MP4 _ TS] 1. H.265/HEVC

ゝ一纸荒年。/ 2022年07月26日 05:06/ 0 赞/ 240 阅读

相关 [netty]-消息编解码之google的Protobuf编解码

> 前面介绍了通过Java原生的序列化来实现编解码在网络传输，也说到了其诸多缺点，下面介绍另外一种业界现在非常流行的编解码方式：Protobuf。 Google的Protob

旧城等待，/ 2022年07月11日 13:49/ 0 赞/ 356 阅读

相关 Netty(三)——编解码之路

我们在开发中经常会把Java类进行implements Serializable用来网络传输的序列化和反序列化，过程其实就是将Java对象转编码为字节数组或者By

冷不防/ 2022年05月03日 04:26/ 0 赞/ 344 阅读

相关 Java编解码

1、获取当前系统可以使用的编码方式 1. SortedMap<String, Charset> map = Charset.availableCharsets(); 2.

ゝ一世哀愁。/ 2022年02月02日 02:31/ 0 赞/ 363 阅读