Python3: chardet 检测 bytes 的原字符串编码格式

以你之姓@ 2021-09-22 00:26 252阅读 0赞

本文链接: [https://xiets.blog.csdn.net/article/details/117576584][https_xiets.blog.csdn.net_article_details_117576584]

[Python3 学习笔记（目录）][Python3]

Python 中 Unicode 表示的 `str` 和 `bytes` 之间可以基于字符编码格式使用 `encode()` 和 `decode()` 方法相互转换。当需要把 bytes 转换为 str 时，如果不知道原字符的编码格式，就无法正确地将字节流转换为字符串。

`chardet` 模块可用于检测（猜测）bytes 的原字符编码格式。

相关链接：

*  项目地址: [https://pypi.org/project/chardet/][https_pypi.org_project_chardet]
 *  GitHub: [https://github.com/chardet/chardet][https_github.com_chardet_chardet]

安装 chardet:

$ pip3 install chardet

检测方法：

# byte_str 为需要检查的二进制数据, bytes 或 bytearray 类型,
    #
    # 返回一个字典: 
    # { 
    # 'encoding': 'ascii', # 猜测的编码类型, 猜不出则为 None
    # 'confidence': 1.0, # 猜测结果的准确概率, 值范围: [0.0, 1.0]
    # 'language': '' # 猜测的语言, 如 'Chinese'
    # }
    #
    chardet.detect(byte_str)

chardet 使用示例：

>>> import chardet
    >>> 
    >>> chardet.detect(b"Hello World")
    { 'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
    >>> 
    >>> chardet.detect("一二三，四五六。".encode("gbk"))
    { 'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
    >>> 
    >>> chardet.detect("你好，世界".encode("utf-8"))
    { 'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
    >>> 
    >>> chardet.detect("こんにちは、世界".encode("euc-jp"))
    { 'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}
    >>> 
    >>> chardet.detect("네오위세이".encode("euc_kr"))
    { 'encoding': 'EUC-KR', 'confidence': 0.99, 'language': 'Korean'}
    >>> 
    >>> chardet.detect("á±".encode("iso-8859-1"))
    { 'encoding': 'ISO-8859-1', 'confidence': 0.73, 'language': ''}

GBK 是 GB2312 的超集。

[https_xiets.blog.csdn.net_article_details_117576584]: https://xiets.blog.csdn.net/article/details/117576584
[Python3]: https://xiets.blog.csdn.net/article/details/109266600
[https_pypi.org_project_chardet]: https://pypi.org/project/chardet/
[https_github.com_chardet_chardet]: https://github.com/chardet/chardet