Python 转化成 PB 格式数据

野性酷女 2022-11-16 13:59 364阅读 0赞

#### **一、概述** ####

Protocol Buffers 是 Google 公司开发的一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

Protocol Buffers 简称为 protobuf 或 pb，下面是使用 python 解析 pb。

#### **二、安装** ####

下载目标语言的编译器：https://github.com/protocolbuffers/protobuf/releases

安装：

$ ./configure  
    $ make  
    $ sudo make install

验证安装：protoc --version，显示当前版本：libprotoc x.x.x

安装 Python 的 protobuf 库：pip install protobuf

#### 三、使用 ####

**1 编译 proto 文件**

Protobuf 语义清晰，无需类似 XML 解析器的东西（因为 Protobuf 编译器会将 .proto 文件编译生成对应的数据访问类以对 Protobuf 数据进行序列化、反序列化操作）。

protoc --python_out=./ ./文件名.proto

这时会在当前目录生成一个与文件名同名的目录，该目录下会有一个 .py 文件。这个文件会用作模块、解析规则去解析 pb 的源数据。

**2 解析 pb 的数据**

''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    from test_pb import Test # 从刚才编译出来的 py 文件中 import 解析的类
    message = Test()
    with open('test.pb', 'rb') as fb:
        pb_content = fb.read() # 如果文件很大，则要分批读取
        # pb_content 是二进制的pb数据，如果是文件，则需要用 open 方法读取数据
        message.ParseFromString(pd_content)
    print message

**3 写入数据**

from test_pb import Test # 从刚才编译出来的 py 文件中 import 解析的类
    message = Test()
    message.name = 'hello world' # 赋值
    with open('test.pb', 'wb') as fb:
        # 序列化，写入文件
        fb.write(person.SerializeToString())

**4 probuf 转 dict**

当 probuf 的数据包含中文时，解析后对于阅读十分不友好。同时如果想要把 probuf 对象转化成 dict 进行后续操作的话。可以试试第三方库：protobuf-to-dict，这个库可以很方便的把 probuf 的数据转化成 dict。示例代码如下：

from protobuf_to_dict import protobuf_to_dict
    my_message = MyMessage()
    # pb_my_message is a protobuf string
    my_message.ParseFromString(pb_my_message)
    protobuf_to_dict(my_message)
    # 输出：{'message': 'Hello'}

#### 四、错误 ####

google.protobuf.message.DecodeError: Truncated message.：首先要保证 pb source 为二进制的数据，否则会出现各种非预期错误