Python使用protobuf序列化和反序列化

淡淡的烟草味﹌ 2023-10-11 15:41 60阅读 0赞

### protobuf介绍 ###

protobuf是一种二进制的序列化格式，相对于json来说体积更小，传输更快。

### 安装protobuf ###

安装protobuf的目的主要用来将proto文件编译成python、c、Java可调用的接口。

# 如果gcc版本较低，需要升级gcc
    wget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gz
    tar -zxvf protobuf-2.6.1.tar.gz -C /usr/local/ && cd /usr/local/protobuf-2.6.1
    ./configure 
    make && make install
    # 可以在/etc/profile或者~/.bash_profile末尾设置永久有效
    export PATH=$PATH:/usr/local/protobuf-2.6.1/bin

使用下面命令查看是否安装成功。

[root@CodeOnTheRoad ~]# protoc --version
    libprotoc 2.6.1

### 构建python接口 ###

创建**cls.proto**文件，定义序列化结构：

package cls;
    
    message Log
    {
        
        message Content
        {
        
            required string key   = 1; // 每组字段的 key
            required string value = 2; // 每组字段的 value
        }
        required int64   time     = 1; // 时间戳，UNIX时间格式
        repeated Content contents = 2; // 一条日志里的多个kv组合
    }
    
    message LogTag
    {
        
        required string key       = 1;
        required string value     = 2;
    }
    
    message LogGroup
    {
        
        repeated Log    logs        = 1; // 多条日志合成的日志数组
        optional string contextFlow = 2; // 目前暂无效用
        optional string filename    = 3; // 日志文件名
        optional string source      = 4; // 日志来源，一般使用机器IP
        repeated LogTag logTags     = 5;
    }
    
    message LogGroupList
    {
        
        repeated LogGroup logGroupList = 1; // 日志组列表
    }

只用下面命令将proto文件转换为python可调用的接口。

protoc cls.proto --python_out=./

执行完后，在此目录下生成**cls\_pb2.py**。

### 序列化 ###

import cls_pb2 as cls
    import time
    
    # 构建protoBuf日志内容
    LogLogGroupList = cls.LogGroupList()
    
    LogGroup = LogLogGroupList.logGroupList.add()
    LogGroup.contextFlow = "1"
    LogGroup.filename = "python.log"
    LogGroup.source = "localhost"
    
    LogTag = LogGroup.logTags.add()
    LogTag.key = "key"
    LogTag.value = "value"
    
    Log = LogGroup.logs.add()
    Log.time = int(round(time.time() * 1000000))
    
    Content = Log.contents.add()
    Content.key = "Hello"
    Content.value = "World"
    print(LogLogGroupList)
    # 序列化
    data = LogLogGroupList.SerializeToString()
    print(data)

其实就是讲一个protobuf的结构文本序列化成了二进制的形式。

### 反序列化 ###

反序列化就是将二进制转换成protobuf结构。

# 反序列化
    LogLogGroupList = cls.LogGroupList()
    LogLogGroupList.ParseFromString(data)
    print(LogLogGroupList)

### 运行结果 ###

上面序列化和反序列化代码结果运行如下：  
![20210518172852353.png][]

--------------------

95后小程序员，写的都是日常工作中的亲身实践，置身于初学者的角度从0写到1，详细且认真。文章会在公众号 \[**入门到放弃之路**\] 首发，期待你的关注。  
  
![感谢每一份关注][20210401142825437.png]

[20210518172852353.png]: https://img-blog.csdnimg.cn/20210518172852353.png
[20210401142825437.png]: https://img-blog.csdnimg.cn/20210401142825437.png