Protobuf 使用介绍及原理

@[toc]

Protobuf 使用介绍及原理

1. 什么是Protobuf？

官方开源地址：https://github.com/protocolbuffers/protobuf
语法指南：https://developers.google.com/protocol-buffers/docs/proto
本示例测试代码地址：https://gitee.com/chenjim/ProtoBuf
google开源项目。序列化数据结构的方案，通常用于编写需要数据交换或者需要存储数据的程序。这套方案包含一种用于描述数据结构的接口描述语言（Interface Description Language）和一个生成器，用于生成描述该数据结构的不同编程语言的源代码。

1.1 优点

性能
- 体积小，序列化后，数据大小可缩小3-10倍
- 序列化速度快，比XML和JSON快20-100倍
- 传输速度快，因为体积小，传输起来带宽和速度会有优化
使用
- 使用简单，proto编译器自动进行序列化和反序列化
- 维护成本低，多平台仅需维护一套对象协议文件(.proto)
- 向后兼容性(扩展性)好，不必破坏旧数据格式就可以直接对数据结构进行更新
- 加密性好，Http传输内容抓包只能看到字节
使用范围：跨平台、跨语言(支持Java, Python, Objective-C, C+, Dart, Go, Ruby, and C#等），可扩展性好

1.2 缺点

功能，不适合用于对基于文本的标记文档（如HTML）建模，因为文本不适合描述数据结构
通用性较差：json、xml已成为多种行业标准的编写工具，而Protobuf只是Google公司内部的工具
自解耦性差：以二进制数据流方式存储（不可读），需要通过.proto文件才能了解到数据结构

1.3 应用场景

传输数据量大 & 网络环境不稳定的数据存储、RPC 数据交换的需求场景如即时IM （QQ、微信）的需求场景
在传输数据量较大的需求场景下，Protobuf比XML、Json 更小、更快、使用 & 维护更简单！
AS中就有使用protobuf，参见文件Android Studio\lib\protobuf-java-3.4.0.jar

2. 使用

2.1 安装 protoc

protoc 是编译*.proto为相应语言的工具

2.1.1 ubuntu 安装 protoc

方法一 apt-get安装
使用 sudo apt-get install protoc 安装
方法二下载源码编译安装

去github下载*.tar.tz压缩包，解压，
命令行进入解压后目录，执行如下指令编译 ./configure && make
创建文件 /etc/ld.so.conf.d/libprotobuf.conf 写入内容：/usr/local/lib
输入命令 sudo ldconfig
注：protobuf的默认安装路径是/usr/local/lib，而/usr/local/lib不在Ubuntu体系默认的 LD_LIBRARY_PATH 里，后面install找不到该lib
sudo make install
protoc --version 验证是否安装成功

2.1.2 windows安装 protoc

去官方下载windows版本解压
把里面的protoc.exe所在目录,添加到环境变量

2.2 使用Android的Gradle插件编译

protobuf-gradle-plugin官方介绍:https://github.com/google/protobuf-gradle-plugin

修改项目根目录下build.gradle
dependencies下增加classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.8'

    dependencies {
        classpath 'com.android.tools.build:gradle:3.4.0'
        classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.8'
        // NOTE: Do not place your application dependencies here; they belong
        // in the individual module build.gradle files
    }

修改app目录下build.gradle
apply plugin: 'com.android.application'后加上apply plugin: 'com.google.protobuf'
然后加入protobuf配置（与android{}同级）

protobuf {
    protoc {
        artifact = 'com.google.protobuf:protoc:3.0.0'
    }
    plugins {
        javalite {
            artifact = 'com.google.protobuf:protoc-gen-javalite:3.0.0'
        }
    }
    generateProtoTasks {
        all().each { task ->
            task.builtins {
                remove java
            }
            task.plugins {
                javalite { }
            }
        }
    }
}

最后dependencies下加入implementation 'com.google.protobuf:protobuf-lite:3.+'
安装protobuf support编辑插件,新建test.proto文件并编辑，内容参考test.proto
AS编译后生成文件在app/build/generated/source/proto/debug/javalite目录下，包名同test.proto 中定义的java_package，类文件名同test.proto 中定义的java_outer_classname
命令行编译：protoc -I=./ --java_out=./ test.proto，在当前目录生成同上的文件
protobuf-lite-3.0.0.jar下载地址
详细工程代码参考https://gitee.com/chenjim/ProtoBuf/tree/master/ProtobufAS

3. Protobuf序列化、反序列化的性能对比

参见源码MainActivity.java 中函数protoTest()

相对FastJson和Gson的对比参考代码同上，结果如下

E/MainActivity: protobuf 序列化耗时：4
E/MainActivity: protobuf 序列化数据大小：38
E/MainActivity: protobuf 反序列化耗时：2
E/JsonTest: FastJson 序列化耗时：13
E/JsonTest: FastJson 序列化数据大小：119
E/JsonTest: FastJson 反序列化耗时：16
E/JsonTest: Gson 序列化耗时：14
E/JsonTest: Gson 序列化数据大小：119
E/JsonTest: Gson 反序列化耗时：1

4. Protobuf 原理

google官方原理介绍：https://developers.google.com/protocol-buffers/docs/encoding

4.1 protobuf 数据结构

采用 TLV存储方式，即TAG-Length-Value(标识-长度-字段值)
不需要分隔符就能分隔开字段，减少了分隔符的使用;
各字段存储得非常紧凑，存储空间利用率非常高;
若字段没有被设置字段值，那么该字段在序列化时的数据中是完全不存在的，即不需要编码

4.2 protobuf 编码方式

对于不同数据类型采用不同的序列化方式（编码方式 & 数据存储方式）

4.3 TAG 编码过程

Tag = (field_number << 3) | wire_type wire_type 的值参考4.2，field_number就是字段标识号，详细如下代码

    //wire_type=0, field_number=1
    //Tag  = (field_number << 3) | wire_type
    // TAG=8
    required int32 id1 = 1;
    
    //wire_type=0, field_number=2
    //Tag  = (field_number << 3) | wire_type
    // TAG=16
    required int32 id2 = 2;

4.4 Varint 编码过程

可参考源码CodedOutputStream.java 中1724行函数 writeUInt32NoTag

点我下载查看Varint 编码过程原图

4.5 Varint 解码过程

4.6 Zigzag 编码过程

4.7 总结建议

尽量使用多用 optional或 repeated修饰符
因为若optional 或 repeated 字段没有被设置字段值，那么该字段在序列化时的数据中是完全不存在的，即不需要进行编码
字段标识号（Field_Number）尽量只使用 1-15，且不要跳动使用
因为Tag里的Field_Number是需要占字节空间的。如果Field_Number>16时，Field_Number的编码就会占用2个字节，那么Tag在编码时也就会占用更多的字节；如果将字段标识号定义为连续递增的数值，将获得更好的编码和解码性能
若需要使用的字段值出现负数，请使用 sint32 / sint64，不要使用int32 / int64
因为采用sint32 / sint64数据类型表示负数时，会先采用Zigzag编码再采用Varint编码，从而更加有效压缩数据
对于repeated字段，尽量增加packed=true修饰
因为加了packed=true修饰repeated字段采用连续数据存储方式，即T - L - V - V -V方式

chenjim / Protobuf 使用介绍及原理

Protobuf 使用介绍及原理

1. 什么是Protobuf？

1.1 优点

1.2 缺点

1.3 应用场景

2. 使用

2.1 安装 protoc

2.1.1 ubuntu 安装 protoc

2.1.2 windows安装 protoc

2.2 使用Android的Gradle插件编译

3. Protobuf序列化、反序列化的性能对比

4. Protobuf 原理

4.1 protobuf 数据结构

4.2 protobuf 编码方式

4.3 TAG 编码过程

4.4 Varint 编码过程

4.5 Varint 解码过程

4.6 Zigzag 编码过程

4.7 总结建议

简介

发行版

贡献者

近期动态

chenjim / Protobuf 使用介绍及原理 .gitee-modal { width: 500px !important; }

Protobuf 使用介绍及原理

1. 什么是Protobuf？

1.1 优点

1.2 缺点

1.3 应用场景

2. 使用

2.1 安装 protoc

2.1.1 ubuntu 安装 protoc

2.1.2 windows安装 protoc

2.2 使用Android的Gradle插件编译

3. Protobuf序列化、反序列化的性能对比

4. Protobuf 原理

4.1 protobuf 数据结构

4.2 protobuf 编码方式

4.3 TAG 编码过程

4.4 Varint 编码过程

4.5 Varint 解码过程

4.6 Zigzag 编码过程

4.7 总结建议

简介

发行版

贡献者

近期动态

搜索帮助

chenjim / Protobuf 使用介绍及原理