初识Protobuf

Protobuf是什么

Protobuf全名：Protocol Buffers。是谷歌用于序列化结构化数据的语言无关和平台无关的可扩展机制。目前本人接触到的应用场景主要有：

1. 定义服务之间所依赖数据的结构。比如服务A需要将结构体S写入文件，服务B需要从文件读取结构体S。在这种场景下我们通常用Protobuf定义S的结构属性。
2. 定义服务之间通信的数据结构，通常用于rpc的场景。后面会专门出一篇博客介绍这部分功能。

Protobuf基本语法

我们跟着一个简单Protobuf文件来了解下Protobuf基本语法吧：（基于Proto3）

syntax = "proto3"; //指定本文件采用的proto v3语法

message Person_Entity { // 定义Person结构体
    enum Gender { // 定义性别，为枚举类型，值为男性(Male)或者女性(Female)
        Male = 0;
        Female = 1;
    }
    string name = 1; // 定义Person结构体中的名称属性，类型为string
    uint32 age = 2; // 定义Person结构体中的年龄属性，类型为uint32
    Gender gender = 3; // 定义Person结构体中的性别属性，类型为Gender
    repeated Person_Entity children = 4; // 定义Person结构体中的孩子属性，类型为Person的列表类型
    map education_address_map = 5; // 定义上学阶段->上学地址的map映射
}
1
2
3
4
5
6
7
8
9
10
11
12
13

其中，enum类型的第一个value必须是0。

Protobuf编译

我们定义好了proto文件，在我们的项目中怎么使用呢？很简单，我们需要先用protoc将定义好的proto编译成符合我们项目语言的代码，之后直接在项目中使用即可。

1. 下载protobuf源码包

本文中使用Protobuf v3.5.0，下载地址：https://github.com/protocolbuffers/protobuf/releases/download/v3.5.0/protobuf-all-3.5.0.tar.gz
或者也可以前往https://github.com/protocolbuffers/protobuf/tags挑选你想要的版本。
如果使用wget下载失效，可以前往https://github.com/protocolbuffers/protobuf/releases/tag/v3.5.0手动点击下方protobuf-all-3.5.0.tar.gz进行下载。

2. 解压protobuf源码包

tar -zxvf protobuf-all-3.5.0.tar.gz
1

3. 设置protobuf编译目录

在这里，编译目录设置为protobuf源码路径下，之后在安装完protoc之后，protoc命令将存在于/usr/local/protobuf-3.5.0/bin/protoc

cshen@cshen-mac local % cd protobuf-3.5.0
cshen@cshen-mac protobuf-3.5.0 % ./configure --prefix=/usr/local/protobuf-3.5.0
1
2

4. 安装protoc

cshen@cshen-mac protobuf-3.5.0 % make && make install
1

安装完成后，可以输入以下命令检查protoc的版本是否正确

cshen@cshen-mac protobuf-3.5.0 % ./bin/protoc --version
libprotoc 3.5.0
1
2

5. 创建软连接

注意：这里目的地路径得用全路径：/usr/local/protobuf-3.5.0/bin/protoc

cshen@cshen-mac protobuf-3.5.0 % ln -s /usr/local/protobuf-3.5.0/bin/protoc /usr/local/bin/protoc3.5
1

5. 编译person.proto文件

我们可以使用protoc将proto文件编译成java，cpp，go，python等文件，只需要分别指定参数–java_out=. 或者 --cpp_out=. 或者 --go_out=. 或者 --python_out=. 。其中.表示生成的文件放在当前目录下。这里我们将person.proto编译成java文件

cshen@cshen-mac proto % protoc3.5 person.proto --java_out=.
1

编译成功后，将会在当前目录产生Person.java文件，而proto文件中的message Person_Entity将是Person类的内部类Person_Entity.

使用

接下来将用Scala代码模拟服务A将protobuf写进文件，服务B从文件读出protobuf的功能。

1. 需要在build.sbt中添加的依赖

libraryDependencies ++= Seq(
  "com.google.protobuf" % "protobuf-java" % "3.5.0", // 添加person.java中对com.google.protobuf.GeneratedMessageV3的依赖
  "com.google.guava" % "guava" % "16.0.1", // 添加对LittleEndianDataOutputStream/LittleEndianDataInputStream的依赖，使用其对象可以直接writeInt/readInt
)
1
2
3
4

同时，如果是在IDE里编写&测试代码，需要把含有Person.java文件的目录给mark为Sources Root
2. 服务A将protobuf写进文件

import java.io.{BufferedOutputStream, File, FileOutputStream}
import Person.Person_Entity
import com.google.common.io.LittleEndianDataOutputStream


object WriteProtobuf {
  def main(args: Array[String]): Unit = {
    val filename = "/tmp/person"
    val file = new File(filename)
    val dos = new LittleEndianDataOutputStream(new BufferedOutputStream(new FileOutputStream(file, false)))
    val person = Person_Entity.newBuilder()
      .setName("cshen")
      .setAge(18)
      .setGender(Person_Entity.Gender.Male)
      .putAllEducationAddressMap(new java.util.HashMap[String, String](){{
        put("undergraduate", "JNU")
        put("postgraduate", "HUST")
      }})
      .build()
    val size = person.getSerializedSize
    println(s"size:${size}")
    dos.writeInt(size) // 占用4个字节写person size
    println(s"person:\n${person}")
    person.writeTo(dos) // 也可以用dos.write(person.toByteArray)
    dos.close()
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3. 服务B将protobuf从文件读出

import java.io.{BufferedInputStream, File, FileInputStream}
import com.google.common.io.LittleEndianDataInputStream


object ReadProtobuf {
  def main(args: Array[String]): Unit = {
    val filename = "/tmp/person"
    val file = new File(filename)
    val dos = new LittleEndianDataInputStream(new BufferedInputStream(new FileInputStream(file)))
    val size = dos.readInt()
    println(s"size: $size")
    val personBytes = new Array[Byte](size)
    dos.read(personBytes)
    dos.close()
    val person = Person.Person_Entity.parseFrom(personBytes) //将字节流反序列化为Person_Entity对象
    println(person)
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18