PostgreSQL逻辑复制（Logical Replication）原理

PostgreSQL 数据复制原理和实际操作演示

1 什么是WAL日志？

WAL 全称是Write-Ahead Logging，预写式日志在数据库系统中是一个保证数据完整性的标准解决方案。事物中对数据文件的变更会优先写入wal文件，只有等事物提交之后（日志文件刷盘成功）才会应用到数据文件。如果这个期间数据库发生崩溃，那么没有被应用的数据可以通过重放wal日志进行恢复。

通常我们对数据库的变更操作（INSERT、 UPDATE、 DELET）在写入wal成功之后就会给客户端返回成功，此时变更存在于wal日志和RAM中，后续在经过check point之后，数据才会落到data page中。
在pg中wal日志可以用来保证数据完整性，也可以用来做数据复制。那么wal文件到底是个什么东西呢？

通过观察数据库的wal文件我们可以发现，wal文件保存在pg的数据目录下的pg_wal目录下，如下图所示：

可以看到每个wal文件的大小为16MB（这个大小是可以调整的）， 内部被分成多个段（segement），每个段为8kb大小（可以调整）。

Wal文件中的内容无法直接以人可读的方式查看， 需要借助pg的内置的工具进行查看。如下模拟一个事物中插入三条数据：

我们通过pg的内置工具pg_waldump查看 介于 事物开始之前和事物提交之后的lsn之间的wal的内容。

这里提到了lsn， 那么lsn是什么东西呢？

在pg中的每写入一条记录都会在wal日志中增加一条wal记录，写入这个记录的位置就是lsn，全称为Log Sequence Number，lsn的值是wal文件中字节偏移量。在pg中wal文件的命名跟lsn之间有着关联关系。 首先来看下wal文件命名：

00000001   高8位，代表数据库的timeline	 
      
0000000E   中8位，代表logid           	

00000043   低8位，代表logseq

1
2
3
4
5
6

LSN的格式： E/43D09EB8

Lsn被“/”分隔，高位和wal名称中的中八位对应， 低位中的前两位和wal的低位对应， 后六位的十进制对应的是wal中的字节码的偏移量。Pg中可以通过提供的内置函数pg_walfile_name_offset来查询某个具体的lsn对应的wal文件个偏移量：

2 什么是逻辑复制？

既然有逻辑二字来限定复制那就说明还有其他的复制方式， 在pg中不止存在逻辑复制， 还有物理复制， 物理复制是逐块逐字节的进行复制。逻辑复制是一种基于对象的复制标识（replica identify）来复制数据对象及其变化的方式。
相较于物理复制， 逻辑复制提供了更加细粒度的控制。逻辑复制整体上采用的是一个发布订阅的模型，订阅者可以订阅一个或者多个发布者， 发布者也可以被一个或者多个订阅者订阅，通常我们在做逻辑复制的通用步骤是：订阅者首先获取发布者数据库上的数据快照并拷贝这部分存量数据，当这个快照复制执行完成之后，发布者数据库上的变更数据就可以实时的发送给订阅者，订阅者也会顺序处理这些增量数据，基于此逻辑复制可以保证事物的一致性，所以有时候也称逻辑复制为事物复制。

2.1 逻辑复制的基础知识

要使用pg的逻辑复制，就得用逻辑解码器，经过逻辑解码器解码后的数据基本上就可以肉眼可读了。Pg提供了两个内置的逻辑解码器一个是pgoutput 另外一个是test_decoding， pgoutput需要编写代码使用流式逻辑复制协议来使用，test_decoding插件我们可以直接使用sql命令执行。如下采用test_decoding来演示获取wal日志中的增量数据。

1. 提前准备好数据库，并修改数据库配置wal_level为logical（如果要使用逻辑复制，必须做此变更）

2. 接着我们准备好需要的slot， 关于slot以及其他术语我们后面介绍

创建slot

查看数据库当前的lsn

查看当前创建好的slot

// 先查询一次增量数据，发现为空

// 对现有数据库中的表做一次变更，然后执行查询

在讲逻辑复制的时候我们提到了几个名词，订阅者，发布者， 复制标识等，接下来就让我们来认识下这几个术语。

对于发布者和订阅者

在pg的数据复制过程中，发布者和订阅者是个相对的概念， 发布数据的为发布者，订阅数据的为订阅者，这个发布订阅的模型是可以进行级联的，订阅者也可以发布数据供下游继续订阅。

对于slot的详细信息可以查阅下表

2.2 数据复制场景中常用的SQL汇总

2.3 有了以上的理论基础我们如何实现数据复制呢？

Pg的jdbc驱动中提供了一套API来做逻辑复制。只需要简单的几行代码就可以实现一个简单的数据服务的逻辑。