PgSQL-内核特性-TupleTableSlotOps

PgSQL-内核特性-TupleTableSlotOps

执行器中表达式结果、函数结果、投影结果等，各种结果都需要以元组的形式返回，所以PgSQL引入了一种通用格式保存数据：TupleTableSlot。PgSQL执行器将记录存储到“元组表”中在各个算子之间进行传递，元组表是独立TupleTableSlot的链表。而TupleTableSlot又分为多种，以减少解析和构建开销。

1、介绍

存储模块提供了元组（HeapTuple）的定义和操作接口，但这些接口针对物理元组，解析和构造开销比较大，不能满足执行器对性能要求。执行器在进行投影和选择操作时，需要快速获取元组属性；缓存元组时又希望元组尽可能小，以节省空间。所以PgSQL定义了多种TupleTableSlotOps。

1.1 内置的slot类型

按照分配的成员函数TupleTableSlotOps进行区分：

1）磁盘缓冲页的物理元组（TTSOpsBufferHeapTuple）

2）在分配的内存中构造的物理元组（TTSOpsHeapTuple）

3）在分配的内存中构造的“最小化”物理元组（TTSOpsMinimalTuple）

4）由Datum/isnull数组组成的“虚拟”元组（TTSOpsVirtual）

说明：

1）前面两个都是处理“物化”的元组，只是资源管理方式不同。

2）对于磁盘页上的元组，需要pin住对应的buffer，直到TupleTableSlot上元组的引用被删除

3）对于分配的内存中的元组，通常在TupleTableSlot上元组的引用被删除时释放内存。

4）对于“最小化”的元组，处理方式与分配的内存中的元组类似。目前最小化元组不会存储在缓冲区上，并且没有“系统列”，实际上有OID，但是我们不需要访问。

5）“虚拟”元组是一种优化，以最小化计划节点之间物理数据拷贝。“虚拟”元组只有values和NULL的bitmap组成的虚拟元组。Slot中指向存储的Datums指针和TupleTableSlot直接关联，直到物化后才会关联。通常情况下指向子节点返回输出TupleTableSlot的元组存储部分，或者函数在执行计划节点的per-tuple econtext中构建的结果。执行计划节点确保“虚拟”元组只有非法或者不是物化的时候才释放资源。需要注意，“虚拟”元组没有任何系统列。

6）TupleTableSlot中的Datum/isnull数组有双重作用：对于“虚拟”slots，这就是全部的数据，其他类型的slot需要从tuple中提取。（注意，物理元组的values的里面有很多传引用的值，真正的值记录在物理元组中，这里只是记录了引用指针）

7）TupleTableSlot中的tts_flags标签TTS_FLAG_EMPTY时表示该slot为空，即没有实际元组值。TTS_FLAG_EMPTY是新创建slot还没分配tuple描述符的唯一状态。这种状态下不能设置TTS_SHOULDFREE标记，tts_tuple必须为NULL ,tts_nvalid必须是0。SHOULDFREE设置后，物理tuple被slot拥有，当slot的引用删除后，需要释放。

8）tupleDescriptor 只是由 TupleTableSlot 代码引用，而不是复制。 ExecSetSlotDescriptor() 的调用者负责提供一个描述符，该描述符的生命周期必须与slot一样长。

1.2 TupleTableSlot结构

/* base tuple table slot type */
typedef struct TupleTableSlot
{
  NodeTag    type;
#define FIELDNO_TUPLETABLESLOT_FLAGS 1
  uint16    tts_flags;    /* Boolean states */
#define FIELDNO_TUPLETABLESLOT_NVALID 2
  AttrNumber  tts_nvalid;    /* # of valid values in tts_values */
  const TupleTableSlotOps *const tts_ops; /* implementation of slot */
#define FIELDNO_TUPLETABLESLOT_TUPLEDESCRIPTOR 4
  TupleDesc  tts_tupleDescriptor;  /* slot's tuple descriptor */
#define FIELDNO_TUPLETABLESLOT_VALUES 5
  Datum     *tts_values;    /* current per-attribute values */
#define FIELDNO_TUPLETABLESLOT_ISNULL 6
  bool     *tts_isnull;    /* current per-attribute isnull flags */
  MemoryContext tts_mcxt;    /* slot itself is in this context */
  ItemPointerData tts_tid;  /* stored tuple's tid */
  Oid      tts_tableOid;  /* table oid of tuple */
} TupleTableSlot;

1.3 TupleTableSlotOps类型关系

这四种基本都是从TupleTableSlot衍生而来。

2、以SeqScan算子为例

ExecInitSeqScan初始化了两个TupleTableSlot:ss_ScanTupleSlot和ps_ResultTupleSlot。分别用于保存从存储扫描上来的记录和投影的结果。其中ss_ScanTupleSlot为TTSOPSBufferHeapTuple类型，ps_ResultTupleSlot为TTSOpsVirtual类型。

我们看下算子的执行。首先需要从底层存储读取记录：

1）ExecSeqScan->SeqNext从底层读取记录，可以看到物理页上的记录通过指针保存到HeapTuple

2）HeapTuple通过tts_buffer_heap_store_tuple函数保存到BufferHeapTupleTableSlot的base.tuple中

3）返回的是BufferHeapTupleTableSlot，作为TupleTableSlot地址转换后返回

接着再看下投影操作：

1）其实是BufferHeapTupleTableSlot放到econtext->ecxt_scantuple，然后进行表达式计算（投影操作通过表达式计算完成）

2）投影结果保存到ps_ResultTupleSlot中，他是TTSOpsVirtual类型。

3）由此从底层存储的TTSOPSBufferHeapTuple转换成TTSOpsVirtual类型。

3、总结

四种类型关系如上图所示。

1）TupleTableSlot本身带了tts_values、tts_isnull能存数据。

2）TupleTableSlot的衍生结构【HeapTupleTableSlot】多了个物理tuple的指针，能挂一个物理tuple，用的时候解开到tts_values、tts_isnull中。

3）HeapTupleTableSlot的衍生结构【BufferHeapTupleTableSlot】又多了个buffer，他会和buffer关联起来，释放或materialize后时候需要把buffer释放掉。

4）TupleTableSlot的衍生结构【MinimalTupleTableSlot】在基类的基础上了记录了物理元组tuple和mintuple，mintuple表示物理元组去掉HeapTuple头和HeapTupleHeader头之后剩下的部分：isnull/dataums，纯数据部分。

5）TupleTableSlot的衍生结构【VirtualTupleTableSlot】就比较简单的了，只多了个char *data，用于记录任何数据，可以满足各种场景的需求。