ViT模型中的tokens和patches概念辨析

概念辨析

在ViT模型中，“tokens”（令牌）和"patches"（图像块）是两个相关但不同的概念。

• 令牌（Tokens）：在ViT中，令牌是指将输入图像分割成固定大小的图块，并将每个图块映射为一个向量表示。这些向量表示即为令牌。每个令牌代表图像中的一个局部区域，可以看作是图像的抽象表示。通过将图像分割成令牌序列，并将其输入到Transformer模型中，ViT能够利用自注意力机制来建模图像中的全局关系。

• 图像块（Patches）：图像块是指将输入图像分割成固定大小的小块。在ViT中，图像块被用作生成令牌的基本单位。每个图像块由一组像素组成，并通过线性变换映射为令牌的向量表示。图像块的目的是将图像分割为可处理的小块，以便进行后续的编码和处理。

因此，图像首先被分割为图像块（patches），然后每个图像块被映射为一个令牌（tokens）。令牌是对图像块的抽象表示，用于输入到Transformer模型中进行全局关系的建模。

对于标准的Transformer模块，要求输入的是token（向量）序列，即二维矩阵[num_token, token_dim]，如下图，token0-9对应的都是向量。

输入步骤

1. 首先将一张图片按给定大小分成一堆Patches。以ViT-B/16为例，将输入图片大小(224x224)按照16x16大小的Patch进行划分，划分后会得到$(224/16{)}^2=196$个Patches。
2. 通过线性映射将每个Patch映射到一维向量中，以ViT-B/16为例，每个Patche数据shape为[16, 16, 3]通过映射得到一个长度为768的向量（直接称为token）

总结起来，图像块是图像的原始分割块，而令牌是对图像块的向量表示，用于输入ViT模型进行处理。

参考：Vision Transformer详解