Swin Transformer网络模型

文章目录

前言
网络结构

前言

论文地址：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文代码：https://github.com/microsoft/Swin-Transformer

Transformer从NLP迁移到CV(ViT)上没有大放异彩,是由于几点原因

视觉实体规模变化很大，在不同场景下ViT性能未必很好
图像分辨率高，像素点多，Transformer基于全局自注意力的计算导致计算量较大,较为耗时

为此提出2个解决方法

1.引入CNN中常用的层次化构建方式构建层次化Transformer。

2.提出滑窗操作，其中滑窗操作包括不重叠的local window，和重叠的cross-window。将注意力计算限制在一个窗口中，一方面能引入CNN卷积操作的局部性，另一方面能节省计算量。

在这里插入图片描述

所提出的Swin Transformer通过合并更深层的图像块（灰色显示）来构建层次特征图，并且由于只在每个局部窗口（红色显示）内计算自注意，因此对输入图像大小具有线性计算复杂度。因此，它可以作为图像分类和密集识别任务的通用骨干。

网络结构

整体架构

在这里插入图片描述
上图是Swin Transformer的整体架构。
架构详解
1.首先，和ViT类似，通过patch partition将输入图片HxWx3划分为不重合的patch集合，其中每个patch尺寸为4x4，那么每个patch的特征维度为4x4x3=48，patch块的数量为H/4 x W/4。
2.Stage1，将分的块先通过一个linear embedding将输划分后的patch特征维度变成C，然后送入Swin Transformer Block；Stage2到Stage4操作相同，先通过一个patch merging，将输入按照2x2的相邻patches合并，这样子patch块的数量就变成了H/8 x W/8，特征维度就变成了4C。

Swin Transformer Block模块

在这里插入图片描述
Swin Transformer是通过将变压器块中的标准多头自注意(MSA)模块替换为基于移位窗口的模块，其他层保持不变。一个Swin Transformer由一个基于移位窗口的MSA模块组成，然后是一个中间具有GELU非线性的2层MLP。在每个MSA模块和每个MLP之前应用一个LayerNorm(LN)层，在每个模块之后应用一个残差连接。

W-MSA

W-MSA：Window Multi-headed Self-attention

在这里插入图片描述
之前的Vision Transformer（ViT）是对全局都进行注意力机制的计算（如左图所示）。而在论文中作者建议在局部窗口（如右图所示）内计算自注意。这些窗口是以不重叠的方式均匀地分割图像。假设每个窗口包含M×M图像块，全局MSA模块的计算复杂度和基于窗口的计算复杂度：
在这里插入图片描述

具体公式推导见Swin-Transformer网络结构详解

相对位置编码

在文章的后续实验有证明相对位置编码的加入提升了模型性能。
相对位置编码的详细内容见：Swin-Transformer网络结构详解

SW-MSA

SW-MSA：Shifted Window Multi-headed Self-attention
在这里插入图片描述

红色框的叫做一个local window，灰色框的叫一个patch。我们在每一个local window中计算self-attention。如果是只计算一次self-attention，每个local window之间是没有联系的，但是有关联才对。因此层l+1在层l给出了新的划分关系，可以很好的将未联系的块建立联系。但是，这么划分的话就有9个块了，较为耗时。
因此作者提出了shifted-window进行了第二次self-attention。

在这里插入图片描述
这里，我们将标有数字的列作以下操作（操作部分可以参考SW-MSA）：循环上移，在循环左移，最后变成如上所示的上层图片。变化之后的图像块有些是没有联系关系的。图中将具有联系关系的用黄色框标出，紫色框标出那些没有联系的框。
在这里插入图片描述
为了更好得到看出滑窗操作后能将之前未建立联系的图像块之间建立联系，因此用橙色的框标出了移动后所建立的联系，正好对应右图的黄色框部分。这样操作后就可以将原先分隔开的区域进行计算，建立联系。