基于多尺度注意力网络单图像超分（MAN）

引言

Transformer的自注意力机制可以进行远距离建模，在视觉的各个领域表现出强大的能力。然而在VAN中使用大核分解同样可以得到很好的效果。这也反映了卷积核的发展趋势，从一开始的大卷积核到vgg中采用堆叠的小卷积核代替大卷积核。

 上图展现了MAN网络在同样的性能下具有更少的参数量。

提高模型性能，通常有三种方法：

• 更大的数据集
• 更好的训练策略
• 更好的网络结构

引言部分作者介绍了RCAN,RDN,MSRN的网络结构。作者之所以会提出这样的网络结构是因为：首先，transformer在各个领域大放光彩，但是作者认为transformer中的自注意力机制具有二次复杂度（就是太复杂了）。而出现的VAN（大核注意力机制）简单的堆叠卷积同样可以达到远距离建模的作用。所以作者产生了idea,就是应用VAN中的LKA（大核分解）来组建网络结构。作者为了最大化LKA的作用，作者采取了transformer的结构，而不是应用RCAN的架构。我们都知道transformer中包含了自注意力和MLP。但是作者认为MLP结构太过于复杂，用于低级视觉处理任务有点大材小用，所以作者引入了GSAU.

总结来说：作者首先提出了多尺度大核注意力模块（MLKA）,可以得到多尺度远程建模依赖，提高了模型的表示能力。然后作者将门控机制和空间注意力结合在一起，构建了简化了前馈网络，可以减少参数和计算。

模型结构