论文精读:Medical Transformer: Gated Axial-Attention forMedical Image Segmentation

论文地址:https://arxiv.org/pdf/2102.10662.pdf  

代码地址:GitHub - jeya-maria-jose/Medical-Transformer: Official Pytorch Code for "Medical Transformer: Gated Axial-Attention for Medical Image Segmentation" - MICCAI 2021

Abstract.

        由于卷积体系结构中存在的固有的归纳偏差，它们缺乏对图像中的随机依赖性的理解。最近提出的基于转换器的架构，利用自注意机制对远程依赖关系进行编码，取得了十分优异的结果。大多数基于transformer的网络架构需要大规模数据集进行正确训练。然而，与视觉应用的数据集相比，医学成像中的数据样本数量相对较少，这使得很难有效地训练用于医学成像应用的变压器。为此，我们提出了一种门控的轴向注意模型，它通过在自注意模块中引入一个额