机器学习笔记 - TransUNet 用于医学图像分割的编码器

一、概述

        医学图像分割是发展医疗保健系统的必要前提，尤其是疾病诊断和治疗计划。在各种医学图像分割任务上，u形架构，也称为U-Net，已经成为事实上的标准并取得了巨大的成功。然而，由于卷积操作的固有局部性，U-Net 通常在显式建模远程依赖方面表现出局限性。为序列到序列预测而设计的 Transformer 已成为具有先天全局自注意力机制的替代架构，但由于低级细节不足，可能导致定位能力有限。

        在论文中，提出了 TransUNet，它兼具 Transformers 和 U-Net，作为医学图像分割的强大替代方案。一方面，Transformer 将来自卷积神经网络 (CNN) 特征映射的标记化图像块编码为用于提取全局上下文的输入序列。另一方面，解码器对编码特征进行上采样，然后将其与高分辨率 CNN 特征图相结合，以实现精确定位。

        论文地址：

https://arxiv.org/pdf/2102.04306.pdfhttps://arxiv.org/pdf/2102.04306.pdf        对应代码