特征增强自蒸馏卷积神经网络

目录

1.1 模型总体架构

1.2 特征增强金字塔模块

1.3 辅助分类器

 

---

1.1 模型总体架构

与自然图像相比，遥感场景图像地物较为复杂，具有类间相似度高和类内差异大的特点，这导致常用的网络模型难以有效学习遥感场景图像的表征特征。此外，现有方法大多采用硬标签来监督模型学习，使模型在学习过程中丢失了更细粒度的信息，从而导致模型无法学习到所有物体的特征，存在监督不足的问题。为了解决这些问题，提出了一种特征增强自蒸馏卷积神经网络。

它由图片中间灰色区域的主干分类器网络、图片下方绿色区域的自教师网络和图片上方蓝色区域的两个辅助分支组成。使用ResNet34作为骨干网络来生成多层特征。然后将多层特征输入到特征增强金字塔模块中，以生成细化的特征图。绿色区域之所以被称为自教师网络，是因为在相同的模型下，绿色区域是从骨干网络延伸出来的分支。绿色区域生成更精细的特征图，可以通过特征蒸馏来指导模型学习。 

1.2 特征增强金字塔模块

图中的绿块部分称为特征增强金字塔模块，主要由反卷积和卷积组成。反卷积用于对具有丰富语义信息的深层特征进行上采样，然后将其与水平卷积获得的特征融合。融合后的特征通过卷积进行进一步处理。特征金字塔网络可以生成多尺度和多层次的特征图。反卷积被用作上采样技术。反卷积将具有丰富语义信息的特征图上采样两倍。通过反卷积，将语义信息丰富的特征与神经网络的底层特征相结合，达到增强空间特征的目的。

1.3 辅助分类器

在神经网络的中间层引入了两个额外的分支来辅助任务训练，在训练过程中提供额外的监督信号，加速模型收敛，提高模型泛化能力。引入辅助分支，通过骨干网络分类器和辅助分类器之间的蒸馏损失，可以为模型提供额外的监督信号，有助于梯度更好地传播回网络的较浅层，从而提高网络的训练效果。

浅层辅助分类器和主分类器在网络中的位置可能导致它们学习数据的不同特征表示。这会导致不同位置的权重更新不一致。在这种情况下，浅层辅助分类器和主分类器之间的权重调整可能不协调，导致分类结果不一致。为了避免浅层分类器和深层分类器之间的权重更新不一致的情况，在主干网络的中间层添加了额外的瓶颈结构。