SK 注意力模块 原理分析与代码实现

前言

本文介绍SK模块，一种通道注意力模块，它是在SK-Nets中提出的，SK-Nets是2019 CVPR中的论文；SK模块可以被用于CV模型中，能提取模型精度，所以给大家介绍一下它的原理，设计思路，代码实现，如何应用在模型中。

一、SK 注意力模块

SK 注意力模块，它是一种通道注意力模块；常常被应用与视觉模型中。支持即插即用，即：它能对输入特征图进行通道特征加强，而且最终SK模块输出，不改变输入特征图的大小。

• 背景：它在SE注意力模型的基础上进行改进；SK在学习通道注意力信息中，通过网络自己学习，来选择融合不同感受野的特征图信息；
• 设计：SK是Selective Kernel的缩写，意思是选择卷积核，它能使用不同尺寸的卷积核，对输入特征图进行提取特征࿰