【CBAM||目标识别||注意力机制||gated卷积】Convolutional Block Attention Module

• 这篇是2018年的paper，已经有很多中文资料可以学习，因而不做重复工作~
• 记录一下核心要点，后续可阅。
• 【学习资源】CBAM：卷积注意力机制模块 
• 【学习资源】论文阅读-CBAM: Convolutional Block Attention Module 

CBMA:卷积注意力机制模块- 结合了空间（spatial）和通道（channel）的注意力机制模块。

给定一个中间特征图，CBAM模块会沿着两个独立的维度（通道和空间）以此推断注意力图，然后将注意力与输入特征图相乘以进行自适应特征优化。由于CBAM是轻量级的通用模块，因此可以忽略的该模块的开销而将其无缝集成到任何CNN架构中，并且可以与基础CNN一起进行端到端训练。

1.整体结构：

卷积层输出的结果，会先通过一个通道注意力模块，得到加权结果之后，会再经过一个空间注意力模块，最终进行加权得到结果。

2.通道注意力模块：

通道注意力图主要是由通道之间的关系得到，过去人们常用平均池化来聚合空间信息，但论文认为最大池化或许能捕获到另外一些重要的特征，所以论文同时使用了平均池化与最大池化。

输入的特征图

• 分别经过基于width和height的global max pooling 和global average pooling；
• 分别经过MLP；
• 将MLP输出的特征进行基于element-wise的add操作；
• 经过sigmoid激活操作，生成最终的channel attention featuremap；
• 将该channel attention featuremap和input featuremap做element wise乘法操作；
• 生成Spatial attention模块需要的输入特征。

通道注意力机制（Channel Attention Module）是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作。

在空间维度上进行压缩时，不仅考虑到了平均值池化（Average Pooling）还考虑了最大值池化（Max Pooling）。平均池化和最大池化可用来聚合特征映射的空间信息，送到一个共享网络，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图。

单就一张图来说，通道注意力，关注的是这张图上哪些内容是有重要作用的。

• 平均值池化对特征图上的每一个像素点都有反馈，
• 最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈。 

3.空间注意力模块:

设问：通道注意力关注的是什么，而空间注意力则关注的是什么？二者可以相互补充？

将Channel attention模块输出的特征图作为本模块的输入特征图

• 首先做一个基于channel的global max pooling 和global average pooling；
• 然后将这2个结果基于channel 做concat操作；
• 然后经过一个卷积操作，降维为1个channel；
• 再经过sigmoid生成spatial attention feature
• 最后将该feature和该模块的输入feature做乘法；
• 得到最终生成的特征。

空间注意力机制（Spatial Attention Module）是对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化。

• 最大池化的操作就是在通道上提取最大值，提取的次数是高乘以宽；
• 平均的操作就是在通道上提取平均值，提取的次数也是是高乘以宽；

接着将前面所提取到的特征图（通道数都为1）合并得到一个2通道的特征图。

 

 4.注意力注意到了什么？【可视化】