注意力机制及代码实现

博客来源于： Pytorch 图像处理中注意力机制的解析与代码详解

什么是注意力机制

注意力机制是CV深度学习里面常用到的一个小技巧，注意力机制的核心就是让网络去关注到它所需要关注的地方。

当我们使用卷积网络去处理图片的时候，我们希望网络去关注应该注意的地方，而不是什么都关注。我们肯定不能自己手动去条件需要注意的地方，这个时候如何让卷积网络去自适应注意重要的位置就变得极为重要了。

注意力机制就是实现网络自适应注意的一个方式,注意力机制可分为：通道注意力机制,空间注意力机制，通道空间注意力机制.

• 通道注意力机制： 沿通道方向自适应发现哪些feature map比较重要，然后网络更关注重要的语义特征。
• 空间注意力机制： 自适应发现我们的feature map哪些区域是比较重要的，然后网络会更加关注这些重要的区域。
• 空间通道注意力机制： 沿通道维和空间维度，去寻找重要的feature map以及feature map中的区域，让网络重点关注重要的地方。

SENet的实现

SENet是通道注意力机制的典型实现。
2017年提出的SENet