空洞卷积学习笔记

推荐视频讲解:https://www.bilibili.com/video/BV1Bf4y1g7j8/?spm_id_from=333.999.0.0

什么是空洞卷积

空洞卷积也叫扩张卷积或者膨胀卷积，简单来说就是在卷积核元素之间加入一些空格(零)来扩大卷积核的过程。（在增加感受野的同时保持特征图的尺寸不变(要加padding)）

空洞卷积的简单原理。下图是常规卷积和空洞卷积的动图对比：
普通卷积:

空洞卷积:

通过对比感觉普通卷积就是空洞卷积的一种特殊情况，扩张率为1的一种情况。

为什么用空洞卷积

卷积的问题

空洞卷积的好处

1. 扩大感受野：在deep net中为了增加感受野且降低计算量，总要进行降采样(pooling或stride 为 2 )，这样虽然可以增加感受野，但空间分辨率降低了。为了能不丢失分辨率，且仍然扩大感受野，可以使用空洞卷积。这在检测，分割任务中十分有用。一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。
   

• a是普通的卷积过程(dilation rate = 1),卷积后的感受野为3

• b是dilation rate = 2的空洞卷积,卷积后的感受野为5

• c是dilation rate = 3的空洞卷积,卷积后的感受野为8

• 获取多尺度上下文信息。当多个带有不同dilation rate的空洞卷积核叠加时，不同的感受野会带来多尺度信息，这对于分割任务是非常重要的。

总结

空洞卷积存在的问题

潜在问题 1：The Gridding Effect(网格效应)

由于空洞卷积的计算方式类似于棋盘格式，某一层得到的卷积结果，来自上一层的独立的集合，没有相互依赖，因此该层的卷积结果之间没有相关性，即局部信息丢失。这对pixel-level dense prediction 的任务来说是致命的。

远距离获取的信息没有相关性：由于空洞卷积稀疏的采样输入信号，使得远距离卷积得到的信息之间没有相关性，影响分类结果。本来远距离获得信息是件好事，结果却没有相关性。

潜在问题 2：Long-ranged information might be not relevant.

空洞卷积虽然在参数不变的情况下保证了更大的感受野，但是对于一些很小的物体，本身就不要那么大的感受野来说，这是极度不友好的。

总结

• Panqu Wang,Pengfei Chen, et al.Understanding Convolution for Semantic Segmentation.//WACV 2018
• HDC原则 (Hybrid Dilated Convolution)

混合膨胀卷积是针对膨胀卷积存在的问题所提出的，对比膨胀卷积，主要包含以下三方面的特征：

1. 叠加的膨胀卷积的膨胀率dilated rate不能有大于1的公约数（比如[2, 4, 6]），不然会产生栅格效应
2. 膨胀率dilated rate设计成了锯齿状结构，例如[1, 2, 5, 1, 2, 5]这样的循环结构
3. 膨胀率dilated rate需要满足：

Dilated Convolution和HDC的对比试验：