使用多阶段和多尺度联合通道协调注意融合网络进行单图去雨[2022论文]

这是篇2022年来自一区的International Journal of Intelligent Systems的贵州大学的去雨论文

论文链接：百度网盘 请输入提取码 提取码：zdje

✍介绍

作者提出的问题：

1、目前去雨方法不能对不同密度和方向的雨条纹信息进行有效的编码

2、去除雨条纹的同时如何保持图像的细节不丢失

作者提出multi‐stage and multi‐scale joint channel coordinate attention fusion network (MMAFN)进行解决

总结来说：

1、使用两阶段的编解码网络来提取特征，第一阶段来提取粗略特征，第二阶段来整合并完善特征

2、joint channel coordinate attention block(JCCAB) 放置在两个网络中编解码层来编解码不同方向和密度的雨条纹特征

3、Multi‐level feature fusion (MLFF) block 利用注意力机制来防止图像细节丢失

4、Inception attention branch block (InceptionABB) 针对细雨条纹，融合不同尺度的相关信息

💪方法

网络是由两个编解码网络组成，对于每个阶段使用卷积来提取初始特征（对应流程图中Conv2d）,然后JCCAB来提取每个维度(通道维度和空间维度)的有用信息，并使用InceptionABB来提取多尺度特征，跳连接依然使用JCCAB处理特征映射，并在两个编解码网络之间引入MLFF块来将第一阶段网络提取的特征给第二阶段，来丰富特征信息并补偿多次下采样造成的信息损失。最后通过一个卷积来获得输入图像的残差输出。

JCCA block(JCCAB)

设计目的：被用于在网络的编解码部分来提取特征

Joint channel coordinate attention (JCCA)

通过引入位置信息，可以消除具有不同密度，大小和方向的雨水条纹。JCCA对通道关系和位置信息进行编码，分两个步骤即多通道注意融合和位置信息嵌入。

多通道注意力融合

由多个不同大小的卷积内核输出的特征图的通道信息，采用类似于CAB模块的设置，受SKNet启发。

位置信息嵌入

设计了一个位置注意模块来准确捕捉雨点的位置信息，使用全局平均池对水平和垂直维度中的特征进行编码，生成水平和垂直方向的特征图。这两种变换在保持精确位置信息的同时，捕获了两个不同方向上的长距离依赖关系，有助于网络更准确地定位不同方向的雨点（可解释性好）。使用卷积恢复出原通道数，并通过BN和Sigmoid进行激活

JCCA的最终输出：

Inception attention branch block (InceptionABB)

JCCAB虽然能编码不同方向和密度的雨条纹，但是忽略了小的雨条纹。

设计目的：采用多尺度融合的思想来聚合上下文信息来处理细小的雨条纹。

提出的InceptionABB模块设计，使用DBB从不同的尺度上提炼和整合相关信息。JCCAB聚焦于信息量最大的有用尺度信息，增强网络的判别学习能力。下面的DBB被用来帮助更详细地表达多尺度雨纹信息。此外，在跳越连接中使用了一个大小为1的卷积核，实现了多尺度信息的逐步融合，有效地防止了梯度的消失。

diverse branch block(DBB)

 

不同大小的卷积核分支的效果要优于相同大小的卷积核分支，受InceptionNet启发，将网络变宽而不是变深。

Multi ‐ level feature fusion (MLFF)

设计目的：保留图像的背景细节，同时删除雨纹。在两级网络之间，融合了两级网络的特征，进一步细化了从第一级网络提取的特征。

 MLFF将第一阶段的编码和解码部分，第二阶段的编码部分作为输入，参考CSFF模块。融合信息经过DBB模块丰富特征信息。

优点：加入注意力机制来捕获融合有效部分，融合机制可以弥补多次下采样细节的丢失。

Loss function

 👉实验结果

采用MPRNet的多数据集训练方法

定量和定性结果

 

 

 

目标检测

 

 

消融实验

 

---

如果觉得对你有帮助的话:

👍 点赞，你的认可是我创作的动力！

⭐️ 收藏，你的青睐是我努力的方向！

👄 评论，你的意见是我进步的财富！