NAFNet（ECCV 2022）-图像修复论文解读

论文: 《Simple Baselines for Image Restoration》
github: https://github.com/megvii-research/NAFNet

解决问题

目前图像复原领域SOTA方法复杂度比较高，这不利于分析和方法比较；作者提出简单网络NAFNet，发现激活函数非必须，在GoPro、SIDD取得SOTA。

算法

背景

block间通常通过有两种方式，如图2所示：
1、不同feature map之间进行联系；
2、多阶段网络，后一个阶段精细化前一个阶段结果；

block内设计如图3a所示，多个反卷积attention机制，门控反卷积，swin transformer block、HINBlock

为了简化网络，作者使用常规图2c中U-Net结构

Simple Baseline

Plain Block

为了简化神经网络，作者提出PlainNet，使用最常见的模块，如图3b，之所以没有使用Transformer，是因为：
1、一些工作声称达到SOTA效果，Transformer不是必须的；
2、depthwise conv比self-attention机制更加简单；

归一化

BN（N/H/W通道计算均值方差）对于小batch统计量不稳定，IN可以避免此问题，但是一些工作展示IN（H/W通道计算均值方差）并不总是带来正向收益，需要finetune。随着Transformer的成功，LN（C/H/W通道计算均值方差）用于越来越多方法，因此作者使用LN至Plain Block，可以稳定训练过程。

激活函数

目前SOTA方法中存在趋势：使用GELU替换ReLU，在保持图像去噪性能的同时，也为图像去模糊带来了增益。

Attention机制

原生self-attention机制计算量随着特征图大小二次增长，swin transformer在固定大小局部window进行，可缓解计算量增加问题，然而缺少全局信息，原生channel attention（SE Network）满足要求：计算高效，同时具备全局信息；

总结

Simple Baseline结构如图2c，3c，每个组成部分很普通，比如：LN、GELU、CA，但它们组成的Baseliine超越之前SOTA。

NAFNet

作者想在保证性能前提下，进一步简化图3c中baseline，发现SOTA方法都使用GLU。

SimpleGate替换GELU

GLU如式1，GELU如式2，通过比较发现，GELU是GLU的特殊情况，同时 GLU本身包含非线性，基于此，作者提出SimpleGate，如式4，图4c，将feature map在channel维分为两部分，而后逐像素相乘。

SCA替换CA

CA过程如图4a、式5，可重写为式6，简化为GLU类似形式，作者仅保留CA两个重要部分：聚合全局信息，channel维信息交互，提出SCA，如式7

总结

Simple Baseline中，
1、SimpleGate替换GELU；
2、SCA替换CA；
得到简化后的NAFNe，其不包含任何激活函数（ReLU，GELU，Sigmoid）

实验

从PlainNet到simple baseline消融实验如表1；

从simple baseline到NAFNet的消融实验如表2，性能提升同时，速度加快；

表4验证不同block数量影响，当增大到72时，性能改进不明显；

表5验证SimpleGate中不同激活函数影响，发现激活函数非必要；

应用

RGB图像去噪

表6展示在图像去噪方向与SOTA方法比较，超越最佳结果Restormer0.28dB，同时计算量大幅降低。如图5，作者提出的方法可修复更多细节；

图像去模糊

在GoPro数据集图与SOTA方法比较如表7，可视化结果如图6

RAW图像去噪

实验结果如表8，可视化结果如图7。

结论

作者对基线进行分析发现非线性激活函数非必须，提出的NAFNet没有线性激活，虽然结构简单但是性能未下降。