Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement论文阅读笔记

这是AAAI2022的一篇有监督暗图增强的论文，主要创新点有两个，一个是学习降质过程，一个是多分辨率融合。

定义

• 文章将暗图定义为以下降质过程：
  $$I_L=I_D+I+f(I,I_D)=I_D+\psi (I_D,I)$$
  其中$I_L$为暗图，$I_D$为降质因素（亮度、噪声、色差等），$I$为亮图，$f(I_D,I)$为两者之间的综合反映导致的降质因素。将 $I+f(I,I_D)$ 定义为 $\psi (I_D,I)$
• 文章进一步定义了从$I_L$到$I$的复原过程，为：
  $$I={\psi }^{-1}(I_L-\varphi (I_L))$$
  其中$\varphi (I_L)$用来根据$I_L$预测$I_D$，是一个称为DeG的网络；${\psi }^{-1}()$用来根据预测的$I_B=(I_L-\varphi (I_L)$（对应了$\psi (I_D,I)$）预测$I$，是一个称为ReG的网络。
• ReG 和 DeG 的网络结构都是提出的一个新的多分辨率融合网络：MFN

DRGN

• 完整的训练和测试流程对应的模型称为DRGN。DRGN分为两部分，一部分是用于学习降质的DeG，一部分是用于学习复原的ReG。
  
• 如上图，基本的训练流程是原图先degrade，再refine。训练DeG时，用到了 $D_{low}$ 和 $D_{de}$ 两个discriminator。
• $D_{low}$的正例是成对图像数据集中的暗图，负例是根据$I_L$生成的$I_D$和已有的一张亮图$I_{ref}$（来自额外的单独的亮图数据集）来生成一张模拟暗图$I_{L,ref}$（猜测是$I_{L,ref}=I_{ref}-I_D$，但如果是这样，这次模拟就忽视了前文提出的$f(I,I_D)$）
• $D_{de}$的正例是$I_D$，负例是$DeG(I_{L,ref})$，其实这里我也不太能理解这样一个discriminator的作用，如果按文章的写法似乎梯度并不从$I_{L,ref}$传递到$I_D$，如果是这样G就是简单地从一张真图提取降质和从一张假图提取降质，还必须使得真假图提取的降质相同，但明显假图的分布并不适合用来提取正确的降质。
• 文章为DeG还加了一个基于KL散度的距离损失，用来使得真假图提取的降质相同。
• 上面的这些操作好像违背了我对Generator的认知，一般Generator不会以假图作为输入吧，除非有足够自信认为这些假图和真图具有一样的分布，但明显文章自己也说了并非如此，还有一个$f(I,I_D)$，那么是希望DeG能够把两个分布的输入映射到同一分布上去？总之怪怪的。
• ReG倒是没有采取GAN的训练方式，而用了距离损失和SSIM损失。
  

MFN

• 文章使用的网络结构如下，其实很简单，就是一个类似unet的结构，只不过是并行的：
  

实验结果

• 本文在成对图像数据集上进行了了一系列实验

• 同时也在Real63数据集上比较了NIQE SSEQ CN CD等主观评价指标

• 最重要的是，在模拟暗图的目标检测数据集COCO1000以及真实暗图目标检测数据集ExDark上基于Yolov4都获得了性能的提升，而这项实验的训练集是COCO的模拟亮-暗图成对数据集（但文中并没有说明是如何生成的暗图，也没有说YOLOv4的训练集是什么，只说是预训练的）：