Self-supervised Low Light Image Enhancement and Denoising 论文阅读笔记

这是哈工大的一篇无监督暗图增强和去噪的论文，似乎还没有在哪个会议期刊正式发表

• 文章提出了一个能够同时进行暗图增强和去噪的框架，由两部分组成，一部分是对比度增强网络（ICE-Net），一部分是进一步增强和去噪（RED-Net）的网络，并且RED-Net可以用来配合其它的基于Retinex或者HSV的增强算法，网络结构如下：

ME-Retinex model

• 原 retinex model 把图片的亮度分解为 reflectance 和 illuminanation 的乘积
  
• 并基于这一理论，可以利用网络和基于先验设计的一些损失进行图片的分解：
  
  
• 本文沿用了retinex分解图像的思想，并基于“反射分量最大的通道的熵最大化”的约束设计了如下的损失函数：其中，F表示直方图均衡化操作，S表示HSV彩色空间中的S分量。文中提到，retinex model-based decomposition相当于只改变HSV彩色空间中的V值的对比度而不改变H和S值。$l_R$的第二项是为了抑制噪声。
  
  
• I R的分解重建工作由ICE-Net完成（但好像没有说ICE-Net的网络结构，只知道是卷积神经网络）。

RED-Net

• 同样采取retinex理论，但损失函数修改如下（上标的 ‘ 是为了与ICE-Net生成的分量相区分，这是RED-Net生成的分量；N表示取模值，G表示均值滤波器）：
  
  
  
  
  

• 这里基于的先验是：噪声和纹理信息都具有梯度，区分噪声和细节与纹理信息的依据是，细节与纹理信息平滑后仍然具有梯度，而噪声平滑后梯度就接近0了。因此通过对 x ∗ exp (−λx) 作为损失项进行惩罚，如下图所示：
  

• 由于噪声的梯度值归一化后居于曲线峰值的左侧，最小化 x ∗ exp (−λx)带来的梯度方向会使得x变小，也就是抑制了噪声的梯度从而抑制了噪声；而纹理与结构信息的梯度值归一化后居于曲线峰值的右侧，最小化 x ∗ exp (−λx)带来的梯度方向会使得x变大，也就是增强了结构和纹理信息的梯度，增强了对比度。

• 此外，上面的 $W$ 和 $W_R$ 不参与梯度传播。

实验结果

• 比较了几个数据集上的NIQE、SSIM和PSNR
•