2022图像去雨综述研读——单幅图像去雨数据集和深度学习算法的联合评估与展望

摘要

• 数据集的质量
  • 依据数据集构建方式分类：
    • 基于背景雨层简单加和
    • 背景雨层复杂融合
    • GAN数据驱动合成的数据集
    • 半自动化采集的真实数据集
• 图像去雨方法
  • 依据任务场景
    • 单任务——雨滴、雨纹、雨雾和暴雨的去除
    • 联合任务——雨滴和雨纹、所有噪声去除
  • 依据采取的学习机制和网络设计
    • CNN结构多分支组合
    • GAN的生成结构
    • 循环和多阶段结构
    • 多尺度结构
    • 编解码结构
    • 基于注意力
    • 基于Transformer
    • 数据模型双驱动的构建方式
• 单幅图像去雨后续高层任务的研究
  • 后续高层任务的研究文献
• 性能评价指标
  • 图像去雨算法性能的评价指标
• 合成数据集和真实数据集上的综合实验对比
  • 领域知识隐式引导网络构建可以有效提升算法性能
  • 领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性
• 单幅图像去雨工作目前面临的挑战和未来的研究方向

引言

• 单幅图像去雨任务
  • 或利用雨图呈现的像素空间信息
  • 或利用雨图和相应背景图的视觉属性来构建模型
• 从而获得干净背景图

由于时间信息的缺乏，单幅图像去雨任务比视频去雨任务更具有挑战性。

• 基于深度学习的单幅图像去雨算法的性能主要聚焦于两大方面：
  • 雨图数据质量
  • 图像去雨算法设计

雨的合成模型、雨图的分解、雨图的空间信息、雨纹或雨滴的掩码、雨纹纹理和背景的先验信息等领域知识显式或隐式引导作用是构建有效的图像去雨算法或合成更逼真雨图的算法模型的核心要素。 关于雨滴的建模、雨的物理模型以及雨和背景的相关领域知识详见 Yang 等人(2021) 、Zhang 等人(2021e) 。

去 雨 资 料 仓 库 ( https://github.com/hongwang01/Video-and-Single-Image-Deraining)