【论文阅读笔记】NTIRE 2022 Burst Super-Resolution Challenge

论文简介

  连拍超分辨率（Brust Super-Resolution）近年来因其在移动摄影中的应用而受到越来越多的关注。通过合并来自场景的多个移位图像的信息，连拍超分辨率算法旨在恢复细节，否则无法使用简单的输入图像获得这些细节。在挑战中，参与者的任务是生成清晰的 RGB 图像，分辨率提高 4 倍，将 14张连续的RAW 噪声突发作为输入。 也就是说，这些方法需要执行联合去噪、去马赛克和超分辨率。

NTIRE 2022 Burst Super-Resolution 相关介绍

  挑战包括 2 条赛道。 Track 1 使用合成数据，其中像素精确的高分辨率地面实况可用。 另一方面，Track 2 使用手持相机捕捉的真实世界连拍，以及使用 DSLR 捕捉的大致对齐的参考图像。14 个团队参加了最后的测试阶段。
  该任务是针对相机的连拍模型进行的。除了允许摄影师从多幅图像中选择最佳照片外，连拍模式拍摄还提供了将来自多幅图像的信息组合以生成单个更高质量图像的可能性。例如，由于不同图像中的噪声近似独立，因此可以将连拍图像合并在一起以执行去噪 [35, 22]。此外，如果连拍图像是使用不同的曝光设置拍摄的，则可以将它们组合起来进行 HDR 成像。

  作为挑战的一部分，参与者需要生成一张干净的高分辨率图像，并将多张嘈杂的 RAW 图像作为输入。 因此，该任务需要执行联合降噪、去马赛克和超分辨率，这是 ISP 中的基本步骤。Track 2使用的评估数据集是 BurstSR dataset [4]。

Track 1：合成数据

  在轨道1中，输入的连拍图是通过一个单独的sRGB图像合成的。这样能保证有有一个对齐的GT高分辨率图。

  为了生成合成的连拍图，使用论文[4]中介绍的管道：

1. 使用逆相机管道 [7] 将 sRGB 图像转换为线性传感器空间。
2. 将随机平移（最多 24 个像素）和旋转（最多 1 度）应用于此线性图像以获得连拍。
3. 通过使用双线性插值将每个图像下采样 4 倍并使用拜耳模式对它们进行马赛克操作（mosaicking）来获得 RAW 低分辨率连拍。

  参与者可以自由使用除 BurstSR 数据集 [4] 的验证拆分之外的任何图像数据集来生成用于训练的合成连拍。Track 1 的官方验证集是使用来自 BurstSR 数据集 [4] 验证拆分的 DSLR 图像生成的。 验证集包含 100 个连拍，每个连拍包含 14 张分辨率为 256 × 256 的 RAW 图像。

Track 2：真实世界