• Human Guided Ground-truth Generation for Realistic Image Super-resolution

    1. 问题引入
    • 现在通过模拟退化过程来从高分辨率图像生成低分辨率图像，但是该过程没有引入人类的感知；
    • 所以本文首先训练了多个超分模型，为一张LR生成多张对应的HR，之后人工进行标注，将enhanced HR图片中的高质量区域标记为GTs，而artifacts的区域标记为负样本；有了数据集之后还提出了对应的损失函数；
    1. methods
    • 最初的方法使用bicubic来模拟LR图片，之后的方法使用long-short camera focal lengths来收集LR-HR数据对，再之后的方法通过组合多种退化方法(such as Gaussian/Poisson noise, (an-)isotropic blur kernel, downsampling/upsampling, JPEG compression and so on)，这个方法也有问题，所以本文提出了一种人类引导的GT数据生成策略；
    • 数据生成策略：包含三步：首先训练多个图像增强模型，输入HR，得到enhance之后的结果，在训练的时候还是使用LR-HR数据对，之后增强之后的图片和原图有明显区别的patch被提取出来，最后人工标注成对的patch为positive&similar&negative；
    • 增强模型：使用两种degradation设置，这一种侧重noise，一种侧重blur，并且选择了两种网络设置，CNN based和transformer based；
    • patch提取和标注：将上面四个增强模型应用到1600张HR数据上(DIV2K-800 + 400网络上收集 + 400手机拍摄)从而得到6400张增强图像，之后在每张图像上裁剪出512*512的patch，之后进行筛选得到20193个group，每个group包含一个HR patch + 4 enhanced patch，之后人工进行标注；
    • 训练策略：上面收集到的数据 I H + ( I P o s , I N e g ) I^H+(I^{Pos},I^{Neg}) IH+(IPos,INeg)，之后对 I H I^H IH进行退化模拟得到 I L I^L IL，从而得到63583个 L R − P o s LR-Pos LR−Pos对和2514个 L R − N e g LR-Neg LR−Neg对；当仅使用positive pair进行训练的时候，使用 L 1 L_1 L1​，perceptual和gan损失；当同时使用positive+negative对进行训练的时候，除上面的三种损失还增加了negtive损失；
  • 相关阅读:
    什么是终端特权管理
    赶紧收藏！2024 年最常见 20道 Kafka面试题（五）
    机器人技术研究现状
    第六章 SELinux
    Glide源码解析四（解码和转码）
    利用 Forcing InnoDB Recovery 特性解决 MySQL 重启失败的问题
    Jellyfish and Green Apple-Codeforces Round 902 (Div. 2)
    hexo博客使用docker自动化部署阿里云
    Mysql - 分库分表
    MSDC 4.3 接口规范（18）
  • 原文地址：https://blog.csdn.net/weixin_44994838/article/details/139353665