• Human Guided Ground-truth Generation for Realistic Image Super-resolution


    1. 问题引入
    • 现在通过模拟退化过程来从高分辨率图像生成低分辨率图像,但是该过程没有引入人类的感知;
    • 所以本文首先训练了多个超分模型,为一张LR生成多张对应的HR,之后人工进行标注,将enhanced HR图片中的高质量区域标记为GTs,而artifacts的区域标记为负样本;有了数据集之后还提出了对应的损失函数
    1. methods
    • 最初的方法使用bicubic来模拟LR图片,之后的方法使用long-short camera focal lengths来收集LR-HR数据对,再之后的方法通过组合多种退化方法(such as Gaussian/Poisson noise, (an-)isotropic blur kernel, downsampling/upsampling, JPEG compression and so on),这个方法也有问题,所以本文提出了一种人类引导的GT数据生成策略;
    • 数据生成策略:包含三步:首先训练多个图像增强模型,输入HR,得到enhance之后的结果,在训练的时候还是使用LR-HR数据对,之后增强之后的图片和原图有明显区别的patch被提取出来,最后人工标注成对的patch为positive&similar&negative;
    • 增强模型:使用两种degradation设置,这一种侧重noise,一种侧重blur,并且选择了两种网络设置,CNN based和transformer based;
    • patch提取和标注:将上面四个增强模型应用到1600张HR数据上(DIV2K-800 + 400网络上收集 + 400手机拍摄)从而得到6400张增强图像,之后在每张图像上裁剪出512*512的patch,之后进行筛选得到20193个group,每个group包含一个HR patch + 4 enhanced patch,之后人工进行标注;
    • 训练策略:上面收集到的数据 I H + ( I P o s , I N e g ) I^H+(I^{Pos},I^{Neg}) IH+(IPos,INeg),之后对 I H I^H IH进行退化模拟得到 I L I^L IL,从而得到63583个 L R − P o s LR-Pos LRPos对和2514个 L R − N e g LR-Neg LRNeg对;当仅使用positive pair进行训练的时候,使用 L 1 L_1 L1,perceptual和gan损失;当同时使用positive+negative对进行训练的时候,除上面的三种损失还增加了negtive损失;
  • 相关阅读:
    Vue-Router实现带参数跳转,并且保存原页面数据记录
    企业电子招投标采购系统——功能模块&功能描述+数字化采购管理 采购招投标
    似然和概率
    动态规划(算法竞赛、蓝桥杯)--概率DP求概率
    源码级别+操作系统级别解密RocketMQ 存储原理
    Mybatis - XML
    MyBatis Plus详细教程
    大模型系列:提示词管理
    MySQL数据库——DQL操作——基本查询
    IIS perl python cbrother php脚本语言配置及简单测试样例程序
  • 原文地址:https://blog.csdn.net/weixin_44994838/article/details/139353665