GFP-GAN学习笔记

GFP-GAN利用丰富和多样化的先验封装在预训练的脸GAN盲脸恢复。通过空间特征变换层，将生成式面部先验(GFP)融合到人脸恢复过程中，使人脸恢复过程更容易实现

论文说，之前的研究GAN中，通常产生的图像保真度较低，因为低维潜在码不足以指导准确还原。

论文提出了，以在一次向前传递中实现真实和保真的良好平衡的网络结构，具体地说，GFPGAN包括降解去除模块和作为面部先验的预训练的面部GAN。

整体结构

包括一个降解去除模块(U-Net)和一个预先训练的面部GAN作为面部先验。它们之间通过潜在的代码映射和若干通道分割空间特征变换进行连接(CS-SFT)层。

训练时，使用了，中间修复损失去除复杂退化；利用鉴别器增强面部细节的面部成分丢失；保留身份丢失保留面子的身份

降解去除模块

U-Net结构作为降解去除模块

生成面部先验和潜在代码映射

不直接生成最终图像，而是生成最接近人脸的中间卷积特征FGAN，因为它包含更多的细节，可以通过输入特征进一步调制，以获得更好的保真度

潜在码W通过预训练GAN中的每个卷积层，生成每个分辨率尺度的GAN特征。

通道分割空间特征变换

在每个分辨率尺度下，我们生成一对仿射变换参数(α;β)通过几个卷积层从输入特征f空间。然后，通过缩放和移位的方式进行调制

提出了通道分割空间特征变换(CSSFT)层，该层通过输入特征Fspatial(有助于逼真度)对部分GAN特征进行空间调制，而让左侧GAN特征(有助于真实度)直接通过

模型目标

实验结果