• Conditional GAN


    Text-to-Image

    对于根据文字生成图像的问题,传统的做法就是训练一个NN,然后输入一段文字,输出对应一个图片,输出图片与目标图片越接近越好。存在的问题就是,比如火车对应的图片有很多张,如果用传统的NN来训练,模型会产生多张图像的平均,结果就会很模糊。

    Conditional GAN

    Conditional GAN与普通GAN的区别在于输入加入了一个额外的condition,并且在训练的时候使得输出的结果拟合这个 condition。

    此时的discriminator的输入是generator的输出和conditional vector,此时discriminator有两个任务:

    1. 判断图片质量的好坏(图片是否是真实图片)。
    2. 图片是否和输入条件匹配。

    Algorithm

    训练D(固定G):

    1. 首先从database中抽取m个样本,每个样本都是一对条件和图片。
    2. 从一个分布中抽取m个vector z;然后每个vector都加上条件,表示为(c,z)。
    3. 将(c,z)输入generator,生成m张图片x (条件+图片)。
    4. 从database中随机选取m个真实图片 x
    5. 计算损失,最大化损失。

    训练G(固定D):

    1. 随机产生m个噪声,随机从database中抽取m个条件;
    2. 通过generator得到G(C,Z),然后经过discriminator得到D(G(C,Z)),更改G中的参数,使得它的得分越高越好。

    具体设计条件GAN判别器,有两种方式:

    1. 图片x经过一个网络变成一个code,条件经过一个网络也变成一个code;把这两种code组合在一输入到网络里面,输出一个分数。
    2. 首先让图片经过一个网络,输出一个分数(用于判断图片是否真实),同时这个网络也输出一个code,这个code和条件结合起来输入到另外一个网络里,也输出一个分数(图片和文字是否匹配)。

    Stack GAN(叠加生成对抗网络)

    第一个网络生成小的图片,第二个网络生成大的图片。

    • Image-to-image

    传统做法存在的问题就是产生的图片很模糊,是因为它是许多张图片的平均。

    Conditional GAN的做法就是,generator的输入一张图片和noise z,输出一张图片,discriminator会输入产生的image和input,输出一个scalar。通过算法的迭代,生成下面第三张图片,看起来很清晰,但和真实的图片还是有差异。所以提出了GAN+close,对generator生成的image加上限制,使得生成的image与真实对象越接近越好,得到第四张图片。

    • Speech Enhancement(语音增强)

    这里和image-to-image原理类似,都是把G的输入和输出作为D的输入。

       Video Generation能够根据影片的前几帧产生后几帧。conditional 为之前几帧的图片。

     

     

  • 相关阅读:
    【网络】内网穿透方案&FRP内网穿透实战(基础版)
    NXP BootLoader源码分析并改写SD卡启动
    Shell编程之免交互
    微服务中的熔断、降级和限流
    埃隆·马斯克的 AI 聊天机器人 Grok 已经上线
    【BUG】cmd运行wmic提示‘wmic‘ 不是内部或外部命令
    Java设计模式之备忘录模式
    快手开源LivePortrait,实现表情姿态极速迁移,GitHub 6.5K Star
    【大咖说Ⅲ】谢娟英教授:基于深度学习的野外环境下蝴蝶物种自动识别
    最长非递减子序列,Python实现
  • 原文地址:https://blog.csdn.net/qq_51426525/article/details/134523362