FuseDream论文阅读笔记文本生成图像 text2image - 码农知识堂 - 文章详情页

FuseDream论文阅读笔记文本生成图像 text2image

论文地址

论文代码

背景：

使用CLIP和GAN来完成T2I任务，一种常规的做法就是最大化输入文本与生成图像在CLIP空间上的得分，论文中把这个分数叫做sCLIP，也就是最大化这两者的余弦相似度（这是CLIP的原理），可以用如下公式表达。

ξ表示GAN的输入，一般就是高斯分布中随机采样的噪声，但是在这，作者使用的是BigGAN，他在论文中也说了，BigGAN的生成器的输入就是随机噪声和图像类别，还说了这个BigGAN是在ImageNet上训练的，包含了1000个类别。τ就是文本描述。

如果单纯最大化这个分数就会有两个矛盾的
相关阅读:
零代码编程：用ChatGPT自动合并多个Word文件
 智能创新，竞技未来！1024 程序员节大赛火热进行中
 【数据结构】字符串匹配（暴力匹配）
open vswitch + veth 实验
 HK32F030MF4P6 SWD管脚功能复用GPIO
Docker容器内数据备份到系统本地
 力扣刷题学习SQL篇——1-10 选择（丢失信息的雇员——合并两个表的相同列union all）
收发电子邮件
 C++二分查找算法：找到 Alice 和 Bob 可以相遇的建筑
 Unity中Shader的ShaderLOD
原文地址：https://blog.csdn.net/MISS_XDY/article/details/127769794