[TI] [Textual Inversion] An image is worth an word

自己的理解：

根据几个图像，找出来一个关键字可以代表它们，然后我们可以再用这个关键字去生成新的东西。

提出关键字

1 Introduction

word->token->embedding

Textual Inversion过程

需要：

① a fixed, pre-trained text-to-image model （一个固定的预训练模型）

② a small image set depicting the concept（一个描述概念的小图像集）

目标：

find a single word embedding, such that "A photo of S*" will lead to the reconstructions of images from our small set

3 Method

LDM

包含两个核心组件：

1.AutoEncoder

Encoder，把

Decoder

2.Diffusion Model

LDM Loss

 

 

Text embedding

典型的文本编码器（例如 BERT）都从文本处理步骤开始

① word (in a input string) convert to a token ( an index in some pre-defined dictionary某个预定义词典中的索引)

构建一个词汇表，包含数据集中出现的所有唯一token，通常是一个字典，将每个token映射到唯一的整数ID。

②each token then linked to a embedding vector (可以通过基于索引的查找来检索。)

对于每个token，使用词汇表的ID可以查找其对应的 embedding vector。

③learned as part of the text encoder c_{\theta}

in our work

定义一个 placeholder string S_*，表示我们想要学习的 new concept

干涉 embedding process，用 embedding v_* 取代 与标记符相关的向量（本质上是把这个词注入到我们的词典中）

小结：

一串字符串文本，它的每个词可以通过 分词器 变为若干个 token，每个token可以映射到一个词向量，我们通过干预它映射词向量的过程，学得一个可以代表新特征的伪词。

Text Inversion

用 3-5张图片 depict 目标概念。

通过直接优化的方式，最小化 LDM loss，就可以找到 v_*

优化目标：

保持 \epsilon_{\theta} ,c_{\theta} 不变，重新训练LDM，来找到 V_*

小结：

通过几张图片输入到网络中，依据LDM loss，固定某些参数不变，来找到最合适的 V_*

参考资料：

Textual Inversion · AUTOMATIC1111/stable-diffusion-webui Wiki · GitHub