【CVPR】Facechain-SuDe通用保主体ID属性编辑内容创作

论文：Facechain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation，https://arxiv.org/abs/2403.06775

一、问题与解决思路

主体驱动生成（subject-driven generation）任务由于能够实现对特定主体的定制化生成，已经受到了许多关注。相关的工作如Dreambooth、Custom Diffusion等也取得了不错的效果。然而我们发现定制化的主体往往不能实现良好的属性编辑，因此，本文着重研究在保持主体的身份(identity)保真度的前提下，丰富主体属性编辑的能力。

考虑到基模本身可以实现丰富的属性相关生成，以及受到面向对象编程的启发，我们提出让主体作为一个“派生类”，而其对应的语义类别作为“基类”，从而使主体可以继承其语义类别中的属性，以实现丰富的属性相关的定制化生成。

二、方法

将主体进行派生类建模包括两个部分：（a）私有属性学习；（b）公有属性继承。

2.1 私有属性学习

主体的私有属性是指其独特的identity信息，这一部分已经有现有的工作提供了成熟的方案，例如DreamBooth等。因此，我们沿袭现有工作，通过主体的示例图片对基础的diffusion model进行finetune来学习私有的identity属性：                                    

2.2 公有属性继承

2.2.1 主体派生损失

主体的公有属性应该来自于其语义类别  。派生类只是来自于面向对象编程中的概念，因此并没有一个充分条件可以保证一个主体是其类别的派生类。但根据派生类的定义，我们可以得到一个天然的必要条件，即，派生类是其基类的一个子类。我们发现约束这个必要条件可以很好地实现主体的属性继承。具体来说，我们约束主体驱动生成的图像属于其语义的类别：          

由于并不存在一个显式分类器，这个损失我们无法直接得到，需要通过条件扩散模型中的隐式分类器得到。根据贝叶斯公式，公式(2)中的概率可以分解为：

                       

                   

其中与无关，可以在反向传播中省略。此外，在扩散模型中，相邻时间步的图像(latent)被建模为条件高斯分布：

                   

              

结合公式(3)与公式(4)，我们可以将公式(2)转化为一个可计算形式：

    

其中代表该项在训练中不传播梯度。

2.2.2 损失截断

优化公式(5)会使得一直增加直至接近1。但是，这一项代表在时刻生成图像的分类概率，当t很大时，这个概率不应该接近1。因此我们进行一个损失的截断，当达到时，就不再优化损失(5):

                            

                          

三、结果展示