当大火的文图生成模型遇见知识图谱，AI画像趋近于真实世界

导读

用户生成内容（User Generated Content，UGC）是互联网上多模态内容的重要组成部分，UGC数据级的不断增长促进了各大多模态内容平台的繁荣。在海量多模态数据和深度学习大模型的加持下，AI生成内容（AI Generated Content，AIGC）呈现出爆发性增长趋势。其中，文图生成（Text-to-image Generation）任务是流行的跨模态生成任务，旨在生成与给定文本对应的图像。典型的文图模型例如OpenAI开发的DALL-E和DALL-E2。近期，业界也训练出了更大、更新的文图生成模型，例如Google提出的Parti和Imagen，基于扩散模型的Stable Diffusion等。

然而，上述模型一般不能用于处理中文的需求，而且上述模型的参数量庞大，很难被开源社区的广大用户直接用来Fine-tune和推理。此外，文图生成模型的训练过程对于知识的理解比较缺乏，容易生成反常识内容。本次，EasyNLP开源框架在先前推出的基于Transformer的文图生成模型（看这里）基础上，进一步推出了融合丰富知识图谱知识的文图生成模型ARTIST，能在知识图谱的指引上，生成更加符合常识的图片。我们在中文文图生成评测基准MUGE上评测了ARTIST的生成效果，其生成效果名列榜单第一。我们也向开源社区免费开放了知识增强的中文文图生成模型的Checkpoint，以及相应Fine-tune和推理接口。用户可以在我们开放的Checkpoint基础上进行少量领域相关的微调，在不消耗大量计算资源的情况下，就能一键进行各种艺术创作。

EasyNLP（https://github.com/alibaba/EasyNLP）是阿⾥云机器学习PAI 团队基于 PyTorch 开发的易⽤且丰富的中⽂NLP算法框架，⽀持常⽤的中⽂预训练模型和⼤模型落地技术，并且提供了从训练到部署的⼀站式 NLP 开发体验。EasyNLP 提供了简洁的接⼝供⽤户开发 NLP 模型，包括NLP应⽤ AppZoo 和预训练 ModelZoo，同时提供技术帮助⽤户⾼效的落地超⼤预训练模型到业务。由于跨模态理解需求的不断增加，EasyNLP也⽀持各种跨模态模型，特别是中⽂领域的跨模态模型，推向开源社区，希望能够服务更多的 NLP 和多模态算法开发者和研 究者，也希望和社区⼀起推动 NLP /多模态技术的发展和模型落地。

本⽂简要介绍ARTIST的技术解读，以及如何在EasyNLP框架中使⽤ARTIST模型。

ARTIST模型详解

ARTIST模型的构建基于Transformer模型 ，将文图生成任务分为两个阶段进行，第一阶段是通过VQGAN模型对图像进行矢量量化，即对于输入的图像，通过编码器将图像编码为定长的离散序列，解码阶段是以离散序列作为输入，输出重构图。第二阶段是将文本序列和编码后的图像序列作为输入，利用GPT模型学习以文本序列为条件的图像序列生成。为了增强模型先验，我们设计了一个Word Lattice Fusion Layer，将知识图谱中的的实体知识引入模型，辅助图像中对应实体的生成，从而使得生成的图像的实体信息更加精准。下图是ARTIST模型的系统框图，以下从文图生成总体流程和知识注入两方面介绍本方案。

第一阶段：基于VQGAN的图像矢量量化

在VQGAN的训练阶段，我们利用数据中的图片，以图像重构为任务目标，训练一个图像词典的codebook，其中，这一codebook保存每个image token的向量表示。实际操作中，对于一张图片，通过CNN Encoder编码后得到中间特征向量，再对特征向量中的每个编码位置寻找codebook中距离最近的表示，从而将图像转换成由codebook中的imaga token表示的离散序列。第二阶段中，GPT模型会以文本为条件生成图像序列，该序列输入到VQGAN Decoder，从而重构出一张图像。

第二阶段：以文本序列为输入利用GPT生成图像序列

为了将知识图谱中的知识融入到文图生成模型中，我们首先通过TransE对中文知识图谱CN-DBpedia进行了训练，得到了知识图谱中的实体表示。在GPT模型训练阶段，对于文本输入，首先识别出所有的实体，然后将已经训练好的实体表示和token embedding进行结合，增强实体表示。但是，由于每个文本token可能属于多个实体，如果将多个实体的表示全都引入模型，可能会造成知识噪声问题。所以我们设计了实体表示交互模块，通过计算每个实体表示和token embedding的交互，为所有实体表示加权，有选择地进行知识注入。特别地，我们计算每个实体表征对对于当前token embedding的重