CLIP（Contrastive Language-Image Pretraining）模型将原有的图像标签替换为图像的文本描述信息，来监督视觉任务的训练，在下游任务中得到了较好的zero-shot结果。
该模型将图像分类问题转换为图文匹配问题，首先针对图片构造text prompt，并使用CLIP模的text encoder获得文本编码向量，之后将图片通过image encoder获得图像编码向量。
对于图片，计算它与所有text prompt之间的距离（图像编码向量与文本编码向量的余弦相似度/点积），选择距离最近的text prompt标签作为图片的标签。
除此之外，CLIP模型可广泛应用到图像检索、视频理解、图像生成等其它领域。
CLIP将语言信息和图像信息联合训练，实现了在下游任务上zero-shot（Zero-shot learning指没有当前类别的训练样本的情况下，让模型学习到一个映射关系可以将样本映射到原有的向量空间，再通过距离判断当前样本可能属于哪一个类别）的能力。
具体而言，即收集N个图像和文本对，将其按照编码次序排列，可以得到一个N*N矩阵T，训练需要使得对角线上的元素值尽可能大，其余部分值尽可能小，矩阵中的T(i, j)表示第i个文本与第j个文本图像之间的语义相似度。
根据上下文语义建立prompt模板，将分类标签映射到prompt模板得到文本集合，再通过CLIP的text encoder得到文本编码向量。
之后，对于要分类的图片，只需要比较图片的向量和文本特征间的语义距离，选择距离最近的即可得到图片的分类结果。
在图文生成领域，除了VAE、GAN等模型，还有扩散模型（diffusion model）。
允许通过利用多种方式的优势来结合不同的模态。例如，可以在对话中同时使用口语和书面语言，以确保我们相互理解。我们还可以使用图片或视频等作为视觉辅助工具，来帮助解释仅用文字难以描述的事物。
输入某一个模态，可以输出另一个模态。它通过使用一种感官的信息来增强另一种感官，使用户体验比传统应用更上一层楼。比如说，我们可以通过触摸的方式来帮助我们理解在触觉地图或盲文文本中看到的内容。我们还可以使用声音来帮助我们定位环境中的事物，一般通过声纳或雷达来完成。
针对以上挑战，可以利用Jina生态系统中的产品作为应用的构建模块：