clip:learning transferable visual models from natural language supervision

CLIP 论文逐段精读【论文精读】 - 知乎知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群，已成为综合性、全品类、在诸多领域具有关键影响力的知识分享社区和创作者聚集的原创内容平台，建立起了以社区驱动的内容变现商业模式。https://www.zhihu.com/zvideo/1475706654562299904对比学习（Contrastive Learning）:研究进展精要 - 知乎对比学习(Contrastive Learning)最近一年比较火，各路大神比如Hinton、Yann LeCun、Kaiming He及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR系列、BYOL、Sw…https://zhuanlan.zhihu.com/p/367290573

自监督这块核心还是在如何构造自监督任务，对比学习是其中之一，在直白点就是如何构造正负样本对，度量学习中，毕竟有监督信号，因此正负样本对的构造旨在让相似样本接近，让不相近样本远离，对应在超球面是相似样本聚集，在自监督中，目前主流的构造带隐形标签的方式是通过数据增强，通过对原始样本进行不同方式的数据增强产生多个自增强的集合，在一个batch中，经过数据增强产生的样本本质是一个x的不同数据空间的插值，其实还是代表了样本本身的特性，因此是一个正例，一个batch中不同样本则为负例，这是单独从图像角度出发的图像自监督，图像自监督有两个方向，一个是生成式自监督（GAN/VAE），一个是判别式自监督，对比学习就属于判别式自监督，mae这种带mask的就属于前者是像素级的重构。clip属于图文架构，模式上仍然是对比学习，同一对图像和文本是一个正例，否则为负例，在clip的输入上体现就是对齐文本和图像的维度之后，在对角线上的都是正例，在非对角线上是负例，通过一个矩阵就可以构造。

1.introduction and movtiation work

        clip是openai的，openai是gpt为主的公司，说白了就是偏向生成式模型的公司，gpt是生成模型，所以基本都倾向于自回归的思路，比如mask的transformer。此外clip说加大模型加大数据量，可以在ConVIRT上有很好的的效果。

上面这张图基本就是核心图了，第一块是预训练左边的框架图，对角线是标签，是正例，其余位置是负例，右边是面对zero-shot构建的promot工程，这块用代码对着看更清晰，

2.approach

       作者在图像侧尝试了resnet，efficientnet和vit，最终选择了vit。从头开始训练clip，不借助imagent预训练的图像编码器和预先训练的权重初始化文本编码器。最后，控制softmax中logits范围的温度参数在训练期间直接优化为对数参数化乘法标量，以避免变成超参数。

3.training

        一般视觉vit，文本bert，我看到chinese_clip中，文本用的是roBERTa-base/large，图像用的vit-B-16/32，vit-L-14，其实一开始openai只有英文的clip，因此也有不少团队通过蒸馏等一些手段去对齐中文bert。一共训练了32个epoch，batch为32768。