论文：https://arxiv.org/abs/2105.11741
美团官方解读：
https://tech.meituan.com/2021/06/03/acl-2021-consert-bert.html
代码：
https://github.com/yym6472/ConSERT
代码的issues作者都有回答，可以仔细看看，其中也对consert和simcse的区别进行了详细的对比https://github.com/yym6472/ConSERT/issues/1
论文中的几个重点：
1、原生模型的坍缩现象：
讲到了bert系预训练语言模型的句子表示的坍缩现象，这也是为什么STS需要用对比学习的原因。
2、对比学习的介绍
相似的事物在编码后的表示空间中应当相当相近，不同的事物则应当相距尽可能远。通过对同一样本施加不同的数据增强方法，得到一系列“自相似”的文本做正例，同时将同一个batch的其他文本做负例，以此为监督信号去规范句向量的表示
3、不同的DA策略对对比学习的作用
Token Shuffle > Token Cutoff >> Feature Cutoff ≈ Dropout >> None
同时这篇论文也对比出，无监督训练时，1000条数据和10000条数据甚至全量数据相比，效果差不多，这跟我之前用simcse做训练时碰到的情况相同，效果最好的模型是第一个epoch跑了几个steps后的模型。
论文：https://arxiv.org/abs/2109.04380
代码参考：https://github.com/shuxinyin/SimCSE-Pytorch
论文中的几个重点：
1、simcse的缺点
simcse的DA策略是，通过对同一个句子进行两次dropout。这样创造的正例和原文本的长度是一样的，所以认为模型学习到了长度信息，更偏向将长度一样或相近的语句识别为语义相似。
2、esimcse的DA策略
对正样本：进行简单的word repetition, 相比insert 和 delete， 对词进行重复更不容易改变原文语义。
对负样本：
借鉴CV中的momentum contrast，用于对抗学习中，增加负样本的学习。
3、simcse的batch size
对batch size进行实验对比，发现在simcse中，batch size=64 的时候，效果最好。