2020

Exploring Simple Siamese Representation Learning

code: https://paperswithcode.com/paper/exploring-simple-siamese-representation
暹罗网络已经成为最近各种无监督视觉表示学习模型的共同结构。这些模型最大限度地提高了一个图像的两个增强之间的相似性，在一定的条件下避免崩溃的解。在本文中，我们报告了令人惊讶的经验结果，简单的暹罗网络可以学习有意义的表示，即使不使用以下内容：(i)负样本对，(ii)大批量，(iii)动量编码器。我们的实验表明，对于损失和结构确实存在坍塌解，但停止梯度操作在防止坍塌方面起着至关重要的作用。我们给出了一个关于停止梯度含义的假设，并进一步证明了概念验证实验的验证。我们的“SimSiam”方法在ImageNet和下游任务上取得了有竞争的结果。我们希望这个简单的基线将激励人们重新思考暹罗体系结构在无监督表示学习中的作用。

Bootstrap Your Own Latent A New Approach to Self-Supervised Learning

code: https://paperswithcode.com/paper/bootstrap-your-own-latent-a-new-approach-to

摘要： 我们介绍了引导你自己的潜在性(BYOL)，一种新的自监督图像表示学习方法。BYOL依赖于两个神经网络，即在线网络和目标网络，它们相互作用和相互学习。从一个图像的增广视图出发，我们训练在线网络来预测同一图像在不同的增广视图下的目标网络表示。同时，我们用在线网络的慢移动平均值来更新目标网络。虽然最先进的方法依赖于负对，但BYOL在没有它们的情况下实现了一种新的艺术状态。使用ResNet-50架构的线性评估，BYOL在ImageNet上的分类准确率达到74.3%，使用更大的ResNet的分类准确率达到79.6%。我们证明了BYOL在转移和半监督基准上的表现与当前的水平相当或更好。

2021

Dense Contrastive Learning for Self-Supervised Visual Pre-Training

code: https://paperswithcode.com/paper/dense-contrastive-learning-for-self

摘要： 到目前为止，大多数现有的自监督学习方法都是为图像分类而设计和优化的。由于图像级预测和像素级预测之间的差异，这些预先训练好的模型对于密集的预测任务可能是次优的。为了填补这一空白，我们的目标是设计一种有效的、密集的自监督学习方法，通过考虑局部特征之间的对应关系，直接在像素（或局部特征）的水平上工作。我们提出了密集对比学习(DenseCL)，它通过在输入图像的两个视图之间优化像素水平上的成对对比(dis)相似性损失来实现自监督学习。
与基准方法MoCo-v2相比，我们的方法引入的计算开销可以忽略不计(仅慢1%)，但在转移到下游密集预测任务(包括对象检测、语义分割和实例分割)时，表现出持续卓越的性能mance;而且远远超过了最先进的方法。具体而言，在强MoCo-v2基线上，我们的方法在PASCAL VOC对象检测上取得了2.0% AP、COCO对象检测上1.1% AP、COCO 姿态分割上0.9% AP、PASCAL VOC s上3.0% mIoU的显著改进。

Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals

code: https://paperswithcode.com/paper/unsupervised-semantic-segmentation-by

摘要：能够在没有监督的情况下学习图像的密集语义表示是计算机视觉中的一个重要问题。然而，尽管这个问题很重要，但这个问题仍然相当未被探索，除了少数例外，考虑了在具有狭窄视觉域的小规模数据集上的无监督语义分割。在本文中，我们首次尝试解决传统上用于监督情况的数据集上的问题。为了实现这一点，我们引入了一个两步框架，在一个对比优化目标中采用一个预先确定的中间水平先验来学习像素嵌入。这标志着与依赖于代理任务或端到端集群的现有工作有很大的偏差。此外，我们讨论了包含对象或其部分信息的先验的重要性，并讨论了以无监督的方式获得这样种先验的几种可能性。

实验评价表明，我们的方法比现有的工作具有关键的优势。首先，学习到的像素嵌入可以利用pascal上的K-Means直接聚类在语义组中。在完全无监督的设置下，在这样一个具有挑战性的基准测试上解决语义分割任务是没有先例的。其次，当转移到新的数据集时，例如COCO和davis时，我们的表示可以改进超过强基线。

Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning

code: https://paperswithcode.com/paper/propagate-yourself-exploring-pixel-level

摘要： 无监督视觉表示学习的对比学习方法已经达到了显著的迁移表现水平。我们认为，对比学习的能力尚未被完全释放，因为目前的方法只在实例级的借口任务上进行训练，导致对于需要密集像素预测的下游任务可能是次优的表示。在本文中，我们引入了像素级的借口任务来学习密集的特征表示。第一个任务直接在像素水平上应用对比学习。此外，我们还提出了一个像素到传播的一致性任务，它可以产生更好的结果，甚至大大超过了最先进的方法。具体来说，通过转移到PascalVOC目标检测(C4)、COCO目标检测(FPN/C4)和城市网络实现60.2AP、60.2AP、41.4/40.5mAP和77.2mIoU语义分割，达到2.6AP、0.8/1.0mAP和1.0mIoU。
此外，像素级借口任务不仅对常规主干网络进行预训练，而且对密集下游任务的头网络也有效，是实例级对比方法的补充。这些结果表明了在像素水平上定义借口任务的强大潜力，并为无监督视觉表示学习提供了一条新的前进路径。