【计算机视觉】BYOL 讲解

BYOL

论文信息

标题：Bootstrap your own latent: A new approach to self-supervised Learning

作者：Jean-Bastien Grill

期刊：NeurIPS 2020

发布时间与更新时间：2020.06.13 2020.09.09 2020.09.10

主题：计算机视觉、对比学习

arXiv：[2006.07733] Bootstrap your own latent: A new approach to self-supervised Learning (arxiv.org)

代码：deepmind-research/byol at master · deepmind/deepmind-research · GitHub

模型

受强化学习思想（Bootstrap，自我提升）的启发，考虑到之前研究的自监督方法的效果都依赖于精心设计的负样本（比如由大 batchsize 提供充足负样本、通过 Memory bank 保存足够多的负样本等等），作者提出了一种不使用负样本，通过迭代自我提升的训练方法（框架）—— BYOL，如图