弹性响应蒸馏 | 用弹性响应蒸馏克服增量目标检测中的灾难性遗忘

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  大家好，我是极智视界，本文解读一下 用弹性蒸馏克服增量目标检测中的灾难性遗忘。

  传统的目标检测不适用于增量学习。然而，仅用新数据直接对训练好的检测模型进行微调将会导致灾难性的遗忘。知识蒸馏是减轻灾难性遗忘的灵活的方法。在增量目标检测 (IOD) 中，以往的工作主要集中在提取特征和响应的组合上。然而，它们对响应中包含的信息的探索不足。本文提出了一种基于响应的增量蒸馏方法，称为 弹性响应蒸馏 (ERD)，它侧重于从分类头和 响应头来弹性学习响应。(1) 首先传递类别知识，同时使学生检测器具有在增量学习过程中保留定位信息的能力。(2) 此外进一步评估了所有位置的质量，并通过弹性响应选择 (ERS) 策略提供有价值的响应。(3) 最后阐明了在增量蒸馏过程中，来自不同响应的知识应该被赋予不同的重要性。在 MSCOCO 上进行了大量的实验表明，本文的方法达到了最先进的效果，大大缩小了与充分训练的性能差距。

  论文地址：https://arxiv.org/abs/2204.021367

  代码地址：https://github.com/hi-ft/erd