【第54篇】知识蒸馏：Distilling the Knowledge in a Neural Network

文章目录

• 摘要
• 1 简介
• 2 蒸馏
• • 2.1匹配逻辑是蒸馏的特殊情况
• 3 MNIST的初步实验
• 4 语音识别实验
• • 4.1 结果
• 5 在大的数据集上训练专家模型
• 5.1 JFT数据集
• • 5.2 专家模型
  • 5.3 为专家分配类
  • 5.4 使用专家集合进行推理
  • 5.5结果
• 6 软目标作为正则化器
• • 6.1 使用软目标防止专家过度拟合