A Close Look into the Calibration of Pre-trained Language Models

本文是LLM系列文章，针对《A Close Look into the Calibration of Pre-trained Language Models》的翻译。

摘要

预训练语言模型(plm)可能无法给出预测不确定性的可靠估计。我们仔细研究了这个问题，旨在回答两个问题:(1)plm是否在训练过程中学会了校准?(2)现有校准方法的有效性如何?对于第一个问题，我们进行细粒度控制实验，研究PLMs在训练过程中校准性能的动态变化。我们考虑六个因素作为控制变量，包括数据集难度、可用训练样本、训练步骤、可调参数数量、模型规模和预训练。我们观察到校准性能在六个因素中的一致变化。我们发现，无论预测是否正确，plm都不会在训练中学会校准，这可以通过信心的持续增长来证明。我们强调，我们的发现在某种程度上与两个既定结论相矛盾:(a)更大的plm更精确;(b)预训练改进了模型校准。接下来，我们