本文是LLM系列文章，针对《Continual Pre-Training of Large Language Models: How to (re)warm your model?》的翻译。
大型语言模型（LLM）通常在数十亿个token上进行预训练，但一旦新数据可用，就会重新启动过程。一个更便宜、更有效的解决方案是能够对这些模型进行持续的预训练，即用新数据更新预训练的模型，而不是从头开始重新训练。然而，由新数据引起的分布偏移通常会导致过去数据的性能下降。在这项工作中，我们研究了不同热身策略的效果。我们的假设是，在新的数据集上进行训练时，必须重新提高学习率以提高计算效率。我们研究了在Pile上预训练的模型（上游数据，300Btoken）的热身阶段，同时我们继续在SlimPapajama上预训练（下游数据，297Btoken），遵循线性