OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA

本文是LLM系列文章，针对《OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA》的翻译。

摘要

如今，像LLaMA这样的开源大型语言模型已经出现。最近的发展结合了监督微调（SFT）和强化学习微调（RLFT），以使这些模型与人类目标保持一致。然而，SFT方法平等地对待具有混合质量的所有训练数据，而RLFT方法需要高质量的成对或基于排名的偏好数据。在这项研究中，我们提出了一个新的框架，名为OpenChat，用于推进具有混合质量数据的开源语言模型。具体来说，我们考虑一般的SFT训练数据，由少量专家数据和大量次优数据组成，没有任何偏好标签。我们提出了C（条件）-RLFT，它将不