SuperHF: Supervised Iterative Learning from Human Feedback

本文是LLM系列文章，针对《SuperHF: Supervised Iterative Learning from Human Feedback》的翻译。

摘要

人工智能领域越来越关注大规模语言模型，这些模型虽然表现出非凡的能力，但在安全性、与人类价值观的一致性以及训练过程中的稳定性方面往往存在挑战。在这里，我们重点介绍了两种常用的方法，即监督微调（SFT）和来自人类反馈的强化学习（RLHF）。SFT简单而稳健，为许多开源模型提供了动力，而RLHF是一种更复杂的方法，用于ChatGPT等顶级模型，但也存在不稳定性和易受奖励黑客攻击的问题。我们提出了一种新的方法，即从人类反馈中监督迭代学习（SuperHF），它试图利用这两种方法的优势。我们的假设有两个方面：我们假设RLHF中使用的奖励模型对于有效的