本文是LLM系列文章，针对《Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond.》的翻译。
大型语言模型（LLM）的最新进展引起了广泛关注，并导致了诸如ChatGPT和GPT-4之类的成功产品。他们在遵守指令和提供无害、有用和诚实的（3H）反应方面的熟练程度在很大程度上可以归功于从人类反馈中强化学习（RLHF）技术。在本文中，我们的目的是将传统RL的研究与LLM研究中使用的RL技术联系起来。通过讨论RL为什么、何时以及如何表现出色来揭开这项技术的神秘面纱。此外，我们探索了可能从RLHF研究中受益或有助于RLHF研究的潜在未来途径。
突出显示的要点：
1.RLHF是具有离线演示数据的在线反向RL。
2.RLHF>SFT，因为模仿学习（和反向RL）>行