本文是LLM系列文章，针对《Secrets of RLHF in Large Language Models Part I: PPO》的翻译。
大型语言模型（LLM）为通用人工智能的发展制定了蓝图。它的主要目标是作为一个以人为本（乐于助人、诚实无害）的助手。与人类保持一致具有至关重要的意义，人类反馈强化学习（RLHF）成为支撑这一追求的关键技术范式。目前的技术路线通常包括衡量人类偏好的奖励模型、优化政策模型输出的近端策略优化（PPO）以及提高逐步推理能力的过程监督。然而，由于奖励设计、环境交互和代理训练的挑战，再加上大型语言模型的巨大试错成本，人工智能研究人员在激励LLM的技术对齐和安全着陆方面存在重大障碍。RLHF的稳定训练仍然是一个谜。
在第一份报告中，我们剖析了R