RLHF 奠基论文回顾：1.3B InstructGPT 胜过 175B GPT-3

goyalshaliniuk · x · 2026-10-02

「用论文学 AI」系列第 4 期讲解 RLHF（Reinforcement Learning From Human Feedback），要点涵盖奖励模型、人类反馈、策略优化与对齐。

配套论文是 OpenAI 2022 年的《Training language models to follow instructions with human feedback》：模型变大并不天然更懂用户意图，团队先以标注员示范对 GPT-3 做监督微调，再用人类对输出的排序做 RLHF 强化学习微调，得到 InstructGPT。人类评估中 1.3B 参数的 InstructGPT 输出优于 175B 的 GPT-3——参数少 100 倍仍更受偏好，同时真实性提升、毒性输出减少，且在公开 NLP 数据集上几乎没有性能回退。