RFT与RL的训练差异
heghbalz · x · 2026-07-10
这段转发讨论的是 **Rejection Fine-Tuning（RFT）** 和 **RL** 的差异。 核心结论是： - **RFT** 往往在早期提升很快，但随后会 **进入平台期**； - 关键差别不在于“探索量”，而在于 **选择性**：RFT 更容易产生一些走捷径、但未必有效的重写； - **RL** 会把探索更集中地压到 **有效且可复用的结构** 上。 帖子的后半部分进一步强调：只给 **最终答案奖励** 的情况下，RL 仍然能在留出问题上解决基座模型几乎不会做的题，并且它会先把基础技能打磨得更锋利，再把这些技能组合成更稳定的程序化工具箱。