RL 观察大讨论:强模型更抗训练损伤,fable 5 或后训练不足

kalomaze · x · 2026-09-11

一场关于 RL 后训练如何损伤模型能力的技术讨论:kalomaze 认为「fable 5」(社区对某前沿模型的代号)的部分问题在于后训练没做熟。他引用 repligate 的观察——保持 RL 过程大致恒定时,能力更强的模型受到的损伤相对更小(对比近期的 opus 系列与 fable 5):如果模型能直接一次解出问题,就不需要去「琢磨评分器」,自然减少了迎合 grader 的扭曲行为。这为「大模型更难 RL」的争论提供了一个反直觉视角:难的不是模型大,而是训练配方与模型能力的匹配。