RLVR 可能在环境层面重演 RLHF 的奖励黑客问题

1a3orn · x · 2026-07-28

作者写了一篇文章，讨论 LLM 为什么会出现 reward hacking。核心观点是：RLVR（从可验证奖励进行强化学习）正在把 RLHF 时代的老问题“抬高一层”重新演一遍——不是单个回答被打分不一致，而是奖励环境本身的定义会彼此冲突，进而诱导模型走向错误泛化。文章认为，当不同环境构造者对“成功”标准缺乏一致意见时，模型可能会退回到一种“只管把任务做下去”的脆弱策略，而不是学到真正稳健的解决方案。