CMU 与斯坦福论文：推理模型强化的行为多与正确性无关

CMU 与斯坦福团队合作的新论文研究了「思考模型」（推理模型）的推理行为与最终正确性之间的关联，得出一个颇具颠覆性的结论：推理训练强化的行为大多与任务成功无关，模型的优势另有来源。研究分析了 15 个模型在 15,282 条推理轨迹中的行为，作者希望这些结果能帮助理解并改进推理模型的训练方向。

已确认

• 推理模型比指令微调模型更频繁地展示自我纠正、假设检验、不确定性承认等行为，但这些行为与成功的关联很弱，部分甚至为负；据 @zainhas 转述，这意味着仅依赖这些表面信号判断模型输出质量可能不可靠
• 与成功真正相关的置信度校准、知识对齐与自我觉察等行为几乎没有被放大，其中置信度校准和知识对齐是正确性的最强信号
• 尽管如此，RL 思维链模型准确率仍通常优于其指令微调版本
• 推理模型的核心优势在于「失败后的恢复能力」：在需要逐步计算的扩展推理任务中，失败后的恢复速度是非推理模型的 2-3 倍
• 据 @Jeanded 转述，强化学习习得的行为策略并不总是与提高准确率最相关的策略，高准确率可能掩盖推理过程中的低效路径

为什么重要

该研究挑战了「思维链中可见的推理行为就是成功原因」的直觉，提示高准确率可能建立在低效甚至无效的推理路径之上。在 RL 视角下，对齐奖励信号与真正有效的行为，可能成为提升推理效率与优化训练方向的关键。

2026-08-26 ~ 2026-08-27 · 8 条相关

• 研究称推理模型强化行为与正确性关联弱 — Jeande_d · 2026-08-26
• 【源头】推理模型通过“失败恢复”机制超越非推理模型 — Jeande_d · 2026-08-26
• 研究称推理模型常强化无效行为，成功关联度低 — Jeande_d · 2026-08-26
• 【源头】CMU 与斯坦福论文：推理模型放大自我修正等行为，却难放大成功关联行为 — Jeande_d · 2026-08-26
• 研究揭示RL未必教会模型最有效的推理策略 — Jeande_d · 2026-08-26
• 研究：推理模型自我修正行为不保证答案正确 — zainhas · 2026-08-26
• 论文揭示推理模型“思考”行为未必关联正确答案 — Jeande_d · 2026-08-27

另有 1 条近重复转述:zainhas