研究称推理模型常强化无效行为，成功关联度低
Jeande_d · x · 2026-08-26
这项研究分析了思维链中哪些行为真正与任务成功相关，发现推理模型往往在错误的维度上进行了强化。
主要发现
- 无效行为被放大：自我纠正、假设检验和承认不确定性等行为在推理模型中被大量展示，但研究表明这些行为与任务成功的关联度很低。
- 关键行为被忽略：真正与成功高度相关的是“信心校准”、“知识对齐”和“自我意识”，但这些行为在推理过程中几乎没有得到强化。
- 跨模型一致性：在 DeepSeek-R1/V3、Kimi-K2-Think、Grok-4/4.1 等 7 个大模型上的测试显示，行为的 Lift 排名高度一致，说明这是一种普遍现象而非偶然。
建议
- 在训练推理模型或进行数据筛选时，应减少对表面无效行为的奖励，转而强化那些具有实质意义的行为。
所属事件:CMU 与斯坦福论文：推理模型强化的行为多与正确性无关(8 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树，摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries：智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15