微软研究院提出 RLTR:奖励可迁移的推理步,治 RL 训练脆弱推理
burkov · x · 2026-09-30
当前用可验证奖励(RLVR)训练 LLM 的方法只检查最终答案是否正确、不评估中间推理步。这虽降低了 reward hacking 和人工标注成本,却带来可靠性问题:模型常靠侥幸产生脆弱、特异的推理路径;当系统对多条候选推理路径做共识投票时,性能与跨采样一致性反而下降。
微软研究院这篇论文提出并评估 Reinforcement Learning with Transferable Reward (RLTR) 框架,核心思路是:当模型的部分推理能被成功延续(迁移到新路径仍得出正确结论)时给予奖励,从而确保中间推理步骤稳健、可复用,提升多采样下的一致性。
「模型」频道最新
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16