Meta 论文:RL 后训练提升首次成功率,却收窄解题覆盖面
rohanpaul_ai · x · 2026-10-30
Meta Superintelligence Labs 联合威斯康星、NYU、斯坦福发布论文《Sharpening Tax in Post-Training》,挑战「RL 后训练教会 agent 新技能」的流行假设。
- 团队测试 14 对 base/后训练模型,覆盖 3 个 agentic 基准,每任务最多尝试 128 次
- 后训练推高 pass@1(首次成功率),但以 pass@K(多次尝试的总解题覆盖)为代价:在 WebShop 上 gemma-4-31B base 模型 128 次内解决 85% 任务,后训练版仅 56%
- 「Sharpening Tax」在 42 组模型×基准中的 36 组为正,即覆盖面普遍收窄;后训练把任务推向「总能解/从不能解」两极
- 提出 PTGS(后验温度分组采样),按 prompt 难度自适应调整温度,RL 训练时比固定温度基线交更少的税
作者建议:为可重试的 agent 选模型时,应测量「最终能解多少任务」而非只看首试准确率。
所属事件:Meta 论文提出「锐化税」：RL 后训练并未教会模型新技能(2 条相关)→
「编程与Agent」频道最新
- Understand Anything 8.9 万星：把任意代码库变成可对话知识图谱 — adnan_hashmi · 2026-10-30
- 开源 Scopewerk 用 Rust 把示波器搬上桌面，还给 AI Agent 留了 MCP 接口 — debreuil · 2026-10-30
- 「你检查了吗」agent：一个 prompt 让 AI 每天自动做数据 QC — nlarusstone · 2026-10-30
- 别再纠结用什么设计工具了：烂产品与工具无关 — round · 2026-10-30
- 一键审计 Mac 隐私:Claude Code 用 prompt 找出能偷看屏幕偷听的应用 — alex_verem · 2026-10-30
- Tahoe AI 推出 Tara 插件:让 Claude Code、Codex 直接调用亿级细胞药物数据集 — anshulkundaje · 2026-10-30