Meta 提出「锐化税」:RL 后训练用 pass@K 覆盖换单次准确率
Meta(Superintelligence Labs)研究团队(Changdae Oh 等)发表论文提出「Sharpening Tax(锐化税)」概念,实证大模型后训练中的「锐化假说」,并给出修正方案,揭示 RL 后训练在提升单次准确率的同时会收窄模型解空间。
已确认
- 核心发现:在 BFCL v4 多轮、ACEBench、WebShop 等 agentic 任务上,仅带轻量推理 harness 的预训练模型虽然 pass@1 准确率远低于 RL 后训练版本,但在足够大的测试预算下,pass@K 的解题覆盖常常反超后训练版本(m1、m2、m4、m5)。
- 论文实测数据:128 次尝试后,基座模型「偶尔解出」的任务占比从 87.6% 降至 30%(m4)。
- 研究者将这一现象归结为锐化假说:后训练放大基座模型已有行为,把能力「磨得更尖」而非教会新的 agentic 技能(m3、m4)。
- 作者观点:基座模型配上能干的结构化动作与工具接口遵循能力即可充当能干的 agent,智能体任务因此是检验该假说的最有效场景(m2、m4)。
- Meta 官方账号亦发布介绍该工作,称其以损失 pass@K 覆盖换取单次准确率并给出修正(m5)。
为什么重要
- 该工作量化了后训练在测试时扩展(test-time scaling)维度上的代价,即用 pass@K 覆盖换取 pass@1 精度,为后训练策略与推理预算分配提供了新的评估视角。
- 若锐化假说成立,意味着依赖大采样与搜索的智能体工作流应更谨慎地权衡 RL 后训练带来的能力窄化风险。
2026-10-02 ~ 2026-10-04 · 5 条相关
一手来源
- Meta 提出「锐化税」:RL 后训练以损失 pass@K 覆盖换单次准确率 — meta ·
- Meta 研究提出 Sharpening Tax:后训练提升首试精度却收窄解空间 — iScienceLuvr ·
- Meta 研究:RL 后训练反而降低大模型多轮任务测试时扩展性 — dair_ai ·
- Sharpening Tax:后训练或只是磨利旧技能而非教会新智能体能力 — SharonYixuanLi · 2026-10-02
- 【源头】Meta 提出「锐化税」:RL 后训练以损失 pass@K 覆盖换单次准确率 — meta · 2026-10-02
- 【源头】Meta 研究提出 Sharpening Tax:后训练提升首试精度却收窄解空间 — iScienceLuvr · 2026-10-02
- Sharpening Tax 论文实测:128 次尝试后,偶尔解出的任务从 87.6% 降到 30% — iScienceLuvr · 2026-10-02
- 【源头】Meta 研究:RL 后训练反而降低大模型多轮任务测试时扩展性 — dair_ai · 2026-10-04