Meta 论文提出「锐化税」：RL 后训练提升首次成功率，牺牲多次尝试覆盖面
rohanpaul_ai · x · 2026-10-30
Meta 等机构发布 arXiv 论文《Sharpening Tax in Post-Training》，挑战「RL 后训练教会 agent 新技能（如工具调用）」的流行假设。
核心发现
- 基座模型只需配备轻量推理 harness，就能成为有能力的 agent：虽然 pass@1 准确率更低，但在足够的测试时预算下，pass@K 解覆盖率往往超过经 RL 后训练的对应版本。
- 后训练把任务推向「总能解出」或「永远解不出」两个极端，提升了采样效率和一致性，代价是解的多样性——作者称之为 Sharpening Tax（锐化税）。
- 论文覆盖 4 个模型家族的 14 对基座/后训练模型、3 个 agentic 基准共 42 个案例，锐化税在大多数设置中普遍存在，且只需少量 rollout 即可估计。
- 还提出 posterior-tempered group sampling（PTGS），一个即插即用的贝叶斯采样器，按 prompt 难度自适应调整采样温度，以缓解该税。
此前此类「锐化假说」主要在数学/编码任务上被观察到（这些领域基座模型已见大量数据），该论文的意外之处在于它同样适用于多轮工具使用的 agentic 任务。
所属事件:Meta 论文提出「锐化税」：RL 后训练并未教会模型新技能(2 条相关)→
「编程与Agent」频道最新
- 实测 Codex 做「总司令」：本地指挥远程与本地多个 AI Agent 协同 — huangyun_122 · 2026-10-30
- Nous Research 招聘首位合作负责人,扩建 Hermes Agent 生态 — NousResearch · 2026-10-30
- 开源工具 llmman 一条命令让 Claude Code 等agent跑任意本地模型 — weskambale · 2026-10-30
- DSPy 上下文工程指南:把 Context Engineering 变成可编程流程 — kieranklaassen · 2026-10-30
- 前游戏创业者用 Claude+GPT 探索「Vibe UI」,做元素格斗游戏原型 — trq212 · 2026-10-30
- Proof of Agent 架构升级:每 15 分钟锚定 Solana 与 Base,验证成本不再随历史增长 — adamamcbride · 2026-10-30