Meta 研究:RL 后训练反而降低大模型多轮任务测试时扩展性
dair_ai · x · 2026-10-04
Meta Superintelligence Labs 的新论文发现一个反直觉现象:在 BFCL v4 多轮、ACEBench、WebShop 等 agentic 任务上,带轻量 harness 的基座模型在大采样数下往往比 RL 后训练版本解决更多任务。
要点:
- 后训练模型赢在 pass@1,但大 K 采样下基座模型常能解决后训练模型从未解决过的任务。
- 原因是后训练把每道题推向「总能解出」或「总解不出」:一致性上升,覆盖面下降,作者称之为「Sharpening Tax」。
- 在 42 对 base/post-trained 模型上,该现象在多数设定出现,且随模型规模增大,可用少量 rollout 估算。
- 修复方案 PTGS:在 RL 时根据每个 prompt 的预估难度设置采样温度,税更低且 pass@1 也提升。
所属事件:Meta 提出「锐化税」:RL 后训练用 pass@K 覆盖换单次准确率(5 条相关)→
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19