「锐化税」论文：RL 后训练损 pass@K 换 pass@1
kastnerkyle · x · 2026-11-03
论文《Sharpening Tax in Post-Training》为「RL 后训练只是锐化基础模型已有行为」的假说提供了系统证据：预训练模型配上轻量推理框架，虽然 pass@1 准确率远低，但在足够测试预算下 pass@K 解覆盖度常反超后训练模型。
关键发现：
- 后训练把任务推向「总是能解」或「永远解不出」两个极端，提高了采样效率与一致性，代价是解的多样性收窄
- 提出 Sharpening Tax 诊断指标，量化后训练后测试时扩展性（test-time scalability）的损失
- 覆盖 4 个模型家族的 14 对 base/后训练模型、3 个 agent 基准共 42 组案例，该税普遍存在，且只需少量 rollout 即可估计
- 提出 posterior-tempered group sampling（PTGS）：即插即用的贝叶斯采样器，按 prompt 估计难度自适应调整采样温度
论文、代码、模型均已公开。
「模型」频道最新
- Particle 模型首进数据分析 Pareto 前沿，击败 Haiku 5.5 — ycombinator · 2026-11-03
- ML4 开放权重发布：代码 Agent 与网络安全能力达前沿，三周内大幅压缩提效 — _AndrewZhao · 2026-11-03
- OpenRouter 数据:重度用户中位数已用 6 个模型家族,一年翻倍 — sarahookr · 2026-11-03
- 「Killed by Google」悼念 AI Overview，网友调侃其尚未倒闭 — gaganghotra_ · 2026-11-03
- DeepSeek 超级 Agent 引热议：肉身代理时代是否终结 — gdechichi · 2026-11-03
- 实验：仅 3% 人类预测点击胜过 Claude Opus 5.5 — teortaxesTex · 2026-11-03