Agon：让模型互相打分学推理
Vladislav Beliaev · hf · 2026-07-20
Agon：用对手给对手打分的推理RL
这篇论文指出，像 GRPO 这类基于可验证奖励的强化学习方法，通常只评估最终答案，容易把模型训练成“更会写”而不是“更会想”。为此，作者提出 Agon：一种 双模型对抗式强化学习，让两个模型互相充当裁判。
核心机制
- 两个模型解同一道题。
- 轮流扮演“写答案的人”和“读对方答案再解题的人”。
- 奖励依据是谁能 更好地推理并战胜对手，从而在训练中隐式评价推理质量。
- 不需要过程标注，也不需要奖励模型。
为什么重要
因为两个模型都会被优化，彼此会形成一个持续变强的对手，单模型 RL 很难提供这种压力。推理时，这套系统也会以 两阶段级联 的方式部署：先由一个模型起草，再由另一个模型看完草稿后作答。
结果
- 在 Qwen3 上的 DeepMath hard split，Agon 的 pass@1 约为 GRPO 的两倍。
- 相比同基座上的未训练 Mixture-of-Agents，提升大约是后者的 8 倍。
- 在 竞赛编程代码 任务以及 Qwen3.5、Gemma 4 等模型家族上也复现了类似顺序。
作者认为下一步是让两个模型在 latent space 中一起推理，而不是只用文本交流。
「研究」频道最新
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- Goodfire 投入 1000 万美元启动 AI 版「人类基因组计划」破解可解释性 — CatAstro_Piyush · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27