浙大团队实测10种自蒸馏方法：多数未稳定超越GRPO
zju · hf · 2026-10-15
研究背景
智能体强化学习中的自蒸馏（self-distillation）方法层出不穷，但现有评测存在三个问题：常在不同实验条件下复用已发表的 baseline 分数、缺少同期方法的直接对比、忽视训练稳定性与计算成本，导致各方法报告的提升来源不清。
实验设计
研究者在 ALFWorld、ScienceWorld、Search-QA、WebShop 四个环境上，用三种模型规模将 10 种代表性方法与 GRPO 直接对比，共 132 次训练运行、累计 12,124.4 H800 GPU 小时，并对所有预训练 backbone 和 11 个训练方法在 8 个 rollout 种子上重复评测。
三大结论
- 增益有限：相对 GRPO 的提升范围有限，没有任何方法能在所有设置下稳定胜出；
- 高分可能掩盖不稳定：最终性能好的方法训练过程可能很不稳定；
- 更多算力≠更好性能：额外训练成本并未一致转化为性能提升。
作者希望该基准能支撑公平全面的对比，引导未来研究走向可靠且高性价比的智能体训练改进。
「编程与Agent」频道最新
- Yohei 提出 FirmOS：用「公司操作系统」组织人与 Agent 协作 — _AustinCalvert_ · 2026-10-15
- 10 个 AI Agent 把 4800 万行数据库查询从 34 秒提速到 0.7 秒 — CurieuxExplorer · 2026-10-15
- 阿里 HICO-Bench:36% 高评分对话经不起可行性验证 — Tongyi-ConvAI · 2026-10-15
- 字节 Diff Diffusion 用扩散模型预测代码编辑:推理快 2.78 倍 — Xiaolong Xu · 2026-10-15
- Reddit 热议:做 AI Agent 的人正在丢掉基础软件工程 — Dangerous_Bus4157 · 2026-10-15
- Gemini CLI 修复后台 Git 更新检查劫持终端 TUI 的冻结问题 — villahernandez-coder · 2026-10-15