论文发现搜索 agent 自蒸馏失效的关键是解码塌缩
_reachsumit · x · 2026-07-21
一篇新论文研究了：为什么**反馈增强的自蒸馏**并不能提升 **retrieval-interleaved search agents**。 作者把核心原因归结为 **decoding collapse（解码塌缩）**，并指出 **EMA teacher regularization** 可以缓解这个问题。这个结果更像是在解释这类 agent 为什么会失败，而不只是单纯刷分。
「研究」频道最新
- 多次采样再投票，可能是提升推理的强力无标注方法 — iatitov · 2026-07-21
- 检测器扫描显示，2026 年 1 月 39% 的 arXiv 论文像 AI 写的 — GenerativeFart · 2026-07-21
- CleanAir 用 3D U-Net 代理 CMAQ，一年模拟压到 10 秒 — bravo_abad · 2026-07-21
- GPT-5.6 与 Fable 5 据称一周内拿下三项数学突破 — haider1 · 2026-07-21
- METAFORS 用元学习实现混沌系统少样本预测 — bravo_abad · 2026-07-21
- 文档生成基准撞名 DOCBENCH，作者开始重新命名 — ell-hol1 · 2026-07-21