异步 OPD 蒸馏在数学任务上提速约两倍
_lewtun · x · 2026-07-21
异步 OPD 蒸馏把训练吞吐提速约 2 倍
Hugging Face journal club 讨论了一篇论文 “Battling Staleness in Async OPD”，思路类似 Magistral / PipelineRL，但目标是把生成与学习完全异步解耦，用于蒸馏而不是 GRPO。
- 论文结果显示：在数学任务上，方法能在约 2× 吞吐提升下，做到与同步 OPD 相当或更好的准确率。
- 传统做法常把 teacher/student 的完整 logits 缓存下来，但这太贵，所以很多方案会截断成 top-k。
- 这种截断对 forward-KL 还行，但在更常用于诱导模式寻优的 reverse-KL 下容易出现 cache miss。
- 新方法改用局部 Monte Carlo 的 next-token 采样，并加入重要性修正。
- 作者声称，只要 MC 样本数足够，在最多约 32 步的 staleness 下依然稳定。
帖主还提到，他们正在考虑把这套思路集成进 TRL，让 DistillationTrainer 进一步提速。
所属事件:Hugging Face 探讨异步 OPD 蒸馏技术(2 条相关)→
「编程与Agent」频道最新
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27