LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线
burkov · x · 2026-11-17
Andriy Burkov 介绍一篇关于 on-policy distillation 推理管线效率的研究。核心问题:后训练中生成推理样本、教师打分与训练并行执行可以提升硬件利用率,但学生会用旧版本模型产出的数据训练,产生 staleness(陈旧性)问题。
关键约束与发现:
- 教师 score 的存储/传输成本过高,系统通常只缓存有限候选 token 的分数,这限制了可用的蒸馏目标设计
- 文章系统测试了不同蒸馏目标与教师反馈缓存策略随 rollout 数据陈旧程度变化的表现
- 实验使用 Qwen3 学生模型与 Qwen3 教师,数据为过滤后的 57.6k(原文截断)
- 结论指向可在不牺牲模型质量的前提下构建更快的训练管线
「Infra」频道最新
- 博主 argue 全面封堵算力反而催生对手盲区与加速 — TinfoilTricorn · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17
- 用 no_std Rust 把 200 万参数 embedding 模型跑进 16MB 的 ESP32 — qdrant_engine · 2026-11-17
- 语音 Agent 被背景噪音干扰 0/5 应答,自适应门控修复至 4/4 — shrapknife · 2026-11-17
- AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平 — No-Dragonfly6246 · 2026-11-17