论文实证：on-policy distillation 可容忍量化推理与异步 rollout 的训练-推理失配
Cong Yu · hf · 2026-11-10
- 研究问题：on-policy distillation（OPD）让学生模型在自身生成响应上训练、由固定教师打分，但生成成本高，实际系统常用量化推理和异步 rollout 降本，这会引入训练-推理失配，可能破坏 RL 稳定性——OPD 能容忍多少尚不清楚。
- 方法：把所有失配来源统一到同一尺度上测量，考察 3 组 student-teacher 对的量化失配，并在其中一对上额外测试权重陈旧与注入噪声。
- 核心发现：OPD 能在不显著损失训练质量的前提下容忍相当大的失配，超过一定水平才退化，得到一个经验性的「失配预算」；失配的成本与引入方式依模型而异，某些层对降低精度尤其敏感；在会破坏常规 RL 方法的 rollout 配置下 OPD 仍保持稳定。
- 实践价值：给出轻量级 admission check 用于判断给定推理配置是否在容忍范围内，并提供 FP8 配方利用这种容忍度提升训练效率。
- 作者来自 Aalto、NTU、剑桥、北京理工等机构（2025-11-08 arXiv）。
「Infra」频道最新
- 开源模型本地部署算账：Kimi K3.1 权重 594GB，四台 Mac Studio 仅 15 tok/s — ravikantagrawal · 2026-11-10
- InfraRSI 用递归自我改进优化训练基建：MFU 从 17.4% 提到 30%，加速至 2.75 倍 — TokenRhythm · 2026-11-10
- ClickBench 推出在线 Playground，可同时对 110+ 数据库跑 SQL — mgill25 · 2026-11-10
- 马斯克：Grok 新训练栈源自 Starlink 工程，自研时间与报文头 — elonmusk · 2026-11-10
- 4 张 3090 换 1 张 5090?马来西亚创业者纠结 GPU 升级路线 — whity2773 · 2026-11-10
- Hybrid-Spark 推理加速：按步切换草稿模型最高提速 1.62 倍 — Julianfmack · 2026-11-10