拆解蒸馏噪声来源:单 token 采样的梯度估计为何不可靠
jiank_uiuc · x · 2026-09-23
同一 OPD 论文作者的技术解释:蒸馏的期望梯度需要对可能的下一个 token 求平均,而实践中往往只用一个采样 token 来估计,导致估计噪声很大——即使教师指导本身是有用的。帖中用信息几何视角分析噪声来源。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「研究」频道最新
- Apple 用离线训练的小网络路由 RAG 查询,换更快更准检索 — petrusenko_max · 2026-11-12
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12