拆解蒸馏噪声来源:单 token 采样的梯度估计为何不可靠
jiank_uiuc · x · 2026-09-23
同一 OPD 论文作者的技术解释:蒸馏的期望梯度需要对可能的下一个 token 求平均,而实践中往往只用一个采样 token 来估计,导致估计噪声很大——即使教师指导本身是有用的。帖中用信息几何视角分析噪声来源。
所属事件:研究称仅监督 1% token 即可匹敌全量在策略蒸馏(7 条相关)→
「研究」频道最新
- 学者公开质疑 TraceBind 论文不引用也不对比 ChromBPNet,作者回应否认同质 — NancyZh60672287 · 2026-09-23
- Inria 研究员发布综述:小模型在大模型时代的三种关键角色 — GaelVaroquaux · 2026-09-23
- Hamel Husain：eval 黄金集过时了怎么办？定期错误分析 — HamelHusain · 2026-09-23
- 研究称人体细胞或靠微弱生物光子互相通讯 — iamaliveix · 2026-09-23
- LeCun 转发新会议 ICWM：剑指臃肿的顶级 AI 大会 — ylecun · 2026-09-23
- JevBench 登陆 Hugging Face：Jev 仍居首但开源模型快速追近 — airesearch12 · 2026-09-23