研究：同策略蒸馏主要抑制低概率 Token
Purdue · hf · 2026-09-01
论文《Does On-Policy Distillation Really Distill?》探讨了同策略蒸馏的机制。研究发现，该过程主要依赖于抑制低概率 Token，而非依靠教师的指导。基于这一发现，作者提出了一种无需监督的熵自适应方法，该方法显著提升了模型的推理性能。
所属事件:研究称同策略蒸馏增益源于抑制低概率 token，无需教师(4 条相关)→
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18