知识蒸馏的渊源：早于 Hinton 2015 的探索
prajdabre · x · 2026-07-04
作者梳理知识蒸馏的历史：该术语由 Hinton 等人 2015 年提出，用一个或多个教师模型的软标签训练逼近教师的小模型（学生）。
但其实早在 2006 年，康奈尔大学研究人员就在论文《model compression》中探讨了类似思路——在无标签数据上用教师模型产出的标签训练学生模型；这与 2016 年提出、至今仍被广泛使用的 sequence distillation 高度相似。作者推荐阅读该模型压缩论文。
「研究」频道最新
- 斯坦福数据中心化 AI 研讨会开放报名，海报截止延期 — jure · 2026-10-26
- Hugging Face 六个月 Training Agents 系列收官，全部录像与代码开源 — SergioPaniego · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26