知识蒸馏的渊源：早于 Hinton 2015 的探索

prajdabre · x · 2026-07-04

作者梳理知识蒸馏的历史：该术语由 Hinton 等人 2015 年提出，用一个或多个教师模型的软标签训练逼近教师的小模型（学生）。

但其实早在 2006 年，康奈尔大学研究人员就在论文《model compression》中探讨了类似思路——在无标签数据上用教师模型产出的标签训练学生模型；这与 2016 年提出、至今仍被广泛使用的 sequence distillation 高度相似。作者推荐阅读该模型压缩论文。