GeoSD提升自蒸馏泛化
iatitov · x · 2026-07-14
这篇工作提出 **GeoSD（Geometric Self-Distillation）**，针对自蒸馏里“教师看到答案、学生没看到”的偏置问题，尝试让学生学到有用的推理信号，同时减少过度贴近教师导致的分布外泛化损失。 核心做法是：根据教师与学生解答的重合度，去缩放教师对学生的拉拽力度，并限制表示漂移。作者报告该方法在 **OOD（分布外）任务上提升 5.7–8.6 个百分点**，而 **ID（分布内）性能基本保持不变**。