SSD 自蒸馏新法省最高 69% 训练 token 并减少遗忘

一篇入选 NeurIPS 2026 的论文提出 Speculative Self-Distillation（SSD），由斯坦福团队开发，同时改进自蒸馏的精度、效率与遗忘问题。方法核心是让学生与教师共享同一模型并采用投机式机制，训练 token 可节省 38% 至 69%，准确率不降且遗忘更少。

2026-11-13 ~ 2026-11-13 · 2 条相关

• NeurIPS 论文 SSD：训练 token 省 38–69%，准确率不减且遗忘更少 — Azaliamirh · 2026-11-13
• SSD 自蒸馏法省 38–69% 训练 token,精度不降且遗忘更少 — heghbalz · 2026-11-13