SSD 自蒸馏法省 38–69% 训练 token,精度不降且遗忘更少
heghbalz · x · 2026-11-13
NeurIPS 2026 论文提出 Speculative Self-Distillation(SSD),同时改进自蒸馏的精度、效率与遗忘问题。
方法核心：
- 学生与教师(同一个模型，教师带有附加信息)共同书写 rollout:像私教一样，让学生自己写，只在学生偏离过远时教师才接管
- 关键发现：一次 rollout 中只有少数 token 真正依赖新知识，让教师只生成这几个 token 即可
实验结果(配图为 Science Q&A 上精度 vs 训练时间曲线)：
- 训练 token 比 on-policy 自蒸馏少 38–69%,精度基本持平
- 达到 on-policy 精度用时约 130 分钟 vs 414 分钟
- 压力测试中遗忘更少：−1.4 vs on-policy 的 −4.5 分
所属事件:SSD 自蒸馏新法省最高 69% 训练 token 并减少遗忘(2 条相关)→
「研究」频道最新
- 斯坦福课程展示：用 AI 的学生作业得分更高但考试更差 — stanfordnlp · 2026-11-13
- Cartwheel 实现手-物体运动学捕捉突破：任意视频可提取抓取与接触压力 — andrew_n_carr · 2026-11-13
- 基因组模型基准更新:AlphaGenome 2 与 Cerberus 仍难预测远端增强子 — anshulkundaje · 2026-11-13
- JoMoHa 同时 RL 训练模型与 Harness，ALFWorld 成功率达 97% — omarsar0 · 2026-11-13
- LATENTLENS 无需训练解码视觉 token 在语言模型中的真实含义 — burkov · 2026-11-13
- YC F26 团队开源单会话跑一万智能体的运行时 — KlausCodes · 2026-11-13