NeurIPS 论文 SSD：训练 token 省 38–69%，准确率不减且遗忘更少
Azaliamirh · x · 2026-11-13
斯坦福团队提出 Speculative Self-Distillation（SSD，入选 NeurIPS 2026），改进自蒸馏的准确率–效率–遗忘三角。
核心思路：rollout 中只有少数 token 真正依赖新知识。SSD 让 teacher（同一模型加上额外信息）像“私教”一样，让学生自己写 rollout，只在学生偏离过远时才接管，从而尽量贴近 on-policy 的学生自身分布。
结果：
- 训练 token 比 on-policy 自蒸馏减少 38–69%，准确率持平
- Science Q&A 上约 130 分钟达到 on-policy 需 414 分钟的精度
- 压力测试中遗忘更少（−1.4 vs −4.5 分）
「研究」频道最新
- François Fleuret 质问：EMA 归一化为何不如 batch 归一化流行 — francoisfleuret · 2026-11-13
- RL 框架 Miles v0.2 发布:支持 NVIDIA/AMD/TPU/Trainium 四种硬件 — ying11231 · 2026-11-13
- 开源机器人学习书发布规划新章：详解 CEM 等采样式规划器 — GlenBerseth · 2026-11-13
- 14 分钟视频还原 ChatGPT 一次问答之旅:从回车键到 GPU 再返回 — Glass-Garden-5888 · 2026-11-13
- Reddit 发起开源实验:用强模型纠错弱模型的输出训练纠错 LoRA — Friendly-Fig-6015 · 2026-11-13
- Burkov 周刊：94% 英国学生用 AI 做作业，CUDA Rust 等十条精选 — burkov · 2026-11-13