斯坦福提出 SSD 蒸馏法：训练 token 省 38-69% 且遗忘更少
khademinori · x · 2026-11-13
斯坦福 AI Lab 团队发布 NeurIPS 2026 论文 Speculative Self-Distillation（SSD），解决「教 LLM 学新知识却遗忘旧知识」的问题。
- 核心机制：学生与教师（同一模型附加额外信息）共同书写 rollout，像家教一样让学生先写，只在学生偏航时教师接手，训练数据尽可能贴近学生自身分布（on-policy）。
- 效果：相比 on-policy 自蒸馏，训练 token 减少 38–69% 且精度持平；Science Q&A 任务上达到同等精度用时约 130 分钟 vs 约 414 分钟；压力测试中遗忘更少（-1.4 vs -4.5 分）。
所属事件:斯坦福 SSD 自蒸馏法省近七成 token 且减少遗忘(4 条相关)→
「研究」频道最新
- Dejan 用 Gemini 跑 19 万品牌调研，总成本仅 391 美元 — dejanseo · 2026-11-13
- Galaxea 联创清华赵行 CoRL 演讲：机器人智能按时间尺度分 System 2/1/0 — YuXiang_IRVL · 2026-11-13
- 梅西会议史料整理：控制论如何塑造 AI 思想源头 — ArtificialOther · 2026-11-13
- vismatch 开源：统一 API 串起 50+ 图像匹配模型，已获 943 星 — gabriberton · 2026-11-13
- EEPO 用「采样后遗忘」干预破解 RLVR 训练中的多样性坍缩 — burkov · 2026-11-13
- FINGR 灵巧手用连续手指技巧拧开二阶魔方,获 CoRL 工作坊最佳论文 — Scobleizer · 2026-11-13