Sakana AI 提出 RLT：7B「老师」蒸馏出的 32B 学生反超大模型老师蒸馏效果
青稞AI · wechat · 2026-10-22
日本 Sakana AI 发表论文，颠覆传统蒸馏范式：不再训练一个超强「老师」让学生模仿，而是直接训练老师「解释答案」——因为已知答案做解释比从头解题容易得多，就像物理老师不必比牛顿聪明也能讲清牛顿定律。
方法核心：用双重奖励评估老师质量——
- rSS：给学生问题+老师解释，看学生能否据此解出新题（衡量解释的实际有用性）
- rKL：比较学生自生成思路与老师思路的一致性（衡量是否学到思维方式）
只有当解释真正提升学生表现时才奖励老师，反馈密集而即时，且老师任务比学生任务更简单，因此可用更小的模型当老师。
实验结果（AIME2024/MATH500/GPQA Diamond 综合）：
- 7B 学生：RLT 用 7B 老师达 49.50%，超过用 DeepSeek-R1 轨迹的 Bespoke 方法 46.60%；仅 1K 数据也有 47.43%
- 32B 学生：7B RLT 老师蒸馏出 73.23%，超过用大型老师的 Bespoke-32B 的 71.47%，实现「小老师教大学生」
- 参考标杆：Qwen2.5-7B-Instruct 原始 39.17%，QwQ-32B 65.03%，DeepSeek-R1 82.87%
作者指出这符合「成功 AI 研究多由常识直觉驱动」的规律：训练模型去做它被训练要做的事——教学——就够了，由此可显著降低强模型的部署成本。
「研究」频道最新
- BottleCap 发 ThinkingCap 版 Qwen3.8-Flash-Next,思考 token 平均省 38.5% — Thom_Wolf · 2026-10-23
- DLOSAC:用 Delaunay 三角剖分引导的局部优化改进 RANSAC 几何估计 — zhenjun_zhao · 2026-10-23
- 新基准论文：用 3D 基础模型重建地理多样化建筑 — zhenjun_zhao · 2026-10-23
- FineSplat：细粒度图像块前馈 3D 高斯泼溅，重建精度大幅领先 — zhenjun_zhao · 2026-10-23
- ReDT：分辨率解耦视觉几何 Transformer，2K 重建提速 16 倍 — zhenjun_zhao · 2026-10-23
- 因果时空 Mamba：单目视频前馈 4D 重建新框架 — zhenjun_zhao · 2026-10-23