SPSD:把 MuZero 自博弈搜索蒸馏成 LLM 推理链,数学成绩 24.1→36.6
PMinervini · x · 2026-09-29
研究者提出 Self-Play Search Distillation(SPSD),探索棋盘游戏上的自博弈能否教会 LLM 推理:
- 方法:先在棋盘游戏上用自博弈训练 MuZero 专家,再把其搜索过程蒸馏成推理轨迹,用于微调 LLM。
- 结果:推理能力可迁移到未见过的游戏,并能泛化到数学任务,成绩从 24.1 提升到 36.6。
- 意义:展示经典搜索型强化学习的规划能力可以作为推理监督信号,绕开纯文本蒸馏的局限。
所属事件:SPSD 论文:自博弈搜索蒸馏提升 LLM 推理(3 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16