多 Token 预测论文揭示 Transformer 学会规划的机制
CatAstro_Piyush · x · 2026-07-25
论文已被 COLM 2026 接收
《How Transformers Learn to Plan via Multi-Token Prediction》 已被 COLM 2026 接收。
- 作者认为，Multi-Token Prediction（MTP） 之所以能提升规划能力，是因为它带来了梯度解耦。
- 这种机制让模型更容易形成逆向推理：先看目标，再倒推路径。
- 配图中的 heatmap 对比了 NTP 与 MTP 的内部权重/注意力分布，支持作者对机制差异的解释。
「研究」频道最新
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27