MIT 提出 Soft-MTP：一行代码去掉 80% 噪声梯度，免费提升 LLM 预训练

kastnerkyle · x · 2026-11-03

MIT 的论文《Multi-Token Prediction Done Right》指出标准多 token 预测（MTP）训练的缺陷：约 80% 的 MTP 训练梯度来自低信噪比的噪声成分，反而干扰 next-token 与多 token 的学习，且规模越大越严重。

核心方法

• 将 MTP 交叉熵梯度精确分解为两部分：一个把 MTP 头拉向模型自身 NTP 分布的 KL 自蒸馏项（有利于投机解码），以及一个噪声残差项。
• 提出 KL gradient-recovery 技巧：当两个分布共享线性输出头时，通过 straight-through 梯度路由组合交叉熵梯度即可精确恢复 KL 散度的梯度，无需 vocabulary 级 logit 矩阵，兼容标准 fused cross-entropy kernel。
• 得到的 Soft-MTP 只改一行代码，不加参数、无可测开销，兼容 DeepSeek 与 Meta 两种 MTP 风格。

效果

• 167M–1.2B 全尺寸区间内，NTP perplexity 更低、投机解码更快、zero-shot 准确率更高。
• 1.2B 模型 HumanEval Pass@64 从 40.85% 提升到 43.90%，微调后数学与代码推理更强。
• 作者称其为「免费的午餐」。

原文链接 →

「研究」频道最新

• 浙大团队提出 PrimaCons 基准:揭示 Jev 跨原语决策不一致性 — Xu Liu · 2026-11-03
• 浙大等提出 MACR 框架:置信度接力式多智能体协作,token 开销降 6 倍 — Xu Liu · 2026-11-03
• MIT 权重空间编程被指或为持续学习的真正突破口 — daniel_mac8 · 2026-11-03
• 评测研究者 LChoshen 宣布加入魏茨曼科学研究所创办 CoLab — LChoshen · 2026-11-03
• 编辑 0.016% 权重根治 Qwen 推理死循环，MATH-500 从 7.9% 升至 48.1% — DeliciousGorilla · 2026-11-03
• 多校准常被高估?Aaron Roth 提出只需全局校准加多准确性 — Aaroth · 2026-11-03

更多「研究」频道 AI 资讯 →