MIT 提出 Soft-MTP：修正多 Token 预测训练缺陷

MIT 论文《Multi-Token Prediction Done Right》指出标准多 Token 预测（MTP）训练存在缺陷：约 80% 的训练梯度来自低信噪比信号。研究者提出 Soft Multi-Token Prediction（Soft-MTP），仅需一行代码修改即可去除大部分噪声梯度，从而免费提升 LLM 预训练效果。MTP 本身用于改善语言模型训练并支持一次起草多个 token 以加速推理，该工作被视为让 MTP 真正做对的关键改进。

2026-11-03 ~ 2026-11-04 · 2 条相关

• MIT 提出 Soft-MTP：一行代码去掉 80% 噪声梯度，免费提升 LLM 预训练 — kastnerkyle · 2026-11-03
• Soft-MTP：去除多 Token 预测训练中的噪声梯度信号 — burkov · 2026-11-04