Soft-MTP 一行代码修正多 token 预测梯度缺陷

MIT 研究者 Jayden Teoh 发布单作者论文「Multi-Token Prediction Done Right」，提出 Soft-MTP 方法，指出标准多 token 预测（MTP）训练中存在噪声梯度：MTP 交叉熵梯度可精确分解为一个把 MTP head 拉向自身 NTP 分布的 KL 自蒸馏项等成分。该修复仅需一行代码、零额外成本，即可在全尺度上免费提升模型性能，并改善推理与投机解码表现。

2026-10-30 ~ 2026-10-30 · 2 条相关

• MIT 单作者论文：Soft-MTP 修正多 token 预测的噪声梯度，零成本提升推理与投机解码 — Massachusetts-Institute-of-Technology · 2026-10-30
• Soft-MTP 论文:一行代码修复多 token 预测梯度缺陷,全尺度免费涨点 — pmttyji · 2026-10-30