MIT 单作者论文：Soft-MTP 修正多 token 预测的噪声梯度，零成本提升推理与投机解码
Massachusetts-Institute-of-Technology · hf · 2026-10-30
MIT 的 Jayden Teoh 发布单作者预训练论文「Multi-Token Prediction Done Right」。指出多 token 预测（MTP）中存在一条噪声梯度残留：NTP 损失的负梯度会经共享 LM head 泄入 MTP 头，干扰训练。
Soft-MTP 用一个直通（straight-through）KL 恢复技巧移除该噪声梯度——h0[:, k:] += hk.detach() - hk，数值上 h0 不变、NTP 损失与梯度保持不变，同时回收 KL 梯度。改进在困惑度、投机解码与推理能力上均有提升，且不增加额外成本。
「模型」频道最新
- 每日 AI 简报:Google 关停 Jules 并入 Antigravity,OpenAI Pro 用量翻倍 — testingcatalog · 2026-10-30
- 研究员猜想:概念神经元不足以催生 AI 人格 — Sauers_ · 2026-10-30
- 非程序员用户实测 Kimi Work:体验更顺,不再想念 Codex — doctor_dadbod · 2026-10-30
- 曝 DeepSeek 内部「cyber」模型存在,开源版安全评测已逼近前沿 — teortaxesTex · 2026-10-30
- Anthropic:内部模型发现并利用了 Chrome、Safari 等真实漏洞 — emmanuelvivier · 2026-10-30
- 用 Gemini 4 Argon 深度研究一键生成亚马逊退换货政策信息图 — gaganghotra_ · 2026-10-30