Soft-MTP 论文:一行代码修复多 token 预测梯度缺陷,全尺度免费涨点
pmttyji · reddit · 2026-10-30
论文提出 Soft-MTP,修正标准多 token 预测(MTP)训练中的缺陷:MTP 交叉熵梯度可精确分解为 KL 自蒸馏项(把 MTP head 拉向自身 NTP 分布、有利投机解码)和一个低信噪比的残留项,残留项会干扰 NTP 与 MTP 学习且随规模放大。核心技巧是 KL 梯度恢复:当两个分布共享线性输出头时,通过 straight-through gradient routing 组合各自交叉熵梯度即可精确恢复 KL 散度梯度,无需词表级 logit 矩阵,兼容标准 fused cross-entropy kernel。
- 一行代码改动,不增参数、无可测开销,兼容 DeepSeek 与 Meta 两种 MTP 风格
- 167M 到 1.2B 全尺度:NTP 困惑度更低、投机解码更快、zero-shot 准确率更高;689M 起 MTP 困惑度更低;1.2B 微调后数学与代码推理更强
- 效果与直接最小化 KL 持平或更好,作者称是 MTP 优化的「免费午餐」
- 附 arXiv、GitHub 与 HuggingFace 链接
所属事件:Soft-MTP 一行代码修正多 token 预测梯度缺陷(2 条相关)→
「研究」频道最新
- 从零学强化学习：作者连载一页纸 RL 基础笔记网站 — East-Muffin-6472 · 2026-10-30
- 「你的 LLM 评测在骗你」:temperature 0 跑 1000 次得 80 种答案 — irombie · 2026-10-30
- 蚂蚁系 inclusionAI 开源 ZwZ2:免缩放视觉推理,25 项基准全胜基座 — jacek2023 · 2026-10-30
- Epoch 数据：芯片能效年升 40%，AI 算力与电力缺口持续拉大 — teortaxesTex · 2026-10-30
- Vicki Boykis DataPhilly 演讲：ONNX 推理下的检索与排序实践 — vboykis · 2026-10-30
- 6299 队中夺第 9：智能体读 MRI 写标签征战 Kaggle 膝关节异常检测 — kagglingdieter · 2026-10-30