Soft-MTP：去除多 Token 预测训练中的噪声梯度信号

burkov · x · 2026-11-04

burkov 介绍 Soft Multi-Token Prediction（Soft-MTP）：- 背景：MTP 用于改善语言模型训练并一次起草多个 token 以加速推理，但标准 MTP 训练会给模型回传噪声学习信号，可能损害其本要辅助的 next-token prediction 目标。- 核心洞察：标准 MTP 梯度包含两部分——把未来 token 预测拉近模型自身 next-token 预测的有用信号，以及与各自训练目标绑定的残余信号。- 方法：作者展示如何利用已有的梯度分离出有用部分，无需显式训练 MTP 头去模仿模型自身的 next-token 预测，从而避免额外内存和算力开销。