Langford 团队新论文:免费暂停 token 实现状态-预测分离,推理零开销

JohnCLangford · x · 2026-10-15

MSR 资深研究员 John Langford 团队的 arXiv 论文《Almost Free State Prediction Separation》将状态-预测分离(SPS)做到几乎零成本。传统 SPS 把前向传播拆成状态流与预测流,能缓解隐藏状态「总结上下文」与「预测下一 token」的双重负担,但预测流需对整个 backbone 做第二遍,预训练 FLOPs 约 1.9 倍。论文用一个不写任何 key/value 的「免费暂停 token」把预测流搭在序列已有位置上:在 1B 参数模型上提升下一 token 预测 2-3 centinats,且推理时零额外上下文、零 KV cache、零解码步、几乎零延迟。训练成本通过双遍分割保持 FlashAttention 可用、w=0 预测窗口、共享门控 FFN、分阶段训练四种机制压低。