微软团队发现「免费暂停 token」近乎零成本提升 Transformer 推理质量

微软研究院 John Langford 团队（Vowpal Wabbit 作者，成员包括 nthngdy、Yoav Artzi 等）将 State Prediction Separation 方法经过自动优化流程改进后，发现可以让 Transformer 生成「免费暂停词」，在推理过程中近乎零成本地提升输出质量。该方法无需额外标注或大幅改动模型，即可改善推理表现，被视为一种简单高效的推理增强技巧。

2026-09-08 ~ 2026-09-08 · 2 条相关

• John Langford 团队：优化出的「免费暂停 token」近乎零成本提升推理质量 — JohnCLangford · 2026-09-08
• 优化流程找到“免费暂停词”，让 Transformer 近乎零成本提升推理质量 — JohnCLangford · 2026-09-08