微软与康奈尔提出免费 pause token 训练法

微软与康奈尔大学发表《Free Pause Tokens》论文，提出在训练时插入「停顿 token」，让模型在预测下一个 token 之外获得独立的额外计算，而推理时无需增加 token 或扩大 KV cache，实现零推理开销。该方法仅需约 14% 的额外训练时间，即可达到相当于多训练 50% token 的效果，显著提升模型的预测能力。

2026-09-06 ~ 2026-09-07 · 2 条相关

• 微软 Cornell 论文：免费 pause token 零推理开销提升模型预测力 — dair_ai · 2026-09-06
• 微软论文 Free Pause Tokens：14% 额外训练时间换来多训 50% token 的效果 — rohanpaul_ai · 2026-09-07