微软论文 Free Pause Tokens：14% 额外训练时间换来多训 50% token 的效果
rohanpaul_ai · x · 2026-09-07
微软与康奈尔大学的论文《Free Pause Tokens》提出一种训练方法：让模型在预测下一个 token 之外获得独立的额外计算，而无需增加 token、扩大 KV cache 或增加 decode 步骤。实测效果与一个多用 50% token 训练的标准模型相当，但训练时间只增加约 14%，推理延迟仅增约 1%。
关键发现：
- 这一「免费停顿」不必全程开启：在训练进行到 42.5% 后才打开，仍能保留约 94% 的完整质量增益，墙钟时间为标准训练的 1.33 倍。
- 在同等 node-hours 下，分阶段版本仍然优于标准训练。
作者给出的实践建议：大部分训练按常规进行，只在训练后期加入这段额外的预测计算即可。
所属事件:微软与康奈尔提出免费 pause token 训练法(2 条相关)→
「Infra」频道最新
- 三星电机突入 Nvidia 基板供应链，台湾基板高管直呼意外 — zephyr_z9 · 2026-10-23
- Suhail 高价收货:公开求购用于模型的 RL 内核优化任务 — AIFlow_ML · 2026-10-23
- GitHub 自述:99.99999% 仓库已迁至 Azure,按引用级仲裁解锁 agent 规模并发 — marlene_zw · 2026-10-23
- 黄仁勋到访阿斯塔纳，与哈萨克斯坦副总理畅谈 AI 国家战略 — nvidia · 2026-10-23
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23