微软 Cornell 论文：免费 pause token 零推理开销提升模型预测力
dair_ai · x · 2026-09-06
dairai 推荐 Microsoft 与 Cornell 的论文：pause token 机制——通过插入「停顿 token」为每次 next-token prediction 买到额外计算量，代价只是占用一个序列位置。
关键点：
- 免费 pause token 在权重共享的主干上以并行预测流携带同等计算，复用已有位置而非新增位置；
- 推理时几乎零成本：不增加上下文长度、不改变 KV cache、基本无额外延迟（额外 flops 不是吞吐瓶颈）；
- 在 1B 模型上，next-token prediction 提升 2-3 个 centinats；
- 成本转移到训练侧：相对优化好的预训练流水线，开销仅约 1.14x，同时保留大部分收益。
对觉得 thinking tokens 的上下文成本承受不起的团队，这是条值得 bookmark 的路线。
所属事件:微软与康奈尔提出免费 pause token 训练法(2 条相关)→
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23