微软新论文：免费 pause token 让模型白赚推理算力且不加上下文
SonglinYang4 · x · 2026-09-16
dairai 推荐微软与康奈尔的新论文：如果觉得 thinking token 太占上下文，可以看看这个思路。
- 核心机制：pause token 为模型在下一次 token 预测时「白买」额外算力，代价是一个序列位置；免费 pause token 则在共享权重的并行预测流上提供同等算力，借用已有位置而不新增位置。
- 推理收益：不增加上下文长度，KV cache 不变，几乎无额外延迟（额外 FLOPs 不是吞吐瓶颈）。
- 效果：在 1B 模型上 next-token prediction 提升约 2-3 个百分点。
- XLNet 作者任程（原 Google）吐槽：大家总在重复发明 XLNet 里的老想法，原论文为 2019 年 arXiv 1906.08237。
「研究」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
- DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
- 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02