优化流程找到“免费暂停词”，让 Transformer 近乎零成本提升推理质量
JohnCLangford · x · 2026-09-08
John Langford 团队（含 @nthngdy、Yoav Artzi 等）将 State Prediction Separation 方法经过自动优化流程改进，发现其可在更高操作点运行，得到所谓“免费暂停词”（free pause tokens），使 Transformer 能以接近零的额外成本做出更高质量的推理。
训练时间开销从 SPS 原来的约 700% 降至摊销后 10-20%（视具体选择而定），作者认为这是对基础 Transformer 的一项可能被广泛使用的改进。
所属事件:微软团队发现「免费暂停 token」近乎零成本提升 Transformer 推理质量(2 条相关)→
「研究」频道最新
- arXiv 避坑提示续：分类器推荐不同主分类时应接受，否则几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 开源决策模型打《红色警戒2》：先卖基地后自瞄自炸，训练后无人能敌 — heathercmiller · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27