Prefix Sliding 论文：免训练令长推理提速 3 倍，打破记忆上限
cephaloform · x · 2026-10-14
arXiv 新论文《Prefix Sliding for efficient test-time scaling》，作者包括 Niklas Muennighoff、Percy Liang、Jason Wei、Andrew Ng、Luke Zettlemoyer、Yejin Choi、Mike Lewis 等约 18 人。
- 问题：测试时扩展让模型对难题推理更久，但全注意力需把整条推理轨迹留在内存里，长思考成本高得离谱
- 发现：绝大多数中间推理 token 随推理推进重要性迅速衰减，一直保留并不值得
- 方法：推理过程中只保留「前缀」（关键指令与工具信息）+ 最近几千 token 的滑动窗口，其余直接丢弃；无论推理多长，内存需求有硬上限
- 效果：不训练即可让现有模型提速 3 倍且性能不掉；配合 RL 训练可扩展到超过 10 万 token 的推理轨迹并获得更好性能
- 消融：优于对中间 token 做摘要和朴素滑窗；代码已开源
对做长程 agent 和推理成本优化的人是重要进展。
「Infra」频道最新
- 百个工程师配 AI 即达万人协作:monorepo 需要新 Git 原语 — rickasaurus · 2026-10-14
- Modal 证明 RL 训练可用混合加速器集群，成本更低且收敛不输同构 — charles_irl · 2026-10-14
- 后院「分布式数据中心」小屋：为本地 LLM 打造的 ADU 创业 — dee_hw · 2026-10-14
- 小红书 Dots 团队开源 DoSA:稀疏注意力 Indexer 提速至 2.74 倍 — dots-studio · 2026-10-14
- ShellElastic 一次训练产出多尺寸子网,超参可从小模型直接迁移 — Can Jin · 2026-10-14
- 曝微软因数据中心支出与AI人才竞赛承压，内部讨论削减成本 — SumitGup · 2026-10-14