Prefix Sliding:丢弃冗余推理 token,测试时扩展提速 3 倍
Bedrovelsen · x · 2026-08-27
新论文提出 Prefix Sliding 技术：研究发现模型推理过程中，大多数中间推理 token 的重要性会随后续推理迅速衰减，保留全部历史 token 的成本值得质疑。基于此，Prefix Sliding 只保留前缀和最近几千个 token 的滑动窗口，丢弃其余部分。
效果：无需任何训练，现有推理模型即可提速约 3 倍且性能基本不变；若结合强化学习在压缩设置下训练，还能通过扩展到超过十万级 token 的推理轨迹获得更好性能。论文附开源代码。
所属事件:Prefix Sliding 新算法让长推理提速 3 倍且无损性能(4 条相关)→
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15