Prefix Sliding 新算法让长推理提速 3 倍且无损性能

Niklas Muennighoff 等人发布论文《Prefix Sliding for efficient test-time scaling》。研究发现模型推理中大多数中间 token 的重要性会随后续推理迅速衰减，保留全部历史 token 成本高昂。该方法丢弃不属于前缀和最近窗口的 token，无需重新训练即可降低显存消耗、实现高效测试时扩展，推理速度提升最高达 3 倍，且性能无损。

2026-08-27 ~ 2026-08-27 · 4 条相关

• Prefix Sliding 技术：推理速度提升 3 倍的新方法 — iScienceLuvr · 2026-08-27
• 新算法 Prefix Sliding 实现推理速度翻倍，且无损性能 — Muennighoff · 2026-08-27
• Niklas 提出 Prefix Sliding，降低推理时显存消耗实现高效扩容 — Niklas Muennighoff · 2026-08-27

另有 1 条近重复转述:Bedrovelsen