Prefix Sliding 新技术：丢弃冗余推理 token 提速 3 倍

新论文提出 Prefix Sliding 技术。研究发现，大模型推理过程中大多数中间推理 token 的重要性会随后续推理迅速衰减，保留全部历史 token 的成本值得质疑。基于此，该方法在推理时丢弃既不属于前缀也不在最近窗口内的 token，使测试时扩展（test-time scaling）速度提升约 3 倍，为降低推理算力开销提供了新思路。

2026-08-27 ~ 2026-08-27 · 2 条相关