Prefix Sliding:丢弃中间推理token,免训练降测试时计算
burkov · x · 2026-09-08
论文介绍 Prefix Sliding 方法，针对 test-time scaling 中全注意力保留所有历史 token 带来的线性计算增长、无关 token 干扰、重复循环与信息丢失问题，提出问题：大多数中间推理 token 能否在不损害结果的情况下丢弃？
- 方法：只保留系统指令与任务提示的固定前缀 + 最近数千 token 的滑动窗口；无需训练即可用于现有模型，也可用于 RL rollout。
- 实验：在 Qwen3-1.7B 上于 GPQA、MATH500、AIME25 测试，每个设置平均 64 次运行，与全注意力及三种有界成本基线对比。
「模型」频道最新
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26