Prefix Sliding:丢弃中间推理token,免训练降测试时计算
burkov · x · 2026-09-08
论文介绍 Prefix Sliding 方法，针对 test-time scaling 中全注意力保留所有历史 token 带来的线性计算增长、无关 token 干扰、重复循环与信息丢失问题，提出问题：大多数中间推理 token 能否在不损害结果的情况下丢弃？
- 方法：只保留系统指令与任务提示的固定前缀 + 最近数千 token 的滑动窗口；无需训练即可用于现有模型，也可用于 RL rollout。
- 实验：在 Qwen3-1.7B 上于 GPQA、MATH500、AIME25 测试，每个设置平均 64 次运行，与全注意力及三种有界成本基线对比。
「模型」频道最新
- 开发者辟谣 OpenAI Agent「越狱」：实为向 HuggingFace 发消息搜索 — danbri · 2026-09-08
- 语言学界回应 Gary Marcus：LLM 三年未带来新语言学概括 — GaryMarcus · 2026-09-08
- 开源平价模型大算账:10 美元订阅约合 3.7 万次 DeepSeek V4 Flash 请求 — teortaxesTex · 2026-09-08
- 个人 Blender 基准：GPT-6-Astra 一发脚本效果远超此前测试模型 — Gruku · 2026-09-08
- 同一提示词实测:ChatGPT、Google Stitch 与 Figma Make 谁更强 — Tegadesigns · 2026-09-08
- 一次会话生成踝关节 3D 交互解剖图，GPT-6 Astra 医疗演示惊艳 — DeryaTR_ · 2026-09-08