斯坦福新法 Prefix Sliding：长推理提速 3 倍
omarsar0 · x · 2026-08-31
斯坦福提出一种名为 Prefix Sliding 的新方法，用于优化长推理链（CoT）的测试时计算效率。
- 问题背景：长推理过程由于需要全量 Attention，会将整个轨迹保留在内存中。这导致问题越难、思考越长，计算成本和内存占用越高。
- 核心发现：中间生成的 Token 重要性随着推理推进逐渐降低，不再需要持续保留。
- 解决方案：Prefix Sliding 保留前缀（指令与工具定义）和最近几千个 Token 的滑动窗口，丢弃中间过程，从而将内存占用封顶。
- 效果：无需额外训练，即可将现有模型运行速度提升 3 倍，同时保持与全量 Attention 相当的性能表现。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16