NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本
khademinori · x · 2026-11-21
NVIDIA 研究人员发布论文《You don't need long context》,质疑长时程任务是否真需要超大上下文窗口。
- 成本实测:上下文从 16K 增至 256K,每生成 token 的服务成本上升 GLM 5.2 为 3.6×、Kimi K2.6 为 5.6×、Qwen 3 Coder Next 为 7×(基于 H100 按需租用价格折算)
- 替代方案:频繁上下文压缩(compaction)——保留当前任务状态的紧凑表示、在需要时开启新上下文;长文档则放在上下文外由 agent 按需选择性读取
- 结论:跨多种长时程与长输入任务,模型几乎不损失任务精度;即便每个上下文只执行一个动作,长时程软件工程任务性能也不受影响,由此提出语义状态空间模型(SSSM)概念
论文认为这动摇了长上下文 LLM 的必要性,且节省幅度可与激进量化、结构化稀疏等优化手段相比拟。
「Infra」频道最新
- 分析师猜测:OpenAI 多重困境根源是 GPU 算力短缺 — mark_k · 2026-11-21
- 为跑 24/7 智能体系统,研究者自制本地 GPU 服务器替代 Mac mini — nodosenlared · 2026-11-21
- 单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍 — teortaxesTex · 2026-11-21
- 实测反转:llama.cpp 里 KV cache 量化到 q8_0 反而更费显存 — Fancy-Snow7 · 2026-11-21
- Cohere 推机密计算:数据全程加密进 GPU,直指别家 ZDR 多是营销话术 — Nils_Reimers · 2026-11-21
- Gary Marcus 转发图表:甲骨文 CDS 信用违约互换飙升至历史新高 — GaryMarcus · 2026-11-21