NVIDIA 论文：频繁压缩上下文，Agent 几乎不损精度还能省 3.6-7 倍成本

rohanpaul_ai · x · 2026-11-05

NVIDIA 新论文《You don't need long context》发现，LLM 生成成本随上下文增长显著上升：以 256K 上下文窗口服务开源模型，每生成 token 的成本比 16K 高 3.6 倍到 7 倍（按 H100 时价核算 GLM 5.2、Kimi K2.6、Qwen 3 Coder Next 等模型）。

论文给出的做法是让 agent 在设定的上下文上限处停下，写一份简短的交接笔记（handoff note），然后只带任务描述和这份笔记重启；处理长文档时用 Bash 工具搜索文件而非全文读入。

在 6 个长程任务 benchmark 上，每个模型 22 种压缩设置中最多只有 5 种相对完整历史损失超过 2 个点；每步之后都压缩时，Claude Opus 4.5 在 SWE-bench Verified 上仍达 70.2%，甚至高于完整历史的 70.0%。作者据此质疑长上下文模型的必要性，并提出「语义状态空间模型（SSSM）」概念。结论：在为长上下文付费前，先给 agent 配上结构化交接笔记和文件搜索工具，验证短上下文能否保住精度。

所属事件:NVIDIA 论文称 Agent 无需长上下文，频繁压缩即可省成本(5 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →