NVIDIA 论文:频繁压缩上下文可省 3.6-7 倍 token 成本

khademinori · x · 2026-11-21

NVIDIA 研究人员发布论文《You don't need long context》,质疑长时程任务是否真需要超大上下文窗口。

论文认为这动摇了长上下文 LLM 的必要性,且节省幅度可与激进量化、结构化稀疏等优化手段相比拟。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →