KVMem 用 KV 分页把 Agent 工作区扩展到百万 token,消费级 GPU 可跑
rohanpaul_ai · x · 2026-09-23
论文提出 KVMem:不把旧上下文压缩成摘要或重新取回文本,而是把溢出的 KV 状态分页保存在 GPU 显存、内存和 NVMe 上,需要时按注意力索引取回,保留模型已完成的计算。
- DeepSWE + Qwen3.8-27B 上,Pass@1 从纯压缩方案的 43.8% 提升到 48.4%
- 历史恢复速度比 Compact+RAG 快 11.4–53.8 倍
- 在 24GB RTX 5090 笔记本 GPU 上支持约 100 万 token 的工作区,约 50 tokens/s(每步仍只看有限切片,非百万 token 全量提示)
所属事件:KVMem 论文实现百万 token 工作区 KV 虚拟化(2 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真平台：从代码库构建数字孪生自动找故障 — thisguyknowsai · 2026-11-11
- 0xJeff:x402 的真正短板在企业级,大钱在 B2V 而非机器互付 — 0xJeff · 2026-11-11
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- Orchestrator v0.14.11 发布：统一管理散落各处的 AI 编程会话 — julianweisser · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11