arXiv 论文 KVMem:在消费级 GPU 上虚拟化百万 token Agent 工作区
rohanpaul_ai · x · 2026-09-23
arXiv 论文《KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU》提出 KV 上下文虚拟化系统:将超出容量的 Agent 工作区历史以分页 KV 状态保存在 GPU 显存、主机内存与 NVMe 中,用模型原生的轻量注意力索引挑选相关历史块,并按查询生成受原生上下文窗口约束的「执行视图」。
- 相比压缩摘要式方案,保留细粒度执行证据,避免重复 prefill
- 在 LongMemEval、MemoryAgentBench、AgentLongBench 等百万 token 级基准上,任务效用与推理效率普遍优于压缩方案
- DeepSWE + Qwen3.8-27B:任务成功率从 43.8% 升至 48.4%
- 24GB RTX 5090 笔记本可运行 Qwen3.6/3.8-27B NVFP4 + MTP,虚拟化 4 倍于原生 256K 窗口的 1M token 工作区
所属事件:KVMem 论文实现百万 token 工作区 KV 虚拟化(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12