AbridgeKV 潜空间压缩 KV 缓存:1/4 缓存持平精度,推理提速 3.2 倍
DimitrisPapail · x · 2026-11-09
受 MEMENTO 论文启发的探索:KV 缓存压缩是否可以完全不依赖显式文本?AbridgeKV 训练模型把已完成生成块自行压缩为潜空间 code(K 个 pause token 读取该块并写回 K 行 code,原始行被丢弃),后续块只 attend prompt、历史 codes 和当前块。
- 效果:只保留约 1/4 的生成 KV 缓存,在竞赛数学题套件上 accuracy 持平 full-KV(43.0 vs 43.8),在单张 H100 上推理快 3.2 倍
- 对比:大幅优于 R-KV(0.32×,反而更慢)和 LightThinker(1.4×)
- 内存:16K token 生成过程中,常驻 KV 显存远低于 full-KV 线性增长
说明潜空间压缩在长推理场景可行,无需显式文字摘要。
「Infra」频道最新
- Chamath：数据中心供给吃紧，SpaceX 可 90 天通知对 Anthropic 提价 2-3 倍 — rohanpaul_ai · 2026-11-09
- Anthropic 数据中心旁将部署大型天然气发电机,社区担忧噪音与污染 — bigdata · 2026-11-09
- macOS 27.3 让 Mac 虚拟机调用宿主 GPU 与神经网络引擎,AI 任务提速至 7 倍 — SumitGup · 2026-11-09
- 1299 美元 Intel B70 对阵 6500 美元 RTX 5090：本地跑 Qwen 只要一半速度、五分之一价格 — maikerukonare · 2026-11-09
- 2.8T Kimi K3.1-Pro 压到 775GB 单卡跑：精度无损、吞吐 36.8 TPS — Grawnch · 2026-11-09
- 单卡 RX 7800 XT 跑 78 tok/s:开发者打造越用越聪明的本地编程助手 Shura — HIKKIAN · 2026-11-09