Grouped Value Attention 分组存值按需重建 Key,压缩 KV Cache
Vishesh Tripathi · hf · 2026-09-15
- Grouped Value Attention (GVA) 提出一种新的 KV Cache 压缩思路：不再完整存储每个 token 的 Key 和 Value，而是只存分组后的 Value，再通过一个可学习的线性映射按需重建 Key。
- 核心逻辑：Key 在推理时可以由 Value 组的紧凑表示线性恢复，因此持久化缓存体积显著缩小。
- 实测可达到接近 GQA（Grouped Query Attention） 的精度，同时缓存占用更小，为长上下文推理的显存优化提供新选项。
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02