华为诺亚提出 LowRAM:注意力头内摊销 Value 实现 4 倍 KV 压缩
Teresa Delgado · hf · 2026-11-09
华为诺亚伦敦实验室与 UCL 的论文 LowRAM,提出一条与现有 KV cache 压缩互补的新轴：
- 核心发现:每个注意力头内,value 大部分可由对应的 key 预测出来
- 利用这一点做 value cache 摊销:测试时挂一个轻量 per-head 预测器,只为其重建最差的 token 存残差,实现 4 倍近无损 value 压缩
- 预测器可通过 meta-learning 初始化以大幅降低 prefill 开销,也可在 multi-query 推理等允许一次性成本的场景从零拟合
- 再叠加 跨层低秩 key 压缩,并与量化和淘汰(eviction)方法可组合使用
动机：自回归解码的 KV cache 随上下文长度线性增长,限制 batch size 和吞吐；该方法提升解码吞吐且不与现有后训练压缩手段冲突。
「Infra」频道最新
- 等电工不耐烦,直接从 Lambda 抓了几张 B200 当消遣 — TheZachMueller · 2026-11-09
- 谷歌推两款新 TPU 剑指英伟达,成本 reportedly 低约 30% — CurieuxExplorer · 2026-11-09
- NVIDIA 联手 Rebellions 与 SK 电讯打造韩国主权 AI 基础设施 — pstAsiatech · 2026-11-09
- DHH:Omarchy 4.6 让本地 AI 开箱即用，AMD 495 跑 Flash Next 表现惊艳 — AnushElangovan · 2026-11-09
- 谷歌发布第八代 TPU 四套系统,同步开源 TorchTPU 与 TPU Sync — rakyll · 2026-11-09
- Autopilot for CI 发布：跨厂商自适应路由，客户省 30% CI 成本 — emeka_boris · 2026-11-09