Looped Transformer 的 KV 缓存困境：ResidualQuant 用 2-bit 残差省 80% 显存
sehoonkim418 · x · 2026-10-12
- 问题：Looped Transformer 通过循环复用同一组权重做更多计算，但每一轮循环都会产生自己的 K/V 状态，KV 缓存随循环次数线性膨胀——配图显示 Ouro-1.4B（8192 tokens、24 层）在 4 loops、batch 16 时 KV 内存高达 103.1 GB，而权重只有 2.87 GB；更长上下文和更大 batch 会进一步放大这一成本。
- 方案 ResidualQuant：利用各轮循环的 KV 状态高度相似这一特性，把最后一轮循环作为共享锚点（4-bit 存储），其余每轮只存与锚点之差的残差（2-bit）；重建时锚点+残差相加即可。
- 效果：残差里离群值更少、更易低比特表示，在保持接近 BF16 精度的同时节省 80% KV 存储，峰值解码吞吐提升 3-4 倍。
所属事件:KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存(10 条相关)→
「Infra」频道最新
- 美国数据中心最集中两县恰是全美最富两县，算力循环论引发争论 — gregmushen · 2026-10-12
- Cloudflare Logpush Transformers：导出前用 SQL 过滤与改写日志 — Cloudflare Blog · 2026-10-12
- 混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍 — HankYeomans · 2026-10-12
- Palo Alto Networks 收购 AI 网关 Portkey，卡位企业 AI 支出入口 — YvesMulkers · 2026-10-12
- Anthropic 算力版图再扩：IREN 等前比特币矿场成新供应商 — tengyanAI · 2026-10-12
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12