美团 LongCat 团队 QuantMLA：128K 上下文 KV 缓存压缩 3.59 倍
meituan-longcat · hf · 2026-10-12
港大、美团 LongCat 团队等提出 QuantMLA，针对 MLA（Multi-Head Latent Attention）内容缓存与 RoPE 路径的双路低比特量化框架：
- 建立双路量化误差的系统模型，解释 RoPE 路径误差在注意力输出中的显著放大效应。
- 推导路径专属变换空间，可离线融合进模型参数、无在线变换开销；分别用注意力输出重建与位置 QK 重建目标学习变换，并给出输出失真的理论上界。
- 首次实现内容缓存与 RoPE 缓存的联合 INT4 量化且精度损失极小；内容缓存进一步压到 INT2、RoPE key 保持 INT4 时，推理与代码基准仍具竞争力。
- 自研原生低比特 MLA attention kernel，128K 上下文下物理缓存压缩 3.59 倍，缓存受限服务负载下整机吞吐较 BF16 提升 5.168 倍。代码待接收后开源。
「Infra」频道最新
- ResidualQuant实测:RTX 5090上16K上下文解码吞吐提升4.15倍 — sehoonkim418 · 2026-10-12
- 利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈 — sehoonkim418 · 2026-10-12
- Looped Transformer 的 KV 缓存困境：ResidualQuant 用 2-bit 残差省 80% 显存 — sehoonkim418 · 2026-10-12
- Rust 编写本地推理引擎 Uzu 开源，实测速度引开发者惊叹 — Dan_Jeffries1 · 2026-10-12
- Graphsignal 推出推理 GPU 版 top:按耗时给 kernel 排名,一眼看出 NCCL 占了四分之一 GPU 时间 — l0g1cs · 2026-10-12
- 全球手机出货量暴跌 20%,AI 挤占内存致 14 年来最差三季度 — Polymarket · 2026-10-12