LeapQuant 免训练量化线性注意力，B200 内核最高提速 3.7 倍
tianyin_xu · x · 2026-11-12
Qwen、Kimi、GLM 等模型都在押注线性注意力，但其循环状态每个 token 都要读写的写使其仍不够快。新方法 LeapQuant 首次实现免训练的 8-bit/4-bit 循环状态量化。
关键结果：
- 精度与 FP32 基线相当
- 线性注意力内核最高提速 4.25 倍
- 端到端推理吞吐最高提升约 2 倍，内核级平均加速 2.05–3.70 倍
- 显存占用最多降低 56%
在 NVIDIA B200、RTX PRO 6000 与 RTX 5090 上完成端到端验证(1.57 倍平均端到端加速)，对线性注意力架构的推理部署有直接实用价值。
「Infra」频道最新
- 网友自组 AMD CPU + 华为昇腾 950PR 混合推理主机 — AIFlow_ML · 2026-11-12
- 黄仁勋去职不是大事，AI四层单点故障才是真隐患 — krishnan · 2026-11-12
- 研究：数据中心仅占美国家庭电价涨幅 4%，参议员仍呼吁全国禁建 — Eliv_nurotic · 2026-11-12
- vLLM 首日支持 MiniMax-M3.1-Flash,Rubin NVL72 吞吐提升 10.2 倍 — vllm_project · 2026-11-12
- vLLM 实测:MiniMax-M3.1-Flash 在 Rubin NVL72 吞吐达 GB300 的 10.2 倍 — vllm_project · 2026-11-12
- Meta FAIR 开源 e-means：比 Lloyd 算法快 10 倍、损失更低的 k-means — generativist · 2026-11-12