LeapQuant 免训练量化线性注意力，吞吐翻倍

Qwen、Kimi、GLM 等模型纷纷押注线性注意力，但其循环状态每个 token 都需读写，成为新的性能瓶颈。新方法 LeapQuant 是首个免训练方案，可将 8-bit 甚至 4-bit 的线性注意力状态量化直接投入使用，精度基本无损。实验显示其内核在 B200 上最高提速 3.7 至 4.25 倍，整体吞吐实现翻倍，为线性注意力模型的低成本加速提供了新路径。

2026-11-12 ~ 2026-11-13 · 4 条相关

• LeapQuant 免训练量化线性注意力，B200 内核最高提速 3.7 倍 — tianyin_xu · 2026-11-12
• LeapQuant：免训练 4/8-bit 量化线性注意力，内核提速 4.25 倍 — berkeley_ai · 2026-11-13
• LeapQuant:线性注意力状态 8/4bit 量化,免训练吞吐翻倍 — SonglinYang4 · 2026-11-13

另有 1 条近重复转述:zealcaiden