LeapQuant：免训练 4/8-bit 量化线性注意力，内核提速 4.25 倍
berkeley_ai · x · 2026-11-13
Qwen、Kimi、GLM 等模型纷纷押注线性注意力，但循环状态每个 token 都要读写，依然慢。新方法 LeapQuant 是首个免训练方案，让 8-bit 甚至 4-bit 的循环状态可用：在 Qwen、Kimi、GLM 上匹配 FP32 精度，线性注意力内核提速 4.25 倍，推理吞吐最高提升 2 倍，内存最多省 56%。Ilya Sutskever 转发推荐了这项工作。
所属事件:LeapQuant 免训练量化线性注意力，吞吐翻倍(4 条相关)→
「研究」频道最新
- 研究：AI 创业融资红利高度集中于北美与中东 — danielrock · 2026-11-13
- MIT 推出结构设计 AI copilot,抗屈曲强度提升 39% 仅多花 15 秒 — Dr_Singularity · 2026-11-13
- Robopedia 发布 Xperience 2：物理 AI 环境与行为数据集标准 — liuziwei7 · 2026-11-13
- 浙大×百度 Agent-R²:4B 小模型靠真实源数据合成超越更大开源基线 — ZhejiangUniversity · 2026-11-13
- BirdDreams 驾驶世界模型:单图联生成视角+鸟瞰视频,车流可响应自车动作 — lealtaixe · 2026-11-13
- Ladish:AI 接管不是魔法,只是预训练+RL 继续规模化的外推 — JeffLadish · 2026-11-13