LinQuant：给 Mamba-2 等线性循环层做低精度预填充的量化框架
SonglinYang4 · x · 2026-11-06
研究者提出 LinQuant，一个针对线性循环层（如 Mamba-2、GDN、KDA）的低精度 recurrent prefill 量化框架。
核心发现：注意力机制的量化已研究多年，但取代注意力的线性循环结构此前缺乏对应方案。作者证明可以通过改写这些线性递归的计算方式来降低量化误差，同时保持与全精度等价的函数输出。
「研究」频道最新
- 快手可灵团队等提出 JointLight：视频换光时人物与阴影保持真实 — jiqizhixin · 2026-11-06
- 康奈尔发布 Trainspotting 数据集：12 万张网友照片练 3D 重建 — kwangmoo_yi · 2026-11-06
- Meta 研究员:动 RL 之前先做足 SFT,否则等于白花钱 — DimitrisPapail · 2026-11-06
- SWE-bench 作者回应「刷基准」质疑：SWE 需要人在回路的新基准 — OfirPress · 2026-11-06
- 新预印本《Tokenizer Myths》系统拆解分词器迷思 — RylanSchaeffer · 2026-11-06
- 让全球地表数据可被 AI 查询，Luke Davis 发布数月新作 — dansitu · 2026-11-06