LeapQuant 无训练实现 8/4-bit 线性注意力状态量化，吞吐翻倍
zealcaiden · x · 2026-11-13
LeapQuant 针对线性注意力（Linear Attention）模型的一个关键瓶颈——循环状态（recurrent state）——提出免训练（training-free）的量化方案，可将线性状态压到 8/4-bit 而不损失精度，同时把吞吐量提升约 2 倍。对线性注意力架构的部署与推理效率是直接的工程利好。
所属事件:LeapQuant 免训练量化线性注意力，吞吐翻倍(4 条相关)→
「Infra」频道最新
- 调查者无法复现 DeepSeek V4.1-Flash 权重种子，转向华为传闻或属实 — TheNormanMu · 2026-11-13
- OpenCartridge 的安全账：无鉴权、公开存储桶、Docker socket 全开 — maier_ak · 2026-11-13
- camenduru 开源 OpenCartridge：把 AI 模型打包成一键「卡带」 — maier_ak · 2026-11-13
- 在自己的 GPU 上生成游戏素材：OpenCartridge 能做什么、要你信什么 — maier_ak · 2026-11-13
- Sceye 花1亿美元造高空飞艇电脑,SoftBank 订购整队做全日本宽带 — kyliebytes · 2026-11-13
- Torus 数据中心用闭环液冷,宣称无需现场接水 — ccerrato147 · 2026-11-13