弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍
krishnan · x · 2026-11-17
krishnan 解读弗吉尼亚大学 11 月 5 日预印本 SPARE:线性注意力解决了上下文缓存随 token 无限增长的问题,但模型每步解码仍要读写一个大状态矩阵。SPARE 针对这第二个成本:
- 将每个 head 的循环状态固定在更小的子空间中直接读取与更新,不重建稠密矩阵;
- 用离线校准选择投影,并为不同 head 分配不同容量;
- 加入轻量写补偿,弥补投影更新损失的强度;
- 无需重训练或恢复微调。
效果:1.3B Gated DeltaNet 在 RTX A6000 上、batch size 512 的最压缩设置下解码提速 2.55 倍。作者提醒该投影非无损,速度与检索质量需分开评测。
「Infra」频道最新
- 1100 台 M3/M4/M5 Mac 组沙盒网络,号称比 Blacksmith 便宜 75% — GabGarrett · 2026-11-17
- 面向编码 Agent 的 CI「Celesto」:声称比 Blacksmith 便宜90%、快25% — aniketmaurya · 2026-11-17
- Reddit 热议:美国芯片禁令反而让中国躲过 AI 算力泡沫 — PureControl3423 · 2026-11-17
- Quail 支持 GDN 混合架构模型,较 vLLM 提速 3.2 倍 — sh_reya · 2026-11-17
- Hyperbolic 创始人 SGLang Summit 演讲:算力优化之外还要盘活闲置 GPU — BanghuaZ · 2026-11-17
- 研究者发现两条未公开 x86 指令,可从用户态直写 CPU 微码 — sull · 2026-11-17