弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍

krishnan · x · 2026-11-17

krishnan 解读弗吉尼亚大学 11 月 5 日预印本 SPARE:线性注意力解决了上下文缓存随 token 无限增长的问题,但模型每步解码仍要读写一个大状态矩阵。SPARE 针对这第二个成本:

效果:1.3B Gated DeltaNet 在 RTX A6000 上、batch size 512 的最压缩设置下解码提速 2.55 倍。作者提醒该投影非无损,速度与检索质量需分开评测。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →