Memory Attention 论文:用查表替代价值投影,可卸载到 CPU 省 GPU 显存
serrjoa · x · 2026-09-27
Jiale Kang 在 alphaXiv 发布论文 Memory Attention (MA),提出用「token 索引记忆」替代注意力机制中的价值投影(value projection)。
核心思路
- 不再为每个 token 动态计算全新的 value,而是按 token ID 检索一层专属记忆 M,与上下文 key 相加得到 value(V = K + M)
- M 提供可复用的 token 通用表示,K 保留上下文依赖,从而取消独立的价值投影层
关键工程特性
- 推理时归一化可折叠进记忆表,value 构造退化为「查表+加法」
- MA-Offload:把记忆表放到 CPU 并预取,原型实测约 2.08× 总参数下 GPU 参数存储减少 7.38%,延迟接近基线;SSD 卸载是下一步
- MA-Recall 方向:只保留 K 与 token ID,按需重建 value,有望消除常驻 V cache
在相同训练 token 预算、增加记忆参数的条件下,多种注意力配置上语言建模与下游平均成绩均有提升。作者受 DeepMind Engram 思路启发,认为这可能是未来模型架构的一个方向。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16