Meta 用 SDM 扩展长上下文记忆
burny_tech · x · 2026-07-12
转发内容介绍了 Meta 的一篇新论文，提出 **Sparse Delta Memory（SDM）**，试图解决 AI 效率中的一个关键瓶颈：长上下文记忆。 ### 核心思路 - 线性 RNN 虽然计算高效，但固定隐藏状态限制了长上下文表现。 - SDM 通过**稀疏寻址**机制，把写入/读取扩展到一个更大的显式记忆中。 - 这样可以在**不增加额外 FLOPs** 的前提下，把状态容量提升多个数量级。 ### 论文声称的效果 - 在严格的 isoFLOP 约束下，SDM 显著提升了： - 上下文学习 - 长上下文检索 - 通用推理 - 作者认为，这对未来长链路 AI agent 很重要，因为它能在**不线性增加计算**的情况下扩展记忆能力。