记忆张量发布记忆原生模型 MemT-1.0:SWE-bench 成功率提升逾 3 点

机器之心 · wechat · 2026-10-20

记忆张量发布业内首个记忆原生基座模型 MemT-1.0,把历史信息编码为可持续更新的内部记忆状态,让参数化记忆直接参与生成,不再依赖外挂记忆库或反复注入上下文。已开源,是业内最大的开源参数化记忆模型。

架构思路:在 Transformer 层内让注意力与参数化记忆并联,记忆由动态局部记忆与超记忆两部分构成;通过回答预测的误差梯度更新记忆写入,无需微调基座。采用 Mixture-of-Storage 混合存储扩展容量,配合擦除/写入/遗忘/输出四种门控。训练用「教师读全上下文、学生只看记忆」的 KL 蒸馏,只优化记忆参数。

关键数据:SWE-bench Verified 平均成功率从 66.07% 提升至 69.73%,三次全过比例从 54% 升至 62.8%;11 个记忆基准上 Flash(50.6)、Nano(47.0)位列参数化记忆方法前二,超最强基线 Temp-LoRA 12.5 分;历史达 128K token 时端到端推理约为完整上下文的 1.86 倍,256K 时达 3.99 倍,持久存储占用降至约 1/66。

团队认为记忆原生化是 RSI(递归自我提升)的架构基础,也让「越用越聪明且越用越便宜」的长期 Agent 成为可能。

所属事件:记忆张量开源记忆原生模型MemT-1.0(5 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →