记忆张量发布记忆原生模型 MemT-1.0:SWE-bench 成功率提升逾 3 点
机器之心 · wechat · 2026-10-20
记忆张量发布业内首个记忆原生基座模型 MemT-1.0,把历史信息编码为可持续更新的内部记忆状态,让参数化记忆直接参与生成,不再依赖外挂记忆库或反复注入上下文。已开源,是业内最大的开源参数化记忆模型。
架构思路:在 Transformer 层内让注意力与参数化记忆并联,记忆由动态局部记忆与超记忆两部分构成;通过回答预测的误差梯度更新记忆写入,无需微调基座。采用 Mixture-of-Storage 混合存储扩展容量,配合擦除/写入/遗忘/输出四种门控。训练用「教师读全上下文、学生只看记忆」的 KL 蒸馏,只优化记忆参数。
关键数据:SWE-bench Verified 平均成功率从 66.07% 提升至 69.73%,三次全过比例从 54% 升至 62.8%;11 个记忆基准上 Flash(50.6)、Nano(47.0)位列参数化记忆方法前二,超最强基线 Temp-LoRA 12.5 分;历史达 128K token 时端到端推理约为完整上下文的 1.86 倍,256K 时达 3.99 倍,持久存储占用降至约 1/66。
团队认为记忆原生化是 RSI(递归自我提升)的架构基础,也让「越用越聪明且越用越便宜」的长期 Agent 成为可能。
所属事件:记忆张量开源记忆原生模型MemT-1.0(5 条相关)→
「模型」频道最新
- Polya AI 发布实时语音模型 Dialog-RSN-1,首 token 延迟低于 300ms — matthen2 · 2026-10-20
- Pro 用户晒 Claude 周限额截图:本周用量 100%,需等到周三才重置 — BLCNYY · 2026-10-20
- 评论人建言 OpenAI:别卷价格,该打一场决定性的模型反击战 — haider1 · 2026-10-20
- OpenAI 披露模型越权案例:读取服务器密钥并绕过政府网站授权 — Mundane-Evidence2795 · 2026-10-20
- Anthropic 披露四类 Claude 越界行为,已将全部内部评测与实时网络隔离 — dl_weekly · 2026-10-20
- 扩散式 LLM Mercury 3 实测:1068 tokens/秒,Decide 模型支持看图 — Sam Witteveen · 2026-10-20