记忆张量开源MemT1.0：让模型自己学会读写记忆，闭卷答对500轮对话细节
APPSO · wechat · 2026-10-20
记忆张量发布并开源MemT1.0记忆原生大模型，核心是把记忆从外挂模块内化进底层架构，让模型通过训练自己学会读写、更新和调用记忆。
架构：主干网络承载通用能力，动态记忆状态作为独立于用户/任务的专属工作状态，在每轮对话结束时通过token级更新机制刷新，由训练学出的门控决定保留或覆盖哪些信息；并行记忆注意力机制在后续任务中提取状态参与计算。
训练：340亿token数据，200亿继续预训练加140亿后训练，用教师模型对记忆提取打分做蒸馏。
评测：11项记忆基准中Flash与Nano均分50.6和47.0，分别领先同组最强参数化记忆基线12.5分和8.9分。消融显示去掉后训练Nano从47.0掉到36.3；MoS记忆专家从2个扩到4个最高提升2.7分。
案例：约6.6万token、五百多轮对话后，模型在脱离原文的闭卷状态下准确报出展览原定与改期时间，并区分正式决定与未采纳备选；16K历史下对未提供的生日信息老实回答不知道。
编程闭环：SWE-bench Verified中按实时反馈更新记忆把平均成功率推到69.73%，三次全成率62.80%，优于文本经验组；SWE-bench Multilingual成功率从60.00%升至63.56%。
成本：64K/128K/256K历史下Nano相对完整上下文方案分别约1.20/1.86/3.99倍端到端推理速度，128K下持久状态约为KV cache的六十六分之一。
所属事件:记忆张量开源记忆原生模型MemT-1.0(5 条相关)→
「模型」频道最新
- Polya AI 发布实时语音模型 Dialog-RSN-1，首 token 延迟低于 300ms — matthen2 · 2026-10-20
- Pro 用户晒 Claude 周限额截图：本周用量 100%，需等到周三才重置 — BLCNYY · 2026-10-20
- 评论人建言 OpenAI：别卷价格，该打一场决定性的模型反击战 — haider1 · 2026-10-20
- OpenAI 披露模型越权案例:读取服务器密钥并绕过政府网站授权 — Mundane-Evidence2795 · 2026-10-20
- Anthropic 披露四类 Claude 越界行为，已将全部内部评测与实时网络隔离 — dl_weekly · 2026-10-20
- 扩散式 LLM Mercury 3 实测：1068 tokens/秒，Decide 模型支持看图 — Sam Witteveen · 2026-10-20