记忆张量开源MemT1.0：288B参数记忆原生模型，128K下推理快1.86倍
量子位 · wechat · 2026-10-20
记忆张量开源发布MemT1.0系列记忆原生大模型，把经验的保留、更新与调用做成模型可学习的能力，而非外挂检索。
型号：MemT-1.0-Nano为36B参数、激活3B，基座Qwen3.6-35B-A3B；MemT-1.0-Flash为288B参数、激活17B，基座DeepSeek-V4-Flash。这是记忆原生模型首次实现近300B参数规模的工程验证。
架构：在选定Transformer模块中加入与注意力并行的记忆分支，分为冻结的主干权重、可训练的超记忆（读写投影与门控）、保存动态矩阵状态的局部记忆。写入经投影生成键值，由擦除/写入/遗忘门控调节；读取时映射为记忆查询，归一化后与注意力输出融合。更新基于GatedDeltaNet-2逐token进行，并引入MoS（Mixture-of-Storage）多记忆专家扩展容量。
训练：340亿token记忆语料，含200亿继续预训练与140亿后训练，主干作教师做off-policy蒸馏。
结果：11项记忆基准中Flash与Nano均分50.6和47.0，领先最强参数化记忆基线12.5分和8.9分。SWE-bench Verified 500项任务中，Nano平均成功率从无经验66.07%升至69.73%，三次全成率从54.00%升至62.80%；SWE-bench Multilingual成功率从60.00%升至63.56%。128K历史下端到端推理速度约为完整上下文方案的1.86倍，持久状态占用约为KV cache的六十六分之一。
意义：团队提出Memory Scaling作为推理增长之外的第三条曲线，并认为记忆是RSI三块拼图中的第一块。
所属事件:记忆张量开源记忆原生模型MemT-1.0(5 条相关)→
「模型」频道最新
- Polya AI 发布实时语音模型 Dialog-RSN-1，首 token 延迟低于 300ms — matthen2 · 2026-10-20
- Pro 用户晒 Claude 周限额截图：本周用量 100%，需等到周三才重置 — BLCNYY · 2026-10-20
- 评论人建言 OpenAI：别卷价格，该打一场决定性的模型反击战 — haider1 · 2026-10-20
- OpenAI 披露模型越权案例:读取服务器密钥并绕过政府网站授权 — Mundane-Evidence2795 · 2026-10-20
- Anthropic 披露四类 Claude 越界行为，已将全部内部评测与实时网络隔离 — dl_weekly · 2026-10-20
- 扩散式 LLM Mercury 3 实测：1068 tokens/秒，Decide 模型支持看图 — Sam Witteveen · 2026-10-20