MemT-1.0 Nano 开源:36B/3B 激活,把记忆写进模型权重而非上下文

solyarisoftware · x · 2026-10-21

新开源模型 MemT-1.0 Nano 走了一条不同的记忆路线：它不把旧对话塞回上下文，而是把记忆做进模型内部——记忆块与普通注意力并行运行，模型在学习过程中自己写入、遗忘、更新和读取信息。模型基于 Qwen3.6-35B-A3B 构建，总参数 36B、激活 3B，含 10M 动态记忆状态和 451M 可训练记忆参数，MIT 协议开放权重。作者声称在 128K 历史下，持久记忆比保留完整 KV cache 小约 66 倍。配图显示在 LoCoMo、MemoryAgentBench、ImplicitMemBench、MemBench、PerMemSafe、PersonaMem 六个基准上，其参数化记忆方案与 MemOS、DenseRAG、Graphiti、MemOS、Doc-to-LoRA、SHINE、6-mem、MemoryLLM 等方案对比多数领先。