memt-1.0 记忆原生架构:128k 上下文推理快 1.86 倍、存储省 66 倍
Mrs-Grumpy23 · reddit · 2026-10-25
作者拆解 memt-1.0 的「记忆原生」架构:不走 append-only prompt 堆叠或外部 RAG,而是用 gated DeltaNet-2 把记忆直接内化进模型计算层,每轮做稳定的 token 级记忆更新,并配 mixture-of-storage(MoS)层扩展容量。
关键信息:
- 程序性经验内化:普通 agent 把历史执行日志当文本检索,撑爆上下文;memt-1.0 在多轮任务中持续把检索到的过程经验内化进权重/状态。
- 效率:128k token 历史长度下,memt-1.0-nano 相比全上下文 KV cache 方案端到端推理提速约 1.86 倍,持久存储占用降低 66 倍。
- 通用能力保持:参数化记忆层训练通常会损害基座能力,其两阶段训练(继续预训练 + 后训练,共 34B tokens)在超越现有参数化记忆基线的同时保持通用推理竞争力。
- 配图给出 LoCoMo、MemoryAgentBench、ImplicitMemBench、MemBench、PerMemSafe、PersonaMem 六个基准上与 MemOS、DenseRAG、MemoryLLM 等的对比,memt-1.0 在参数化记忆侧多数领先。
作者最后抛出问题:架构级记忆内化是不是长时程 agent 逃离 KV cache 瓶颈的终局方案?
所属事件:MemT-1.0 记忆原生架构：参数记忆替代 RAG(2 条相关)→
「编程与Agent」频道最新
- 开源贡献者分享找性能 bug 心法：拆子系统再动手改变量 — Abhishekcur · 2026-10-25
- 4B 小模型也能生成 3D 场景,Qwen3.5 微调开源可下载 — ConfidentDinner6648 · 2026-10-25
- Agent 验证别只看对话记录:要查它对世界改了什么 — Key-Register-1969 · 2026-10-25
- 开发者用 Opus 5.5 在 Godot 里写出一款日语学习治愈游戏 — thetinytrex · 2026-10-25
- Base44 集成 Entri:两次点击自动绑定自定义域名 — tristanbob · 2026-10-25
- Cursor Ultra 每月 200 美元，Grok Bot 却一天耗尽一周用量额度 — alexcovo_eth · 2026-10-25