记忆张量 MemT1.0:把记忆写进参数,SWE-bench 从 54% 升到 61.6%
赛博禅心 · wechat · 2026-10-20
作者介绍记忆张量团队的 MemT1.0 项目,尝试摒弃外挂文本记忆,将记忆直接内化到模型参数中。文章指出外挂文本记忆的三大问题:存取规则是预先设定的、上下文越用越长越贵、无法真正复用;而此前把历史训进参数的方案(如 Temp-LoRA)又太慢(128K token 需 700 秒)。MemT 的做法是在部分 Transformer 层里加一个与注意力并排的原生记忆块:本地记忆(随对话更新的矩阵)+超记忆(固定读写参数),写入时逐 token 决定存哪、擦多少、写多少,且只减不增避免数值爆炸,读取开销固定,历史越长速度与成本不变。实验基于 Qwen3.6-35B-A3B 与 DeepSeek-V4-Flash(288B),把 4 万条代码轨迹提炼的 1040 条经验写入记忆后,SWE-bench Verified 三次全对率从 54.0% 升至 61.6%,与直接塞进上下文效果相当但不占上下文;记忆容量仅约 40MiB,且可扩容提分。不足是准确性仍逊于外挂原文(50.6 对 68.6)。作者认为这一路线可能带来 Memory Scaling、越用越便宜的记忆,并对 RSI 有意义。论文、模型与代码均已公开。
所属事件:记忆张量开源记忆原生模型MemT-1.0(5 条相关)→
「编程与Agent」频道最新
- Rust 重写版 TypeScript 编译器 tsrs 发布,类型检查 80 秒缩至 7 秒 — cnakazawa · 2026-10-20
- 634 件 MIT 开源 ASCII 动画库上线,一条命令接入编码 Agent — sull · 2026-10-20
- 开发者详述 MCP 文件删除安全设计：HMAC 令牌+代码级拒绝清单 — qupit · 2026-10-20
- Cloudflare 收编 tsrs：Rust 版 TypeScript 快 8 倍、省 70% 内存 — cnakazawa · 2026-10-20
- px0 升级为一站式工作台:AI 解决 rebase 冲突、改写 commit — arpit_bhayani · 2026-10-20
- Cloudflare 携手 VoidZero 开发 tsrs：Rust 版 TypeScript 快 8 倍省 70% 内存 — Ben's Bites · 2026-10-20