Sakana AI 连续记忆机器:双矩阵分离短期计算与长期存储
dair_ai · x · 2026-10-09
Sakana AI 发布关于循环模型记忆机制的新论文 Continuous Memory Machine(CMM)。
- 问题:循环模型擅长状态跟踪,但短期计算与长期存储挤在同一个 hidden 向量里互相争抢。
- 方法:CMM 给模型两个记忆矩阵——短期记忆追踪近期神经元活动,长期记忆存储后续步骤需要的信息;一个 Transformer 在每一步读写两者。架构基于其之前的 Continuous Thought Machine。
- 成绩:在复制、联想回忆、排序、少样本回归、迷宫求解等任务上超越 LSTM、DNC、RMC、CTM 等基线,并能泛化到比以往记忆增强网络更长的输入。
- 可解释性:注意力图显示模型在算法类和 in-context 任务上使用长期记忆,在不需要的任务上会主动跳过。
「研究」频道最新
- 不微调 9B 参数，只搜 4K 维 token 嵌入：小众微调法重提 — cephaloform · 2026-10-09
- 用 AI 在 NASA 数据集里找外星植物,称已获线索 — BLUECOW009 · 2026-10-09
- Looped 模型或能抵御蒸馏攻击：推理藏在潜空间而非可见 CoT — moyix · 2026-10-09
- LLM-as-a-Verifier 开源：弱模型验证强模型，Terminal-Bench 达 69.2% SOTA — Azaliamirh · 2026-10-09
- 线性注意力模型的量化研究：Qwen 与 Kimi 为主角 — kroggens · 2026-10-09
- Salesforce 提出 SRD 蒸馏后见之明，2B 模型成功率从 0 到 60.6% — Salesforce · 2026-10-09