Titans 推理时自学新知,但学错了怎么删?作者实验揭示召回难复原
pardhu-- · reddit · 2026-10-26
Reddit 用户发布了一篇关于 Google Titans 架构的视觉化讲解，并做了一个小型合成实验。Titans 的核心是将注意力(固定参数、处理当前窗口内的细节)与神经记忆(把早期信息压缩进自身可变的权重、在使用中持续学习)结合。
- 关键问题:记忆权重在推理时自动更新，如果学到错误信息怎么办？
- 实验发现:对错误输入进行纠正后，模型召回有所改善，但无法完全恢复到未受污染的状态。
- 作者抛出开放问题:应该允许 AI 自动记住什么？又该如何撤销一个记忆错误？
配图解释了 Titans 的「注意力 meets 记忆」设计理念:注意力参数保持固定，记忆权重在使用中自适应。
「研究」频道最新
- 作者感叹一周内两项突破：细胞逆龄至20岁、AI蛋白质设计实用化 — rand_longevity · 2026-10-26
- Anthropic 可解释性演示翻车:激活"tiny 神经元"后 AI 念叨自己很小 — Sauers_ · 2026-10-26
- 研究发现操控「情绪神经元」可左右模型的社会决策行为 — burny_tech · 2026-10-26
- Jurafsky & Martin 教材 17 页 HMM 专章 PDF 免费分享 — burny_tech · 2026-10-26
- 两篇 LLM 机械可解释性研究登陆 EMNLP：Agent 做电路解释与代码安全转向 — ZiyuYao · 2026-10-26
- Lafa 论文:流模型改自回归权重扩到 8B,吞吐达 AR 2.54 倍 — burny_tech · 2026-10-26