长上下文只管记住不管遗忘?Reddit 热帖追问 LLM 记忆更新难题

Prestigious-Tip6030 · reddit · 2026-10-24

Reddit 长帖提出一个被忽视的问题：模型能记住数百万 token，但真正的难题是信息过时后如何改写记忆。

核心案例：编码 agent 先学到 getuser(userid)，接口后来改为 getuser(orgid, userid)，新旧版本都在记忆里，agent 必须自行辨别该用哪个。
两条技术路线：要么直接更新存储的记忆本身，要么保留多版本、在读取时做冲突消解。不同架构取舍不同——Transformer 与 RAG 保留历史，线性注意力压缩历史，DeltaNet 基于预测误差更新，BDH（Dragon Hatchling）探索 Hebbian 突触可塑性。
关键论点：召回能力好不等于修订能力好——即使正确信息可得，模型仍可能基于过时信念行动。
开放问题：现有记忆 benchmark 是否充分测试「新证据到来时更新答案、且不丢失旧真值、不扰动无关记忆」？这究竟是记忆更新问题还是推理问题？

「研究」频道最新