亚马逊研究:自蒸馏让权重记忆存储用户事实达 59.9%,超越检索

omarsar0 · x · 2026-11-06

Elvis Saravia 分享了亚马逊与乔治华盛顿大学的论文《Route to Remember: Adaptive Memory Selection for LLM Agents》,探讨 agent 的权重记忆(weight memory)与文本检索两种记忆路线。

核心结果

同一模型、同一用户数据下,普通微调把用户事实存进权重的准确率仅 36.9%,而 on-policy 自蒸馏(OPSD)达 59.9%,甚至超过检索方案
在 HaluMem-Long 的 8 个用户上,蒸馏后的模型无需检索上下文即超过 MemOS 式检索(47.8%)、抽取上下文(51.9%)和原始对话(51.3%),且在 4B/9B/27B 模型上对所有用户均成立

方法:用读过用户记忆的同一模型当教师,训练一个不看记忆的学生模型;再加 verify-then-regenerate 路由,让权重记忆与文本记忆各自覆盖最擅长的查询。

局限:权重记忆会遗忘较旧的事实,也无法判断某事实从未被记录过。论文认为权重记忆可成为 agent 记忆的低成本组件,与检索互补。

「编程与Agent」频道最新