自蒸馏让权重记忆 59.9% 反超检索,同数据 SFT 仅 36.9%

Route to Remember: Adaptive Memory Selection for LLM Agents

Zeyu Fang, Jun Yin, Yongsheng Mei, Xu Han, Chaitali Joshi, Zhongkai Sun, Jie Hao, Bin Guo, Chengyuan Ma, Benjamin Z. Yao, Chenlei Guo

NeurIPS 2026 Workshop PALM

cs.AI

2026-11-04

把用户记忆蒸馏进 per-user LoRA,HaluMem 59.9% 胜过全部文本基线,查询 token 省四个数量级

这篇在解决什么

生产环境的 agent 记忆几乎全靠文本:从超出上下文的对话里抽要点存库,查询时检索回填进 prompt。每个新问题都要再付一次检索和上下文处理的钱,账单随历史上涨,抽取质量还成了准确率上限。另一条路是把记忆写进模型参数(weight memory),推理不带上下文,查询成本与对话长度脱钩。但早期尝试一旦剥夺上下文就明显掉点,此前最近的诊断结论是参数记忆与检索互有胜负。这篇来自亚马逊与乔治华盛顿大学(NeurIPS 2026 PALM workshop),直接问:参数记忆在用户事实这类情景/语义记忆上能推多远,瓶颈在哪。

方法

两件套:OPSD 负责写入,VtR 负责读取路由。

数据侧,每个 session 先被基座模型抽成带时间戳的记忆点,再扩增成三类 QA 对:paraphrase 让同一事实有多种问法,counterfactual 给错误前提要求纠正,unknown 专问没记录过的属性、标准答案是拒答。第三类是模型学会说「不知道」的唯一来源,去掉它边界类从 88% 掉到 1%。

OPSD(on-policy self-distillation)中,teacher 是基座模型加最近若干 session 记忆点的窗口,student 是同一模型的 per-user LoRA,推理时不带上下文。训练在 student 自己的分布上进行:student 采样答案,teacher 给这些 token 打分,最小化 KL 散度。off-policy 的 SFT 版本有 exposure bias,会退化成复读循环。两个反直觉选择:teacher 必须固定为基座模型,换成累积的 student 快照会让误差跨 session 复利,后期遗忘曲线崩掉,这一处值约 14 分;训练题库不能持续扩充,对抗式生成的题目会漂向无关话题,稀释真正要记的事实。

VtR 不看问题看答案:参数记忆先答,再用问题和答案各检索一次文本库,三分类 verifier 判 supported/conflicting/unsupported,不通过才由不带 adapter 的基座模型检索重答。拿答案当检索锚点是刻意的:plausible 的答案把问题映射进记忆点所在的语义区域,比拿问句配陈述句更好检。

结果

HaluMem 原生题集(n=1438,主模型 Qwen3.5-9B,judge 为 Claude Sonnet 4.6):

方法总体 Correct%
GT points(oracle,抽取完美上界)64.0
Raw dialogue 全进上下文51.3
Extracted 记忆点全进上下文(即 teacher)51.9
MemOS 检索(HaluMem 官方评测最强文本系统)47.8
SFT(同数据)36.9
OPSD59.9
OPSD + VtR66.1

OPSD 对检索优势 12.1 分(用户聚类 CI [9.4, 14.8]),8 个长程用户全部为正(7.118.1 分),去掉边界类后扩到 18.0 分,4B/9B/27B 排序不变。成本结构反转:写入约 1.5 亿 token 一次付清,整个评估只读 32.6 万输入 token,比全文上下文少四个数量级、比检索少五倍;对全文约 600 次查询回本,对检索要到 10^5 量级。

遗忘曲线把三种范式区分开:上下文是截断式崩塌(raw 对话 40 session 崩、抽取撑到 60),权重从 59.9 平滑掉到 32.4(age 80),检索几乎持平(47.8→40.1),约 20 session 后检索反超。权重内部很不均匀:拒答习惯不衰(边界类 81.7→88.1),它保护的内容却塌了。

路由侧全线试错:问题相似度、query 分类器、答案置信度都预测不了权重答案对错(AUC 0.516),能测「可答性」的探针 AUC 0.918 但与对错无关,逐题选最优的 oracle 能到 69.3%,VtR 拿到其中 6.2 分。LoCoMo 上排序复现:OPSD 46.9 对抽取 46.4,SFT 16.9,VtR 60.4;单一范式的 adversarial 类全趴在 2.510.6%,VtR 拉到 73.1%。

为什么重要

最关键的数字是同数据下 SFT 36.9% 与 OPSD 59.9% 的 23 分差,差的全是目标函数。此前「权重记忆不行」的结论几乎都建立在 SFT 上,介质可能从来不是问题,训练配方才是。部署指引也具体:近期、高频、被大量用户共享的知识蒸馏进权重,长尾和缺席检测留给文本库,组合方式是验答案而非看问题挑系统。读成本结构适合写一次读千万次的场景。也得说清:这是每用户一个 LoRA 的研究设置,给海量用户各 serve 一个 adapter 的成本论文没算。

局限与存疑

作者自述:写入贵;旧事实随更新渐忘;参数里没有可查的东西,问到从未记录的属性会编出具体到薪资、体重的假值;VtR 修好边界类的同时拉低 conflict 类(76.0→66.1);优势集中在近期材料。学生赢自己的 teacher(59.9 对 51.9)只给了三个假说,没有验证。约五分之一的边界类「幻觉」其实是有效拒答被打错,判分 rubric 有噪声。读下来另有几处:长程实验只有 8 个用户,HaluMem 是合成数据,single judge 无部分得分,VtR 的写入 token 还要多付近 2000 万,重查询负载才划算。

术语

原文与代码

社区讨论

相关论文

全部论文解读