MemoryAthena: Adaptive Routing over Latent and Generated Memories
Mingyuan Li, Guangsheng Yu, Juyuan Zhang, Xu Wang, Zhibo Man, Haonan Zhang, Shaoxiong Ji
cs.CL
2026-09-22
MemoryAthena 在冻结 Mistral-7B 上给 Engram 加两条生成通路,用轻量路由决定何时介入。五任务 QA 均分从直接检索的 37.65 提到 39.28,六任务 NLP 从 76.73 到 79.13。
外部记忆常见三种接法:RAG 塞文本,kNN-LM 塞近邻,Engram 一类方法把可寻址表挂在骨干外面,用轻量 reader 读进去。这些做法有一个共同点:模型吃到的表示,就是存进去的那份,最多做一次适配投影。
前作已经把记忆拆成寻址、存储、读取三块,并且证明同一张表可以跨骨干复用。剩下的问题是:被注入的表示必须来自查表吗?能不能按当前上下文把记忆生成出来?
生成出来的记忆并不稳。GE 在 WebQA 上能补 E,在 TriviaQA 和 HotpotQA 上会拖后腿;GH 在五个 QA 汇总指标上全面弱于 E。问题从「再造一条更强通路」转成「何时、选哪条、用多大力去改直接检索」。
MemoryAthena 挂在冻结的 Mistral-7B-v0.3 上,记忆注入第 2 和第 10 层。三条通路产出同一隐空间里的残差:
训练分三阶段,每阶段最多处理约 2000 万 token 位置。先学表,再学生成器和 target-side reader,最后把骨干、表、生成器、reader 全部冻住,只训一个约 53.5 万参数的因果路由头。记忆侧全系统约 2.01 亿参数,不含骨干。
路由监督不靠下游标签。三条通路各自 teacher forcing,用未来 token 的对数似然差当优势:生成通路比 E 更能解释接下来的词,优势为正。优势在 1、4、8、16、32 五个未来窗口上平均。推理时路由头只看当前特征,预测优势和置信度。两条生成通路都过门槛才准入,选优势更大的那条,用 α∈[0,1] 做有界插值 r = e + α(g−e)。两条都拒,原样退回 E。默认 τ=0、ρ=0.5、α 温度 0.15。
这和 MoE 对称选专家不一样。E 是锚,生成记忆是有条件的校正。
同一 checkpoint 上只换推理规则。QA 五任务均分如下:
| 规则 | 均分 |
| Vanilla Mistral | 32.14 |
| E only | 37.65 |
| GE only | 35.39 |
| GH only | 33.21 |
| 普通硬路由 | 35.83 |
| 普通软融合 | 28.62 |
| 子集硬路由 | 37.74 |
| MemoryAthena | 39.28 |
相对 E,NQ F1 从 28.28 到 33.02(+4.74),TriviaQA 从 69.34 到 70.68,HotpotQA 只加 0.30。软融合掉到 28.62,把三条残差混在一起会伤害强通路。随机路由均分 31.67,TriviaQA F1 从 70.68 掉到 49.18:多通路本身不够,得学会何时用。
NLP 六任务均分从 E 的 76.73 到 79.13。SST2 84.17→88.07,AG News 72.93→76.64。Yahoo 把门槛收到 τ=1 才勉强打平(57.43 vs 57.51)。从零训记忆均分 40.16,略高于沿用预训练表的 39.28。把接口换成参数匹配 FFN,均分掉到 24.92。
路由痕迹里,多数 QA 任务 GH 贡献 74%–77% 的有效权重,GE 只有 4%–6%。CR 是反例:GE 44.60%、GH 34.04%、E 21.36%。准入后平均插值强度 0.716–0.893,一改就改得比较狠。金标 oracle 比部署路由再高 3.04–9.07 分,三条通路的互补还远没吃干。
对已经在用外部记忆表的人,这篇给了一个可落地的接口形状:别把生成记忆当默认替换,留一条强的直接通路当锚,用很小的头学「要不要改」。路由头只有 53 万参数,监督来自无标签文本的未来 token,不必为每个下游任务重新标数据。
增益是渐进的。五任务 QA 均分只加 1.63,Yahoo 还略退。真正有用的是对照:无条件换 GE/GH、对称硬路由、软融合都不如「E 锚加选择性校正」。oracle 缺口说明下一刀该砍在效用估计,不该再堆更花的生成器。
GH 在当前实现里要额外跑一遍无记忆骨干,冻参数省不掉这份推理成本。
作者自己写了:路由仍然绑死在既有通路、特征和准入超参上,谈不上自动发现该造哪种记忆。部署路由和金标 oracle 的缺口很大,互补信息大部分没被用上。
另外几处需要打折。Yahoo 的 τ 是按测试表现调的,六任务均分里掺了一点事后选择。TruthfulQA 上 MemoryAthena 是 31.74,仍低于 Vanilla 的 32.10,记忆接口在这个任务上没有赢过裸模型。跨骨干那一行是 Mistral 接口迁到 Llama,均分 37.87,作者明确说这不是相对裸 Llama 的配对增益。分类用的是 next-token dCPMI,不是生成式答题。论文没给方差或多次种子。