MemoryAthena：让模型学会何时用"生成记忆"修正直接检索

OLAResearchX · hf · 2026-09-24

OLAResearchX 发布论文 MemoryAthena，研究"记忆"能否被生成而非仅被检索。方法设三条通路：直接检索 Engram（E）、由检索线索生成（GE）、不查记忆表直接由因果骨干状态生成（GH）。生成记忆并非总有益——某个语境下能补充 E，另一个语境下反而干扰。

因此 MemoryAthena 以 E 为锚点，在骨干、记忆表、生成器与读取器全部冻结的条件下，仅用约 201M 参数的轻量因果路由头，基于反事实未来 token 似然优势训练"何时介入、介入多强"；推理时候选通过有界插值修改 E 残差，被拒则精确退回直接通路。问答任务五项平均分从 37.65 提升至 39.28，通用 NLP 六项平均从 76.73 升至 79.13。分析显示三条通路各有互补优势，核心挑战在于路由决策。