Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models
Beomsu Kim, Chieh-Hsin Lai, Bac Nguyen, Amir Bar, Jong Chul Ye, Yuki Mitsufuji
cs.LG, cs.AI, cs.CV
2026-09-28
训练时用已见未来给记忆打分,FAR 教会检索器自动取舍时间、位姿、视觉、音频线索,三个仿真环境全面超过手工检索规则。
世界模型要从当前画面和动作预测未来画面,但很多决定画面的信息早已离开视野:沿原路返回时,得记得来时看到的街景;把番茄放进冰箱再回来开门,得记得自己放过番茄。处理长历史的常见方案是外挂情节记忆(episodic memory),把历史观测逐条存起来,预测时挑几条喂给生成模型。麻烦出在「挑」上。现有工作几乎都用固定规则:NWM 取最近的帧,WorldMem 按相机位姿的视野重叠检索,LongLive-RAG 按视觉 embedding 相似度检索。每条规则都有明确的失效场景:拐角走廊里,隔着一堵墙的位姿重叠记忆没有用处;长得差不多的走廊段之间,视觉相似度分不清;交互改变世界后,几何上最匹配的那帧记录的是旧状态,照用就出幻觉。哪些记忆对当前这次预测有用、该信哪个线索去找它,FAR 的答案是让模型自己学。
FAR(Future-Aware Recall,KAIST 与 Sony 合作的工作)把检索增强语言模型里的 EMDR2 思路搬进世界模型:召回的上下文当隐变量,用下游预测似然反传监督离散检索器。世界模型有一个天然的不对称可以利用:推理时未来不可见,训练时未来已经发生、看得见。四个关键件:
一条刻意维持的边界:线索只用于选记忆,不作为生成器的额外条件。SoundSpaces 里音频参与检索,生成器仍然只吃选出的帧加位姿、时间、动作。
LoopNav(Minecraft 回环导航,出程作记忆库,回程做 128 帧 rollout):
| 对照 | 双方线索 | 结果 |
| FAR–Meta vs WorldMem | 同为时间+位姿 | DreamSim 低 19% |
| FAR–Visual vs LongLive-RAG | 同为视觉 | DreamSim 低 17% |
同样的线索,学出来的检索器明显比手写规则强。消融表补全了链条:Temporal 基线 13.23 PSNR,WorldMem 15.37,FAR 冻结预训练 ViT 编码器 16.25,加 query adapter 16.48,再融合元数据线索(固定 λ=0.5)16.91,权重改为学习后 17.27 PSNR、0.082 DreamSim。最后一步说明自适应权重本身有价值,比固定各半融合多约 0.35 PSNR。
SoundSpaces(真实扫描的室内场景加双耳空间音频):记忆密(周期性 360° 扫描)时元数据已经够强,融音频增益有限;记忆稀(只在端点扫描)且回程长时,元数据+音频的领先随轨迹长度持续扩大。定性例子里,走廊场景下时间、位姿、几何检索都选中被墙体遮挡的视角,音频线索选中了真正通视目标区域的记忆。
AI2-THOR(可交互厨房,物体会被移动):状态准确率检查生成画面是当前状态还是旧状态,Multi-Cue FAR 在直接可见的 surface changes 和开柜才可见的 container reveals 上都大幅超过两个基线,后者差距最大,因为当前观测里根本没有内容信息,只能靠回忆交互历史。反事实对:同样的关冰箱画面加开门动作,一段历史放过番茄、一段没放,FAR 分别生成有、无番茄的未来;WorldMem 在没放过的历史里幻觉出桌上的番茄,因为它偏爱视野重叠高但状态过时的帧。离场动态任务要求预测一个只间歇可见的巡逻 agent 的位置:Temporal 41.9%,WorldMem 32.4%,FAR 仅用元数据 67.1%,融合 agent 观测线索后 94.6%。
这篇把世界模型的记忆检索从手工规则变成了可学习模块,训练目标直接继承 EMDR2 的后验蒸馏,理论账清楚。两个可直接搬走的点:训练时看得见答案这种信息不对称,可以系统性转成监督信号,适用面不限于世界模型;多线索按查询融合的接口,让新模态接一个 scorer 就能进,生成器不动。代码开在 GitHub(sony/far)。
量级也要说清:实验是几百到两万条受控仿真轨迹、最高 360×640 分辨率、训练上下文 4 帧(评测 12 帧)的 DiT,离给视频大模型挂外挂记忆还有距离。
作者自述四条:只学 recall,记忆写入、压缩、遗忘都没碰;依赖线索本身有信息量,且训练时要为候选记忆额外跑一批 DiT 前向;扩散损失对小的语义变化不敏感,AI2-THOR 里靠 change mask 部分缓解;全部实验在仿真里。
读下来另有两处存疑。AI2-THOR-dyn 混入了大量任务特定工程,第二 agent 的位置监督、轮廓加权损失都进了检索器奖励,94.6% 里有多少归 FAR 框架、多少归任务监督,论文没有拆。LoopNav 和 AI2-THOR-dyn 的 split 是 episode 级,训练测试共享场景,测的是已知世界里的新轨迹;场景不相交的泛化只在 SoundSpaces 和 AI2-THOR 上验证过。另外同期也在学检索的 MemLearner(ECCV 2026)只进了概念对比表,没有实验对照。