MemLife: Curating and Reasoning over Long-Term Egocentric Video Memories
Guangzhi Xiong, Xinyuan Zhang, Xiao Yang, Hyokun Yun, Kai Zhang, Shiun-Zu Kuo, Hyeonjeong Ha, Xilun Chen, Kai Sun, Lucas Liang, Guangqiang Dong, Ejaz Ahmed, Ahmed A Aly, Anuj Kumar, Raffay Hamid, Aidong Zhang, Xin Luna Dong
cs.CV, cs.AI, cs.CL
2026-10-01
MemLife 把第一视角视频写成第一人称文字记忆再检索，四个基准超最强免训练基线 4.6–12 个点；MemOpt 用 RL 只训写作端，再涨 2.7–5 个点。
智能眼镜、GoPro 这类设备能连续录下几个月甚至几年的第一视角(egocentric)视频。想让 AI 助手答一句「上个月把戒指放哪儿了」，直觉做法是 RAG(检索增强生成)：每个查询重新处理相关片段。视频累积到几百小时后这条路走不通，延迟预算太紧，上下文窗口装不下几帧画面，而且日常场景反复出现、差别细微。
另一条路是离线把视频压成文字记忆，问答时只查文字。文字比视觉帧紧凑几个数量级，LLM 直接可读，用户也看得懂。但现有系统在实测基准上有两类失败：写记忆时把关键证据丢了(比如漏记「放戒指」这个动作)，或者检索时在越来越大的搜索空间里被相似条目挤掉。还有第三类更隐蔽的：writer 写出视频里没有的内容，等于往记忆里埋假证据。
压缩到什么程度是个两难。压得狠，未来的问题正好问到被丢的信息；压得松，琐碎细节稀释检索、撑大问答时的处理量。这篇要回答的问题可以一句话说清：怎么只记值得记的东西，记得忠实，而且日后召得回来。
分两步走：先手工设计一个强 writer,再用 RL 学一个更好的。
MemLife 的 writer 对每个视频段独立生成一条文字记忆，三个设计各有明确的为什么：
每段独立生成还有个工程红利：没有顺序依赖和误差传播，计算与存储都随录制时长线性增长。给 writer 喂前文上下文的变体试过，总准确率没有提升(附录 I)。reader 是个多轮 agent,动作空间五个：把问题改写成搜索 query 或时间段、时间段内相似度检索、直接取时间段内全部记忆、取原始视频片段(无源视频时关闭)、作答。两个关键设计：时间锚定，检索可限定「上个月」「这周」这类范围；取回的记忆按时间顺序排好再推理，事件次序对「先加牛奶还是先加鸡蛋」这种问题就是答案本身。
MemOpt 是更有分量的一半。此前把 RL 用在视频 QA 上，奖励都打在最终答案，但答案质量混着 reader 多轮工具调用的执行噪声，信号又贵又抖。MemOpt 把 reader 冻结，只训 writer,奖励直接评记忆本身，叫 FIRM,三项：Faithful 在 token 级打分，冻结的评估模型对每条记忆复述受支持的内容、最小改写不支持的片段，用下一 token 概率差算分，幻觉能定位到词；Informative 用已验证的问答对抽出支撑答案的关键事实，再判断候选记忆是否蕴含它，问答对只用来造奖励，记忆本身不依赖问题；Retrievable 在每个 epoch 开头缓存 reader 的记忆访问动作，候选记忆重放这些固定动作，看会不会被检索回来，不用重跑 reader 推理。三项相乘，token 只有在忠实、且整条记忆既有信息量又可检索时才拿高分；候选内先平均再做组内归一化，防止长记忆主导，按 GRPO 训练。理论上也有支撑：用检索上下文代替视频带来的额外不确定性，恰好分解成「写入损失」加「召回损失」，分别对应后两个奖励，faithfulness 单独管住记忆是否扎根于视频。
writer 和 reader 默认都是 Qwen3.5-9B。MemOpt 只在 SuperMemory-VQA 的 S1–S6 上训练、S9–S10 测试，其余基准(EgoLifeQA、合并十个对象历史、带跨对象干扰项的 SuperMemory-LVQA、重复事件类的 EgoLife-EQA)纯测试。
| 方法 | SuperMemory-VQA | EgoLifeQA | SuperMemory-LVQA |
| EgoRAG(免训练最强) | 49.28 | 48.20 | 47.51 |
| M3-Agent(此前最强训练系统) | 53.93 | 35.40 | 54.90 |
| MemLife | 56.50 | 52.80 | 56.18 |
| MemLife + MemOpt | 60.35 | 56.60 | 58.91 |
| Oracle(直接喂全部标注证据) | 67.58 | 66.20 | 67.58 |
表格之外的数字：免训练的 MemLife 在四个基准上超最强免训练基线 4.6–12 个点；加上 MemOpt,组合系统超最强已有基线 4.0–17 个点，记忆体积最多缩小 31 倍(附录 E)。打开源视频访问(MemLife-V)只有小幅变化，涨点不靠回看原始录像。训练收益可迁移：换 27B writer、换 27B reader、把 MemOpt 装进 EgoRAG 都有提升；27B reader 把绝对准确率抬到 68.06,但 MemOpt 的增益随之变小，说明 reader 容量能补偿一部分记忆缺陷。监督信号消融：27B 教师蒸馏只到 57.78,端到端答案奖励 57.46 且跨基准不稳定；FIRM 里单用 retrievability 两个基准 recall 都涨但准确率不稳(SuperMemory-VQA 掉到 53.45),加 informativeness 冲到 60.03 但收益不过 EgoLifeQA,三项合起来 60.35,两个基准都最高。还有一个旁证：EgoLifeQA 上多个训练过的基线(VST 33.60、M3-Agent 35.40)反而不如免训练的 EgoRAG,和「端到端任务奖励噪声大」的判断吻合。Table 2 的例子很直观：零样本 writer 把小扁豆认成玉米粒，MemOpt 改对且不丢周围动作；另一条原文用模糊代词、漏掉关键食物，MemOpt 写出具体人名和「烤鸡」。
对做记忆系统的人，MemLife 的三条 writer 规则加时间锚定检索是一份可以直接抄的清单，免训练就拿 4.6–12 个点。对做 RL 的人，MemOpt 验证了一个反直觉的靶点：奖励打在中间表示上比打在端到端答案上更稳也更便宜，因为 reader 的执行噪声被从训练信号里剥掉了。31 倍记忆压缩对可穿戴设备不是锦上添花，几百小时的视频不可能存在眼镜上，这是能不能落地的问题。也要诚实：多数单基准提升在 4–6 个点，属扎实的渐进改进，分量在范式和跨设置的一致性。
论文没有独立的 limitation 章节，分析里自己承认的一条是：更强的 reader 会稀释 MemOpt 的增益。读下来还有几处站不稳或没验证：离 Oracle 还差 7 个点以上(60.35 对 67.58),EgoLifeQA 上 recall 只有 50.60,文字记忆的信息损失真实存在；MemOpt 的 informativeness 奖励依赖每段视频的已验证问答对，没有稠密 QA 标注的领域没法直接搬；faithfulness 和蕴含判断的裁判都是 writer 自身的冻结副本，自己评自己，裁判质量没有外部校验；retrievability 奖励重放的是默认 reader 的缓存动作，记忆写作朝这个 reader 的行为偏置，论文证明了迁移，偏置本身没消除；SuperMemory-LVQA 上准确率与标注 recall 走势相反，作者用「跨对象互动提供了标注外的有用上下文」解释，属于事后自洽，没有单独验证。