APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants
Jianguo Huang, Jinming Liu, Qiyao Wang, Liang Xu, Jianhang Li, Zhimian Wen, Mingda Li, Shule Lu, Zhicheng Wang, Yuhan Guo, Xin Jin, Wenjun Zeng
cs.CV
2026-09-29
用 549 个会话、104 条轨迹测流式视频助手的跨会话记忆:原始视频回放最强但每小时占 3 GiB,效果、延迟、存储三者现有方法无一兼顾。
流式视频模型的记忆研究大多停在一段连续视频内:开头看到的东西,结尾提问。真实使用不是这个节奏,用户会摘下智能眼镜,几小时或几天后再戴上,中间的视觉流不会重播,助手对之前交互的全部知识只能来自一份能存下来、下次还能调用的持久记忆。已有 benchmark 要么只测单段视频(StreamingBench、OVO-Bench),要么把交互拉长到小时级(StreamArena),没有一个把「记忆跨中断还有没有用」和「存储、延迟代价」放进同一张评分表。APM-Bench 补的就是这个空档。
作者把 EgoLife 和 HD-EPIC 两个第一人称(egocentric)数据集,按「同一活动的多次间歇交互」重新组织成轨迹:104 条轨迹、549 个会话、2,719 道题。每条轨迹平均 69 分钟视频,真实时间跨度平均 58.9 小时,视频时长和现实时长被刻意拉开,模拟摘了又戴的使用节奏;也正因此,存储和延迟能按「每小时视频」公平折算。
构造分两阶段。GPT-5.4 从 EgoLife 逐日摘要挖出 165 条轨迹提案,人工保留 76 条;HD-EPIC 的食谱标注再贡献 28 条。之后 Gemini-3.5-Flash 给 30 秒切片生成字幕,DeepSeek-V4-Flash 和 GPT-4o 据此生成 6,412 个候选,经过四道过滤(不看视频也能答对的捷径题、时间戳违反因果的、VLM agent 复核不过的)加人工终审,剩 2,719 个。300 题独立双标,一致性 Cohen's kappa 0.868。
评测围绕三种能力、12 个任务:
开放题用「门控 LLM 评分」:先卡介入/沉默决策,决策错直接 0 分,对了再由 DeepSeek-V4-Flash 按参考答案打 1–5 分。另有一组 260 题的证据可用性测试:模型只准看最近两个已完成的会话,一半题证据在内、一半在外,选项里多一个「证据不足」,专门测模型会不会承认记不得。
| 记忆方案 | 跨会话理解 | 实时感知 | 自适应响应 | 综合 | 存储每小时 |
| 只看最近 4 帧(无记忆基线) | 27.21 | 53.06 | 32.48 | 37.58 | – |
| Gemini 3.6 Flash·原始视频回放 | 69.37 | 64.20 | 47.05 | 60.21 | 3.01 GiB |
| Gemini 3.6 Flash·文本摘要 | 47.50 | 65.98 | 47.14 | 53.54 | 3 KiB 级 |
| Seed-2.0-Lite·原始视频回放 | 54.47 | 50.75 | 41.88 | 49.03 | 3.01 GiB |
| OASIS·事件树(专用系统最高) | 35.46 | 52.92 | 35.99 | 41.46 | 2.66 GiB |
| HERMES·KV cache | 34.12 | 42.04 | 23.05 | 33.07 | 0.67 GiB |
最朴素的办法最有效:把之前会话的原始视频存下来、查询时重放,跨会话理解 69.37,比文本摘要高 21.87 分,代价是 GiB 级存储加 Gemini 端到端 34.11 秒的响应。文本摘要把存储压到 KiB 级、延迟降到 11.25 秒,跨会话理解掉到 47.50,但多数模型的实时感知反而涨了(Gemini 64.20→65.98,Seed 50.75→52.44):塞太多无关历史进上下文,会干扰对当前画面的理解。八个专用记忆系统里,事件结构的 OASIS 综合分最高,也是唯一同时支持流式输入和持久化的;KV cache 类的 ReKV 存储高达 20.84 GiB/小时,比直接存视频还贵。
自适应响应最难。有注册条件时 Gemini 拿 RCR 73.62、PRM 61.80;换成完全自主的 MPA、TPG 就掉到 26.52、25.58。附录的 oracle 实验把恰好需要的历史证据直接喂给模型,自适应分仍停在 28.98–51.86,瓶颈在把过去的证据和当前场景接起来变成有用的帮助,不在检索。证据可用性测试给出另一个信号:Gemini 证据在手时 85.38 分,证据缺失时只有 59.23 的概率承认「记不得」;只看最近 4 帧的基线正好相反(3.85 对 95.38)。能回忆和知道自己没记住,是两种能力。
做智能眼镜、流式视频助手的团队直接多了一个可落地的测试床,代码数据开源,三种能力、12 个任务、统一的效用-延迟-存储口径。对方法研究的信号也清楚:原始视频回放这个朴素基线仍然最强,做记忆压缩的工作都应该拿它当对照;事件结构是最有希望的压缩方向;自主介入(什么时候该开口帮忙)离可用还远,是目前最空白的坑。
论文自己承认,现有方法没有一个能同时做到高分、低延迟、低存储,这篇只提供测量,不提供解法。数据只有 EgoLife 和 HD-EPIC,活动集中在厨房料理和家居日常,换场景是否成立没验证。三处对比的公平性要打折:专用系统的存储是从推理时状态估算的,这些方法多数本来就没设计持久化导出;开放题评分依赖 DeepSeek 单一 judge,没有换 judge 的稳健性检验;StreamForest 和 VST 有 36.14%、37.05% 的输出格式崩坏率,低分里能力差和没按格式说话分不开。