四帧打过FluxMem后,3799题证据门控重测流式记忆

MemInStream: Memorizing or Merely Recognizing? Rethinking Streaming Video Memory Evaluation

Zhenqi He, Dunyuan Xu, Yang Bo, Kien T. Pham, Yanghao Wang, Shuhan Li, Xintong Guo, Yuyang He, Fang Liu, Huankang Guan, Jingyan Chen, Rui Liu, Long Chen

cs.CV, cs.AI

2026-11-11

题目必须证据摊开时答得对、纯文本和证据后画面都答错才入库。MemInStream 由此得到 3799 题、17 个任务,StreamForest 的状态跟踪宏平均仍只有 37.06%。

这篇在解决什么

流式视频要边看边答。有用的画面经常出现在提问前几十秒到几分钟,之后不能再翻原片。旧基准把问答准确率当成记忆分,两头都不可靠。答错不一定是忘了:证据区间直接喂进去,近期视频模型仍有近四分之一的题不会,那是看不懂。答对也不一定是记住了:只看最近 4 帧的 SimpleStream 可以高过显式使用历史记忆的 FluxMem,纯文本基线在同一批基准上也不弱。

记忆接没接上,单看准确率分不出来。

方法

MemInStream 给每题标提问时刻,以及若干段必须早于提问的证据区间。上下文题的对话按时间送入,不能在提问时一次给全文。模型只靠自己维护的记忆作答,但不能回看原片或未来帧。题是不定项选择,正确选项个数不公布,选出的集合和标准答案完全一致才算对。

Gemini-3.8-Flash 和 Doubao Seed-2.1-Pro 做一致投票,画面按 4 fps 采样。

这套投票像改卷前先确认题本身可做,而且合上材料就做不出,之后的错才更接近没记住。过滤后人工核对原片、时间戳和证据是否齐。候选来自 StreamingBench、OVO-Bench、TeleEgo、PhoStream、S-EMBER,外加检索来的新视频和新题,旧题不直接入库。

17 个细任务收成四类:情景检索、状态跟踪与更新、多证据整合、上下文记忆。按主要记忆需求归类,类别不必互斥。前两类对应单次回忆和会变化的状态,后两类要跨片段拼接,或把对话中的指代接到后续画面。

全库 3799 题、8217 个证据区间,平均每题 2.16 段。区间均值 9.98 秒,中位 6.0 秒,56.7% 的题多于一段。最近证据到提问的中位间隔 36 秒,最早证据起点中位 96 秒。34.6% 的题最近证据在提问前至少 60 秒结束,66.0% 的题证据起点早至少 60 秒。

结果

离线和闭源模型没有跨题视觉记忆,只看提问前 4 秒或 30 秒、1 fps 的近帧。在线模型按时序看完再答。免训练一组是 FluxMem、Response-G1、HERMES;带训练的包括 StreamForest、AURA、JoyAI-VL-Interaction、MOSS-VL-Realtime 等。指标是精确匹配,类别分是任务宏平均。

方法指标结果
StreamForest状态跟踪宏平均37.06%
StreamForest多证据整合宏平均37.34%
Gemini-3.8-Flash,30 帧多跳记忆绑定13.07%
StreamForest多跳记忆绑定23.86%
StreamForest实体身份绑定 / 对话上下文52.54% / 18.28%
Gemini-3.8-Flash情景检索,4 帧到 30 帧26.38% 到 44.96%
Doubao Seed-2.1-Pro情景检索,4 帧到 30 帧20.93% 到 38.63%
JoyAI 开记忆 vs 关状态跟踪(最多 60 帧、2 fps)43.9% vs 28.6%

StreamForest 在在线模型里四类平均最高,状态跟踪和多证据整合也高于表中只看近帧的闭源模型。闭源侧没有持久记忆。高出的分数是相对近帧截断的增益。

近帧加到 30 秒,情景检索上升,其他类并不同步。FluxMem 和 Response-G1 从 Qwen2.5-VL-7B 换到 Qwen3-VL-8B 后四类都升,论文没给逐项差值。窗口里有没有证据,对近帧分数的影响比多采样几帧更大。Gemini 在证据被完全盖住时,4 帧 90.6%、30 帧 86.2%;完全不重叠只有 21.8% 和 19.8%。Doubao 在 30 帧下从 19.2% 升到 76.3%。4 帧设置里完全重叠仅 32 题;30 帧里无重叠 1650 题、部分重叠 820 题、完全重叠 507 题。

AURA 大约只能看到最近 30 秒。最近证据在 10 到 30 秒时 36.6%,落到 30 到 60 秒变为 18.0%;按最早证据,同一档从 56.1% 降到 30.0%。距离在 300 秒及以上,StreamForest、Response-G1、MOSS 仍有 44.1%、32.2%、33.9%。JoyAI 打开记忆后,在有限近景窗口里达到 35.6%。同一近帧预算下,JoyAI 的情景检索从 31.8% 到 41.0%,多证据整合从 22.3% 到 32.6%,上下文记忆只从 26.9% 到 29.7%。

为什么重要

旧基准上,最近 4 帧可以打过显式记忆,历史压缩、记忆库或场景图带来的分数不好解释。这个集合能把近帧预算固定死,只开关记忆,也能按证据离提问有多远来分桶。30 秒窗口一过 30 秒,AURA 从 36.6% 掉到 18.0%。留得住更早证据的方法,在 300 秒外还在 32% 到 44% 之间。

最好的在线结果停在 37% 上下。拿来查某一类记忆断在哪,比拿来排总榜有用。

局限与存疑

论文承认现在的时长盖不住真正的长流,证据和提问还要拉得更开。时间桶也不能当成遗忘曲线,各桶题目的难度和构成不同。

筛题的 Gemini-3.8-Flash 和 Doubao Seed-2.1-Pro 同时又是被测闭源模型。留下的题默认这两家在证据摊开时看得懂。更弱的开源模型答错,仍可能是看不懂。这两家的近帧分数也谈不上独立外测。

必要性没有排除近帧刚好覆盖证据的题目。最近证据离提问中位只有 36 秒,30 帧下仍有 507 题完全重叠,主表未剔除。无重叠时 Gemini 仍有 21.8%(4 帧)和 19.8%(30 帧),论文未区分别的线索、语言先验和猜测。复核淘汰率、标注一致性都未报告。精确匹配会压低分数,不能与旧基准的单选准确率横比。

术语

原文与代码

相关论文

全部论文解读