VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents
Jinfa Huang, Jianming Xu, Jingyang Lin, Zhengyuan Yang, Jiebo Luo
cs.CV
2026-09-30
罗切斯特与微软提出VideoLoop：外环搜视频、内环每步从文件系统改写有界工作记忆，四骨干在VideoMME长集平均加4.2分，Gemini 3.1 Pro打到88.3%。
长视频问答要把证据从几十分钟、上千帧里抠出来，证据稀疏、时间上不连续。常见做法是做成agent：每步看一段，把观察追加进工作记忆，再决定下一步看哪。VideoAgent、DVD、VideoSeek、VideoARM都走这条路，多步搜索确实比单次灌完整段视频强。
卡点是工作记忆只追加、不改写。上下文越积越长，对关键证据的注意力被冲掉，agent等于把已经找到的东西弄丢。罗切斯特大学和微软把这个现象叫做semantic thrashing（语义颠簸），类比操作系统颠簸。他们用集合对称差说明：追加可以把新的目标证据装进去，但已经混进来的噪声清不掉，有序上下文也压不住长度。没有rewrite算子，这两件事做不成。
VideoLoop拆成耦合的两环。外环看视频，内环管记忆。
外环跑在sandbox里，工具四个：ANALYZE拿选中的帧回答自生成子问题；TRANSCRIBE取带时间戳转写并缓存；EXECUTE跑任意代码，产物落到文件系统；ANSWER交卷。每步策略模型只看见用户问题、当前有界工作记忆、最近k=8轮的thought-action-observation滑窗。历史原始产物不进外环。
内环是另一个LLM，memory orchestrator。外环每走完一步，它从无界文件系统检索相关artifact，按BM=32K token把工作记忆整份改写。记忆是六段式文档：元数据、叙事理解、带时间戳的证据、时间覆盖、活动日志、待查目标。编辑指令是UPDATE、APPEND、DELETE，语法按段、语义跨段一起定。
存储分三层：外环可见的有界记忆；压缩动作manifest，未摘要积到30条就把最老10条收成一条；无界文件系统，帧和分析无损保存。改写要让清掉的噪声加上捞回的目标证据不少于误删加新噪声，对称差才会下降。这是质量条件，不是定理。最多N=50步仍未ANSWER，就拿最后一版记忆强制作答。工作记忆从空开始，关键帧上限6，内外环默认同一模型。
主表用官方字幕；VideoMMMU无字幕，用Whisper-large转音频。Gemini 3 Flash和Gemini 3.1 Pro的原生分是他们自己复现的。
| 设置 | VideoMME (long) | VideoMMMU | LongVideoBench (long) |
| Gemini 3 Flash 原生 | 80.7 | 83.6 | 67.9 |
| VideoLoop | 85.8 (+5.1) | 87.7 (+4.1) | 73.8 (+5.9) |
| Gemini 3.1 Pro 原生 | 83.8 | 84.6 | 77.7 |
| VideoLoop | 88.3 (+4.5) | 88.8 (+4.2) | 80.9 (+3.2) |
先前最强视频agent：VideoSeek/VideoARM在VideoMME (long)为81.2，LensWalk在VideoMMMU为78.3，VideoARM在LongVideoBench (long)为76.4。Gemini 3.1 Pro版分别高出7.1、10.4、4.5分。换骨干不训练，Kimi K2.5 +3.5，MiMo-V2-Omni +3.7，四模型平均+4.2分。
记忆消融在Gemini 3 Flash、VideoMME (long)上做，每配置一轮。原生单次80.7，只追加81.9（+1.2），双循环不接文件系统83.3（再+1.4），完整系统85.8（再+2.4）。最难四分位Q4上完整系统80.0、只追加70.7，差9.3分，其中文件系统贡献7.6分。
盲评judge（Gemini 3.1 Flash-Lite）只读冻结上下文、不看视频，当作证据可检索性的代理。最易Q1，只追加86.7%、VideoLoop 94.7%；最难Q4，只追加掉到60.9%，VideoLoop仍81.1%。只追加的曲线会早早走平，Q1还会回落。
token上完整系统每题618.2K，只追加614.9K，多0.5%换+3.9分。双循环不接文件系统反而更贵（647.0K，+5.2%）。接上文件系统后输入从584.6K降到559.0K。VideoLoop看的帧更少、迭代更短，时间轴更均匀；只追加会在视频开头扎堆并拖出长尾。
这是把「记忆要编排，不要堆」落到长视频agent上，不训练、对骨干即插即用。能搬走的是每步强制改写有界记忆、原材料放文件系统。
增益是渐进的：在已经很强的Gemini 3.x上再抠3到5分。真正拉开的是难例和记忆质量。只追加的多步探索比单次推理只高1.2分，多走几步但记忆是糊的，几乎白走。完整系统额外token可以忽略。
适合30分钟到1小时、证据分散、需要多跳检索的视频问答。一次就能塞进上下文的短视频没必要上这套。
正文没有独立Limitations节。结论只说原则可推广到一般长程agent，没有列失败模式。他们自己把语义颠簸论证写成概念诊断，不是从操作系统定理推出来的；改写不等式也只是质量条件。
消融每配置一轮，没有方差。Q1到Q4由Claude Opus 4.8排序再人工复核；盲评judge同属Gemini家族，可能偏袒自家上下文写法。32K预算、最多6个关键帧，视觉证据进记忆的带宽很窄，难例盲评仍有约19%读不出来。每步多一次LLM调用，只报了token接近，没报墙钟时间和美元，也没跟VideoSeek、VideoARM比花费。
评测几乎全是选择题，两条基准还用官方字幕。开放式、无字幕、超小时级没有。相对先前agent的7.1分优势，有一块来自Gemini 3.1 Pro骨干已到83.8，超过VideoARM的81.2。同骨干的agent对agent对照没有做。