南开/字节等提出 DeltaStreamer:流式视频理解引入变化感知记忆与查询驱动回放

Boyuan Sun · hf · 2026-10-16

南开大学、字节跳动、IQuest Research、中科院自动化所等提出 DeltaStreamer，一个类人的流式视频理解 agentic 框架。针对现有方法压缩历史视频时模糊事件转换、丢失细节且无法找回的问题：查询到来前持续观察流并显式记录视觉变化到结构化记忆（change-aware memory），保留事件如何演变；查询到来后由查询驱动规划器定位所需证据并定向回放历史帧，找回观察阶段遗漏的视觉细节。在 OVO-Bench 和 StreamingBench 上整体得分分别为 66.07% 和 59.53%，优于代表性流式视频理解方法。