OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Qingyi Si, Dingyu Yao, Changlian Ma, Haoran Chen, Xinyu Chen, Yansong Shi, Junhao Zhou, Yifei Li, Jun Zhang, Chuanyu Qin, Chenxu Yang, Xinlei Yu, Kun Ouyang, Yuchen Shao, Qianshan Wei, Changhai Zhou, Jun Gao, Jiaqi Wang, Limin Wang
cs.CV
2026-10-01
南京大学等提出 OneStreamer,让流式视频模型边看边写分层文字记忆并自学响应时机,4B 规模在 8 项流式视频基准上全部第一,超越 11B 的 MOSS-VL-Realtime。
直播助手、可穿戴设备、安防监控里的视频模型面对的是一条不知道什么时候结束的流。问题有两个。一是证据保留:一段当前看起来无关的画面,可能在几分钟后才被一个问题问到,而那时源画面早已滑出有限的视觉上下文窗口。二是响应时机:回答必须落在证据足够的时刻,早了靠语言先验瞎猜,晚了错过时机。
已有路线各有缺口。压缩或检索历史视觉 token 的记忆机制会挤占近期画面在上下文里的空间,反而削弱实时感知;持续维护推理链的 streaming thinking 方法,其推理轨迹不构成带时间戳、可复用的事实记录;用状态 token 控制响应的方法又面临标签失衡,沉默状态远多于输出状态,密集监督会让模型学成「一直等」。OneStreamer 的判断是把三件事放进同一个生成过程:感知、记忆写入、响应触发,共用一套因果序列和一套控制 token。
模型从 Qwen3-VL-4B-Instruct 初始化,输入端维护一个 Recent-N FIFO 滑窗,只保留最近 N 帧的视觉 token,视觉编码器全程冻结。核心是两个机制。
PHCM(分层主动式字幕记忆) 解决证据保留。模型在观察过程中主动生成两类带时间区间的文字记录:</Observe> 引出短区间内的局部细节描述(物体、动作、场景、状态变化),</Summary> 引出一个已完成事件或片段的语义摘要,前者密、后者疏,构成两级层次。每条记录追加进文本历史,源画面滑出视觉窗口后记录仍在,后续预测可以直接引用。相比保留历史视觉 token,用紧凑文本承载远距事件,视觉窗口的容量不受侵占。训练时用因果流式字幕目标监督,保证每条目标只描述已观察到的内容。
PSTL(主动式状态迁移学习) 解决响应时机。控制状态有 </Silence>(继续观察)、</Standby>(证据出现但还不够)、</Response>(输出答案)。密集监督下沉默标签占绝对多数,直接压垮稀疏的输出决策。PSTL 的做法是:先按「前一状态到当前状态」的迁移方向给状态 token 分组,以指向输出锚点的最大组规模作为配额,所有组共享这个配额,超出的一致下采样。这样所有输出锚点保留完整监督,同时保留有代表性的状态变化和状态持续样本。未选中的 token 只从状态损失里 mask 掉,仍留在因果序列中参与后续预测,字幕和任务文本的监督不动。
配套还有一条数据合成管线:字幕分支把离线视频的多粒度标注转成证据对齐的流式目标;QA 分支先定位粗证据区间、再在区间内校准到最早的可靠响应时刻,平均把响应时间提前 13.72 秒。合成数据与清洗后的开源数据合成 OneStreamer-1M,共 116 万条记录,并对所有评测基准的测试集做了源视频级去污染。
8 项流式视频基准全部第一,对比对象包括 4B 到 11B 的专用流式模型。
| 基准 | OneStreamer (4B) | Qwen3-VL (4B) | MOSS-VL-Realtime (11B) |
| OVOBench | 72.1 | 58.8 | 70.2 |
| StreamingBench Real-Time | 86.9 | 81.8 | 82.9 |
| OVBench | 66.8 | 55.4 | 53.7 |
| ODVBench | 71.3 | 57.6 | 63.9 |
| ProactiveVQA | 48.7 | 34.3 | 47.2 |
| OmniMMI (ASR) | 36.6 | 29.4 | 32.7 |
| OVO-Timing (F1) | 41.6 | 29.4 | 38.5 |
| ViSpeak | 2.87 | 2.41 | 2.48 |
相对 Qwen3-VL 基线平均提升 25.0%,相对每个基准上的最强对手平均提升 6.1%。对 11B 的 MOSS-VL-Realtime,四个感知记忆基准分别领先 1.9、4.0、13.1、7.4 分。
三组消融值得细看。
记忆方面,同样用 Recent-16 窗口,保留生成的字幕记录把 OVOBench-Backward 的 ASI 从 63.5 提到 71.6;对比保留完整视觉历史的 Full 方案,PHCM 的 ASI 反而高 4.0 分(71.6 对 67.6),实时感知也没掉(OVOBench Real-Time 81.4 对 80.9)。也就是说它不是在感知和记忆之间取折中,是两头都超过了单侧方案。
状态监督方面,PSTL 只监督 27.5% 的状态 token,ProactiveVQA 48.7、OmniMMI 36.6、OVO-Timing 41.6,三项都优于全量监督加 focal loss(47.0/32.8/26.5);同等监督比例的随机稀疏只有 26.6/27.4/1.4,证明收益来自选择策略而非稀疏本身。
效率方面,360 秒样本上 PHCM 相对 Full 把上下文从 62,094 token 压到 4,308(降 93.1%),显存从 25.18GB 降到 9.98GB,首 token 延迟从 4.560 秒降到 0.124 秒;相对纯 FIFO 只多 1,272 token、0.29GB、0.030 秒。
这篇把「流式视频模型要不要记忆」这个问题从架构层面挪到了生成层面。不做检索器、不做记忆编码器、不回访丢弃的视觉特征,记忆就是模型自己写的带时间戳的文字,和回答共用同一个生成接口。对做直播助手、可穿戴 agent、实时监控的人来说,这条路线的工程含义很直接:近窗视觉加文本记忆,几乎拿到全量历史的召回,代价是一千多个 token 的开销和 30 毫秒的延迟。
训练数据管线同样可复用。证据定位和响应时刻校准拆成两步,平均把标注响应时间提前 13.72 秒,这对任何要做主动响应数据集的团队都是现成参考。代码和数据已开源(github.com/MCG-NJU/OneStreamer),OneStreamer-1M 做了源视频级去污染,也是目前流式交互方向覆盖面最大的训练集之一。
论文自述的以及读下来的疑点: