AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao, Yao Xu, Daojian Zeng, Yubo Chen, Kang Liu, Guang Liu, Jun Zhao
www
cs.CV, cs.CL
2026-10-29
AskStream 把「提问」加进流式视频交互的动作空间,438 段视频、8 个子任务测下来,最强模型 Ask-F1 仅 52.18%,专用流式主动模型只有 7.22%。
视频理解的交互范式一路演进:离线范式看完整个视频再回答,流式范式边看边答,主动(proactive)范式再进一步,模型自己决定什么时候答,服务异常提醒、流程指导这类要掐时机的场景。现有主动范式的评测共享一个隐含假设:答题所需信息终会出现在视频流里,模型只需要在「等」和「答」之间选。
真实场景里这个假设经常不成立。关键实体被遮挡、视角不对、问题本身有歧义、用户偏好未知,这些缺口不会自己补上,模型只能一直等,或者编一个答案出来。论文先做了个量化实验:把关键实体打码后,Qwen3.5 9B 的五选一准确率是 42.3%;模型开口要到关键证据后升到 62.3%,几乎追平全清晰输入的 63.1%,给无关证据则几乎不涨。拿到对的信息确实有用,于是问题变成:模型知不知道什么时候该问、问什么。AskStream 就是测这个的。
交互被建模为 POMDP(部分可观测决策过程),模型每秒在 WAIT、ASK、ANSWER 三个动作里选一个。基准的骨架是两张分类网加一套时机标注。
选择题设置的总榜(Ask-F1):
| 模型 | 阵营 | Ask-F1 |
| Gemini-3.8 Flash | 离线闭源 | 52.18% |
| Claude Sonnet 5 | 离线闭源 | 22.48% |
| GPT-5.6-Sol | 离线闭源 | 20.50% |
| DeepSeek-V4.1-Flash | 离线开源 | 19.69% |
| Qwen3.8-Flash | 离线开源 | 17.60% |
| AURA(Qwen3-VL-8B) | 流式主动 | 7.22% |
几个关键读数:
这是第一个把「问」纳入流式视频主动交互的 benchmark,动作空间从两个扩到三个,表 1 的对比里此前所有流式与主动基准都没有 ask 这一列。做实时视觉助手、远程操作指导、持续监控的团队可以直接拿这套设置用,诊断也够硬:瓶颈不在答案生成,在判断该不该问、何时问,oracle 实验里光时机一项就值 21 分。对做训练的人,这提示数据需要帧级的时机监督,2,714 个标注窗口就是现成素材。
也要说清:这是基准论文,没有新模型和训练方法,贡献在问题定义、指标和标注协议。
作者自述四条:每轮最多一次提问,真实场景可能要连环追问;不含需要边看边动手的具身智能(VLA);每次交互都由用户显式发起,更自主的 agent 应能自己察觉信息不够;时间窗是静态的,真实的不确定性会演变、交叠、不连续。
另有三点要打折。流式 7.22% 对离线 52.18% 的悬殊差距混入了评测通道差异:离线模型配了专门设计的 StreamHarness,流式模型用自带记忆,两边不完全可比,把这 45 分差距全部归因于「不会问」证据链不完整。开放式 judge 恰好是榜一模型,人工校验只有 300 轮。实体打码、隐去偏好这类不确定性是构造出来的,和自然场景里的遮挡、噪声差多远,论文没有验证。