Omni-Streaming Thinking
Enjun Du, Siyi Liu, Ziyu Zheng, Jingyu Li, Yiwen Guo, Yongqi Zhang, Difan Zou
cs.LG
2026-09-14
冻住Qwen3-Omni骨干后加上声明验证与血统撤回环，SOVBench音视频平均准确率达到87.8对照StreamOV的81.6，诊断集d′从开源最高1.38拉到2.95。
流式音视频模型必须边看边答，不能等整段播完。画面往往先给出一个看起来成立的解释：航班屏幕写着 Gate 6，广播才刚开口。如果这个解释被写进记忆当事实，后面的推理会一直复读它，哪怕广播已经改成 Gate 12。
论文把这种失败叫做 premature cross-modal commitment（跨模态过早承诺）。视觉证据成熟得快，语音和声事件需要更长窗口。现有流式方法管记忆压缩、检索和何时开口，但很少把「未完成的猜测」显式挂到未来某一模态的验证窗口上。OST-DiagBench 把视频钉死、只改音频，用来拆开「单独听得懂」和「看见画面后还用不用音频」。
OST 冻住 Qwen3-Omni-30B-A3B-Instruct，用 LoRA 和三个轻量头（预测器、验证器、作答门）接上一条声明环。感知每秒一次，决策块 4 秒。每个块写出六字段 Omni-State：视觉证据、音频状态、音频证据、冲突、预测、是否足够。
核心是 claim（声明）：当前解释对应的未来证据是什么、由哪一模态验证、窗口多久、支撑谁。声明先标 pending，到期才对照指定模态的保留证据。音视频分预算存，待验证窗口会被钉住，避免视觉 token 把音频挤掉。长期记忆按 4 秒状态合成 16 秒、64 秒摘要，再接到长时根节点。
到期后验证器给出 CONFIRMED、REFUTED 或 UNRESOLVED。反驳沿依赖图下调声明及其子孙的可靠度，解码时把 log ρ 加到对应 span 的注意力 logit 上。同时做 verdict-conditioned rewriting：对比「采纳本次反驳」和「假装没反驳」的 logits，把状态改写成新证据。作答门要求证据足够，且支撑答案的声明都已到期；到期仍未决的会带低置信标记。
训练先用语音、声事件、视觉工具提案，再让 Gemini-3.6-Flash 按模态写成事实表。预测器先做交叉熵，再学偏好未来证据支持的声明；LoRA 在观察态和纠正态上做 SFT；最后用答案准确率、时机和格式做 on-policy 更新。同画面配对的 CLEAN/MUTE/SWAP/MIX 音频用来压视觉诱导的听幻觉。
SOVBench 音视频设定平均准确率 87.8，最强开源在线基线 StreamOV 是 81.6；加上历史 QA 后是 88.4 对 83.8。Recall 从 73.2 升到 82.5，触发 F1 从 90.5 到 92.4。
| 基准 | OST | 对照 |
| SOVBench-O（AV） | 87.8 | StreamOV 81.6 |
| StreamingBench AV | 74.7 | StreamOV 73.1 |
| Video-Holmes | 60.0 | StreamOV 53.1 |
| Daily-Omni | 74.2 | StreamOV 69.3 |
| OmniVideoBench | 46.6 | Qwen3-Omni 离线 38.40 |
诊断集上 d′=2.95，开源最高 1.38。CLEAN 源召回 95.49，MUTE 幻觉率 10.39；naive streaming 的 Qwen3-Omni 仍是 92.55 召回、81.96 幻觉。SWAP 归因 81.76，MIX 联合召回 51.37，CLASH（字幕旧事实、语音新事实）46.47，开源 CLASH 最高 4.90。
消融里，音视频共用预算让 Recall 从 82.5 掉到 74.2；只撤回声明、不传子孙，Recall 掉到 73.2；注册当下就验证、不等窗口，平均分从 87.8 掉到 83.6。声明环不是装饰。
实时会议助手、机场广播、直播问答里，视觉抢答是真故障。OST 给出一条可落地的补丁：别把未完成猜测当事实，给它到期验证和血统撤回。骨干冻住、适配器轻量，说明问题主要在状态机，不在再训 30B。
诊断数字比总分更有用。Qwen3-Omni 在 CLEAN 上 92.55，MUTE 上幻觉 73.73：模态一致时看起来很强，拆开就露馅。单独听得懂，不等于看见画面后还会用音频。
正文没有独立 Limitations 节。CLASH 仍只有 46.47，字幕冲突远未解决。StreamingBench 相对 StreamOV 只多 1.6 点，增益集中在需要跨时段记忆和听音的任务。骨干、训练数据和标注模型绑在 Qwen3-Omni 与 Gemini-3.6-Flash 上，换家族要重做。OST-DiagBench 由作者构造并筛过跨模态竞争，外推要小心。冻骨干也意味着感知编码错了，环很难修。