OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
Haibo Wang, Jiteng Mu, Jialu Li, Jingru Yi, Yuanjun Xiong, Jianming Zhang, Lifu Huang, Mingze Xu
cs.CV
2026-10-02
Adobe 与 UC Davis 把 Qwen3-Omni 训成多轮 agent,自主调取音视频片段再推理,10 个音视频基准上领先全部开源模型。
Omni-LLM(同时吃文本、音频、视频的基座模型,如 Qwen3-Omni)靠单遍编码把整条音视频流一次性塞进上下文。视频一长,几秒钟的声学事件和细粒度视觉细节被无关内容稀释,模型取不出分散在时间和模态里的证据,退回语言先验或单模态捷径。已有改进基本停在单一模态:DeepEyes、Pixel Reasoner 让模型「think with images」,Video-o3、VideoZoomer 给视频加了时间轴检索工具,音频要么缺席、要么和视频绑在同一轮里。音视频解耦、分模态按需检索,此前基本空白。
UC Davis 和 Adobe Research 的 OmniSeek 补上这块:让取证本身成为推理的一环。
核心是 <think> → <toolcall> → <observe> 多轮循环。模型先拿一份粗采样的全局上下文,之后每轮自己决定看还是听、看哪段时间窗:
取回的片段以原始音频或视频 token 追加进上下文,不转成文字。要不要继续调,由模型在 <think> 里自己判断,证据够了就输出 <answer>。工具按模态解耦,可以先听一句旁白定位时间,再去完全不同的段落拉高分辨率画面找细节。
训练分三阶段:
必要性奖励堵的是具体漏洞:只按答案给分,「碰巧答对但只用一个模态」的轨迹和真跨模态轨迹拿同样的奖励。做法是对已生成轨迹补两次 teacher-forcing 前向,分别把音频或视觉 token 的 attention key 置零,量每个生成 token 的 log-likelihood 掉多少,掉得多才算真依赖;两个模态得分取 min 当与门,由较弱的模态决定奖励,答错不给分。开销只是两次 nograd 前向,不用重新 rollout。
基座 Qwen3-Omni-30B-A3B-Instruct,横跨 10 个音视频基准:
| 基准 | 基座 | OmniSeek |
| MMOU | 54.1 | 70.4 |
| LVOmni | 35.8 | 44.2 |
| Daily-Omni | 71.9 | 80.0 |
| VideoHolmes | 59.1 | 74.6 |
| Video-MME | 76.8 | 78.5 |
视频越长、证据越稀,优势越大:MMOU 涨 16.3 分,LVOmni 涨 8.4 分;VideoHolmes 上 74.6,走纯文本推理的 OmniVideo-R1 是 62.9,OmniVideoBench 上 47.7 对 44.8。和做同样 RL 但只许纯文本思考的对照比,多轮工具在 OmniVideoTest 多拿 13.5 分、WorldSense 多 8.1 分。论文还称在 FutureOmni、VideoHolmes、JointAV 上超过 Gemini-2.5-Pro。
消融把每步贡献拆开:Phase 1 SFT 单独用是掉分的(Daily-Omni 71.9 跌到 69.1,典型 alignment tax),Phase 2 RL 拉回 75.5,G=16 涨到 78.2,加必要性奖励到 80.0;该奖励单独贡献 WorldSense +3.2、OmniVideoTest +2.2。调用次数与任务难度对得上:JointAVBench 三次调用 80.8%(两次只有 68.1%),Daily-Omni 四次 87.1%,VideoHolmes 和 MMOU 要五次以上才到峰值(75.9%、73.3%)。通用视频能力不降反升:Video-MME 78.5、MLVU 77.1,超过 72B 的 Qwen2.5-VL 和 LLaVA-OneVision。
这是 DeepEyes、Video-o3 一脉 agentic 主动取证范式第一次系统推进到音视频解耦的双模态,「看哪个模态、看哪段时间」本身成了模型的决策。两样东西可以直接搬走:数据引擎里「工具调用确定性构造、大模型只写思考」的做法,便宜地解决了轨迹幻觉;用注意力掩码测模态依赖再取 min,任何多模态 RL 想压单模态捷径都用得上。对做长视频应用的人,按需取片段是拉长上下文、token 压缩之外的第三条路。也要说清:机制是单模态范式向双模态的平移,真正的增量在数据引擎和必要性奖励。