Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu, Yunhai Tong
cs.CV, cs.CL
2026-10-22
北大与阿里发布 OmniDR-Bench，以 50 个中英视频任务、6414 条原子标准评测围绕源视频写交互报告的 agent，18 套配置最高 63.3 分，展示均分 81.8，内容仅 45.4，事实覆盖通过率 7.6%。
文本 deep research 的评测从文字题出发，写出带引用的长报告。视频深研基准大多停在短答案。两边都没测一种具体用法：用户已经有一条视频，要核对说法、补背景、照着做，或据此做决定。报告得围着这条视频，并链回时间点。
插座规格、滴定曲线、镜头伪影，标题和字幕经常说不全。摘要漏掉外部标准，网页检索又丢掉画面里演示了什么。给定源视频、用户请求和开放工具，agent 要交一份可交互 HTML 报告。题必须同时依赖视频和外部证据，公开材料还得在预算内找得到。北大与阿里 Token Hub 做的 OmniDR-Bench 收了 50 个中英任务，YouTube 与 Bilibili 合计 17.1 小时，中文 23 条、英文 27 条，4 个家族、19 个子类。
参考流程是高层 video-research skill，调用视频阅读和文档阅读子代理。主代理跨阶段带着时间线、锚点、外部证据和跨源关系，少把同一段上下文反复装进去。
视频切成 300 秒窗口，对齐画面和语音，再抽出带时间戳的锚点：主张、步骤、参数，并标明要解释、核对、更新还是落地。按锚点并行查网页、图片、相关视频和文档。参考预算至少 25 个外部来源、5 条相关视频、3 份文档，每锚点 3 条证据。外部材料只用六种关系接回视频：支持、矛盾、更新、解释、比较、应用。引用回查和浏览器探测失败后定向修补，最多 3 轮。评分看成品，不要求复现这套流程。
Omni-ART 在总分下分三层：内容、引用、展示，权重 0.50、0.30、0.20；23 个共享方向；以及任务专属的二元原子题。事实覆盖、因果分析、比较的通过率除以 0.18 后封顶，原子权重封顶 15，避免这几项把内容分撑满。门控失败则该方向记 0。
判据来自独立事实库。一支代理只读视频，另一支不看视频，沿六条路线收多模态证据，对账之后才写叶子。校准报告全由 Opus 4.8 加 Claude Code 生成：R1 不能搜索，R2 用全套工具，R3 另给证据摘要。50 题都满足 R1 低于 R2 低于 R3，分差大于 20%。同一份 R2 打三次，平均 0.89% 的适用标准不一致。人工筛选从 82 到 60 再到 50。冻结后 1000 条抽样里超过 94% 判对。全库 6414 条，约每题 128 条，内容 4060、引用 1234、展示 1120。语义题由 GPT-5.6 Sol 在温度 0 判定，门控三票多数。
18 套配置把 Claude、GPT、Gemini、Qwen、GLM、Kimi 配上 Claude Code、Codex 或 OpenClaw。全任务均分把失败记 0，维度分只算成功报告。900 次尝试里 835 份可评，65 份失败，19 份是空壳页。
| 配置 | 全任务均分 | 成功率 | 内容 | 展示 | 引用 |
| Opus 5 + Claude Code | 63.3 | 96% | 59.9 | 90.3 | 59.9 |
| GLM-5.3 + Claude Code | 62.0 | 100% | 58.2 | 83.2 | 54.4 |
| Opus 4.8 + Claude Code | 60.7 | 98% | 57.4 | 86.0 | 53.5 |
| Qwen3.8-Max + Claude Code | 52.9 | 88% | 50.4 | 89.5 | 56.5 |
| Qwen3.5-Omni-Plus + Claude Code | 28.1 | 62% | 39.9 | 71.1 | 37.4 |
Opus 5 点估计最高：全任务 63.3，成功报告 66.0，4% 没交卷。GLM-5.3 全部交卷，62.0。差 1.3，95% 区间 [-4.0, 5.6] 含 0。Qwen3.8-Max 单份最高 91.5，成功均分 60.1，完成率 88% 把全任务分压到 52.9。GPT-5.6 Sol 与 Gemini-3.8-Flash 完成率 100%，均分 54.9 与 52.6，内容 42.0 与 43.6。
18 套展示均分 81.8，内容 45.4，引用 47.8。直接视频事实通过率 79.9%，外部证据 8.7%，跨源核验 8.8%，多事实组合 5.0%。事实覆盖、因果分析、比较为 7.6%、9.5%、4.6%。视频忠实度 92.4%，逻辑一致性 21.2%，主张支撑 15.9%。缺的是被审计的研究目标，明确写错反而少。
Claude Code 下，GPT-5.6 Sol 来源数量通过 98.0%，多模态材料 93.5%，主张支撑 23.9%。Gemini-3.8-Flash 多模态材料 93.0%，主张支撑 13.9%。链接在文末，没有贴在说法旁边。
四类视频成功均分只差 2.0，从 52.8 到 54.8。子类从 46.0 到 59.1，每类 1 到 5 题，只能当描述。泛化请求 41.3（7 题），视频视角 52.5（17 题），用户需求 50.4（26 题）。
技能消融固定 GPT-5.6 Sol、Claude Code、15 题。仅界面 28.0、成功率 66.7%；加读视频 31.8；加文本检索 45.5，成功率 100%。多模态检索再加 1.1，内容加 5.2，引用掉 5.3。完整编排再高 7.3，15 题赢 12，区间 [3.4, 11.1]，引用加 20.7，内容加 0.8。步数 103 到 167，时间 0.7 到 1.6 小时，token 230 万到 470 万。
三个对齐模型上，Claude Code 与 Codex 均分都是 48.4，完成率 96.0% 对 99.3%。OpenClaw 均分 39.4，完成率 84.7%。
视频忠实度已经 92.4%，外部证据通过率 8.7%，主张支撑 15.9%。页面和时间戳过得了检查，来源列表也很长，被审计的事实仍然大面积缺席。
文本检索把 15 题均分从 31.8 拉到 45.5 之后，内容几乎不再涨。完整编排相对原子技能全开，引用加 20.7，内容加 0.8，token 从 230 万到 470 万。
一份报告约 2 小时，一套系统约 100 个 agent 小时。权重和封顶换几组，前三名次序不变。30 份报告上三人一致率 93.0%，机器对人类多数 91.0%，和整体有用性的 Spearman ρ 为 0.64。
裁判是参赛模型。语义和视觉题都交给 GPT-5.6 Sol，它在 Claude Code 下全任务 54.9。固定裁判便于比较，偏好还在。人工核对的是事实库和标准。建库时第一轮条目正确率 64.0%，修好并冻结后再抽 1000 条，超过 94% 判对。
校准报告全部来自 Opus 4.8 加 Claude Code，留在题库里还要求这一家把三档报告拉开。榜首是同系的 Opus 5。这一路写法有没有被树放大，实验没有拆开。
展示分背着共用 HTML 模板，81.8 不能当成交互设计能力。50 题、每子类 1 到 5 题，家族间 2 分排不出谁更难。轨迹长短预测不了分数。8 套被标成写完再搜，同样预测不了。题集不代表人群，报告不能代替专业建议。