VideoNexus: Video Perception Beyond the Reasoning Context
Yancheng Long, Xuanyu Zheng, Wei Chen, Luoyuan Zhang, Haoyang Xu, Bin Wen, Tingting Gao
cs.CV
2026-11-17
训练免费的 VideoNexus 让规划器只读感知子代理返回的带时间戳文字证据,全量 LVBench 88.6%,比 Gemini 官方 agentic 模式省 56% API 成本。
一小时视频按每秒一帧采样就是十几万视觉 token,论文里那条 61 分钟的测试视频喂给 Gemini 是 159,576 个。现行长视频 agent 有两条路,各有各的漏。一是 agent 自己拉帧、拉片段,像素直接堆进负责规划与推理的上下文,之后每一步都被重新读一遍;论文实测,这种耦合设计下 planner(负责规划与整合证据的模型)的输入是解耦方案的 1.47 倍。二是把感知外包、只还文字(VideoSeek、VideoXAgent 这一路),但逐帧描述只是把像素换成字,报告仍随采样密度涨:复跑 VideoSeek,它的全局扫描平均每读一帧就往上下文塞 28 个 token,扫描预算翻倍,报告跟着翻倍。
问题于是收窄成一句:怎么让 agent 看得够细,又不让每次观察的回报随密度膨胀。
出自快手 KlingAI Research 与港中文、港科大,训练免费。核心是一个永远不接触视频流的 Planner,加一组用完即弃的感知子代理。
设计的关键是把报告大小与采样密度解耦:耦合模式下观察 token 约等于时长 × 帧率 × 每帧成本,逐帧文字只是换个常数;解耦后留下的只有那份紧凑报告,帧率开多高都不影响。示例题里感知侧烧掉 16.3 万 token,planner 全程只见 982 个 token 的两份报告加一张卡。整套跑在原生 agent 运行时上,工具走 Model Context Protocol(给 agent 挂外部工具的标准协议),planner 与子代理共用同一模型,不动权重。
全量 LVBench(1,549 道四选一、103 条小时级视频),四个对比共用同一个 Gemini 3.8 Flash;Static 指整段音视频一次喂入:
| 方法 | 准确率 | 成本/题 | 帧数/题 |
| Blind(只给题) | 40.5% | $0.014 | 0 |
| Static 整段摄入 | 85.0% | $0.172 | 2,035 |
| Gemini Agentic(官方智能模式) | 87.5% | $0.319 | 约 464 |
| VideoSeek 复跑 | 81.4% | $0.188 | 123 |
| VideoNexus | 88.6% | $0.140 | 621 |
对 Static 是 +3.6 点(p=5×10⁻⁷)且更便宜;对 Gemini Agentic 是 +1.1 点、只花其 44% 成本,但 p=0.10,不显著;对 VideoSeek 是 +7.2 点(p=5×10⁻¹⁶),不过它没有音频通路,属于系统级对比。
机制测量比榜单更有说服力。Overview 平均读 1,019 帧加完整音轨(约 14.1 万 media token)只返回 740 token,压缩 191 倍,返回量对读取量的对数斜率是 0.00;Inspect 斜率 0.18,读取量跨十倍档增长时报告只涨 1.67 倍。200 题配对消融里,把像素直回换成 Finding,planner 输入降 32%(18.1M→12.3M token),准确率 86.5%→89.0%(p=0.23,不显著)。证据卡在 Gemini 3.8 上 +1.0 点、在 3.0 上 +5.0 点,再叠加全局扫描帧反而掉 4 点。把采样压到 VideoSeek 的预算(每题 117 帧),准确率 90.0%→87.0%,成本还略升:省下的感知变成了更多的来回调用。
覆盖率分析解释密度为什么值钱:LVBench 证据窗口中位数 17 秒、30% 不超过 5 秒,每分钟一帧的均匀扫描只够到约一半的题;Overview 预算下,两帧以上落进窗口的比例是 71%。跨模型看,基线越强优势越小:Gemini 3.0 上 +6.4 点,Kimi K3 子集 +6.5 点,到 85.0% 的 Static 面前剩 +3.6。VideoNexus 的 177 个错题里,122 个 Static 和 Gemini Agentic 也都答错。
价值排序应该是成本与上下文控制第一、精度第二。$0.140 对 $0.319,一小时视频每题省一半还多;同 backbone 对比里,没有方案同时比它便宜又比它准。成本差拆得干净:VideoSeek 每题输出 26.2k token、VideoNexus 12.4k,而输出计价是输入的五倍,光这一项就定了账单;模型调用也只有对方一半(9.7 对 18.6 次/题)。更通用的是接口层结论:选什么帧看重要,选完往推理上下文里放什么同样重要。紧凑证据交换不训练、可换任意模型、任何 agent 运行时都能照搬。精度上要诚实:对最强的 Gemini Agentic 只领先 1.1 点且不显著,这更接近「同精度、半价」,不是能力跃迁。
作者自己摆了不少。对 Gemini Agentic 的差不显著,闭源基线也拆不开它成本高在哪;对 VideoSeek 的对比混着音频通路与媒体计价两层差异,把它的图片按最便宜档重定价,成本正好拉平到 $0.140;Video-GAIA 那 +8.5 点,271 题本身就是他们开发 web 工具和 crop 协议用的集合,不是留出集,判分偏离官方三 run 协议,实测 run 里 crop 还读错了坐标系,作者自己只把它当迁移方向的参考。
读者再补几条:消融多在 200 题子集上,0.11、0.23 的 p 值成串;证据卡在 Gemini 3.8 上的 +1.0 点只有总数,没做配对检验;没和训练过的观察策略(EVA、VideoTemp-o3)比;全部结果是单次 run,而他们引用的 REPAIR 恰恰说明 agent 视频 QA 复跑方差不小。88.6% 当一组受控测量看是扎实的,当可复现排名看还差一步。