CoEvoWhen: Policy-Tool Coevolution for Ultra-Long Video Temporal Grounding
Yiduo Jia, Muzhi Zhu, Jinchuan Shi, Hao Zhong, Yuling Xi, Ke Liu, Hao Chen
cs.CV
2026-10-01
冻结 VLM 参数,让 Codex 从带标注的执行轨迹里同时进化策略文档与媒体工具代码;小时级视频时间定位 mIoU 升 74.9%,视觉 token 降 11%,技能直接迁移到长视频 QA 再涨 8.65 分。
视频时间定位(temporal grounding)是按一句自然语言,在未剪辑视频里找出事件的起止时间。视频拉长到几十分钟甚至几小时后,任务变成了预算问题:目标可能只占时间线的极小一段,论文里的一个案例是在 100 分钟视频里找 11 秒的画面。粗采样会漏掉短事件,反复细看又烧视觉 token,在有限预算下兼顾「全局搜证据」和「局部看清细节」是核心矛盾。
Agent 方案(VideoAgent、VideoTree、DVD 这类)已经把一次性预测改成多步搜索加工具调用,但观察机制和媒体处理能力都是预先写死的。论文的关键观察是:工具决定模型实际看到什么,策略决定什么时候、怎么看,两者互相咬合,只改策略会被旧工具的能力卡住,只加工具,模型又不一定用得好。
CoEvoWhen 把「技能」外置成可编辑的包:策略文档(SKILL.md 加任务规划、工具选择、工具说明三份笔记)加一组可执行媒体工具(每个带描述、接口和源码)。VLM 参数全程冻结。
设计上最关键的是图像与视频观察的分工。contact sheet(带时间戳的缩略图拼贴)一次图像观察覆盖几十分钟,适合全局比对候选;视频片段保留局部时序,适合判断动作顺序、状态变化和事件边界。共进化不把这套分工写死,让轨迹反馈推着两边互相适应,最终的技能形态是「图像全局搜索 + 候选精修 + 少量视频验证」:VUE-LVTR 上每题视频 token 从 40.6k 掉到 0.5k,降 98.7%,视觉预算大举挪向图像。推理时技能固定,策略进 system prompt,工具注册成可调用函数,VLM 自主决策,最多 24 轮,不挂额外的规划模型。
主实验在 Qwen3.5-27B 上,base 与 evolved skill 同协议对比,另加 7 个 VLM 与 agent 基线:
| 基准 | 指标 | Base Skill | Evolved Skill | 变化 |
| VUE-LVTR 留出集(307 题,均长 50.9 分钟) | IoU AUC | 0.4107 | 0.5137 | +25.1% |
| ExtremeWhenBench(2273 题,均长 75.8 分钟) | mIoU | 0.1507 | 0.2636 | +74.9% |
| ExtremeWhenBench | [email protected] | 0.1478 | 0.2785 | +88.4% |
| CoMET-Bench(多事件,1599 题) | Rejection-F1 | 66.13 | 77.06 | +10.93 |
| LVBench 长视频 QA(技能直接迁移) | 准确率 | 45.45% | 54.10% | +8.65 个百分点 |
外部基线里,GPT-5.6 Luna(128 帧时间戳网格输入)在 VUE-LVTR 上 IoU AUC 只有 0.2510,TimeLens-7B 0.2758,VideoMind-7B 0.2000,进化后的 0.5137 领先全部 7 个。效率同步改善:每题视觉 token 从 202.6k 降到 141.9k(−30.0%),模型调用次数少 43.5%。Table 1 还有一层:base skill 本身已把裸 VLM 的 IoU AUC 从 0.1904 拉到 0.4107,把定位变成多步搜索才是最大的单一增益,共进化在这之上再涨 25.1%。
消融做得足。只进化策略或只进化工具都比 base 强,联合进化的 IoU AUC 比两者分别高 0.0243、0.0735,视觉 token 分别少 25.5%、40.6%;只进化工具反而把每题 token 推高到 238.9k,联合进化才把精度和成本同时收住。冻结策略的损失大于冻结工具,强观察能力得被组织起来才值钱。图像、视频单模态消融中,双模态协调版全面占优且更省。在 Qwen3.5-9B、Qwen3.6-27B 上各自单独进化,ExtremeWhenBench mIoU 分别涨 99.2%、24.7%。
这条路线把任务经验沉淀成不碰权重的资产:几份 Markdown 加几段 Python。进化只需 100 条标注查询过一遍,成本量级远低于微调;技能原封不动搬到长视频 QA,LVBench 再涨 8.65 分、LSDBench 涨 7.98 分,学到的观察编排有通用性,不是过拟合单一 benchmark 的 trick。位置也要摆正:这是 agent 脚手架层面的工作,不是新模型;相对 Voyager、ExpeL 这类经验积累方案,差别在工具侧做自由代码合成、不限于预设操作,且任务级编排器也在进化环内。
作者自述:进化只在单一数据源(VUE-TR-V2)的 100 条查询上做,依赖带真值标注的反馈;只用视觉模态,没碰音频和字幕;观察全由主 agent 完成,何时委托子 agent 是未来工作。
读下来另有几处要保留。进化质量押在闭源的 Codex(GPT-5.5 xhigh)上,论文没报进化这一趟的成本,更新器强弱对结果的影响也没消融。VUE-LVTR 留出集与进化集同源,25.1% 的最大涨幅带同分布成分;跨数据集的 ExtremeWhenBench 从 0.15 的低基数涨到 0.26,多数查询仍定不准。骨干越强增益越小(Qwen3.6-27B 涨 24.7%,9B 涨 99.2%),CoMET 上事件数 ≥16 的组 [email protected] 不到 0.06,多事件密集场景离可用还有距离。