Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut
Gunin Gupta, Nirmit Arora, Pavan Kalyan Tankala
cs.CV, cs.AI, cs.MM
2026-09-28
56 个真实剪辑任务测 16 个 agent,最好的 GPT-6 Astra(Codex+指导)也只过 26.8%,73% 的失败 run 只输在质量测试这一关。
Agent 基准大多靠测试用例判生死,SWE-bench、Terminal-Bench 这类任务有明确的合格终态,程序一判就行。视频剪辑没有:同一个 brief 可以剪出很多版都合格的片子,合规容易查,好坏难查。GDPval 这类专业任务基准引入了人类专家评审,但媒体任务占比很小,「读懂素材、按剧本搭叙事、让画面语音音乐字幕在时间轴上互相咬合」这套能力,在聚合分数里看不出来。
Timeline-Bench 把它做成 56 个真实剪辑任务:从采访素材里挑 take 拼故事、按剧本剪叙事片段、拿产品素材和配音剪广告。每个任务给 agent 一份 brief、原始素材、Docker 环境和时限,只认最终成片。素材共约 33 小时,来自 EditStock 付费项目包、Cinestudy 公开项目和 30 个向专业剪辑机构新委制的项目,成片时长窗口 25 到 315 秒。
一个任务等于 brief 加源素材、Docker 镜像、测试组和 300 分钟时限,每 run 独占 32 vCPU、256GB 内存。评测只看交付的视频,工作流随 agent 自己选。
测试分四层:
防作弊做得严:参考剪辑从不进容器(对全部 5,003 个输入文件做过 MD5 核对);每个任务附带一个故意剪得很糙但合规的机械 oracle 来验证交付测试;再构造静音、黑屏开场、段落乱序等单缺陷样本,确认每项测试真的会拒绝坏片。
16 个 agent:10 个模型跑开源 harness OpenCode,GPT-6 Astra 与 GPT-5.6 Sol 跑 Codex CLI,Claude 两款跑 Claude Code,另加两个变体,给 GPT-6 Astra 配 1,909 词通用剪辑指导的 Codex,以及用屏幕操作 DaVinci Resolve 的 computer-use 版。每任务跑一次,共 896 run。
| Agent | 任务通过率 | 人类赢或平率 |
| GPT-6 Astra(Codex + 剪辑指导) | 26.8%(15/56) | 24.4% |
| Claude Opus 5(Claude Code) | 23.2% | 23.2% |
| GPT-6 Astra(Codex / OpenCode) | 21.4% | 23.8% / 22.3% |
| GPT-6 Astra(computer use) | 3.6% | 8.2% |
| 全部 896 run | 14.0% | 16.5% |
人类剪辑师在 83.5% 的判断里选参考剪辑,11.1% 选 agent,5.5% 认为无实质差别。每任务只跑一次,通过率的 95% 置信区间约 ±11 个百分点,前排几个 agent 分不出高下。35 个任务没有任何 agent 做出来,随机情形下预期只有约 5 个。
失败几乎全压在质量测试上:771 个未通过的 run 里,562 个(73%)过了其余全部测试。原因拆得很清楚。agent 用静帧和转写「看听」素材,83% 的素材读取是抽帧或 contact sheet,Codex 里的 GPT agent 甚至把音频打成 base64 文本当文本读;每分钟剪接次数只有参考版的 0.72 倍,最长静止镜头拖到 1.5 倍。自检普遍存在(15 个代码 agent 里 14 个在 86-100% 的 run 上做了检查),但查的是技术缺陷:自报问题里只有 5.5% 涉及节奏、故事或镜头选择,人类剪辑师的意见 66% 落在这些维度。93% 的 run 在结尾自称完全成功,其中包含 95.5% 没过测试的成片。
它把「agent 能不能交付创意成品」变成可复现的测量:任务、验证器和逐 run 结果全部放出(Apache-2.0),质量测试与人类赢或平率的相关达 ρ=0.93,新提交可以不组织人类评审直接打分。对做 agent 的人,诊断比排名有用:凡 brief 能写清的事,agent 已经基本可靠,863 个成片里 857 个符合交付规格;短板在原生音视频感知和对自己作品的判断力,这两条就是下一代产品的 todo。还有两个对照:同一个模型,写代码剪片通过 21.4%,改用屏幕操作剪辑软件掉到 3.6%,部分原因是它听不见,漏掉 41.5% 的必留台词;换 harness 的配对对比全部不显著,computer-use 的差距显著(p<0.001)。成本上,单 run 从 0.13 到 41.27 美元,最贵不等于最好,冠军配置估算约 9.76 美元一次。
作者自列三条:每任务单次运行,区间没算 run 间方差;质量测试的校准和验证用的是同一批人类投票;该测试只在 agent 层面成立,单个成片上 judge 与人类多数的一致性只有 κ=0.15。参考剪辑是职业作品,不是认证的标准答案。
读下来再补几点。人类单次判断噪声很大(Krippendorff α=0.10),靠每个配对三位剪辑师才把 agent 层面信度拉到 0.84;「剪辑指导」把 GPT-6 Astra 从 21.4% 抬到 26.8%,配对检验 p=1.00,与第二名的差距也在噪声之内;三个质量 judge 同时是被测模型,论文用跨实验室三方面板缓解,没有单独报告各家 judge 的系统差;源素材只对获批研究团队开放,复现要过访问申请。