TimelineBench:16 个 agent 做 56 项真实视频剪辑,最好仅通过 26.8%
ycombinator · x · 2026-10-02
arXiv 新论文提出 Timeline-Bench,专门评测 AI agent 完成真实视频剪辑长程任务的能力:从选择对白镜头、把采访素材剪成故事,到用产品镜头、配音和图形剪广告片。每个任务提供 brief、原始素材、容器与一组测试,输出须通过全部测试才算完成,质量测试基于 43 位剪辑师的 2,582 次盲评校准。
核心结果:
- 共评测 16 个搭配 Codex、Claude Code、OpenCode 等 harness 的前沿模型 agent
- 最好的 GPT-6 Astra + Codex(附编辑指导)也只完成 56 项中的 15 项(26.8%),平均仅 14.0%
- 人类剪辑师在 83.5% 的对比中更偏好参考剪辑
- 771 次未通过运行中有 562 次仅败在质量测试:agent 通过截图和转写感知素材,只检查渲染缺陷,缺乏「手艺」层面的判断
任务、verifier 与逐次运行结果均已开源。
「编程与Agent」频道最新
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16