Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
Zhenghan Chen, Zekai Shao, Xin Lin, Leting Cheng, Siming Chen
cs.CV, cs.AI
2026-10-20
Code2Video-Compass 用 2,104 个任务测 15 个 MLLM 写代码生成完整视频,Claude Opus 5.5 在 T2V、I2V、V2V 均排第一,模型渲染成功率在 0.52 到 0.97 之间。
让模型写代码生成视频,而不是直接用扩散模型出片,好处是可控:每个元素、每段动画都是显式参数,能单独改、能复用。但现有的代码视频评测都很窄,有的只测 Manim 教学动画,有的只测 SVG 动画,有的只测网页动画还原,HeyGen 的基准只覆盖几秒的产品宣传短片。完整视频、多种创意类型、多种输入形式,没有人系统测过。
难点在于任务本身很重:模型要规划叙事,写出跨多个文件的长代码,还要在时间线上保持状态一致。给了参考图或参考视频,还得用代码把它重建出来,而不是直接嵌入或回放。
Code2Video-Compass 共 2,104 个任务,分 T2V(718)、I2V(693)、V2V(693)三种输入。模型在一次 API 调用里输出代码,技术栈是 HTML/CSS、SVG、Canvas、Three.js,由 Remotion(用 React 代码渲染视频的框架)出片。
实际评测用一个 1,054 题的固定子集(360/347/347),模型无执行反馈、不允许修复重跑。
Claude Opus 5.5 三个赛道平均排名都第一,Sonnet 5.5 第二。前三名全是闭源模型。
| 赛道 | Opus 5.5 平均排名 | Opus 执行成功率 | 开源最佳 |
| T2V | 1.60 | 0.944 | DeepSeek-V4.1-Flash |
| I2V | 1.08 | 0.960 | MiMo-V2.6-Pro |
| V2V | 1.15 | 0.971 | MiMo-V2.6-Pro |
执行成功率差距很大:T2V 上从 0.52(MiniMax M3)到 0.94,V2V 上从 0.69 到 0.97。T2V 上 Opus 的指令遵循 0.915、内容连贯 4.05,Sonnet 在运动质量(3.86)和观众吸引力(3.90)领先,GPT-6.1 Sol 在视觉设计(3.88)领先。
质量和可靠性会背离。只看成功渲染的视频,GPT-6 Astra 和 GPT-6.1 Sol 的整体质量均值是 4.19 和 4.15,高于 Opus 的 4.04。计入失败后降到 3.62 和 3.61,Opus 以 3.87 反超。
花得多不等于好:GLM-5.3-Flash 每次请求输出约 90.0k token,质量 2.94;GPT-6 Astra 只用 13.9k,质量 3.62。GPT-6 Astra 与 GPT-6.1 Sol 质量几乎相同,估算 API 成本却是后者的约 6.1 倍。
复杂度越高越差。构造和动画编排两个维度,多数指标在 L1 到 L2 降得比 L2 到 L3 更陡,结构保真度(SF)在 L1 到 L2 分别掉了分值范围的 14.38% 和 12.82%。状态依赖则相反,15 个指标都是 L2 到 L3 降得更多,长程一致性才是硬骨头。
失败分析覆盖 2,756 个失败样本。GPT-6 Astra 83.4% 的失败来自编译错误和缺失 API 或包,Opus 则有 75.0% 是运行时异常。
如果你在做 agent 式视频生成或动效自动化,这是目前覆盖面最广的参照。它给出两条可直接用的信息:选模型不能只看成功样本的画质,执行可靠性会改变排名;失败类型因模型而异,说明工程上该针对性做依赖检查或沙箱预编译。
它本身是评测集,不提供新方法,属于测量上的增量。
作者自述:所有模型一次调用出结果,没有执行反馈和修复,真实 agent 流程里很多失败可以被重试消除,所以执行成功率可能低估了实际可用性。基准也限定在 Remotion 这一套栈内。
其他存疑点:裁判 Gemini 3.8 Flash 同时是被评模型之一,论文没有单独分析自评偏好。裁判与人工的相关系数是 0.796(指令遵循)和 0.783(整体质量),属于较好而非很高,且只在 300 个输出、6 个模型上验证。评测用的是约一半的固定子集,模型名次是否在全集上稳定,论文没有给出。客观指标(DOVER++、美学预测器)能否真实反映动效设计好坏,也没有人工对照。