VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender
Yuzhe Chen, Muxi Diao, Lele Yang, Wenbin Xu, Xuyang Liu, Qile Su, Changyi Liu, Jiankang Chen, Kaiyu Jiang, Haoyu Zhang, Hongyi Fu, Jianxiong Wang, Tianke Zhang, Haonan Fan, Yingxin Li, Bingyi Li, Xu Wang, Xuanyu Zheng, Bin Wen, Tingting Gao, Wentao Zhang, Jiale Cao
cs.CV, cs.AI
2026-11-12
VibePrevisBench 含 242 个任务,用规则检查 4D 场景加 VLM 检查画面双重打分。11 个编程 agent 中 GPT-6 Astra 最高 77.7,普遍看得见渲染却改不对错误。
现在的可控视频生成模型可以吃一段灰模(graybox)代理视频作输入。灰模是没有贴图的 3D 粗渲染,它把布局、人物动作、镜头和剪辑点都定死,真实感画面由生成模型往上「涂」。这类代理视频过去靠美术手搭,又慢又贵。现在编程 agent 能在 Blender 里写代码重建 4D 场景(3D 加时间)并渲染出来,问题是没人系统地量过它们做得怎么样。
现有 benchmark 有三个缺口:输入窄,多数只给文本或待重建的视频;内容静,集中在单物体、静态场景或短片段;评测只看画面,不核对场景本身。结果是一个镜头机位错了、人物只是路过,但画面看上去没毛病,打分器就放过了。论文给了个例子:任务要求骑手在平视角度转弯,弱 agent 从高处俯拍,VLM 评委仍打了 95.5。反过来,场景数据全对,汽车在画面里却只剩一个小点,观众根本看不清。论文统计,31% 的标注动作通过规则检查,却很难或无法在代理视频里被看清。
VibePrevisBench 共 242 个任务:94 个剧本、86 个参考视频、39 个照片、23 个续写。覆盖七类场景、33 种地点。多数任务是约 40 秒、多镜头、多人物的长场景,88% 有两个以上镜头,80% 有运动镜头,79% 有两人以上。每个任务附带隐藏的 ground truth(GT)事实,总计 99.0k 项检查。
agent 交付一份 Blender Python 程序。评测会在干净沙箱里从头重跑,不采信 agent 自己渲染的视频,这样视频不可能展示程序没建出来的东西。三道关卡(程序能独立运行、完整渲染、能重新打开)任何一道不过,两项得分都记 0。
两个评分维度分工明确:
总分是两者平均。任务筛选时,让 11 个 agent 都跑一遍,用题目与总分的相关性和区分度剔除不能拉开差距的题,没有按单个 agent 的得分取舍。
| Agent | Rule(全部) | Screen(全部) | Overall |
| GPT-6 Astra | 70.0 | 85.4 | 77.7 |
| GPT-6.1 Sol | 69.0 | 83.1 | 76.1 |
| Gemini 4 Argon | 68.4 | 81.7 | 75.0 |
| Opus 5.5 | 68.4 | 79.8 | 74.1 |
| Muse Spark 1.3 | 57.2 | 65.0 | 61.1 |
前四名领先其余七个至少 3.9 分,但相邻名次有一半(十对中的五对)在配对 bootstrap 下分不开。整个榜单在 18 种打分变体下 Kendall τ ≥ 0.85,GPT-6 Astra 始终第一。只有 35 个任务有 agent 的 Scene 分达到 90,11 个 agent 逐题取最优也只到 80.6。
成本和分数脱钩:单任务成本差 45 倍,从 GLM 5.3 Flash 的 0.73 美元到 GPT-6 Astra 的 32.59 美元。GPT-6.1 Sol 拿到领先者 98% 的分数,只花 21% 的钱;DeepSeek V4.1 Flash 拿到 90%,花 6%。
论文提出三个观察:
如果要把「编程 agent + 灰模 + 视频生成」当作影视前期流程,这篇给出了实际的短板清单:机位高度、镜头运动类型、镜头数、只在文字里出现的道具。这些是所有 agent 共同犯错的地方,换更强的模型也只能缓解,不能解决。
两个可操作的结论:一,给 agent 加显式检查清单,逐项核对机位高度、运动类型、镜头数;二,Blender API 熟练度不是瓶颈。三个最弱的 agent 常调用 Blender 5 已移除的接口,但后续轮次会修复,出错与否对分数影响不到 0.1 分。选型上,GPT-6.1 Sol 或 DeepSeek V4.1 Flash 比最贵的模型性价比高很多。
作为 benchmark,它的设计思路有借鉴价值:规则检查加视觉评委互补,且视觉评委只看规则通过的条目。
论文自己承认几点。隐藏的 GT 事实有部分由模型流水线估计,物理合理性检查对「人物悬空」几乎无感(整体抬高 1 米只扣 0.8 分)。部分参与出题的模型同时被评测,论文测得 Gemini 4 对自家家族偏高 1.3 分,但未改变排名;Gemini 系列在自己参与标注的媒体任务上排名略高,「小幅偏好不能排除」。
读下来还有几处存疑。一,「挑战性请求在训练数据里稀少所以 agent 退回常见选择」只是推测,论文没有做训练数据层面的验证。二,前四名同时是最新最贵的模型,论文承认这样无法分辨是哪项能力跨过了门槛。三,家族内比较只有两对,其中 Gemini 一对还同时换了档位。四,「看得多没用」的消融只在 DeepSeek V4.1 Flash 一个 agent、8 个剧本任务上做,样本小;oracle caption 同样只有 5 个任务、1 个 agent。五,每个任务只跑一次。六,最终代理视频是否真能带来更好的真实感视频,论文只给了定性示例,没有量化。