BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender
Yolo Y. Tang, Daiki Shimada, Jiayue Meng, Jing Bi, Pinxin Liu, Yicheng Wang, Yunzhong Xiao, Zhangyun Tan, Zeliang Zhang, Chao Huang, Susan Liang, Qianxiang Shen, Luchuan Song, Ali Vosoughi, Mingqian Feng, Melika Filvantorkaman, Chenliang Xu
cs.CV
2026-09-14
BVB让智能体用Blender重建室内视频;最强模型总分70.07、视觉像88.6,时空事实只留53.7%。
视频理解基准几乎全是问答。选对选项可以靠答案先验或单帧,证不出模型跟踪了场景随时间怎么变。如果智能体真看懂了视频,它应该能用程序把场景重建出来:物体摆哪、相机怎么走、事件什么顺序,这些没法靠猜一道选择题蒙对。
多模态智能体已经能写 Blender 代码做动画,但现有展示多是精选场景、人工反复指导和外部资产库,看不出换场景后稳不稳、各模型差在哪、重建和源视频在布局与动态上有多像。
BVB(Blender-VideoBench)建立在 VSI-Bench 的第一人称室内视频上,来源是 ARKitScenes、ScanNet 和 ScanNet++,测试 288 个场景、5130 道时空题。智能体进相同的 Docker 沙箱,只许用 Mini-BVB 的两个动作:看指定时间的帧,以及在无网、2 CPU、4 GB 的容器里跑 Python/Blender。禁止外部资产,几何必须用图元搭,相机要沿源轨迹动画,交付可渲染的 .blend。每场景花费上限 3 美元,没有额外步数或帧数预算。
评分两条轴。Dual VQA(DV):同一个 VLM 评判员把相同问题分别问源视频和重建视频,只在源视频答对的题目上算保留率。Latent Similarity(LS):用冻结的 V-JEPA 2.1 ViT-G 比源视频和 EEVEE 渲染的 64 帧。总分是两轴的平方根均值,惩罚一条腿特别短的系统。
10 个模型家族、51 组配置。总分 47.50–70.07,DV 38.6–53.7,LS 57.2–88.6。GPT-6-Astra-high 以 70.07 第一,DV 53.7、LS 88.6;GPT-5.6-Sol-xhigh 67.49,Grok-4.6-xhigh 67.17。开源最强是 GLM-5.3-Flash-xhigh,第 12 名、63.96。源视频上评判员答对的 1827 题里,最强模型重建后仍对 981 题,丢掉 846 题。
| 配置 | Overall | DV | LS | 每场景花费 |
| GPT-6-Astra-high | 70.07 | 53.7 | 88.6 | $1.258 |
| GPT-5.6-Sol-xhigh | 67.49 | 51.7 | 85.4 | $0.778 |
| GLM-5.3-Flash-xhigh | 63.96 | 50.8 | 78.7 | $0.024 |
任务保留率不均。物体尺寸均留 63.0%、路径规划 58.5%,出现顺序 16.1%、物体计数 29.3%。加推理额度,LS 更稳地升,DV 持平甚至下降。更长运行时间也不等于更高总分。15 名盲评员对五组配置的排序与 Overall 完全一致(Spearman ρ=1.00);场景级更跟 LS(ρ=0.83),跟 DV 只有 0.11。
程序化重建把「看懂视频」从答题改成必须交一份可编辑 3D 场景,造假成本高得多。对做视频智能体的人,这条基准说明现在的模型已经能搭出看起来像的房间,但计数、出现顺序这类要扫完整场景的事实仍是主缺口。加 thinking 主要在擦几何和材质,不自动变成更诚实的场景账本。成本上,Sol-xhigh 用 Astra 62% 的花费拿到 96% 的总分,Flash-xhigh 用 2.4 美分就到 91%,排行榜对中小团队加模型是付得起的。
场景全是室内自我中心视频,图元重建会系统性地丢掉真实材质和复杂形状,LS 高可能有一部分来自「都是低面数室内」。DV 依赖 VLM 评判员,源视频上判错的题直接不计入保留,评判偏差会进分数。人类更站 LS 一边,说明总分里的语义轴和观感轴权重需要被单独读,不能只看 Overall。3 美元上限和禁资产是公平装置,也把天花板钉死在「用方块搭房间」。Sony 资助,对照名单偏专有旗舰。