WOVEN 基准：38 个前沿 MLLM 视觉转场推理集体不敌人类

MLL-Lab · hf · 2026-10-14

MLL-Lab（西北大学/CMU/UNC/亚马逊）发布 WOVEN，把视觉转场推理作为多模态世界建模的共享训练原语。

基准构成：36,076 个样本，覆盖 20 种场景、5 类动作、8 类推理，由视频预训练生成模型产出真实 rollout；同时是训练数据源和评测基准。
核心发现：评测 38 个前沿 MLLM（含 GPT-5.4、Qwen3-VL-235B-A22B），即便最强模型也远低于人类，且失败跨模型家族、随规模增长依然存在。
迁移效果：每个约 2,000 条的训练子集合计使 26 个外部基准中的 22 个提升，最高 +27.3 个百分点（空间 +27.3%、具身 +12.5%、物理 +10.6%、时序 +11.7%）；WOVEN 数据可替代任务自身 30-50% 训练数据而不掉精度。
训练配方：按推理操作类型而非场景/动作选择监督数据，偏好视觉状态变化更大的样本更鲁棒。

「多模态」频道最新