MMGR: Multi-Modal Generative Reasoning Benchmark and Evaluation
Zefan Cai, Haoyi Qiu, Tianyi Ma, Haozhe Zhao, Gengze Zhou, Tingting Liao, Xinyan Velocity Yu, Kung-Hsiang Huang, Ke Wan, Shawn Lin, Parisa Kordjamshidi, Minjia Zhang, Wen Xiao, Jiuxiang Gu, Nanyun Peng, Junjie Hu
EMNLP 2026
cs.CL, cs.CV
2025-12-17
MMGR 用 1853 道可核对的题，比较视频、图像和文本模型。三个视频模型数独都是 0.00%，迷宫最高 3.67%；Sora-2 物理概念 76.00%，导航高分则靠不稳的 VLM 裁判。
文生视频能把动作做顺，图像模型也能拼出复杂构图。顺不等于约束还在。迷宫可以播完但穿墙或改墙，数独可以填满但换掉线索。已有榜单多看画质和最后一帧。VIPER、VBVR 查了视频过程，还是不把视频、图像、文本放在同一批可核对的题上。
MMGR 用同一批可核对的题做比较。10 个任务、1853 道，分成抽象推理、具身导航、物理常识，看物理、逻辑、二维空间、三维空间、时间五种能力。视频还要过 chain-of-frame：中间帧得是朝答案走的合法步骤，不能只做平滑插值。
模型生成解答，不从选项里挑。抽象四项：迷宫 240 道，用 DFS 与 Wilson 两种生成器，格子从 3×3 到 13×13，每题一条通路；数独 300 道，含 4×4 和 9×9；ARC 456 道，从示例归纳规则再画新网格；数学 327 道，来自 GSM8K、MATH500、AIME 和 Omni-MATH。导航四项各 120 道：Matterport3D 的 360 度过肩近距、HM3D 俯视图、HM3D 娃娃屋式三维室内，以及 SLAG，同时看三维和俯视并生成一致轨迹。物理常识 50 道，25 道取自 VideoPhy 的固液交互，25 道是芭蕾、滑雪、跳水、游泳。
主分是门控的。有没有改布局或线索、答案对不对、过程合不合法，缺一条硬条件就记 0。迷宫要结构不变、不穿墙、到达终点。数独要线索不动、行列宫合法、填完。迷宫主分做像素级路径重建，数独先 OCR 再精确匹配，视频逐帧查。导航和物理没有可靠规则，交给 Gemini-2.5-Pro 按细则打分。
协议是零样本，每题 5 次，不按任务微调。视频模型为 Veo-3、Sora-2、Wan-2.2，图像模型为 Nano-banana、Nano-banana Pro、GPT-4o-image、GPT-image-1.5、Qwen-image。抽象题另有 Gemini-3-Flash 和 Gemini-3-Pro 的纯文本解答。图像模型没有做物理题。
表 4 给任务级主分。迷宫和数独用确定性检查，导航和物理用 VLM 门控分。
| 任务 | 最好成绩 | 对照 |
| 迷宫 | Nano-banana Pro 9.17% | Veo-3 与 Nano-banana 都是 3.67%，其余低于 1% |
| 数独 | 图像最高 8.60% | 三个视频模型都是 0.00% |
| ARC | Nano-banana Pro 28.07% | 视频最高为 Sora-2 的 11.67% |
| 数学 | Nano-banana Pro 72.69% | Gemini 文本 71.38% 与 74.14%；视频 0.00%-10.61% |
| 近距导航 | Nano-banana Pro 75.83% | Veo-3 60.00% |
| 俯视导航 | Nano-banana Pro 33.05% | Veo-3 19.49% |
| 三维室内 | Nano-banana Pro 85.00% | Veo-3 22.50% |
| SLAG | Nano-banana Pro 37.29% | Veo-3 11.02% |
| 物理概念 | Sora-2 76.00% | Veo-3 41.67%，无图像模型 |
| 运动场景 | Sora-2 64.00% | Veo-3 60.00%，无图像模型 |
符号题几乎是地板。三个视频模型数独都是 0.00%，ARC 上最好的视频模型只有 11.67%，数学在 0.00% 到 10.61%。图像模型同样低，迷宫 9.17%，数独 8.60%。数学是例外：Nano-banana Pro 72.69%，两版 Gemini 纯文本为 71.38% 和 74.14%。静态图能把演算画完，视频守不住逐步的符号状态。
导航四项的最高分都来自 Nano-banana Pro。三维室内 85.00%，近距 75.83%，SLAG 和俯视只有 37.29% 与 33.05%。Veo-3 近距还有 60.00%，一换视角就掉：俯视 19.49%，三维室内 22.50%，SLAG 11.02%。物理常识反过来，Sora-2 为 76.00% 与 64.00%，Veo-3 为 41.67% 与 60.00%。这两项没有图像模型，各 25 道，测的是观感上像不像物理。
人和自动分的一致率差很多。迷宫像素检查为 95.56% 到 100%，数独 OCR 为 100%，ARC 的 VLM 为 94.90%，这里面有不少双方都判错的题。导航上，Nano-banana Pro 的人机一致率在三维室内只有 21.67%，近距 30.00%，俯视 51.69%，SLAG 62.39%；Veo-3 为 75.33%、53.50%、79.15%、88.45%。物理题上 Veo-3 为 65.31%。
附录解释了主表为何这么低。Gemini-2.5-Pro 给 Veo-3 的迷宫整体分可以到 38.72%-51.50%，到达率 50.78%-61.50%，穿墙率仍有 15.62%-25.64%，快速单帧穿墙经常被漏掉。像素检查下 Veo-3 和 Nano-banana 都是 3.67%。Sora-2 的 action reflection 有 40.00%-77.50%，像在回头试路，但 45.00%-67.50% 的样本把迷宫改了。
MMGR 不训练新模型，只更换计分方式。符号规划和跨视角导航，现在不能交给视频模型：数独门控分是 0.00%，迷宫上最好的视频像素分是 3.67%。数学可以交给文本模型，也可以交给把步骤画进一张图的图像模型。Nano-banana Pro 的 72.69% 已经和 Gemini 文本基线同一档，视频最高不超过 10.61%。
导航上图像分更高，因为两边交的东西不一样。图像只交终态，视频得逐帧保住智能体、房间几何和目标。Veo-3 会多变出一个智能体，轨迹不合常理，穿楼板，改楼梯，或者三维里到了终点、俯视轨迹却对不上。
门控比名次有用。附录的 VLM 细项里，GPT-4o-image 迷宫到达率可以到 72.50%-90.00%，同时 60.00%-95.00% 的样本改了迷宫，整体接近 0。只看终点，改题也会算成功。把路径画成蓝线之后好检查，但 Veo-3 会画出没走过的曲线。
跑完不便宜。每家视频模型 9265 段生成，论文估计总推理约 4.6 万美元，Veo-3 约占 3 万。
测评停在零样本，微调后的上限没有测；只覆盖文生图和文生视频。难度档由人设定。数独和 ARC 对视频模型是地板，弱模型分不开。提示词没有按模型调过，而提示对成绩影响很大。有限迷宫、固定网格和标准数学题，盖不住自然视频里的开放场景，模型在更接近训练数据的内容上可能更好。人标是抽样，失败题多，一致率会被抬高。连续控制没覆盖。
导航和物理的主分来自 Gemini-2.5-Pro。论文写明这会继承 VLM 在空间和物理上的弱点。三维室内 85.00% 对应的人机一致率只有 21.67%，近距 75.83% 对应 30.00%。名次不能细读。物理概念 76.00% 的人机一致率是 65.31%。附录写迷宫主分由 VLM 汇总，表 4 的表注和第五节写的是像素检查。3.67% 对得上像素检查，38.72%-51.50% 是更松的自动分。符号题的失败站得住，导航榜单只够看方向。